「ピューメソッド」、もしくは「ピューマトリクス」という、意思決定や問題解決の手法があります。
(ピューメソッド(Pugh Method))
複数の選択肢から最適なものを選び出すための評価方法であり、デザインや工学など様々な分野で用いられている。
スチュアート・ピューによって開発されたマトリクス。
選択肢それぞれに対して”評価基準”を設け、各選択肢が評価基準をどの程度満たしているかを評価する。その評価結果をもとに選択肢を比較し、最も優れた選択肢を決定する。
評価は主観的なものであることが多いため、評価者が複数いる場合は、全員の評価結果を集計して選択肢を比較する。これにより、個々の評価者の主観が結果に影響を与えにくくなる。
シンプルさと公平性から、製品の設計やプロジェクトの選定、投票など、様々な状況での決定作業を助けるツールとして利用されている。
ということです。
主に、エンジニアリングやプロダクトデザイン等の世界で使われている手法ですが、人材育成や教育においては、診断ツールの中に同じような機能が組み込まれていると思います(おそらく、、、)。
”貴方は「ステーブ・ジョブス」タイプです!”
という例のヤツです。
今回は、このような考えを通常のテストではなく、「診断テスト」に組み込めば学習者の「診断」がかなり正確になるのではないか? ということを考えました。
基準に基づいて複数の選択肢や代替案を評価・比較するための体系的な方法なので、各選択肢の長所と短所を客観的に評価できます。
通常の「前提テスト」、「事前テスト」、「事後テスト」で各選択肢の評価を行うというのは効率の面から考えると、現実的ではありません。
しかし、全学習者を対象に、各人のレベルや特徴などを測る「診断テスト」では、単純に点数だけでなく、その後のインストラクションの適用の仕方につながる有益なデータが得られるように思います。
まず、通常に使われるプロダクトの項目ではなく、知識、スキル、関連知識等の評価項目を作り、マトリクスを作成します(教育版ピューマトリクス)。
そして、
・評価基準を設定。
「問題の難易度」「問題が評価したい知識やスキルをどの程度カバーしているか」「問題のオリジナリティ」など。
・評価基準を満たす問題の選択。
テストの候補問題となる。
・候補題それぞれの各評価基準レベルの評価。
「満たしている」「満たしていない」「中立」の3つの段階で行うことが一般的だが、「やや満たしている」「やや満たしていない」の5段階でポイントを付ける。
・最も高い評価(点数)を得た問題選択。
選択問題の決定
という感じで、選択肢をある程度客観的、かつ公正に評価できれば、質の高い、しかも有益なデータが得られる「評価テスト」が作成できるのではないか?
と思うのです。
これは、対面のロープレなどを評価する「ルーブリック」と同じような感覚です。
ピューメソッドを導入するメリットとデメリットは、
(メリット)
・複数の選択肢を客観的に評価することができる。個々の要素を評価することで、全体の優劣を明確にすることができる。
・決定過程が透明化される。どの選択肢がなぜ選ばれたのか、その理由が明確になる。
・問題作成チームでの意思決定に役立つ。各メンバーが評価を行い、その結果を集約することで、全員が納得できる選択をすることができる。
(デメリット)
・評価基準の設定が難しい場合がある。評価基準はそれぞれの目的や状況により異なるため、適切な基準を設定することが重要。
・すべての要素を等しく評価するわけではないため、重要な要素が見落とされる可能性がある。ある要素が他の要素よりも重要である場合、その要素に対する評価の重みを調整する必要がある。
・主観的な要素が含まれる場合があります。評価は個々の判断に基づくため、完全に客観的であるとは言えない。
です。
「ルーブリック」も個人の主観が含まれるため大して正確ではない、という意見もあるでしょう、、、
勿論、そうですが、単純に主観だけで作られている「診断テスト」を少しはレベルアップできるのではないでしょうか?
インストラクショナルデザインは、心理学や工学、教育学、時には哲学や脳科学などのイイところを拝借(?)して成り立っているといえます。
アカデミアでは当然、今回のようなことはいくつも考えられているでしょうが、企業内教育においては、どこからも聞いたことがありません。
企業内教育をアカデミアからの借り物だけでやっていくのはなかなか難しいことですし、いろいろと少し視点を変えてみるのもいいのではないでしょうか、、、?