答えではなくプロセスを評価する：実験室評価の未来

学生が溶液を滴定して正しい答えを得たとき、実際に何を学んだのでしょうか？手順を正しく実行したかもしれません。推測したかもしれません。隣の人を見ていたかもしれません。最終的な数値は、それを生み出した科学的思考についてほとんど何も語りません。これは実験室教育における結果ベースの評価の根本的な問題であり、ついに取り組まれています。

アリゾナ州立大学は、 Dreamscape Learnとのパートナーシップを通じて、学生が正しい結論に達したかどうかではなく、問題をどのように推論したかを評価するアプローチを開拓しました。彼らの没入型生物学実験室は、学生が取る論理的なステップ、形成する仮説、収集するデータ、そして作る接続を追跡します。

なぜ従来の実験室評価は失敗するのか？

従来の実験レポートは、1世紀以上にわたって科学評価の基礎でした。学生は実験を行い、観察を記録し、書面でレポートを提出します。教師は主に結論が正しいかどうか、フォーマットが守られているかどうかに基づいてレポートを評価します。このアプローチにはいくつかの重大な欠陥があります。

第一に、結果ベースの評価は旅を無視して目的地を報いるものです。変数を系統的にテストし、注意深い観察を記録し、予期しない結果を推論したが、最後に計算ミスをした学生は悪い成績を受けます。ラボパートナーの作業をコピーした学生は満点を受けます。

第二に、従来の評価は学習中ではなく、学習後に行われます。教師が学生に実験デザインに関する誤解があることを特定したとき、実験室は終わっています。フィードバックは行動を変えるには遅すぎます。形成的評価に関する研究は、学習中のフィードバックが学習後のフィードバックよりもはるかに効果的であることを一貫して示しています（Black & Wiliam, 1998）。

プロセスベースの評価とは何か？

プロセスベースの評価は、学生が何を結論づけるかから、どのように考えるかに焦点を移します。「正しい答えを得ましたか？」と尋ねる代わりに、「科学的に推論しましたか？」と尋ねます。このアプローチは、学生が取るステップを追跡し評価します：生成する仮説、考慮する変数、テストを実行する順序、予期しない結果にどのように対応するか。

アリゾナ州立大学のDreamscape Learnプログラムは、学生がエイリアンの惑星で生物学的問題を解決する没入型仮想環境を通じてこれを実装しています。システムは、最初にどの生物を観察するか、どのような測定を行うか、最初の仮説が間違っていることが証明されたときにアプローチをどのように修正するかなど、すべての決定を記録します。

初期の結果は印象的でした。 ASUのEdPlus Action Labが発表した研究によると、Dreamscape Learnの生物学コースの学生は、従来のコースの同級生よりも著しく高い実験室の成績と優れたエンゲージメントを示しました。

科学的推論をどのように追跡するか？

技術的な課題は重大です。科学的思考のはかないプロセスをどのようにキャプチャするのでしょうか？アリゾナ州立大学のアプローチは、いくつかの方法を組み合わせています。

インタラクションログは、仮想環境内のすべてのアクションをキャプチャします。学生が仮想ピペットを取ると、システムはそれを記録します。pHを測定すると、システムは測定のシーケンスを記録します。これらのログは、パターンを分析できる行動のタイムラインを作成します。

決定木は、問題を通る論理的な経路をマッピングします。専門の科学者は特徴的なパターンで問題を解決します：仮説を形成し、テストを設計し、系統的にデータを収集し、証拠に基づいて理解を修正します。初心者はしばしば異なるパターンを示します：ランダムな探索、または最初の仮説への早すぎるコミットメント。

AI分析は、数千の学生インタラクションにわたるパターンを識別します。機械学習モデルは、推論戦略を分類し、学生が行き詰まっているときを検出し、どの学生が介入から恩恵を受けるかを予測できます。

生成AI時代になぜこれが重要か

ChatGPTや同様のツールの台頭は、教育における評価の危機を生み出しました。学生は科学を理解せずに、もっともらしい実験レポートを生成し、学術的に聞こえる結論を作成できます。結果が導出されるのではなく生成できる場合、結果ベースの評価はますます無意味になります。

プロセスベースの評価は解決策を提供します。学生が何を結論づけるかではなく、どのように推論するかを評価すると、AI生成の回答は無関係になります。学生はChatGPTを使用して自分の代わりに仮想実験を行うことはできません。推論プロセスは自分自身のものでなければなりません。これにより、プロセスベースの評価は教育的に優れているだけでなく、本物のAI耐性があります。

WhimsyLabsはこれをどのように常に行ってきたか

WhimsyLabsを設計したとき、プロセスベースの評価はトレンドではなく、明らかな必要性でした。私たちの独自の物理エンジンは実際の実験室の動作をシミュレートします。これは、学生が物理的な機器と同じ方法で仮想機器と対話することを意味します。すべてのインタラクションは自動的に記録されます。

これにより、学生の行動の包括的な記録が作成されます。学生がWhimsyLabsで滴定を行うとき、試薬を追加するペース、フラスコを適切に振るかどうか、色の変化にどのように反応するか、結果が異常に見えるときに測定を繰り返すかどうかをキャプチャします。これらのパターンを専門家の経路と比較します。

私たちのAIチューター、WhimsyCatは、このプロセスデータを使用してリアルタイムのフィードバックを提供します。学生が手順を急いで進めると、WhimsyCatはそれに気づき、ゆっくりするよう提案します。学生が同じエラーを何度も繰り返すと、WhimsyCatはなぜそのアプローチがうまくいかないかを説明し、代替案を提供します。

教師には、学生が実験を正常に完了したかどうかだけでなく、どのように作業したかを示すダッシュボードを提供します。教師は、正しい答えを得ているが適切な技術を欠いている学生を特定できます。これらの学生は、より複雑な手順に移行するときに問題に遭遇する可能性があります。

プロセスデータが学習について明らかにすること

結果だけでなくプロセスを追跡すると、従来の評価には見えないパターンを発見します：

• 学生はしばしば理論的には何かを「知っている」が、実際には適用しない。学生は滴定中に振ることの重要性を正しく説明できるかもしれませんが、実際に手順を実行するときには振らない。
• 正確な完了の速度は理解と相関しない。一部の学生は急いで、運によって正しい答えを得る。他の学生はゆっくりと系統的に作業し、エラーを犯しても優れた理解を示す。
• エラーパターンは誤解によってクラスター化する。同様の概念的な誤解を持つ学生は、同様のエラーを犯す。
• 改善の軌跡は劇的に異なる。一部の学生は複数のセッションにわたって着実な改善を示す。他の学生は停滞する。他の学生は後退する。

実践的な実装の課題

プロセスベースの評価は理想的に聞こえますが、実装は簡単ではありません。アリゾナ州立大学のDreamscape Learnプログラムは、VRインフラストラクチャへの多大な投資を必要としました。すべての機関が14メートルのモバイルVRトレーラーを購入する余裕があるわけではありません。

これが、私たちがWhimsyLabsを標準のウェブブラウザで動作するように構築した理由です。学校はVRヘッドセットを購入したり、専門的な施設を建設したりする必要はありません。学生は既存のChromebook、タブレット、またはコンピューターで物理的に正確な実験を行うことができます。プロセスデータは自動的にキャプチャされます。

アクセシビリティは公平性にとって重要です。プロセスベースの評価が高価な技術を必要とする場合、それは資金力のある学校にとってのもう一つの利点になります。組み込みのプロセス評価を備えたブラウザベースの仮想実験室は、科学教育の未来へのアクセスを民主化します。

評価からコーチングへ

プロセスベースの評価における最も重要な変化は、おそらく技術的ではなく哲学的なものです。プロセスを評価するとき、評価の目的は判断からコーチングに変わります。「この学生は他の学生と比べてどうか？」ではなく、「この学生はどのように科学的推論を改善できるか？」という質問になります。

これは、専門知識が実際にどのように発達するかと一致しています。専門の科学者は、結論で評価されることによって専門家になったのではありません。彼らは、フィードバックを伴う意図的な練習を通じて、プロセスを観察し改善を提案するメンターを通じて、専門家になりました。

未来はすでにここにある

アリゾナ州立大学とDreamscape Learnの取り組みは、プロセスベースの評価が理論的ではないことを示しています。毎学期何千人もの学生が参加して、大規模に運用されています。データは、エンゲージメント、リテンション、スキル開発に明確な利点を示しています。

WhimsyLabsでは、最初からこれらの機能を構築してきました。私たちの物理エンジンは自然にプロセスデータを生成します。私たちのAIチューターはそのデータをリアルタイムのフィードバックに変換します。教師用ダッシュボードはプロセスを可視化し、実行可能にします。私たちのプラットフォームを採用する学校は、ASUが必要としたインフラストラクチャ投資なしにプロセスベースの評価を得ることができます。

結果からプロセスへの移行は、実験室教育が何のためにあるかについての根本的な再考を表しています。実験室は、正しい数値を生み出すためではなく、科学的思考を発達させるために存在します。評価は、実験室が実際に教えようとしていることを測定すべきです。そうすれば、すべてが変わります。

関連記事

• AI評価危機：仮想実験室が本物の評価を提供する方法
• 新しいVR研究が確認：教育法なしの技術は失敗する
• WhimsyCatに会う：科学教育における私たちのAIイノベーション