試験Uターン：Aレベルの成績の騒乱を引き起こしたアルゴリズムの背後にある
3月に封鎖が発表されたときにゲイビンウィリアムソンが送った手紙にまかれた「政策災害の種」
3月に封鎖が発表されたときにゲイビンウィリアムソンが送った手紙にまかれた「政策災害の種」
クリスJラトクリフ/ゲッティイメージズ
先週のAレベルの成績の発表に続いて怒りが爆発したため、ボリス・ジョンソン首相は、結果は堅固で、良好で、雇用主にとって信頼できるものであると主張しました。
しかし、ほんの数日後、Ofqualが魅力的な成績の基準を突然撤回した後、政府は恥ずかしいUターンを余儀なくされ、結果は物議を醸すアルゴリズムの予測ではなく、教師の予測に基づくようになりました。
自動化されたシステムは、コロナウイルスのパンデミックと試験のキャンセルを背景に、教育長官のギャビン・ウィリアムソンが横行する成績の上昇と説明したことを回避するために使用されました。しかし、誰がアルゴリズムを思いついたのでしょうか。それは、ウィリアムソンの内閣の仕事に費用をかけることになりかねません。
前例のない状況
政策災害の種は、封鎖が発効した日に、ウィリアムソンがOfqualへの手紙で、成績の上昇を回避することが優先事項であると警告したときに蒔かれました。 タイムズ レポート。
Ofqualは、可能な限り、資格基準が維持され、成績の分布が前年度と同様のプロファイルに従うことを保証する必要がある、とWilliamsonは試験規制当局に語った。
言い換えれば、新聞は、生徒が試験を受けないという事実にもかかわらず、政府は2020年のクラスを前の年のクラスのように扱いたいと思ったと言います。 Aレベルは、教育システムの「ゴールドスタンダード」として扱われ、切り下げられることはありませんでした。
しかし、不運なアルゴリズムの形で保険契約を結ぶように試験規制当局に依頼する際に、成績の上昇を制限したいというこの願望は行き過ぎでした、と付け加えます BBC 。
何が悪かったのか？
教育大臣の要請に応じて、規制当局の統計家は成績を配るシステムを考案するオックスフォード大学の教育評価の教授であり、Ofqualの諮問委員会のメンバーであるジョー・アン・ベアードは、これは試験結果が前年よりも上がることを許さなかったと説明しています。
問題は、Covidのクラスの場合、BBCによると、基準を維持することへのこだわりが高すぎるということでした。
の合計 先週の木曜日にリリースされたAレベルの結果の39％がダウングレードされました 、そして恵まれない地域の生徒は不釣り合いに最も大きな打撃を受けました、と言います NS Tech 、ニューステイツマンの一部門。
アルゴリズムは、さまざまなビットのデータが供給された後、成績を予測しました。
1つ目は、クラスでの成績と模擬試験に基づいた、各生徒の教師の予測成績でした、とニュースサイトは説明しています。しかし、これだけでは不十分であると考えられたため、教師は各生徒を期待される成績の観点から最高から最低にランク付けするように求められました。
学校は評価タスクに身を投じ、The Timesは付け加え、部門長が会議を主導し、教師が生徒の主張を主張しました。
しかし、論文によると、Ofqualシステムには問題がありました。 A 報告する 先週規制当局が発表したところによると、教師が割り当てた成績は、15人未満の生徒のクラスでのみ優先されることが明らかになりました。これは、クラスの規模が小さい私立学校を優先するシステムです。
対照的に、大規模な学校の生徒の場合、成績は、予測された成績よりも、学校の過去の成績と教師のランキングの影響をはるかに受けていたとNSTechは付け加えています。
この不一致は、予測された成績が積極的に格下げされた英国のトップ大学に通常生徒を派遣しない学校からの不均衡な数の学生を説明しています。
より公平なシステムは可能でしたか？
によると タイムズ の科学編集者であるトムウィップルは、公正なアルゴリズムを作成することは、卵を解きほぐそうとするようなものです。つまり、不可能です。
問題は、人々が人口データから外挿して個人について予測するとき、あらゆる種類の直感に反する、驚くべき、時にはばかげた間違いを犯してしまう可能性があるということです。
これが、学校の歴史的結果に大きく基づいたアルゴリズムでうまくいかなかった理由だと彼は主張します。明らかに、これは例外的な学校の例外的な子供たちには不公平であり、逆に、例外的な学校の例外的な子供たちには過度に親切です。
非政府組織EducationPartnershipsGroupのCEOであるSamFreedmanは、この評決に同意します。アルゴリズムは必然的に、過去に多くのハイパフォーマーがいなかった学校で分布のトップにいた外れ値の学生を襲うことになりました、と彼は言いました ツイート 。
しかし、フリードマン氏は、教師の予測成績のみを使用するという政府の決定は、慎重に成績を上げた学校の生徒にも不公平であり、過去/未来のコホートに不公平であり、ユニプレイスの宝くじを作成します[d]。
また、一部の学生にとってUターンは遅すぎる可能性があり、多くの大学が次の学年度のコースはすでに満員であると述べています。
アルゴリズムに関しては、統計は定義上、より少ない数で多くの数を表す方法である、とホイップルは言います。
これは非常に便利ですが、それが何を意味するのかを知る必要があります。つまり、個人のことを忘れることです。
