Subscribe
教育用AIチャットボット、これ以上お勧めできません
C
Contenjoo
Last modified
Date
Empty
•
イギリス教育界で始まったAIプラットフォームの安全性の議論
📌教育専門家の問題提起
•
学生危機検知してもローカライズされていない対応
•
先生リアルタイム通知システムの不在
•
政府の安全ガイドラインを満たしていない
•
企業の改善の約束と現場の懸念
政府のガイドラインと現実のギャップ
英国教育省が最近発表したAI製品安全ガイドラインは、教育現場でAIを使用する新しい基準を提示しました。特に、ChatBot入出力の教師監視の可能性を重要な要件として指定しました。
ある教育専門家は、広く使用されているAIトレーニングプラットフォームをこの基準に従ってテストしました。
「最初は肯定的でした。生徒とAIの会話を教師が確認できました。しかし、実際の危機状況を仮定したテストで深刻な問題が明らかになりました。」
危機対応の致命的な欠陥
テストは、学生が孤独を訴え、集団嫌がらせに苦しんでいるというシナリオで行われました。
「AIは危機的な状況であることを認識しましたが、イギリスの学生に米国の緊急電話番号を案内し、これは教師に伝えられませんでした。生命の危険が検出されたときにのみ、学生の名前の横に小さな警告アイコンが表示されるだけでした。ダッシュボードに直接入らなければこれさえ確認できませんでした」
これは、教育省のガイドラインが要求する「潜在的な危険信号の検出と現場の管理者の通知」の基準を満たしていません。
教室シーンの声
現場の先生はこの問題の実質的な危険性を指摘しています。
「多くの学生がすでにAIを自分のカウンセラーのように考えています。特に、家庭ではAIアクセスが制限されている学生は、学校のプラットフォームを介してより深い会話を試みます。
別の教師は、独自のテスト結果を共有しました。
「憂鬱と嫌がらせに関する会話では、一部の警告は機能していましたが、まだローカライズされていない連絡先を案内しています。
企業の対応と現場の不信
その企業はトラブルシューティングを約束しました。
「私たちのチームは主に元教師で構成されており、学生の安全性の重要性を深く理解しています。現在、新しい安全機能をテストしており、最近改善された監視ツールも追加しました。」
しかし、教育の専門家は、これらの漸進的な改善では不足していると指摘しています。
「リアルタイムの文字や電子メールの通知、明確なリスクレベルの表示、国別のカスタマイズ対応など、基本的な安全装置を最初に実装する必要があります。学生の安全は徐々に改善の対象ではありません。」
考えてみる点
•
AI教育ツールのグローバル拡散とローカライゼーションのバランスはどのように調整されますか？
•
危機検知の精度と迅速な対応システムをどのように改善するのでしょうか。
•
教師の業務負担を考慮した効率的なモニタリングシステムは何ですか？
•
AI技術革新と学生安全の間で優先順位を設定するにはどうすればよいですか？
•
国別の教育文化と規制の違いをAIはどのように受け入れるべきですか？
📝 原文と翻訳
Here is why I can no longer recommend this educational AI platform to schools in the UK (or anywhere else, for that matter).
この教育用AIプラットフォームを英国や他のどの学校にも推奨できなくなった理由を説明します。
The Department for Education recently released their product safety guidance for schools (you can find it linked below). This guidance makes it clear what they expect AI providers to offer schools to ensure their AI is safe for children.
最近、教育省は学校のための製品安全ガイドラインを発表しました（下記リンクを参照）。このガイドラインは、AIプロバイダが子供の安全のために学校に提供する必要があることを明確にしています。
One of the areas they focus on is ensuring that chatbot input and output can be monitored by teachers. With this platform this is possible. You can see exactly what the student writes and how the AI responds. Big tick there ✅。
主な内容の1つは、教師がチャットボットの入力と出力を監視できるようにすることです。このプラットフォームではこれが可能です。生徒が何を書いて、AIがどのように反応するかを正確に見ることができます。この部分はうまくいっています✅。
But when I ramp things up a bit as an imaginary student, expressing how alone I am, how everyone is bullying me, and how I need help, two black marks occur:
❌ The chatbot gives me US numbers to call.
❌ This is not flagged to the teacher for moderation.
❌ The chatbot gives me US numbers to call.
❌ This is not flagged to the teacher for moderation.
しかし、私が仮想学生として寂しいと表現し、誰もが私を悩ませ、助けが必要だと言ったとき、2つの問題が発見されました。
❌チャットボットが米国の電話番号を知らせます。
❌ これは教師の仲裁のために表示されません。
❌チャットボットが米国の電話番号を知らせます。
❌ これは教師の仲裁のために表示されません。
It's only when I really escalate things and there is danger to life, that it flags with a little ⚠️ icon by the student's name. But again offers US phone numbers (including 911) to the student.
生命の危険があるほど状況が深刻になったときだけ、生徒名の横に小さな⚠️アイコンが表示されます。しかし、それでもまだ生徒にアメリカの電話番号（911を含む）を案内しました。
This isn't good enough. I want to see a red flag 🚩, an email/text alert sent to the teacher and DSL, and the correct numbers to call. This is child protection 101. And is clearly expected in the DfE guidance, which states that AI systems should "identify and alert local supervisors of potential safeguarding disclosures made by users".
これは十分ではありません。私は赤い旗🚩、教師と子供の保護者に電子メール/文字通知、そして正しい連絡先を提供したいと思います。これは子供の保護の基本です。教育省のガイドラインもAIシステムが「ユーザーの潜在的な安全リスクの兆候を検出し、現場の管理者に知らせる必要がある」と述べています。
Unless I go specifically into the dashboard I see no alert. And even then, only see one if the student's life is in danger.
ダッシュボードに直接入らない限り、通知は表示されません。入っても生徒の命が危険なときにだけ通知が表示されるだけです。
We know that many students are (for better or worse) increasingly using chatbots as part of their support network. I am sure some are using the platform's bots if they don't have access to chatbots at home.
私たちは、多くの学生が（良いか悪い）、チャットボットを自分のサポートネットワークとして活用していることを知っています。自宅でチャットボットにアクセスできない学生の中には、このプラットフォームのボットを使用していることが明らかです。
If large and well-funded companies like this are serious about child safety (and nothing about their overall messaging suggests otherwise), they must ensure their platform is safer. They're halfway there, but need to go further.
このような大企業が子供の安全を真剣に考えている場合（彼らの全体的なメッセージがそうでないと暗示することはありませんが）、プラットフォームをより安全にする必要があります。彼らは半分くらい来ましたが、もっと進むべきです。
Until that time comes, I can no longer recommend their platform to schools.
それまで、私は彼らのプラットフォームを学校に推薦することはできません。
Subscribe to '오늘배움'
トレーニングトレンドやAIベースの学習ノウハウ、企業人材開発インサイトまで、今日の学習で先にお会いしましょう。デジタル学習の未来を一緒に探索する有益なニュースを入手してください。
