米OpenAIの音声テキスト変換AI「Whisper」において、深刻な「幻覚」の問題が浮き彫りとなっている。米Associated Pressは10月26日（現地時間）、多数の研究者やエンジニアへのインタビューを基に、特に医療現場での使用に関する重大な懸念を報じた。
医療現場における深刻な影響
医療分野では、米Nabla社が開発したWhisperベースのツールが、すでに3万人以上の臨床医と40の医療システムで使用されている。このツールは患者との診察内容を自動的に文字起こしする目的で導入されているが、研究者らは重大なリスクを指摘している。
特に懸念されるのは、患者のプライバシー保護のため、音声データが削除される仕組みとなっていることだ。これにより、AIによる文字起こしの正確性を事後に確認することが不可能となっている。
研究者らによる警告
複数の研究機関による調査で、Whisperの深刻な問題点が明らかになっている。ミシガン大学の研究では、公開会議の文字起こしにおいて、実に10件中8件で幻覚が確認された。さらに、コーネル大学とバージニア大学の教授らによる大規模調査では、約40％の幻覚が話者の意図を歪曲する可能性がある「有害な幻覚」と判断された。
具体的な事例として、「他の2人の女の子と1人の女性」という発言に対し、Whisperが独自に「その人は黒人だった」という人種に関する情報を付け加えるなど、深刻な捏造が確認されている。
技術的背景と課題
Whisperは68万時間に及ぶ大規模なデータセットでトレーニングされているが、具体的なデータソースは明示されていない。OpenAI自身も公開論文において、データセット固有の偏りや言語識別精度の低さなどを課題として認識している。
今後の展望と必要な対策
Associated Pressは、特に医療現場など重要な意思決定を伴う場面では、Whisperの出力を慎重に確認する必要があると強調している。AIの活用が急速に広がる中、その潜在的なリスクを認識し、適切な安全対策を講じることが不可欠となっている。本件は、AI技術の実用化における倫理的な課題も浮き彫りにしており、今後の議論の深化が期待される。
