ハルシネーション

AIハルシネーションとは何か?

AIハルシネーションは、大規模言語モデルがもっともらしく見えるが事実的に間違っているか証拠に裏付けられていない出力を生成するときに発生します。システムがクラッシュしたりエラーを返したりする標準的なソフトウェアバグとは異なり、ハルシネーションするLLMは、正しい答えと同じ権威あるトーンで完全に捏造された答えを提供します。

ハルシネーションは次のように分類できます:

• 事実性エラー: モデルが不正確な事実を述べる
• 忠実性エラー: モデルがソースまたはプロンプトを歪めたり誤って表現したりする

なぜLLMはハルシネーションするのか?

原因は技術的およびシステム的の両方です:

技術的要因:

• ノイズの多いまたは不完全な訓練データ
• 次トークン予測の確率的性質
• 外部知識へのグラウンディングの欠如
• メモリと推論におけるアーキテクチャの制限

システム的インセンティブ: OpenAIの2025年論文「Why Language Models Hallucinate」は、次トークン予測と「わかりません」応答にペナルティを課すベンチマークが、安全に拒否するよりもハッタリをかけるようにモデルを暗黙的に押し進めると説明しています。標準的な訓練は、不確実性を認めるよりも自信を持った推測を報酬とします。

2025年のハルシネーション率

この分野は大きな進歩を遂げました:

• トップティアモデル(Gemini-2.0-Flash、o3-mini-high): 0.7%から0.9%のハルシネーション率
• 中間ティア: 2%から5%
• すべてのモデルの平均: 一般知識で約9.2%

4つのモデルが現在1%未満の率を達成—エンタープライズ信頼性にとって重要なマイルストーン。

緩和戦略

検索拡張生成(RAG): 最も効果的な技術的ソリューション。内部メモリに依存する代わりに、システムは信頼できるソースから関連ドキュメントを取得し、このコンテキストをLLMに供給します。

プロンプトエンジニアリング: 具体的であること、コンテキストを提供すること、「ステップバイステップで考える」ように指示すること、「わかりません」応答を明示的に許可すること。

キャリブレーション対応訓練: 自信を持った推測ではなく、不確実性に優しい行動を報酬とする新しいアプローチ。

ヒューマン・イン・ザ・ループ: 重要な決定には人間の検証が必要。

命名の議論

Geoffrey Hintonは、これらをハルシネーションではなく「作話」と呼ぶべきだと主張します。ハルシネーションは病理を意味しますが、作話は正常な人間の行動です—私たちはファイルを取得するのではなく、記憶を構築します。この区別は重要です:作話は、これが生成システムの固有の特徴であり、排除すべきバグではないことを示唆します。

“We don’t store files and retrieve them; we construct memories when we need them.” — Geoffrey Hinton

「私たちはファイルを保存して取得するのではなく、必要なときに記憶を構築します。」 — Geoffrey Hinton

思考のシフト

この分野は「ゼロハルシネーションを追求する」から「測定可能で予測可能な方法で不確実性を管理する」へと移行しました。完璧な精度は不可能かもしれませんが、許容可能なエンタープライズレベルの信頼性は達成可能です。

関連記事

• 作話 - Hintonが好む用語
• グラウンディング - 出力を検証済みソースに接続
• Geoffrey Hinton - 作話フレーミングを提唱するパイオニア