Halucinace

Co je AI halucinace?

AI halucinace nastává, když velký jazykový model produkuje výstup, který vypadá věrohodně, ale je fakticky špatný nebo nepodložený důkazy. Na rozdíl od standardní softwarové chyby, kde systém může zhavarovat nebo vrátit chybu, halucinující LLM poskytuje kompletně vymyšlené odpovědi se stejným tónem autority jako správné.

Halucinace mohou být kategorizovány jako:

• Faktické chyby: Model uvádí nesprávná fakta
• Chyby věrnosti: Model zkresluje nebo nesprávně reprezentuje zdroj nebo prompt

Proč LLM halucinují?

Příčiny jsou jak technické, tak systémové:

Technické faktory:

• Zašumělá nebo neúplná trénovací data
• Probabilistická povaha predikce dalšího tokenu
• Nedostatek ukotvení v externích znalostech
• Architektonická omezení v paměti a uvažování

Systémové motivace: OpenAI paper z 2025 “Why Language Models Hallucinate” vysvětluje, že predikce dalšího tokenu a benchmarky, které penalizují odpovědi “Nevím”, implicitně tlačí modely k blafování místo bezpečného odmítnutí. Standardní trénink odměňuje sebevědomé hádání oproti přiznání nejistoty.

Míry halucinací v 2025

Oblast učinila významný pokrok:

• Top-tier modely (Gemini-2.0-Flash, o3-mini-high): 0,7 % až 0,9 % míry halucinací
• Střední tier: 2 % až 5 %
• Průměr napříč všemi modely: ~9,2 % pro obecné znalosti

Čtyři modely nyní dosahují sub-1% měr—významný milník pro podnikovou důvěryhodnost.

Mitigační strategie

Retrieval-Augmented Generation (RAG): Nejefektivnější technické řešení. Místo spoléhání na interní paměť systém získává relevantní dokumenty z důvěryhodných zdrojů, pak předává tento kontext LLM.

Prompt Engineering: Být konkrétní, poskytovat kontext, instruovat “přemýšlej krok po kroku,” a explicitně umožnit odpovědi “Nevím”.

Trénink s ohledem na kalibraci: Nové přístupy odměňují chování přátelské k nejistotě místo sebevědomého hádání.

Human-in-the-loop: Kritická rozhodnutí vyžadují lidské ověření.

Debata o pojmenování

Geoffrey Hinton tvrdí, že tyto by měly být nazývány “konfabulace” místo halucinací. Halucinace implikuje patologii; konfabulace je normální lidské chování—konstruujeme vzpomínky místo vyhledávání souborů. Tento rozdíl záleží: konfabulace naznačuje, že je to inherentní rys generativních systémů, ne chyba k eliminaci.

“We don’t store files and retrieve them; we construct memories when we need them.”

“Neukládáme soubory a nevyhledáváme je; konstruujeme vzpomínky, když je potřebujeme.” — Geoffrey Hinton

Posun v myšlení

Oblast se přesunula od “honby za nulovými halucinacemi” k “řízení nejistoty měřitelným, předvídatelným způsobem.” Dokonalá přesnost může být nemožná, ale akceptovatelná spolehlivost na podnikové úrovni je dosažitelná.

Související čtení

• Confabulation - Hintonův preferovaný termín
• Grounding - Propojení výstupů s ověřenými zdroji
• Geoffrey Hinton - Průkopník obhajující rámování konfabulace