Konfabulace

Definice

Konfabulace je Geoffrey Hintonovým preferovaným termínem pro AI “halucinace” - fenomén, kdy modely generují věrohodně znějící, ale nesprávné informace. Hinton tvrdí, že termín lépe odráží, že lidé dělají to samé.

Proč konfabulace, ne halucinace?

“Halucinace” naznačuje vidění věcí, které tam nejsou - patologický stav. “Konfabulace” je psychologický termín pro konstruování vzpomínek, což je normální lidské chování.

“Hallucinations should be called confabulations - we do them too.”

“Halucinace by se měly nazývat konfabulace - my je také děláme.” — Geoffrey Hinton

Příklad Johna Deana

Hinton používá svědectví ve Watergate jako důkaz, že lidé konfabulují:

John Dean svědčil pod přísahou o schůzkách s Nixonem. Snažil se říct pravdu, ale “mýlil se v obrovském množství detailů” - schůzky, které se nikdy nekonaly, špatně přiřazené citáty. Přesto “podstata toho, co řekl, byla naprosto správná.”

Jak paměť skutečně funguje

Ani lidé, ani LLM neukládají informace jako soubory:

“We don’t store files and retrieve them; we construct memories when we need them, influenced by everything we’ve learned since.”

“Neukládáme soubory a nevyhledáváme je; konstruujeme vzpomínky, když je potřebujeme, ovlivněné vším, co jsme se od té doby naučili.”

Tento proces konstrukce může zavést chyby - stejný mechanismus stojí za falešnými vzpomínkami lidí i AI konfabulacemi.

Důsledky

1. Konfabulace je normální - ne chyba unikátní pro AI
2. Ověření záleží - jak pro lidské, tak AI výstupy
3. Kalibrace důvěry - reálný problém není konfabulování, ale nevědět, kdy konfabulujete

Související termíny

• Hallucination - Běžný (ale pravděpodobně zavádějící) termín
• Grounding - Propojení výstupů s ověřenými zdroji