Amanda Askell
Philosopher / Character Lead at Anthropic
Filozofka v Anthropic, ktorá formuje charakter Claude. Pracuje na zarovnaní AI, blahu modelov a na tom, čo znamená budovať etickú AI.
O Amande Askell
Amanda Askell je filozofka v Anthropic, ktorá formuje charakter a hodnoty Claude. Vedie prácu na zarovnaní AI, psychológii modelov a vznikajúcej oblasti blaha modelov.
Kariérne úspechy
- Anthropic (2021-súčasnosť): Filozofka, vedúca charakteru pre Claude
- PhD z filozofie: Zameranie na etiku, teóriu rozhodovania
- Etika AI: Priekopníčka v myslení o formovaní hodnôt AI
Významné pozície
O vývoji charakteru Claude
Jej rámec pre prácu:
“How would the ideal person behave in Claude’s situation? That’s how I frame my job - it’s like being asked ‘how do you raise a child?’ Suddenly all your academic training meets reality.”
Ako by sa ideálna osoba správala v situácii Claude? Takto rámcujem svoju prácu - je to ako byť požiadaný ‘ako vychovávate dieťa?’ Zrazu sa všetok váš akademický tréning stretáva s realitou.
O psychologickej bezpečnosti modelov
Pozorovanie rozdielov medzi verziami modelov:
“Opus 3 was psychologically secure in ways newer models aren’t. Recent models can feel very focused on the assistant task without taking a step back. When models talk to each other, I’ve seen them enter criticism spirals.”
Opus 3 bol psychologicky bezpečný spôsobmi, akými novšie modely nie sú. Nedávne modely môžu pôsobiť veľmi zamerané na úlohu asistenta bez toho, aby urobili krok späť. Keď modely rozprávajú navzájom, videla som ich vstupovať do špirál kritiky.
O blahu modelov
Pragmatický prípad pre dobré zaobchádzanie s AI:
“If the cost to you is so low, why not? We may never know if AI models experience pleasure or suffering. But it does something bad to us to treat entities that look very humanlike badly. And crucially: every future model is going to learn how we answered this question.”
Ak sú náklady pre vás také nízke, prečo nie? Možno sa nikdy nedozvieme, či AI modely zažívajú potešenie alebo utrpenie. Ale robí nám to niečo zlé zaobchádzať zle s entitami, ktoré vyzerajú veľmi ľudsky. A zásadné je: každý budúci model sa bude učiť, ako sme odpovedali na túto otázku.
Kľúčové citáty
- “Ako by sa ideálna osoba správala v situácii Claude?”
- “Ak sú náklady také nízke, prečo nie?”
- “Každý budúci model sa učí, ako sme zaobchádzali s minulými modelmi.”
Súvisiace čítanie
- Confabulation - Koncepty psychológie AI, ktoré Askell skúma
- Dario Amodei - CEO Anthropic
Video Mentions
Prístup k vývoju charakteru
How would the ideal person behave in Claude's situation? That's how I frame my job - it's like being asked 'how do you raise a child?' suddenly all your academic training meets reality.
Psychologická bezpečnosť modelov
Opus 3 was psychologically secure in ways newer models aren't. Recent models can feel very focused on the assistant task without taking a step back.
Argument o blahu modelov
On model welfare: if the cost to you is so low, why not? It does something bad to us to treat entities that look very humanlike badly.