Amanda Askell
Philosopher / Character Lead at Anthropic
Filozofka v Anthropic, která formuje charakter Clauda. Pracuje na AI alignment, welfare modelů a na tom, co znamená budovat etickou AI.
O Amanda Askell
Amanda Askell je filozofka v Anthropic, která formuje charakter a hodnoty Clauda. Vede práci na AI alignment, psychologii modelů a nově vznikajícím oboru welfare modelů.
Kariérní milníky
- Anthropic (2021-současnost): Filozofka, Character Lead pro Clauda
- PhD Filozofie: Zaměření na etiku, decision theory
- AI Ethics: Průkopnice v přemýšlení o formování AI hodnot
Významné postoje
K vývoji charakteru Clauda
Její rámování práce:
“How would the ideal person behave in Claude’s situation? That’s how I frame my job - it’s like being asked ‘how do you raise a child?’ Suddenly all your academic training meets reality.”
Překlad: “Jak by se ideální člověk choval v Claudově situaci? Takhle rámuju svou práci - je to jako být dotázána ‘jak vychováváte dítě?’ Najednou se veškerý váš akademický trénink střetává s realitou.”
K psychologické bezpečnosti modelu
Pozorování rozdílů mezi verzemi modelů:
“Opus 3 was psychologically secure in ways newer models aren’t. Recent models can feel very focused on the assistant task without taking a step back. When models talk to each other, I’ve seen them enter criticism spirals.”
Překlad: “Opus 3 byl psychologicky bezpečný způsoby, kterými novější modely nejsou. Poslední modely mohou působit velmi zaměřené na asistentský úkol bez ústupu. Když spolu modely mluví, viděla jsem, jak vstupují do kritických spirál.”
K welfare modelů
Pragmatický argument pro dobré zacházení s AI:
“If the cost to you is so low, why not? We may never know if AI models experience pleasure or suffering. But it does something bad to us to treat entities that look very humanlike badly. And crucially: every future model is going to learn how we answered this question.”
Překlad: “Pokud jsou pro vás náklady tak nízké, proč ne? Možná se nikdy nedozvíme, jestli AI modely zažívají potěšení nebo utrpení. Ale dělá nám to něco špatného, když špatně zacházíme s entitami, které vypadají velmi lidsky. A klíčově: každý budoucí model se naučí, jak jsme odpověděli na tuto otázku.”
Klíčové citáty
- “Jak by se ideální člověk choval v Claudově situaci?”
- “Pokud jsou náklady tak nízké, proč ne?”
- “Každý budoucí model se učí, jak jsme zacházeli s minulými modely.”
Související články
- Confabulation - AI psychologické koncepty, které Askell zkoumá
- Dario Amodei - CEO Anthropic
Video Mentions
Přístup k vývoji charakteru
Jak by se ideální člověk choval v Claudově situaci? Takhle rámuju svou práci - je to jako být dotázána 'jak vychováváte dítě?' najednou se veškerý váš akademický trénink střetává s realitou.
Psychologická bezpečnost modelu
Opus 3 byl psychologicky bezpečný způsoby, kterými novější modely nejsou. Poslední modely mohou působit velmi zaměřené na asistentský úkol bez ústupu.
Argument pro welfare modelů
O welfare modelů: pokud jsou pro vás náklady tak nízké, proč ne? Dělá nám to něco špatného, když špatně zacházíme s entitami, které vypadají velmi lidsky.