Lukasz Kaiser

Lukasz Kaiserについて

Lukasz KaiserはOpenAIのディープラーニング研究者であり、Transformerアーキテクチャを導入した2017年の画期的な論文「Attention Is All You Need」の8人の共著者の1人です。「Transformer 8人衆」の中でKaiserをユニークにしているのは彼の選択です。7人の共著者がAIスタートアップを立ち上げるために去った（Cohere、Adept、Character.AIなど）一方で、Kaiserはエンジニアとして残り、最終的に2021年にOpenAIに参加しました。

OpenAIでは、Kaiserは同社の最も重要なブレークスルーの中心にいました。彼はGPT-4の長文コンテキストリードを務め、O1推論モデルを開発した研究チームを率いました。彼はこれを純粋なtransformerのスケーリングとは根本的に異なる「新しいパラダイム」と呼んでいます。O1がローンチされた際の彼のX/Twitterでの発表は、この重要性を捉えています。「o1のローンチを見ることができてとても嬉しいです！同僚たちとこの研究を約3年間主導し、それ以前から関連するアイデアに取り組んできました。これが新しいパラダイムであると確信しています。」

AI分野でのキャリア以前、KaiserはUniversity Paris Diderotで論理学とオートマトン理論を専門とする終身研究者でした。RWTH Aachen Universityで博士号を取得し、ポーランドのUniversity of Wroclawで修士号を取得しました。この形式手法のバックグラウンドが、AIシステムにおける推論と検証への彼の焦点を説明しているかもしれません。

キャリアハイライト

• OpenAI（2021年〜現在）：Research Scientist、O1/O3推論モデル開発のリード、GPT-4長文コンテキストリード
• Google Brain（2014年〜2021年）：Staff Research Scientist、Transformerペーパーの共著者
• University Paris Diderot：論理学とオートマトン理論の終身研究者
• 共著：「Attention Is All You Need」（2017年）、TensorFlowシステム、Tensor2TensorおよびTraxライブラリ

注目すべき見解

推論パラダイムについて

Kaiserは2つのAIパラダイムを明確に区別しています。元々のtransformerスケーリングパラダイム—「次の単語を予測し、より多くのデータでより大きなモデルをトレーニングする」—はデータの制約によりプラトーに達しました。しかし、推論パラダイムは根本的に異なります。

「推論モデルは桁違いに少ないデータから学習します。このパラダイムは非常に若く、急勾配の上昇経路にあるだけです…少しスケールアップしましたが、さらにスケールアップできる余地があります。」

エンジニアであり続けることについて

創業者になったTransformerの共著者たちとは異なり、Kaiserは実務に携わることを選びました。

「『Attention is all you need』という論文の著者たちをお迎えします。皆さん、まだエンジニアである唯一の人物—Lukaszです。」

この選択により、彼はGPT-4から推論モデルまで、OpenAIの最も重要な仕事の中心に立つことになりました。

AGIのタイムラインについて

KaiserはAGIという用語を好みませんが、実用的な現実を強調しています。AIは今や秒単位で答えるだけでなく、有用なタスクに何時間も取り組むことができます。コンピューター上のタスク—クリック、執筆、プログラミング—の自動化は「急速に進んでいる」一方で、物理世界のロボティクスはまだ初期段階にあります。

主要な引用

• 「推論という新しいパラダイムがあり、それはまだ始まったばかりです。このパラダイムは非常に若く、急勾配の上昇経路にあるだけです。」（推論モデルについて）
• 「その意味でのAI冬が来るとは思いません。むしろ、今後1〜2年で非常に急激な改善が起こる可能性があります—少し恐ろしいことかもしれません。」（AIの進歩について）
• 「それが究極のボトルネックです—GPUとエネルギーです。」（制約について）
• 「これは新しいパラダイムです。隠れたCoTをトレーニングするモデルは、生のTransformersよりも強力で、より少ないデータから学習し、より良く一般化します。」（O1ローンチについて）

関連記事

• AI Agents - Kaiserの推論モデルが可能にする自律システム
• Supervision Threshold - AIがアシストから自律へと移行するとき