現代のAIを築いた論文：グーグル社員8人に聞く舞台裏

出典：AIfan

8人のグーグル社員が偶然出会い、画期的な「トランスフォーマー」論文を共著した。この論文は、人工知能の分野、特に人間のようなテキストを理解し生成することに革命をもたらした技術的なブレークスルーである。

2017年春、「Attention Is All You Need（注意力がすべて）」という科学論文が発表され、8人の著者が署名したが、1人はすでに退職していた。上席著者のノーム・シャゼールは、最初の草稿を見たとき、自分の名前がリストのトップにあったことに驚いた。それは、自分の貢献が最も重要であることを暗示しているようだった。それに対して彼は、"意図的に考えたわけではない "と言った。

学問の世界では、著者の名前に順位をつけることは常に微妙なバランス感覚を必要とする。特に、全員が真のチームワークで独自の足跡を残している状況では。論文の完成を急ぐあまり、研究チームはついに常識を破り、貢献者の順位をつけるのをやめることにした。各氏名の横にアスタリスクと脚注を付け、"平等な貢献者 "とし、"順位の付け方はランダムである "と記した。この論文は権威あるAI会議で発表され、革命を巻き起こした。

Name: NOAM SHAZEER / Occupational: Co-founder and CEO of Role AI

会議で "Attention "が議論されている今日、私たちはこの論文に多くの関心を寄せています。「Attention」論文は7周年を迎えようとしており、伝説的な地位を獲得している。この論文の著者たちは、人工知能の手法として隆盛を極めたニューラルネットワークを新たな次元に引き上げ、異星人の知性を持っているかのように思えるほど強力なデジタル・システムを作り上げた。トランスフォーマーとして知られるこのアーキテクチャは、ChatGPTやグラフィックジェネレーターのDall-EやMidjourneyなど、あらゆる素晴らしいAI製品の背後にある謎めいた力となっている。

シェイザーは、もしこの論文がどれほど有名になるかを知っていたら、「著者リストの順番をもっと気にしたかもしれない」と冗談を言った。現在、8人の著者はみなミニ有名人になっており、リオン・ジョーンズ（ランダムで5位）は、"私が論文を担当したことがあるので、自撮りを頼まれたことがある "と語っている。

Name: LLION JONES/Occupation: SAKANA AI共同創設者

。「トランスフォーマーがなければ、我々は今日ここにいなかったと思います」と、論文の著者ではないが、世界的に有名なAI科学者であるジェフリー・ヒントンは言う。彼は、OpenAIのような企業が、ある意味では人間の出力をも凌駕するシステムを構築している、我々が生きている変革の時代について言及しているのだ。

8人の著者はその後グーグルを去った。現在、彼らは他の何百万人もの人たちと同じように、2017年に生み出したテクノロジーを何らかの形で利用している。私は8人のTransformerの作者にインタビューを行い、この画期的な技術の全貌をまとめようとした。

トランスフォーマーの物語は、リストの4番目の名前、ヤコブ・ウスコレイトから始まる。彼の父、ハンス・ウスコレイトは有名な計算言語学者だったが、ソ連のチェコスロバキア侵攻に抗議したため、1960年代後半に東ドイツで15カ月間投獄された。釈放後、彼は西ドイツに逃れ、ベルリンでコンピューターと言語学を学んだ。その後渡米し、カリフォルニア州メンローパークにあるSRI研究所に勤務。やがて一家はドイツに戻り、ヤコブはそこで大学に通った。

Name: JAKOB USZKOREIT / Occupation: Co-founder and CEO of INCEPTIVE

当初は語学に専念するつもりはなかったが、グーグルのマウンテンビューオフィスでインターンをし、大学院での研究を始めると同時に同社の翻訳チームに加わった。彼は博士課程を放棄し、2012年、他のサイトにリダイレクトすることなく、検索ページでユーザーの質問に直接回答できるシステムを研究しているグーグルのチームに参加することを決めた。当時、アップルは、何気ない会話にその場限りの回答を提供することを約束するバーチャルアシスタントSiriをリリースしたばかりで、グーグルの幹部は、Siriが検索トラフィックを脅かす可能性があると考えた。そしてグーグルの幹部たちは、Siriが自分たちの検索トラフィックを脅かすかもしれないと考えたのです。

「誤ったパニックだった」とUszkoreit氏は言う。しかし彼は、コンピューターが人間と会話するシステムを掘り下げる機会を歓迎した。当時、リカレント・ニューラル・ネットワークは、かつては学界の端っこの分野だったが、突然、他のAIエンジニアリング手法を追い抜き始めた。リカレント・ニューラル・ネットワークは、複数の層から構成され、最適な応答を特定するために繰り返し情報が渡される。

ニューラルネットワークは画像認識などの分野で成功を収め、AIルネッサンス運動が突如として勃興した。グーグルは、これらの技術を採用するために、従業員を必死にリストラしている。同社は、電子メールの文章完成を自動化したり、比較的簡単な顧客サービスのチャットボットを作成するなど、人間のような応答を生成するシステムを構築したいと考えています。

しかし、この分野は限界にぶつかっている。リカレント・ニューラル・ネットワークは、長いテキストの塊が苦手なのだ。例えば、"Joe is a baseball player, and after a good breakfast he went to the park and got two hits "という文の中の "two hits "を理解するために、言語モデルは "Joe is a baseball player, and after a good breakfast he went to the park and got two hits "という文の中の "two hits "という単語を記憶する必要がある。「言語モデルは野球に関する情報を記憶する必要がある。人間で言えば、集中し続けなければならないのだ。

当時の解決策は「長期短期記憶」（LSTM）と呼ばれる技術で、これによって言語モデルは、より大きく複雑なテキストのシーケンスを処理できるようになった。しかし、コンピュータはまだこれらのシーケンスを厳密な順序（単語単位）で処理しており、テキストの背後に現れるかもしれない文脈的な手がかりを無視していました。「私たちが適用している方法は、基本的にその場しのぎの手段です。"私たちは本当に正しいものをスケールで機能させることはできません"。

2014年頃、彼はセルフ・フォーカスと呼ぶ別のアプローチを構想し始めた。このようなネットワークは、テキストの他の部分を参照して単語を翻訳することができます。そのような他の部分は、単語の意図を明確にし、システムが良い翻訳をするのに役立ちます。「実際にすべてを考慮に入れ、一度に多くの入力を見て、かなり選択的な方法で何かを取り出す効率的な方法を提供します」と彼は言う。AI科学者たちは、ニューラルネットワークの比喩を生物学的な脳の実際の働き方と混同しないように注意しているが、ウスコレイトは、自己注意は人間が言語を処理する方法といくらか似ていると考えているようだ。

ウスコレイトは、自己注意モデルはリカレントニューラルネットワークよりも高速で効率的かもしれないと考えている。また、この情報処理方法は、機械学習ブームを支える大量生産の並列処理チップにも適している。直線的なアプローチ（各単語を順番に見る）ではなく、より並列的なアプローチ（複数の単語を一度に見る）をとる。正しく行えば、セルフフォーカスのみを使用してより良い結果を得ることができるとウスコレイトは推測している。

ウスコレイト氏の父親も、息子がグーグル社に勤めている間に、グーグル教授研究賞を2度受賞している。「既存のニューラル・アーキテクチャをすべて捨ててしまうので、人々は懐疑的でした」とヤコブ・ウスツコライトは言う。リカレント・ニューラル・ネットワークとの決別？異端です！「夕食の席での父との会話では、正確には同意していません」。

ウスコレイトは何人かの同僚を説得し、自己焦点化の実験をさせた。彼らの研究は有望であり、2016年にそれに関する論文を発表した。ウスコレイトは彼らの研究をさらに推し進めたかったが、チームの実験ではテキストのごく一部しか使わなかった。.その代わりに、ギャンブラーのように、彼らはささやかな勝利でカジノを後にし、学んだ教訓を検索、そして最終的には広告を含むGoogleのすべての異なる分野に適用した。多くの点で、それは見事な成功であったが、Uszkoreitはそこで止まりたくないのだ。

ウスコレイト氏は、自己中心的な姿勢が大きな仕事を引き受けると信じている。グーグルのキャンパスの北端にあるチャールストン・ロード1945番地にあるビルのホワイトボードに、彼は自分のビジョンを明確に描き出した。

2016年のある日、ウスコレイトはイリア・ポロスーヒンという科学者とグーグルカフェで昼食をとっていた。ポロスヒンはウクライナ生まれで、グーグルに入社して約3年になる。彼は検索フィールドから直接投げかけられた質問に答えるチームに配属されていた。なかなかうまくいかなかった。「Google.comで何かに答えるには、非常に安価で高性能なものが必要です。「とポロスヒンは言う。ポロスヒンが不満を口にすると、ウスコレイトは迷わず解決策を提示した。"なぜセルフフォーカスを使わないのか？"と彼は提案した。とポロスヒンは言った。

Name: ILLIA POLOSUKHIN/Occupation:NEARの共同設立者

ポロスキン。インド生まれで中東育ちのヴァスワニは、南カリフォルニア大学で機械翻訳のエリート・チームから博士号を取得。その後、グーグル、特にグーグル・ブレインと呼ばれる新組織に参加するためにマウンテンビューに移った。彼はブレインについて、「ニューラルネットワークが人間の理解を前進させる」と信じる「急進的なチーム」だと述べている。しかし、彼はまだ大きなプロジェクトを探している。彼のチームは1945年建造の1965年ビルの隣で作業をしていたとき、セルフ・フォーカスのアイデアを耳にした。それがプロジェクトになるだろうか？と、彼は承諾した。

3人の研究者は共同で、「トランスフォーマー：反復的な自己集中と様々なタスクの処理」という設計書を起草した。彼らは「初日」から「トランスフォーマー」という名前を選んだ、とウスコレイトは言う。そのアイデアは、システムが可能な限り多くの理解を引き出せるように、あるいは少なくともそのような印象を与えられるように、メカニズムが受け取った情報を変換するというものだ。さらに、ウスコレイトは幼少期にハズブロ社のアクションフィギュアのおもちゃで遊んだ思い出がある。「子供の頃、小さなトランスフォーマーのおもちゃを2つ持っていました」と彼は言う。この文書の最後には、6人のトランスフォーマーが山岳地帯で互いにレーザーを撃ち合っている漫画のような画像が掲載されている。

Name: ASHISH VASWANI/Occupation: 共同設立者兼ESENTIAL AI CEO

論文もまた、"We're great. "という少々生意気な文章で始まっている。

2017年初頭、ポロシュキンはグーグルを離れ、自身の会社を立ち上げた。それまでには、新たな協力者が加わっていた。ニキ・パーマーというインド人エンジニアは、インドでアメリカのソフトウェア会社に勤めた後、アメリカに渡った。彼女は2015年に南カリフォルニア大学で修士号を取得し、あらゆる大手テック企業からスカウトされた。彼女はグーグルを選んだ。就職すると、彼女はウスコレイトに加わり、グーグル検索のモデルバリアントの改良に取り組んだ。

もう一人の新メンバーは、ウェールズで生まれ育ったリリオン・ジョーンズで、「普通じゃないから」コンピューターが大好きだという。バーミンガム大学でAIコースを受講し、史跡の入門としてニューラルネットワークに興味を持つようになった。2009年7月に修士号を取得し、不況下で仕事が見つからなかったため、数カ月間、生活保護を受けて暮らした。地元の企業に就職し、「必死の思い」でグーグルに応募した。

ある日、ジョーンズはマット・ケルシーという同僚からセルフ・フォーカスの概念を聞き、後にトランスフォーマーチームに加わった。(その後、ジョーンズはケルシーに会い、トランスフォーマーのプロジェクトについて説明した。私は彼に、"うまくいくかどうかわからないよ "と言った。）

Name: NIKI PARMAR / Occupation: co-founder of ESSENTIAL AI

変圧器の研究は、他のグーグル・ブレインの研究者たちからも注目されている。他のグーグル・ブレインの研究者たちも、大規模な言語モデルを改良しようとしている。この第3の波には、ポーランド生まれの理論コンピューター科学者であるウカシュ・カイザー（Łukasz Kaiser）氏と、彼のインターンであるエイダン・ゴメス（Aidan Gomez）氏が含まれます。彼はカナダ・オンタリオ州の小さな農村で育ち、毎年春になると家族がメープルシロップを作るためにカエデの木をたたいていました。

トロント大学の3年生だった彼は、AIに「一目惚れ」し、機械学習グループのジェフリー・ヒントンの研究室に入った。グーグル社で興味深い論文を書いた人たちに連絡を取り始め、彼らの仕事を広げようと考えたカイザーは、その誘いに乗って彼をインターンに誘った。ゴメスがこのインターンシップが自分のような学部生ではなく、博士課程の学生のためのものだと気づいたのは、数ヵ月後のことだった。

カイザーとゴメスはすぐに、自分たちが取り組んでいる問題に対する、より根本的な解決策として、自己中心的な考え方が有望であることに気づいた。「2つのプログラムを統合するかどうか、意識的に話し合いました」とゴメスは言う。答えはイエスだった。

Transformerチームは、ある言語から別の言語へテキストを翻訳する自己完結型モデルの構築に着手した。BLEUと呼ばれるベンチマークを使用して性能を測定し、機械の出力を人間の翻訳者の作業と比較した。この新しいモデルは最初からうまくいった。「概念実証のない状態から、当時LSTMに代わる最良のものと少なくとも同等のものを手に入れることができたのです」とウスコレイトは言う。しかし、長期記憶や短期記憶と比較すると、"良くはなかった"。

2017年のある日、Noam Shazeerが偶然彼らのプロジェクトのことを耳にするまで、彼らは停滞していた。-- Shazeerは5年間ディープラーニングに取り組んでおり、最近では大規模な言語モデルに興味を持ち始めていた。しかしそれらのモデルは、彼が可能だと考えている流動的な対話を生み出すにはほど遠い。

Shazeerの回想によると、彼は1965号館の廊下にあるKaiserのワークスペースを歩いていた。彼は活発な議論に耳を傾けていた。「アシシュがセルフ・フォーカスを使うアイデアについて話していたのを覚えています。ニキがとても興奮していたんだ。このチームは楽しくて、頭が良さそうで、将来有望なことをやっていそうだ」。シャゼールは、既存のリカレント・ニューラル・ネットワークが "腹立たしい "と感じていた。

シェイザーがチームに加わったことが鍵だった。自己焦点のような理論的あるいは直感的なメカニズムは、生命の兆候を示すために、通常、経験豊富な数人の "マジシャン "によって、非常に注意深く実装される必要があります」とUszkoreitは言う。シャゼールはすぐに魔法をかけ始めた。彼はトランスフォーマー・チームのコードの自分バージョンを書くことにした。「私は基本的なアイデアを取り入れ、自分自身で動くようにしました」と彼は言う。

時々カイザーに質問することもあったが、ほとんどは「ただしばらくやって、戻って来て『ほら、うまくいったよ』と言うだけだった」と彼は言う。後にチームメンバーが「魔法」、「錬金術」、「鐘と笛」といった言葉で表現するものを使って、彼はシステムを次のレベルに引き上げた。

「それがスプリントの引き金になった」とゴメスは言う。彼らはやる気満々で、12月に開催される今年最大のAIイベント、ニューラル情報処理システム会議で発表する論文の締切（5月19日）に間に合わせようとしている。発表論文の提出日シリコンバレーが冬から春に変わると、実験のペースが上がった。1つは12時間のトレーニングで作られたもので、もう1つは3日半かけてトレーニングされた「ビッグ」と呼ばれる強力なものである。そして、英語からドイツ語への翻訳を開始させた。

基本モデルはすべての競合を凌駕し、BigはBLEUスコアを獲得し、計算効率が高い一方で、これまでの記録を決定的に更新しました。「私たちは誰よりも速く、それを成し遂げました。「とパーマーは言った。このニュースを聞いたウスコレイトは、自分のマウンテン・アドベンチャー・トラックに積んである古いシャンパンのボトルを取り出して祝った。

締め切りまでの最後の2週間、チームの仕事のペースは狂おしくなった。公式にはまだ1945年ビルにデスクがあるチームメンバーもいたが、彼らのほとんどは1965年ビルで働いた。「みんなほとんど寝ていなかった」とゴメスは振り返る。彼はインターンとして、デバッグだけでなく、論文のためのビジュアライゼーションやダイアグラムの作成にも忙殺されていた。このようなプロジェクトでは、しばしばアブレーション実験が行われる。特定のパーツを取り外して、残りのパーツがタスクに十分かどうかを検証するのだ。

「何がうまくいき、何がうまくいかなかったのか、ありとあらゆるトリックやモジュールの組み合わせを試しました。試行錯誤を繰り返しました」とゴメスは言う。「なぜ、このモデルはこのような直感に反する方法で機能したのでしょうか？ああ、正しくマスクするのを忘れたからだ。今はうまくいっていますか？よし、次に行こう。今、私たちがトランスフォーマーと呼んでいるこれらの部品はすべて、この高速で繰り返される試行錯誤の産物なのです」。シャゼールのコード実装の助けを借りて、アブレーション実験は「ある種の単純さ」をもたらした、とジョーンズはコメントした。「ノームは魔法使いだ。

ヴァスワニは、チームが論文に取り組んでいる間、オフィスのソファで夜を過ごしたことがあったことを覚えている。ゴメスもそこにいて、ヴァスワニは彼に、彼らがやっている仕事は機械翻訳を超えるものだと言った。「最終的には、人間の脳と同じように、音声、音声、視覚といったすべてのモダリティを単一のアーキテクチャで統合する必要があります。「より普遍的なものを発見する手前まで来ていると、私は強く予感しています」。

しかし、グーグルの上層部では、この研究は単なる興味深いAIプロジェクトに過ぎないと見られている。著者たちに、プロジェクトの進捗状況を報告するために上司から定期的に呼び出されることがあるかと尋ねたところ、あまりないという答えが返ってきた。しかし、「私たちは、このプロジェクトがかなり大きなものになることを知っていました。「その結果、論文の最後にある一文にこだわるようになった。

その文章は、次に起こるかもしれないこと、つまり、基本的に人間のあらゆる表現形式へのトランスフォーマーモデルの適用を予感させるものだった。「我々は、注意に基づくモデリングの未来に興奮している。"我々は、テキスト以外の入出力モダリティを含む問題にトランスフォーマーを拡張し"、"画像、音声、動画 "を研究する予定である。

締め切りを数日後に控えたある夜、ウスコレイトはタイトルが必要であることに気づき、ジョーンズはチームがすでに「注意」という1つの技術を根本的に否定していることを指摘した。ビートルズはかつて『オール・ユー・ニード・イズ・ラブ』という曲名をつけた。なぜ論文に "Attention Is All You Need "という名前をつけないのか？

「私はイギリス人です」とジョーンズは言う。「とジョーンズは言う。まさか使われるとは思わなかった」。

彼らは締め切りまで実験結果を集め続けた。「論文を提出する5分前に、英語とフランス語の数値結果が届いたんです」とパーマーは言う。「私は1965年ビルのミニチュアのキッチンに座っていて、最後の数字を手にしました」。急いで論文を送るため、残された時間は2分しかなかった。

グーグルは、他のほとんどすべてのハイテク企業と同様、すぐにこの研究について仮特許を申請した。その理由は、他の企業がそのアイデアを使用するのを防ぐためではなく、防衛目的で特許ポートフォリオを構築するためだった。(同社は「技術が進歩すれば、グーグルはその恩恵を受ける」という哲学を持っている）。

Transformerチームがカンファレンスの査読者からフィードバックを聞いたとき、その反応はさまざまだった。1人は肯定的で、1人は非常に肯定的で、1人は "これでOK "だった」とパーマー氏は語った。論文は夕方のポスターセッションで発表するために受理された。

12月になると、論文は波紋を呼び始めた。12月6日の4時間のセッションは、もっと知りたいという科学者たちで満員になった。著者たちは声がかすれるまで話し続けた。セッションが終わった午後10時半になっても、まだ人だかりができていた。ウスコレイトは、「警備員が私たちに立ち去るように言わなければなりませんでした」と語った。彼にとって最も満足のいく瞬間は、コンピューター科学者のセップ・ホッホライターがこの研究を賞賛しに来た時だっただろう。ホッホライターが長・短期記憶の共同発明者であることを考えると、これはかなりの褒め言葉である。

トランスフォーマーはすぐに世界を征服したわけではなく、グーグルを征服したわけでもない。カイザー氏は、この論文が発表された頃、シャゼール氏がグーグルの幹部に、検索インデックス全体を捨てて、トランスフォーマーで巨大なネットワークを訓練することを提案したと回想している。グーグルが情報を整理する方法を変えるために。その時点では、カイザーでさえこのアイデアは馬鹿げていると考えていた。今では、常識では時間の問題だと言われている。

OpenAIと呼ばれる新興企業は、いち早くこのチャンスをつかんだ。論文が発表された直後、オープンエイの主任研究員であるイリヤ・スッツケバーは、グーグル時代からトランスフォーマーチームを知っており、同社の科学者であるアレックス・ラドフォードにこのアイデアを調べるよう提案した。その結果、最初のGPT製品が誕生した。OpenAIのCEOであるサム・アルトマンが昨年私に語ったように、「トランスフォーマーの論文が発表されたとき、グーグルの誰もそれが何を意味するのか気づいていなかったと思います」。

社内の状況はもっと複雑だ。「トランスフォーマーが本当に驚くべきことをする可能性があることは明らかでした。「なぜグーグルは2018年にChatGPTを立ち上げなかったのか？実際、2019年、もしかしたら2020年にはGPT-3、あるいは3.5ができたかもしれない。問題は、なぜ我々はそれを見たという事実に対して何もしなかったのかということだ。答えは複雑だ。

技術批評家の多くは、グーグルがイノベーション中心の遊び場から、ボトムライン中心の官僚主義へと変貌を遂げたことを指摘している。ゴメス氏がフィナンシャル・タイムズ紙に語ったように、「彼らは近代化しなかった。テクノロジーを採用しなかったのです」。しかし、何十年もの間、その技術で業界をリードし、莫大な利益を上げてきた巨大企業には、かなりの度胸が必要だ。グーグルは2018年、翻訳ツールを皮切りにトランスフォーマーを自社製品に統合し始めた。同年、BERTと呼ばれる新しい変換器ベースの言語モデルを導入し、翌年には検索への適用を開始した。

Name: AIDAN GOMEZ/Occupation:COHERE共同創業者兼CEO

しかしOpenAIの躍進と、マイクロソフトがトランスデューサベースのシステムを製品ラインに大胆に統合したことで、こうした舞台裏の変化は臆病に見える。昨年、スンダー・ピチャイCEOに、なぜChatGPTのように大規模な言語モデルを最初に展開しなかったのかと尋ねたところ、彼はこの場合、グーグルは他社に先を越させる方が有利だと考えたと主張した。"これほど成功するとは到底思えません。実際、どのように機能するのかが分かれば、もっと多くのことができるはずだ。

論文の著者8人全員がグーグルを去ったことは否定できない。ポロスキンの会社Nearは、トークン時価総額約40億ドルのブロックチェーンを構築した。パーマー氏とヴァスワニ氏は2021年にビジネスパートナーとなり、アデプト社（評価額10億ドル）を共同設立した。

東京を拠点とするLlion JonesのSakana AIは評価額2億ドルで、Shazeerは2021年10月に退社した後、Character AI（評価額50億ドル）を共同設立した。インターンのエイダン・ゴメスは2019年にトロントを拠点とするCohereを共同設立（評価額22億ドル）。jakob Uszkoreitのバイオテクノロジー企業Inceptiveの評価額は3億ドル。これらの企業（Nearを除く）はすべて、トランスデューサ技術をベースにしている。

Name: LUKASZ KAISER / Occupation: researcher at OPENAI

カイザーは、会社を設立していない唯一の人物だ。会社を設立していない唯一の人物だ。彼はオープンAIに参加し、昨年アルトマンが "無知のベールを押し、発見のフロンティアを押し進める "と語ったQ*と呼ばれる新技術の発明者となった。(インタビューでカイザーにこのことを尋ねようとしたとき、OpenAIの広報担当者がテーブルを飛び越えて止めに入りそうになった)。

グーグルは脱走兵を見逃しているのだろうか？もちろん、同社から新しいAIスタートアップに移った人たちは別だ。(ピチャイは、私がコンバーターの離脱について尋ねたとき、業界の寵児OpenAIも離脱者を出したことを思い出した。）しかし、グーグルが自慢できるのは、型破りなアイデアの追求を支援する環境を整えたことだ。「彼らは適切な頭脳に投資し、私たちが探求し、限界を押し広げることができる環境を作り上げてきたのです。「採用されるまでに時間がかかったのは驚くことではありません。グーグルはより多くの利害関係を持っている。

そのような環境がなければ、『トランスフォーマー』は存在しなかったでしょう。著者は全員グーグル社員であるだけでなく、同じオフィスで働いている。廊下での偶然の出会いやランチタイムの雑談が、大きな瞬間につながる。チームは文化的にも多様性に富んでいる。8人の著者のうち6人は米国外で生まれ、残りの2人はカリフォルニアに一時的に滞在している2人のドイツ人グリーンカード保持者の子供と、迫害から逃れた家族を持つ世代交代した米国人である。

ウスコレイト氏はベルリンのオフィスから、この革新は適切な条件がすべてだと語った。「人生の適切な時期に、何かにとても興奮している人々を集めることです。「もしあなたがそれを持っていて、それを楽しんでいて、適切な問題に取り組んでいて、運が良ければ、魔法が起こる。

ウスコレイトと彼の有名な父親との間にも、いくつかの魔法が起こった。ハンス・ウスコレイトの息子は、夕食の席での議論を経て、今では大規模な言語モデルを構築する会社を共同設立した。もちろん、トランスフォーマーを使ってだ。