1970年代、「記号論」はまともな推論を生み出すのに十分なほど進歩していたが、「ニューラルネットワーク」はそうではなかった。「ニューラルネットワーク」は、まだ遅れた段階にとどまっていた。

これは極めて強いフィードバックである。多くのニューラルネットワーク研究者が「還元主義」陣営に加わっている。

しかし、ヒントン氏は自分自身を納得させることができなかった。子供の頃そうだったように、彼は自分が構築した世界のモデルに反するものを受け入れることができないのだ。

1972年、彼はニューラルネットワークの博士号を取るためにエジンバラ大学に入学した。

誰も解明できないのなら、彼が解明するしかなかった。

意外なことに、今回、答えを見つけるのは、バスのコインが丘に登ったことを突き止めるよりも時間がかかる。

ヒントン氏が博士課程の1年目に、他のAIグループの1つが行った実験を見たときのことだ。コンピュータを2台のカメラに接続し、システムが自律的にロボットアームを制御して、ブロックを車の形に組み立てなければならない。

これは当時の技術にとって地獄のように難しいことでした。というのも、システム・ビジョンは、散らばったブロックをその輪郭でしか認識できなかったからです。

ヒントンにとって忘れられない瞬間がある。機械的なアームが少し後ずさりした後、ドスンと一発でブロックの山を崩すのだ。

そんなことをされたら、「できなくて」悔しいと思うだろう。ブロックに向かって拳を振るうロボットに同じ感情を感じた。

ヒントン氏は言う。

その感情を持つということは、手に入らないものを渇望し始めるときなんだ。

BladeRunner (1982)

(iii) Bridge 

ウィリアムズは言う。ウィリアムズが言うように、異なる思考は、脳内の異なる物理的配置を反映しているに違いない。

しかし、ヒントンの前にある疑問は次のようなものだ：

「マクロレベルの思考」と「ミクロレベルの思考」の違いは何か？「マクロレベルの思考」と「ミクロレベルの神経の配置」は、荒く予測不可能な海に隔てられた2つの孤島のようなもので、それらをつなぐ「橋」が必要なのです。

この橋とは何か？

この時点で、ヒントンは非常に幸運だった。

半世紀以上前、アインシュタイン世代の物理学の波が押し寄せていた頃、「最も困難な頭脳」があらゆる方向から宇宙へ墜落していた。

ルートヴィヒ・ボルツマンは、微視的なものと巨視的なものの関係の最大の創始者だった。

ボルツマンは極めて単純な「統計的＋確率的計算」法を発明した。

ボルツマンは極めて単純な「統計的＋確率的計算」法を発明した。align: left;">

原子の重量、電荷、構造、およびその他の微視的な性質さえわかっていれば、粘性、熱、拡散性など、何十億もの原子が集まってできた巨視的な物体の物理的性質を割り出すことができる。

ボルツマンがエントロピーの根底にある概念を説明したのも、同じ理論的枠組みでした。

これが統計力学である。

LudwigEduard Boltzmann

しかし、ボルツマンは多くの科学者から猛反対を受け、異教徒のような攻撃さえ受けた。

その主な理由のひとつは、「決定論的な物理世界を説明するのに、『統計学』や『計算された確率』という曖昧な方法を使う科学とはどういうものなのか？それはどんな科学なのか？

反対派の科学者たちの怒りは、基本的に次の3つの言葉である。

宇宙の複雑さが人間の計算能力を超えていることを認めるな、人間が全力を尽くしても世界を漠然としか把握できないことを認めるな。

しかし、宇宙はちっぽけな人間の怒りに応えてその基本構造を変えることはない。

精密さへのこだわりを捨てることが、霧を切り裂き、巨視的なものと微視的なものをつなぐ橋を見つける方法なのだ。マクロ」と「ミクロ」の架け橋は重要な前提条件である。

しかし、問題がある。

たとえば、さまざまな色のインクを混ぜ合わせたとする。

必ず動的な混合過程を経て、最終的には完全に均質になる。(この時点では、各分子はあらゆる可能な状態にある確率が同じである）。

ボルツマンの理論では、均等に振って「定常状態」に達する確率しか計算できません。「定常状態」になる確率しか計算できない。

しかし、人間の脳の微細構造は、明らかにこのようなドロドロの「最終的な定常状態」ではない。

安定はしているが、「亜安定」と呼べるほど安定はしていない。

以下に示すように、

同じく炭素でできたダイヤモンドは準安定状態であり、グラファイトは究極の安定状態である。安定状態である。

同じく炭素でできたダイヤモンドは置換可能な状態であり、グラファイトは究極的に安定した状態である。

同じように、人間の脳の神経細胞構造は準安定ですが、かなりの安定性を保っています。

ボルツマンがパイオニアとしてシントンに与えられるものは限られている。

次に、バトンはもう一人の偉大な神に渡された。

1982年、『創発的な集団計算能力を持つニューラルネットワークと物理システム』と題された論文は、AIコミュニティを揺るがした。

そしてそれは素人である物理学者ジョン・ホップフィールドによって書かれた。

Johnホップフィールド

ホップフィールドの洞察力を理解するには、まず「最小化自由エネルギー原理」を知る必要がある。

どのような物理的構造であっても、システムは常に外部で可能な限りの仕事をします。

相対的に低く転がることで、系は「最小化された自由エネルギー状態」に達し、安定する。

さて、磁性原子の束を想像してみましょう。彼らはある温度（キュリー温度）以下で1つの方向を向くようになり、それが彼らの「最小自由エネルギー状態」です。

この状態は単調で、複雑な情報を伝えることはできません。

しかし、原子の構造を変えることで、系は最終的に原子が異なる方向を向いた状態で安定化させることができる-これがその「最小自由エネルギー状態」である。の状態である。

この構造はスピングラスと呼ばれる。

この画像は、上部に、スピングラスを示しています。この画像の上部は「スピングラス」を示しており、その内部の無秩序が定常状態を形成し、下に示す複雑な「エネルギー地形」を作り出している。

ホップフィールドの素晴らしいアイデア：

現実世界の原子を使ってスピングラスを作る代わりに、彼はコンピュータのゼロを使ってスピングラスを作った。彼は、原子の状態をコンピュータの0と1の異なるポテンシャルに置き換えることで、サイバースペースでスピングラスをシミュレートしました。

これはホップフィールド・ネットワークとして知られるようになった。

これは単なる模式図です。実際のホップフィールドネットワークには、もっとたくさんの0と1があります。水だけで構成されている惑星は、重力の作用によって最終的に完全な球体となる。波打つ、死んだ塊。

しかし、もし惑星に水素、酸素、炭素、鉄といった元素が豊富にあれば、様々な性質の構造が互いに擦れ合い、互いを固定し合い、最終的には巨視的には球体のようだが、微視的には山のような形で安定する。

ホップフィールド。ホルプフェルドのネットワークは、地球の表面にある山のようなものだ。

地球とは異なり、ホップフィールド・ネットワークの山々の最終的なコースは、自然が作り出したものではなく、人間が設定したものである。

その設定方法は「トレーニング」である。

例えば、「アルファベット26文字の形」で訓練すると、「風景」が特定の形に成形され、その形で安定するホップフィールドネットワークが出来上がります。その形状で安定する。(これは自由エネルギーが最も低い形状だからだ）。

この時点でトレーニングは完了です。

これで有用な特性を持つようになりました：

ボールを空中から投げ下ろすと仮定すると、ボールはその場に止まらず、最終的には比較的低い位置まで転がり落ちる。

地形は複雑なので、ボールは結局、投げる場所によって異なる低い位置まで転がり落ちる。

次に、この性質を利用してみます。

一度に多くの点からボールを下に投げると、さまざまな場所に行き着く。

この山脈の上に立って、この配置でボールを投げるとしましょう:

最後に滞在する場所は:

歓声を抑える必要はない。これはインテリジェントなシステムが「J」の文字を認識する方法です。

さて、ホーフェルド・ネットワークに戻り、その真相に迫ってみよう。

ミクロなレベルでニューロンを模倣し、マクロなレベルで「記憶」大国として登場するネットワークだ。微視的なレベルでニューロンを模倣し、その結果、巨視的なレベルで「記憶」能力として出現するコンピューターシステムだ。

記憶は、知性の根底にある高レベルの記憶装置である：

世界は非常に複雑で、非常にオープンであり、新しいことが起こります。

世界は非常に複雑で、非常にオープンで、毎日新しいことが現れる。

たとえば、古代の人類が、私たちが記憶しているすべての動物と*まったく*同じではない*動物に出会った可能性は高い。

しかし、生き残るために、私たちの祖先は、攻撃するか逃げるかを決めるために、記憶に最も近いものと素早く一致させなければならなかった。

ホップフィールド・ネットワークはまさにそれを行います：新しいモンスターを無限にリフレッシュし、有限数の記憶カテゴリーに分類します。

人間の脳の主要なカテゴリの1つにこれほど密接に機能するシステムが作られたのは、人類史上初めてのことです。

1982年はAIにとって「奇跡の年」だった。

生体ニューロンとニューラルネットワークのノード間の信号の強さは同じである。の強さであり、ニューラルネットワークのノード間の強さの類似性である。

ボルツマンとホップフィールドという2人の巨人の肩に乗って上昇した後、カメラはヒントンの頭の後ろからゆっくりと上昇し、遠くから太鼓の音が近づき、霧が晴れて目の前に荘厳な橋が現れる。

ヒントンの無駄のない腕が、人類探求の燃え盛る松明を取り上げる。

(IV) Chrysalis, Soup, Butterfly 

Memory は知性の終わりではない。>理性が必要なのです。

心理学のバックグラウンドを持つヒントンは、すぐにその要点を見抜いた：

おそらく単純化のためか、あるいはそこまでは行かなかったにせよ、ホップフィールドは、保存されているさまざまな情報の断片が完全に独立していると仮定した。独立したものだと仮定した。

つまり、ホップフィールドのネットワークがアルファベットを学習したとき、AはA、BはB、CはCという考え方がデフォルトになっていたのです。ある情報を入力すると、システムはそれをAかBのどちらかだと判断しますが、AとBの間は判断しません。

これが、ホップフィールドのネットワークが理解しにくい理由です。

これはコイン選別機のようなもので、どんなコインもあらかじめ決められたスロットに入るようになっている：

これでいいと思うかもしれない。

しかし、より広範な「意味論」に拡張すると、その限界はすぐに明らかになります。

たとえば、次のような言葉です。良い」と「悪い」の概念。良くないものは悪いものでなければならないのか？例えば、普通、不良、公平、優秀、完璧など。

これらの概念が善悪と一直線上になく、交わったり交わらなかったりすることに気づくかもしれない。

それらは大きな意味空間の異なる場所にあり、明確な区分のないスペクトルのようなものなのです。

それこそが、私たちが多くの言葉を作る必要がある理由ではないでしょうか？

これらの概念の関係をより正確に表現するためには、ホップフィールド・ネットワークに確率という重要な性質を導入することが重要です。

たとえば、"radical "という単語には、22%の "courageous"、16%の "arbitrary"、そして62%の "radical "に続く "radical.

このグラフは、単語間の意味的関連性の程度を示しています。色が赤ければ赤いほど、意味的連想が大きいことを示す。例えば、「名前」と「性別」は本質的に関連している。

その結果、概念はもはやサイロではなく、むしろ確率に基づいた微妙な数学的関係であり、「意味空間」を形成している。

これらの概念はもはやサイロではない。

各単語は意味空間の座標を持っています。

意味空間は単なる3次元空間ではなく、多次元的であり、何百、何千の次元があるかもしれない。strong>

この画像は、左の言葉を50次元で描いたものです。各次元の色は「下位概念」の強度として見ることができる。

この意味空間によって、システムは概念を分解し、それぞれの下位概念の「粉」の座標を見つけることができる。

例えば：

共通の「貫通」と遮られない「貫通」は、何らかの深い意味論を共有している。

ある種の共通の深い意味論、私たちが関連づけることができるが、記述するのが難しい下位概念を含んでいる。

下位概念を使って学ぶことは、理解が一瞬にして生み出されるインセプションに深く入り込むことに等しい。

そして、これらの下位概念をより深い空間で再統合し、学習中の素材とは異なる、まったく新しいフレーズや表現を吐き出すことができる。

これはまさにシントンがやろうとしていることだ。

1983年、ヒントンと彼の共同研究者であるテレンス・シノウスキーは、この新しいシステム、「ボルツマンマシン」を発表した。strong>であった。

Shington (右)とTerrence?-Szernowski

ボルツマンマシンは「下位概念」の思考空間を必要とするため、ヒントンはホップフィールドネットワークを2層に変更した。blockquote style="text-align: left;">

第1層は「目に見える層」である。

暗黙の層は、表現の規範に関係なく、思考に使われる。

情報の小さなボールの束が、まず目に見える層にぶつかり、目に見える層の一番低いところまで転がり、その後、暗黙の層へと流れ落ち、転がり続ける、それが「理解」です。

ボールが暗黙層から始まり、可視層へと後ろ向きにバウンドする、それが「表現する」。

これが、今日のすべてのAIの基本構造である多層ニューラルネットワークです。

ボルツマンマシン：上が可視層、下が隠れ層。下に隠れ層がある。

ボルツマンマシンのトレーニングの多くは、確率を計算し、それをニューロンの接続パラメータに固定することである。これらのニューロンによって形成される最終的な「風景」は、訓練教材が暗示する「風景」に近い。

この時点では、ニューロンの数が非常に多いため、それぞれが風景の中でどのような役割を果たしているのかを見分けるのは難しい。

つまり、人間が特定のニューロンに直接介入する方法はなく、何らかのアルゴリズムを使うしかない。

「バックプロパゲーション・アルゴリズム」が思い浮かんだ。

カフカの『城』を読んだことがあるかもしれない。

土地測量技師のKは城に雇われるが、城のある村に着いても本当の権力に触れることができず、しかも文字通りその権力に影響されたり妨害されたりしている。

バックプロパゲーション・アルゴリズムは、まさにそれを行っている

すべてのKが*可能な限り*やりたいことは何でもできると気づくまで、ニューラルネットワークは*一種の*訓練される。訓練される。

「可能な限り」と「一応」の理由は、権力者の意志は本質的に不可解だからである。

トレーニングを続ければ、ピーク時よりもはるかに少なくなるだけで、うまくいかない動作は増えていきます。

システム全体から見れば、バックプロパゲーションは非常に効果的な収束方法です。この全体的な有効性は、各ニューロンKが経験する特定の不条理をどうにか隠している。

しかし、Kの目に映っているのは、宇宙の真理かもしれない--世界を根本から理解するチャンスは決してないということだ。

動物好きのヒントン氏が、ニューラルネットワークのトレーニングについて解説します。

イモムシ、それはニューラルネットワークが訓練されるデータだ。さなぎになり、さなぎの中で元の芋虫が溶けてスープになり、このスープからやがて蝶が現れる。

では、芋虫から蝶になるまでに一体何が起こるのだろうか？蝶はその前の青虫と同じ昆虫のままなのだろうか？

これらの答えは、荘周が夢見た蝶のように奥深く、ロマンチックなものだ。

1980年代、シントンはボルツマンマシンとバックプロパゲーションアルゴリズムで小さなサークルから注目を集めたが、その波はすぐに収まった。

しかし、彼の真実の探求は「ニューラルネットワーク」群にとって確かな勝利だった。

これはボルツマンマシンの例です。例：手書きの数字を書いている間の各ニューロンのリアルタイムの活性化状態を認識するために、2層のニューラルネットワークが使用されています。

1980年代、妹と学生との電撃結婚に失敗した後、ヒントンは分子生物学者のロザリンド・ザリンと再婚した。

ヒントンは適当な教員の職を見つけるためにアメリカやカナダの都市を転々としていたが、彼の精神は春の暖かさに包まれていた

昼は聡明な仲間と旅をし、夕暮れには黄昏のように船に戻った。

彼は昼には賢い仲間と旅をし、夕暮れには黄昏のように舟に戻った。

鏡の前に立つと、若い顔が映し出される。

おそらく彼もまた、自分の名前がヒントンの家系図に華麗に掲げられているのを夢見た夜があったのだろう。

しかし、ヒントン自身が明らかにしたように、機械は（もちろん人間も）、シミュレーションと確率計算以外の何ものでもなく、世界についての予測を立てるのだ。

浮雲の城には土台がない。

各ニューロンが経験することは真実であり、世界の方向性は三体世界の太陽のように根本的に予測不可能であり、ディストピアは影のように誰にでもつきまとう。

1990年当時のシントンの作品

1990年当時のシントンの作品

(v) Winter 

ボルツマンマシンは、「システム理論」に基づくニューラルネットワークが世界の王様のように見えることを暗示しているが、その理由を理解するのは難しい。ボルツマンマシンが暗示する「システム理論」に基づくニューラルネットワークは王様のように見えるかもしれないが、「人間を見下すことができるAI」を構築するには、人間の計算能力を大幅に向上させる必要がある。

1000倍でも1万倍でも10万倍でもなく、10億倍だ。

1990年代には、世界的なコンピューター演算は飛躍的に進歩した。

しかし、ニューラルネットワークが必要とするものにとっては、それはまだ太陽に対するろうそくの炎のようなものだった。

アインシュタインの相対性理論が恥ずべきものだったが、それを検証できなかったためにノーベル賞受賞が遅れたように。

ヒントンはボルツマンマシンを改良し、ニューロン間の接続数を減らして「制約ボルツマンマシン」とすることで、計算量を大幅に削減した。また、大きなモデルをより大きなモデルに蒸留できる「モデル蒸留法」を考案した。彼はまた、大きなモデルから小さなモデルへと知識を伝達する「モデル蒸留法」を考案した。

それでも、必要な計算量は予想をはるかに上回った。

「欲しいのに手に入らない」という子供の頃の悪夢が突然戻ってきた。

というより、それは決して遠いものではなかった。

ロザリンドは不妊症に悩まされ、子供を作る方法がないため、結局2人は2人の南米の子供を養子に迎えることにした。

子供たちが家に入った矢先、ロザリンドは卵巣がんと診断された。

悪夢のような不妊治療の経験から、ロザリンドは医師の無関心と無能さに深い嫌悪感を抱くようになった。

彼女は手術や化学療法を拒否し、自宅で非常に冷たい「ホメオパシー」治療を行うことにこだわった。

「冷たい」というのは丁寧な言い方で、効かないのだ。

ロザリンドの病気は急速に進行し、腫瘍が増え、精神的に参ってしまった。ロザリンドの病気はどんどん進行し、腫瘍はどんどん増え、精神は崩壊していった。彼女は、必ず良くなると頑なに信じ、より高価な「ホメオパシー療法」を探し始めた。涙を流しながらヒントンに「家を売ろう」と言うまでは。

ヒントンは、春まで自分を支えてくれた妻を見て、人生で最も残酷なことを言った。もしあなたが死んだら、私は子供たちの面倒を見なければならない。

30年経った今でも、この時のことを思い出すたびに、ヒントンの心は怒り、罪悪感、悲しみ、混乱など様々な感情でいっぱいになる。

それは、世界の不条理に直面した知的存在の暴力的な反応であり、ヒントンにはまだ理解できないものだった。

ヒントンは、自信喪失の生涯の頂点に立っていた。

何十年も世界を観察していると、必然的に残酷な「自己分析」に至る。

人間が単なる機械であるならば、この血の滴るような感情は神経ネットワークのどのあたりまで潜んでいるのだろうか？

機械がいずれ人間になれるのなら、いずれ人間の苦しみを味わうAIを作る意味はあるのだろうか？

ヒントン氏が46歳のとき、妻は家を出た。息子は5歳、娘は3歳だった。

ロザリンドの墓石

ロザリンドの墓石

ヒンデンはそれまでの半生を自分の精神世界で生きていた。

ヒンデンの息子にはADHDと学習障害があるため、シッターがいても午後6時には仕事を終えて家に帰り、面倒を見なければならず、その後、子供の靴下を買いに店に行かなければならない。

思いもよらなかったシングルファーザーとしての生活は、何十年にもわたるヒントンの幻想を打ち砕いた。

「生きている」ということは、かつては充実感、超越感、家族の栄光を意味していた。

かつて「生きている」ということは、彼にとって充実感と超越、そして家族の栄光を意味していた。

今、「生きている」ということは「存在している」ということであり、今日の自分を明日に引きずり込むことである。

一度、スーパーマーケットで簡単な数字も正確に数えられないレジ係を見て、彼は腹立たしく思い、「算数のできる人を雇えなかったのだろうか？

今なら、「自分を雇ってくれるスーパーがあって本当に良かった」と思うだろう。

それ以来、私はより良い人間になろうと頑張るのをやめた。

ヒントンはこう振り返る。

彼は心の奥底で「家系図」を見つけ、ゴミ箱に捨てた。

その後、ヒントン氏はトロント大学のコンピューターサイエンス教授の職に落ち着き、ニューラルネットワークが迷宮から荒野へと進化し、他の人々の態度が不信から忘却へと進化していく年月を、淡々と歩んでいった。

その年月は、ヒントンが多くの学生を指導するのに十分なほど長かった。

しかし、今世紀に入り、インターネットがブームになり、心が揺れ始めた。

商才を意識した学生たちは「見放され」、日の目を見ることのないAIに見切りをつけ、起業の道に進み、それが正しい選択であることが証明され、そのほとんどが大金を手にした。

最も寒かったのは、ヒントンと数人の弟子たちだけが道に取り残された時だった--「最後の晩餐」の長テーブルには、「ニューラルネットワーク」の弟子たち全員が座っていた。最後の晩餐』の長テーブル、そこには「ニューラルネットワーク」の弟子たちが全員座ることができた。

ヒントン氏は、なぜこれらの学生たちがこの分野に残っているのかよくわからない。

しかし、自分自身に冷水を浴びせることが多かった自分の教師とは違い、ヒントン氏は生徒たちにわずかな光明でも与えようとした。

彼はいつも、"ニューラルネットワークは行き止まりではない "と言っていた。

しかし、"このことが現実になるのは100年先のことかもしれない。

人が機械であることは驚くべきことではない。

不思議なのは、機械がバラバラになって初めてやってくる何かを素直に待つことができることだ。

シントンは、当たり障りのない人生を覚悟している。

だが、世界は彼にそのチャンスを与えたくないようだ。

(vi) Spring