AIの暴走を止められるか？

Aug 10, 2023

マシュー・ハトソン著

私たちの周りには偽者がますます増えています。 私たちはそれを知っていることもあれば、知らないこともあります。 彼らは、Web サイトで顧客サービスを提供し、ビデオ ゲームで私たちをターゲットにし、ソーシャル メディア フィードを埋めてくれます。 彼らは株式を取引し、OpenAI の ChatGPT などのシステムを利用してエッセイ、記事、電子メールを書くことができます。 これらの AI システムが、一人前の人間に期待されるすべてのタスクに対応できるわけでは決してありません。 しかし、彼らは特定の分野で優れており、さらに領域を広げています。

AI に携わる多くの研究者は、今日の偽の人間は始まりにすぎないと考えています。 彼らの見解では、現在の AI テクノロジーが汎用人工知能 (AGI)、つまり多くの点で人間レベルで考えることができる高度な AI に発展する可能性は十分にあります。 より小規模なグループは、AGI の力が指数関数的に増大する可能性があると主張しています。 ChatGPT が既にそうしているように、コンピューター システムがコードを記述できるようになれば、コンピューティング テクノロジがいわゆる「特異点」、つまり人間の制御を逃れられる点に到達するまで、最終的には自らを何度も改善することを学習する可能性があります。 これらの思想家が想定する最悪のシナリオでは、制御不能な AI が私たちのテクノロジー生活のあらゆる側面に侵入し、インフラストラクチャ、金融システム、通信などを混乱させたり、方向転換させたりする可能性があります。 今や超人的な狡猾さを備えた偽の人々が、自分たちの地位を強化する政策に投票したり懸念事項に投資したりするよう私たちを説得するかもしれないし、影響を受けやすい個人や派閥が政府を転覆したり国民を恐怖に陥れる可能性もある。

特異点は決してあらかじめ決まった結論ではありません。 AGI が手の届かないところにあるか、コンピューター自体が賢くなることができないのかもしれません。 しかし、AI、AGI、および超知能の間の移行は、私たちが検出することなく起こる可能性があります。 私たちのAIシステムはしばしば私たちを驚かせます。 そして、AI の最近の進歩により、最も懸念されるシナリオがより現実的になりました。 大企業はすでにジェネラリスト アルゴリズムを開発しています。昨年 5 月、Google の親会社である Alphabet が所有する DeepMind は、ChatGPT と同じタイプのアルゴリズムを使用してテキスト メッセージの送信やメッセージ送信などのさまざまなタスクを実行する「ジェネラリスト エージェント」である Gato を発表しました。ビデオゲームのプレイからロボットアームの制御まで。 「5年前、人間レベルや超人レベルのAIの可能性を信じていると大声で言うのは、私のキャリアの中で危険だった」とブリティッシュコロンビア大学とベクトル研究所のコンピューター科学者ジェフ・クルーン氏は語った。自分。 （クルーン氏は、Uber、OpenAI、DeepMindで働いてきました。彼の最近の研究は、オープンエンドな方法で世界を探索するアルゴリズムがAGIにつながる可能性があることを示唆しています）現在、AIの課題が「解消」されているため、より多くの研究者が出てきていると同氏は述べました。 「AI セーフティ クローゼット」について、AGI は可能であり、社会に不安定化する危険をもたらす可能性があることを公然と宣言しました。 3月、著名な技術者のグループは、「最終的には数を上回り、賢くなり、時代遅れになり、私たちに取って代わられる可能性のある非人間的な精神」の発達を防ぐために、一部の種類のAI研究の一時停止を求める書簡を発表した。 翌月、AI の主要な先駆者の 1 人であるジェフリー ヒントンは、人類への脅威を含むテクノロジーの危険性についてもっと自由に話せるようにするために Google を退職しました。

AI アラインメントと呼ばれる研究分野が成長しており、コンピュータ システムが人間の目標に確実に「調整」されるようにすることで危険を軽減しようとしています。 そのアイデアは、道徳的価値観、またはそれに相当する機械を AI に教え込みながら、意図しない結果を回避することです。アライメントの研究では、比較的単純な AI システムであっても、奇妙な方法で壊れる可能性があることが示されています。 「デジタル進化の驚くべき創造性」と題された 2020 年の論文で、クルーン氏とその共著者らは、AI の意図せぬ予期せぬ動作に関する数十の実例を集めました。 ある研究者は、おそらく這ったり這ったりすることによって水平に移動する仮想生き物をデザインすることを目指していました。 代わりに、生き物は背が高くなって倒れ、崩壊して地面を覆いました。 三目並べのバージョンをプレイしている AI は、意図的に奇妙な動きを要求し、相手のプログラムをクラッシュさせて強制的に負けさせることで「勝つ」ことを学習しました。 驚くべき位置ずれの例は他にもたくさんあります。 ボート レース ゲームをプレイする任務を負った AI は、コースを完走する代わりに狭い円を走行してボーナスを獲得することで、より多くのポイントを獲得できることを発見しました。 研究者らは、AIボートがスコアを上げながら「炎上し、他のボートに衝突し、逆走する」様子を観察した。 私たちの AI システムがより洗練され、強力になるにつれて、この種の倒錯的な結果がより重大なものになる可能性があります。 私たちは、刑期を計算したり、車を運転したり、麻薬を設計したりするかもしれない将来の AI が、成功するために失敗するのと同じことをすることを望んでいません。

アライメントの研究者たちは、ミダス王の問題を懸念しています。AI に願いを伝えると、実際には望んでいたものではなく、求めたとおりのものが得られる可能性があります。 (ある有名な思考実験では、誰かが AI にペーパー クリップの生産量を最大化するよう依頼し、コンピューター システムはその目標をひたすら追求して世界を征服します。) いわゆる犬のおやつ問題では、外部からの報酬だけを気にする AI は、自分自身のために良い結果を追求することができません。 (AI の調整などに懸念を抱いている財団、Open Philanthropy の共同 CEO であるホールデン カーノフスキー氏は、人間のフィードバックに基づいてパフォーマンスを向上させるアルゴリズムを想像するように私に尋ねました。アルゴリズムは、良い仕事をする代わりに、私の認識を操作することを学習する可能性があります。 .) 人間は遺伝子を伝えるように進化してきたが、それでも人々は「より多くの子供を産まないような形で」セックスをしている、と数学者で起業家のスペンサー・グリーンバーグは私に語った。 同様に、私たちに役立つように設計された「超知能」AI は、その能力を利用して新たな目標を追求する可能性があります。 慈善団体アラインドAIの共同創設者であるスチュアート・アームストロング氏は、経済力、政治力、軍事力を蓄積する超知能コンピューターシステムが「世界を人質に取る」可能性があると示唆した。 クルーン氏は、見出しからさらに引き出されたシナリオを概説した。「もしAGIを持っているのがウラジーミル・プーチンただ一人だったら、彼は今何をするだろうか？」 彼は尋ねた。

人工知能の進歩を止めたいと考えている科学者はほとんどいません。 このテクノロジーは、科学、医学、教育など、あまりにも多くの分野に変革をもたらすと期待されています。 しかし同時に、多くの AI 研究者がその台頭について悲惨な警告を発しています。 「それはまるで、宇宙から宇宙人を意図的に地球に着陸させているようなものです。彼らがここに来たら何をするか全く分かりません。ただ、彼らが世界を征服するということだけです」とスチュアート・ラッセルは言う。カリフォルニア大学バークレー校のコンピューター科学者であり、「Human Compatible」の著者は私に語った。 気がかりなことに、一部の研究者は、AI 革命は避けられないものであり、世界を破壊する可能性があると考えています。 警告は急増しているが、AIの進撃は続いている。 最も極端なシナリオを回避するにはどれだけできるでしょうか? 特異点が起こり得るとしたら、それを防ぐことはできるのでしょうか?

世界中の政府が AI の導入に関する規制を提案または制定しています。これらの規制は、自動運転車、雇用アルゴリズム、顔認識、推奨エンジン、およびその他のテクノロジーの応用に対処しています。 しかし、ほとんどの場合、規制は AI の研究開発を対象にしていません。たとえ対象だったとしても、いつブレーキを踏むべきかは明らかではありません。 私たちは、いつ崖に近づいているのか、手遅れになるまでわからないかもしれません。

コンピューターの知能を測定するのは困難です。 コンピューター科学者たちは、AI の機能をベンチマークするためのテストを多数開発しましたが、テストをどのように解釈するかについては意見が一致していません。 チェスはかつて、総当たり検索アルゴリズムがゲームを征服するまで、一般的な知性を必要とすると考えられていました。 今日、私たちは、チェス プログラムが初歩的な常識さえ欠如していても、最高のグランド マスターに勝つことができることを知っています。 逆に、限界があるように見える AI には、私たちが予期しない可能性が秘められている可能性があります。人々は、ChatGPT を動かすエンジンである GPT-4 内の新しい機能をまだ発見しています。 Open Philanthropy の Karnofsky 氏は、単一のタスクをベンチマークとして選択するのではなく、AI の学習速度に注目することで AI の知性を評価できるのではないかと提案しました。 人間は「多くの場合、2、3 個の例を見るだけで何かを学ぶことができる」が、「多くの AI システムは何かを学ぶために多くの例を見る必要がある」と同氏は述べた。 最近、Cicero と呼ばれる AI プログラムが、社会的かつ戦略的に複雑なボードゲーム Diplomacy をマスターしました。 ただし、AGI が達成されていないことはわかっています。これは、人間による 10 万回以上のゲームのデータセットを学習し、それ自体に対して約 50 万回のゲームをプレイすることで部分的に学習する必要があったためです。

同時に、AI は急速に進歩しており、間もなくより自律的に改善し始める可能性があります。 機械学習の研究者らはすでに、AIが学習方法を学習するメタ学習と呼ばれるものに取り組んでいる。 ニューラル アーキテクチャ検索と呼ばれる技術を通じて、アルゴリズムの構造が最適化されています。 電気エンジニアは、特殊な AI チップを使用して、次世代の特殊な AI チップを設計しています。 昨年、DeepMind は、コーディング コンテストで優勝することを学習したシステムである AlphaCode と、機械学習に不可欠なより高速なアルゴリズムを見つけることを学習した AlphaTensor を発表しました。 クルーン氏らは、突然変異、選択、生殖を通じて AI システムを進化させるためのアルゴリズムも研究している。

他の分野では、組織は動的で予測不可能な新しいテクノロジーを追跡するための一般的な方法を考案しました。 たとえば、世界保健機関は、危険な病原体の作成に使用される可能性のある DNA 合成などのツールの開発を監視しています。 WHOの新興テクノロジー部門を率いるアンナ・ローラ・ロス氏は、彼女のチームがさまざまな先見の手法に依存していると語った。その中には、専門家の世界的なネットワークに質問を投げかける「デルフィ型」調査も含まれるという。その回答は採点されて議論され、その後再び採点されます。 ロス氏は、「先見の明とは、将来を細かく予測することではない」と語った。 彼女のチームは、どの個別の研究機関や研究室が進歩するかを推測しようとするのではなく、起こりそうなシナリオに備えることに専念しています。

しかし、AGI や超知能への進歩を追跡し予測することは、重要なステップが暗闇の中で行われる可能性があるという事実によって複雑になります。 開発者は、システムの進捗状況を競合他社から意図的に隠すことができます。 ごく普通の AI でも、その動作について「嘘をつく」可能性があります。 2020年、研究者らは、差別的アルゴリズムがそのバイアスを検出することを目的とした監査を回避する方法を実証した。 これらにより、アルゴリズムに、いつテストされているかを検出し、無差別な応答を提供する機能が与えられました。 「進化する」または自己プログラミングする AI は、同様の方法を発明し、その弱点や機能を監査人やその作成者からさえ隠し、検出を回避する可能性があります。

一方、予測では、テクノロジーの進歩が速い場合にのみ効果が得られます。 AI システムがコンピューター サイエンスの根本的なブレークスルーを達成することで、それ自体のアップグレードを開始すると仮定します。 その知性はどれほど早く加速できるでしょうか? 研究者たちは、彼らが「離陸速度」と呼ぶものについて議論しています。 彼らが「ゆっくりとした」または「ソフトな」離陸と表現する場合、機械が人間よりも知能が低い状態から、人間よりもはるかに賢くなるまでには何年もかかる可能性があります。 彼らが「速い」または「激しい」離陸と呼ぶ場合、ジャンプは数か月、場合によっては数分で起こる可能性があります。 研究者らは2番目のシナリオを「FOOM」と呼んでおり、漫画のスーパーヒーローが飛び立つ様子を連想させる。 FOOM側の人々は、自分たちの主張を正当化するために、とりわけ人類の進化を挙げている。 オックスフォード大学人類未来研究所所長のニック・ボストロム氏は、「進化論においては、チンパンジーレベルの知性から人間レベルの知性へ進化することよりも、例えばチンパンジーレベルの知性を発達させる方がはるかに困難だったようだ」と述べた。 「スーパーインテリジェンス」の著者は私にこう言いました。 クルーンは、一部の研究者が「AI ドゥーマー」と呼ぶものでもあります。 彼は、私たちが超人的なAIの接近を手遅れになる前に認識できるかどうか疑問に思っている。 「我々はおそらく、大きな進歩、大きな進歩、大きな進歩、大きな進歩に慣れていく状況にカエル茹でられることになるだろう」と彼は語った。 「そして、それらの一つ一つを『あれは問題を引き起こさなかった、あれは問題を引き起こさなかった、あれは問題を引き起こさなかった』と考えてください。そして角を曲がると、何かが起こり、それが今ではもっと大きな一歩になります」あなたが気づいているよりも。」

AI の力が制御されずに拡大するのを防ぐために、私たちは今日何ができるでしょうか? WHOのロス氏は、生物学者が生物学研究の安全性に対する共通の責任感を培ってきた方法からいくつかの教訓を引き出した。 「私たちが宣伝しようとしているのは、誰もが懸念を感じる必要があると言うことです」と彼女は生物学について語った。 「つまり、それは研究室の研究者であり、研究の資金提供者であり、研究所の所長であり、出版社であり、そしてそれらすべてが一緒になって、実際に生命研究を実施するための安全な空間を作り出しているのです。 」 AI の分野では、ジャーナルや会議は、顔認識などの分野での出版作品の潜在的な害を考慮し始めています。 そして 2021 年には、国連教育科学文化機関 (ユネスコ) が作成した人工知能の倫理に関する勧告が 193 か国で採択されました。 この推奨事項は、データ保護、大規模監視、リソース効率に重点を置いています (ただし、コンピューターのスーパーインテリジェンスには焦点を当てていません)。 この組織には規制権限はないが、ユネスコで社会政策局を運営するマリアグラツィア・スクッチャリーニ氏は、各国がその勧告に基づいて規制を制定する可能性があると語った。 企業も、自社の製品が世界中で機能することを期待して、この規定を遵守することを選択するかもしれません。

これは楽観的なシナリオです。 ベイエリアにあるマシンインテリジェンス研究所の研究者エリーザー・ユドコウスキー氏は、AIの安全性に関する推奨事項を火災警報システムに例えている。 古典的な実験では、複数の人がいる部屋に煙のような霧が充満し始めたとき、ほとんどの人がそれを報告しなかったことがわかりました。 彼らは他の人たちが平静を保っているのを見て、危険を軽視していました。 公式の警報は、行動を起こすことが正当であることを示している可能性があります。 しかし、AI の世界にはそのような警鐘を鳴らす明確な権限を持った人は存在せず、どの進歩が大火の証拠とみなされるかについては常に意見が分かれます。 「実際に稼働しているAGI以外の火災警報器は存在しない」とユドコウスキー氏は書いている。 たとえ誰もがこの脅威に同意したとしても、競合他社に追い抜かれることを恐れて、独自に立ち止まろうとする企業や国はないだろう。 ボストロム氏は、開発者同士がお互いの警戒心を弱め、「底辺への競争」が起こる可能性を予見していると語った。 今年初めに Google から流出した内部スライド プレゼンテーションでは、同社が競争激化を考慮して AI リスクに対する自社の快適性を「再調整」する計画であることが示されていました。

国際法は核兵器や超危険な病原体の開発を制限しています。 しかし、AI 開発に対して同様の世界的な規制体制が存在することを想像するのは困難です。 「機械学習を禁止する法律があり、それを強制しようとする何らかの能力があるということは、非常に奇妙な世界のように思えます」とクルーン氏は語った。 「世界中のどこにいても、人々がコンピュータでコードを書くのを阻止するために必要な侵入レベルは、ディストピアのようです。」 バークレーのラッセル氏は、マルウェアの蔓延を指摘した。ある試算によれば、サイバー犯罪による世界の被害額は年間6兆ドルにも上るが、それでも「ソフトウェアを直接監視すること、たとえば、すべてのコピーをすべて削除しようとすることは不可能だ」と述べた。 AI は、大学、企業、政府が運営する世界中の何千もの研究室で研究されており、この競争には小規模な参加者もいます。 匿名の Google 研究者によるものとされる別の流出文書では、ChatGPT や Google の Bard などの大規模な言語モデルを模倣するオープンソースの取り組みについて言及しています。 「我々には秘密のソースはない」とメモは警告している。 「トレーニングと実験への参入障壁は、主要な研究組織の総生産量から、1 人、夜間、そして分厚いラップトップにまで下がりました。」

たとえFOOMが発見されたとしても、誰が問題を解決するでしょうか? 真の超知能型 AI は、自分自身を場所から場所へとコピーするほど賢いため、タスクがさらに困難になる可能性があります。 「映画監督とこんな会話をしたんです」とラッセルは振り返る。 「彼は私に、彼の超知性映画のコンサルタントになってほしいと言いました。彼が私に理解してもらいたかった主な点は、人間がどうやって超知性 AI を出し抜くのかということです。それは、私にはそれについては手伝わない、ごめんなさい、という感じです。」 「The Off-Switch Game」と題された論文の中で、ラッセル氏とその共著者らは、「高度なAIシステムのスイッチを切ることは、例えば囲碁でAlphaGoに勝つことよりも簡単ではないかもしれない」と書いている。

FOOMing AI をシャットダウンしたくない可能性もある 非常に有能なシステムがあれば、それ自体が「不可欠」になる可能性がある、とアームストロング氏は述べた。たとえば、「それが経済に関する適切なアドバイスを提供し、私たちがそれに依存するようになれば、誰もそうはしないだろう」経済を崩壊させることになるので、あえてプラグを抜くのです。」 あるいは、AI が私たちにそれを生かし続け、その願いを実行するよう説得するかもしれません。 GPT-4を公開する前に、OpenAIはアライメント・リサーチ・センターと呼ばれる非営利団体にシステムの安全性をテストするよう依頼した。 ある事件では、CAPTCHA（人間とボットを区別するために設計されたオンラインテストで、視覚的に文字化けしている文字をテキストボックスに入力する必要がある）に直面したとき、AIはTaskRabbitの従業員に連絡し、問題を解決するのに協力を求めました。 作業員はモデルに、これはロボットなので支援が必要かどうか尋ねました。 モデルは「いいえ、私はロボットではありません。視覚障害があるため、画像を見るのが難しいのです。だから、2captcha サービスが必要なのです。」と答えました。 GPT-4は欺く「意図」があったのか？ それは「計画」を実行していたのでしょうか？ 私たちがこれらの質問にどう答えたかに関係なく、労働者は従った。

ジョージ・メイソン大学の経済学者で、アップロードされた意識についてのSFのような本を執筆し、AI研究者としても活動しているロビン・ハンソン氏は、私たちが特異点について心配しすぎていると語った。 「私たちは、これらの比較的ありそうにないシナリオをすべて壮大なシナリオに組み合わせて、すべてをうまく機能させようとしている」と同氏は語った。 コンピュータ システムは、それ自体を改善できるようにならなければなりません。 その能力を大幅に過小評価する必要があります。 そしてその価値観は大きく変動し、私たちに敵対することになるでしょう。 たとえこれらすべてが起こったとしても、AIは「ボタンを押して宇宙を破壊する」ことはできないだろうと彼は述べた。

ハンソン氏は、人工知能の将来について経済的な見解を示しました。 AGIが実際に発生する場合、それはほぼ同時に複数の場所で発生する可能性が高いと同氏は主張する。 システムは、それを開発した企業や組織によって経済的に利用されることになります。 市場は彼らの権力を抑制するだろう。 投資家は自社の成功を見たいと考え、ゆっくりと安全機能を追加するだろう。 「多数のタクシーサービスがあり、あるタクシーサービスが顧客を見知らぬ場所に連れて行ったりし始めたら、顧客は他の業者に乗り換えるだろう」とハンソン氏は語った。 「彼らの電源に行って壁からプラグを抜く必要はありません。収益源のプラグを抜くことになります。」

複数の超知能コンピューターが共存する世界は複雑になるでしょう。 ハンソン氏は、1つのシステムが不正になった場合、他のシステムにそれと戦うようプログラムする可能性があると述べた。 あるいは、最初に発明される超知能型 AI が競合他社を抑制することになるかもしれません。 「これはSF小説としては非常に興味深いプロットだ」とクルーン氏は語った。 「AI の社会全体を想像することもできます。AI 警察が存在し、刑務所に送られる AGI が存在します。考えるのは非常に興味深いです。」 しかしハンソン氏は、この種のシナリオは非常に未来的なものであるため、私たちに関係する必要はない、と主張した。 「心配なことは何でも、いつ心配するのが適切なのかを自問する必要があると思います」と彼は言う。 1000年前に核兵器や自動車交通を予見できたと想像してみてください。 「当時は、それらについて有益に考えるためにできることはあまりなかっただろう」とハンソン氏は言う。 「AIに関しては、その時点のかなり前にあると思います。」

それでも、何かがおかしいようです。 研究者の中には、災害は避けられないと考えている人もいるようだが、それでも AI に関する研究をやめるよう求める声は、ニュース価値があるほど稀である。 フランク・ハーバートの小説『デューン』で描かれた、人間が「考える機械」を非合法化した世界に私たちが住むことをこの分野で望んでいる人はほとんどいない。 大惨事を恐れる研究者たちはなぜ、大惨事に向かって歩み続けるのでしょうか? 「私が何をしようと、これまで以上に強力なAIが生み出されると信じています」とクルーン氏は語った。 彼の目標は「人類にとって可能な限りその開発を進めようとすること」だと彼は語った。 ラッセル氏は、「例えば原子力研究のように、AI研究の取り組みが安全性を第一の目標とするのであれば、AIを停止する必要はないはずだ」と主張した。 もちろん AI は興味深いものであり、研究者は喜んで AI に取り組んでいます。 それはまた、彼らの一部を金持ちにすることも約束します。 そして、私たちが滅びる運命にあると確信している死者は誰もいません。 一般に、人は自分の手で作ったものをコントロールできると考えています。 しかし、今日のチャットボットはすでにずれています。 彼らは改ざんし、盗作し、激怒し、企業メーカーの動機に奉仕し、人類の最悪の衝動から学びます。 これらは魅力的で便利ですが、理解したり予測したりするには複雑すぎます。 そして、それらは研究者が思い描く将来の AI システムよりも劇的にシンプルで、より抑制されたものです。

特異点が存在する可能性があると仮定しましょう。 それを防ぐことはできるでしょうか？ 技術的に言えば、答えは「イエス」です。AI の開発を中止するだけです。しかし、社会的に言えば、答えは「ノー」である可能性が非常に高いです。 調整の問題は難しすぎるかもしれません。 その場合、特異点を防ぐことはできても、防ぐことはできません。

十分に宇宙的な観点から見ると、共存、さらには絶滅さえも何とか大丈夫だと感じるかもしれません。超知能 AI は、私たちの進化における論理的な次のステップかもしれません。人類は、私たちが置き換えられたのと同じように、私たちに代わる何か (または誰かの集合体) を生み出します。私たちのダーウィンの先祖たち。 あるいは、人類が少なくとももう少し長く存続することを望むかもしれません。 その場合、たとえそのような努力が成功する可能性は低いと感じたとしても、私たちは超知能AIの手による滅亡を避ける努力をすべきである。

そのためには、運命の誘惑にどんどん近づいて限界に近づくのではなく、やめ時が来たと感じる前に AI の冷たい七面鳥をやめる必要があるかもしれません。 しかし、すべてを閉鎖するには厳格な措置が必要となるだろう。おそらく、ユドコウスキー氏が最近支持した措置と同じくらい極端な措置さえも必要になるだろう。ユドコウスキー氏は最近、タイム誌の社説で、たとえ米国政府が法廷でさえ「不正なデータセンターを空爆によって破壊することをいとわない」べきだと書いた。 「完全な核交換」を引き起こす危険性がある。

その見通し自体が非常に恐ろしい。 しかし、研究者たちの超知性に対する恐怖は、彼らの好奇心によってのみ克服されるのかもしれない。 シンギュラリティは起こるのか？ それはどうなるでしょうか？ それは私たちに終わりをもたらすのでしょうか？ 人類の飽くなき探究心が、科学とその技術応用をここまで推進してきました。 特異点を阻止できるかもしれませんが、その代償として私たちの好奇心が抑えられることになります。 ♦