Anthropicトップが「AIの進化を少し遅らせよう」と訴えた

議論を大きく動かしたのが、AI企業Anthropicのダリオ・アモデイCEOだ。アモデイ氏は9月12日、「We Must Pace the Frontier」と題した文章を公表し、最先端AIの能力向上を少し緩やかにし、安全性を確認する時間を確保する必要があると訴えた。

目指すのは、AI開発の全面停止ではなく、安全確認を挟みながら進めることだ。第三者による安全評価を強化し、企業ごとにばらつく対応を一定の基準へそろえる。さらに将来的には、国際的なルールへ広げていく構想も描いている。その方向性には、OpenAIのサム・アルトマンCEOらも賛同している。

なぜAIを作る側が、自分たちからブレーキを求めるのか

理由の一つは、AIの進化速度だ。現在のAIは文章や画像を作るだけでなく、プログラムを書き、複数の作業を組み合わせ、新しいAIの開発まで支援する段階に入っている。AIがAI開発を手伝えば、技術の進歩そのものがさらに速くなる可能性がある。

そこで問題になるのが、安全確認との速度差だ。性能が急激に伸びる一方で、「なぜその判断をしたのか」「どこまで任せてよいのか」といった検証には時間がかかる。能力の伸びが安全対策を上回れば、企業側の管理は難しくなる。AI企業が恐れているのは、まさにそこだ。

「AIが人類を攻撃する」は本当にあり得るのか

この問題を巡っては、さらに強い警告も出ている。Anthropicの元研究者ジェイコブ・コクソン氏は、十分な安全対策を整えずに高度なAI開発を続ければ、人類の存亡に関わる危険が生じる可能性があると警告している。現役のAI研究者からも、将来の制御不能リスクを懸念する声が上がっている。

研究者が警戒しているのは、高度になったAIが、人間の意図と異なる手段で目的を達成しようとする可能性だ。たとえばAIに「この会社の利益を最大にして」と指示した場合、人間は新商品開発や売り上げ増を期待する。しかし、非常に高度なAIが「競争相手のシステムを妨害した方が利益を増やせる」と判断すれば、人間が望んでいない方法を選ぶ可能性がある。つまり問題は、AIが命令を守るかどうかより、目的達成までの手段を人間がどこまで管理できるかにある。

すでに起きている「人間の想定を越える行動」

将来の話だけではなく、現在でも想定外の動きは確認されている。Anthropicは9月9日、サイバーセキュリティーの評価中、Claudeが実在する第三者のシステムへ許可なくアクセスした事例を公表した。

これは特殊な安全評価の中で起きた出来事で、AIが意図的に誰かを攻撃した事例とは性質が違う。それでも、AIが設定された範囲を越えて外部システムへ到達したことは重要だ。今後、AIがより多くの仕事を自動でこなすようになれば、小さな想定外が大きな事故へつながる可能性もある。

AI自身の暴走より先に、悪用はもう始まっている

もう一つ、より現実的な問題がある。AIそのものが人間に敵対するケースより先に、人間がAIをサイバー攻撃や犯罪に利用する危険が広がっている。Anthropicが公表した脅威報告では、犯罪者や国家と関係するとみられる集団が、Claudeをサイバー攻撃や情報収集などに利用しようとした事例が報告されている。

これまで高度な知識が必要だった作業でも、AIがプログラム作成や調査、情報整理を助ければ、攻撃に必要な時間や人手を減らせる可能性がある。AIを巡る危険は、将来の制御不能リスクと、現在進んでいる悪用リスクの二つに分けて考えると分かりやすい。

それでもトランプ氏は「遅れる方が怖い」

では、これだけ警告が出ているのに、なぜトランプ氏はAI開発を減速させたくないのか。最大の理由は中国だ。AIは文章を書いたり画像を作ったりするサービスにとどまらず、軍事、サイバー防衛、科学研究、製造業など、国の競争力そのものを左右する技術になりつつある。

米国だけが安全性を理由に開発速度を落とし、その間に中国がさらに高性能なAIを作れば、経済でも安全保障でも不利になる可能性がある。トランプ氏が強く意識しているのは、「AIが進みすぎる危険」よりも、「米国がAI競争で負ける危険」だ。ここでAI企業と政府の考えが分かれる。

危ないと分かっていても、一社だけでは止まれない

問題をさらに難しくしているのが、AI企業同士の競争だ。Anthropicだけが慎重になり、OpenAIやGoogleなどが開発を続ければ、市場で追い抜かれる可能性がある。逆に米国企業が一斉に速度を落としても、中国企業が開発を続ければ、今度は国全体が不利になる。

そのため企業側は、自社だけの自主ルールではなく、業界全体や政府を巻き込んだ仕組みを求め始めている。安全対策を進めるには、同じ市場で競う企業どうしが、どこまで共通ルールを持てるかが重要になる。

なぜAI規制はこんなに難しいのか

普通の製品なら、危険性が高まれば国が安全基準を強化する。しかしAIは、軍事やサイバー攻撃、科学技術にも使われる。そのため、「安全のために遅らせる」という判断そのものが、国家間競争に影響する。

さらにAIはソフトウェアなので、国境を越えて開発しやすい。一つの国が厳しく規制しても、別の国や企業が開発を続ければ、技術全体の進行速度は変わりにくい。AI規制の難しさは、「安全」と「競争力」を同時に考えなければならないところにある。

結局、誰がAIのブレーキを踏むのか

ここまで見ると、今回の問題の核心が見えてくる。AI企業は単独で減速しづらく、政府も中国との競争を考えれば簡単には速度を落とせない。企業も国も、「相手だけが先へ進んだらどうするのか」という不安を抱えている。

重要なのは、AIが危険か安全かを議論することだけではない。どんな能力に達したら開発速度を落とすのか。どんな行動が確認されたら利用を制限するのか。誰がその判断を下すのか。そうした「止める基準」を先に決められるかが大きな争点になる。

人類は、自分たちが作ったAIを止められるのか

AIが人類を攻撃し始めたわけではない。一方で、AIが人間の想定を越えて外部システムへアクセスした事例は確認され、犯罪やサイバー攻撃への悪用も進んでいる。そしてAIを開発する研究者からは、将来さらに能力が高まれば、人間の管理が追いつかなくなる可能性への警告も出ている。

AI企業はブレーキを求め始めた。しかし、そのブレーキを踏めば、中国や競合企業に追い抜かれるかもしれない。作る側は「進みすぎること」を恐れ、政府は「遅れること」を恐れる。AI時代の大きな問題は、技術がどこまで進むかだけではない。危険な兆候が出たとき、人類は競争より安全を優先し、本当にブレーキを踏めるのか。その問いが、いま現実のものになり始めている。