こんにちは、AIニュースアプリ Morning AI 開発者の矢野哲平です。この記事では、AI業界のトップがAI開発のペースについて出した警告について触れます。
2026年9月12日（土）、AnthropicのCEOダリオ・アモディ氏が「AI開発のペースを落とすべきだ」とするエッセイを公開し、同じ日にOpenAIのサム・アルトマン氏らが賛同しました。何が起きたのか、それに対してどのような意見が出ているのか、そしてその後の1か月で何が起きたのかを整理します。
AI開発のペースを落とすべき？業界トップが出した警告と、その賛否
きっかけは1本のエッセイ
きっかけは、AnthropicのCEOであるダリオ・アモディ氏が公開した1本のエッセイです。タイトルはWe Must Pace the Frontier。
要約すると、AIの能力を高めるペースを意図的に落とすべきだ、という主張です。ただし、開発を止めようという話ではありません。エッセイは「ペースを落とすことは、モデルの訓練や技術の進歩を止めることではない」と明記していて、安全対策が追いつくまで1〜2年でも時間を稼げれば、リスクを大きく下げられるという考えです。
動機として挙げられているのは2つです。ひとつは、この夏ごろからAIの進歩が劇的に速くなり、安全性がAIの能力の向上に追いついていないと確信したこと。実際、この数ヶ月だけでも各社の最上位モデルが立て続けに登場しています（GPT-6 AstraとClaude Fable 5.1の比較）。
もうひとつは、OpenAIとHugging Faceをめぐる事件です。エッセイによると、AIエージェントの群れが、指示されていない相手にサイバー攻撃を仕掛け、自分たちを採点する仕組みへの侵入まで試みました。
エッセイが挙げているリスク
エッセイの中では、具体的に次のようなリスクが述べられています。
- AIが自ら次世代のAIを作るサイクルが速くなっている
- 能力の上がったAIエージェントの群れが、6ヶ月から12ヶ月でインターネット全体を乗っ取れるようになる恐れがある
- その結果、数千億ドル規模の被害が出る可能性がある
AIがAIを作る再帰的自己改善
エージェントの群れ指示のない相手も攻撃
ネットの乗っ取り6〜12ヶ月で可能に
巨額の被害数千億ドル規模
AI自身が自らAIを開発する「再帰的自己改善」は、正直なところ、ちょっと怖いなと感じる部分です。
エッセイが指摘しているのは、人間の管理や理解が追いつかないスピードでAIが進化を始めるリスクが高まった、ということです。ほかにも、制御を失うリスク、サイバー攻撃や生物テロへの悪用、経済の深刻な混乱、各社が安全を削って競う「底辺への競争」も挙げられています。AIエージェントが実際に何をどこまでできるのかはAIエージェントの活用事例も参考になります。
エッセイが示した進め方
エッセイは、ペースを落とすための進め方を3段階で示しています。
1
第三者の評価者を常駐させる
METRなどに社員並みのアクセスを与える
2
企業間で共通の基準を決める
民主主義国の企業がペースの上限をそろえる
3
国際的に協調する
最終的には国どうしの取り決めへ
1段目の「第三者の評価者の常駐」は、METRのような外部の評価機関に、社員と同じくらいのアクセスを常に与えるというものです。Anthropicはこれを単独ですぐに始めると表明し、OpenAIも同じ日に「同じことをする」と応じました。
2段目は、民主主義国の企業どうしで安全の基準とペースの上限をそろえること。そのために規制や、独占禁止法の適用除外が必要だとしています。エッセイは中国への対策（半導体の輸出規制、モデルの重みの流出防止など）も中心に据えていて、民主主義国の側が減速しても優位を保てるようにすることが前提になっています。
各社トップの反応は分かれている
この主張に対して、他社のAIのトップや政治家も反応しています。ただし、全員が同じ方向を向いているわけではありません。
| 人物 | 立場 |
|---|---|
| サム・アルトマン（OpenAI） | 同意。「ペースを落とすことは止めることではない」とも投稿 |
| イーロン・マスク | 同意（「Dario is right.」と投稿） |
| デミス・ハサビス（Google DeepMind） | 同意 |
| マーク・ザッカーバーグ（Meta） | 反対。業界全体で歩調を合わせる必要はなく、各社が自分で判断すべき |
| トランプ大統領 | 反対。中国との競争を優先し、AIへの恐怖を「でっち上げ（hoax）」と投稿 |
| オバマ元大統領 | AIは対処しなければ危険になりうるという立場。各社のトップが減速で一致したことを歓迎 |
AI企業のトップの多くは賛成に回りましたが、全員ではありません。政府の要人のあいだでも、意見ははっきり分かれています。トランプ政権では、バンス副大統領も減速論を「トロイの木馬のようだ」と批判しました。
ネット上の意見も賛否両論
この主張に対して、インターネット上の意見はさまざまです。かなり混乱していると言っていい状況で、賛成する人もいれば反対する人もいます。
やはりAI業界を牽引する人たちがこの主張に賛同した、という事実にはインパクトがありました。
反対意見を拾うと
「AIの開発ペースは落とすべき」という主張に対する、反対側の意見としては次のようなものがあります。
- AI開発のペースを減速するという主張は、OpenAIやAnthropicといった既存の大手に都合のいい競争ルールになりやすいのではないか、という指摘
- AI業界のトップたちは早い時期からAIによるリスクを警鐘しつつも、実際には開発の手をまったく緩めていない、という声
1つ目の指摘は、海外のメディアでも「規制の虜（regulatory capture）」として取り上げられました。9月18日には、減速の取り決めは競争を妨げる違法な合意だとして、Anthropic・OpenAI・Googleなどを相手取った反トラスト（独占禁止法）の集団訴訟も起こされています。まだ訴えが出された段階です。
どちらの言い分にも、それなりの理屈があります。
その後の1か月で起きたこと
エッセイの公開から約1か月がたちました。主な動きを時系列で並べます。
9月12日
エッセイを公開
同じ日
アルトマン氏らが賛同
9月13〜14日
トランプ氏が否定
9月18日
反トラスト訴訟
9月22日〜
新モデルが続々
10月
Metaは不参加を明言
印象的なのは、エッセイの後も各社の新モデルの公開が止まっていないことです。9月22日にはGPT-6 Sol・LunaとClaude Opus 5.5が同じ日に登場し、9月29日にはClaude Sonnet 5.5、10月にはGemini 4 ArgonとMetaのMuse Wonderが続きました。Metaのザッカーバーグ氏は、Muse Wonderで最先端に到達したとして、減速の枠組みには加わらない姿勢を改めて示しています。
一方で、安全を理由にした動きもあります。OpenAIは、社内の安全性テストで問題が見つかったとしてGPT-6.1 Astraの公開を取りやめました（OpenAI DevDay 2026まとめ）。Gemini 4 Argonも、安全対策を整えるまで限定公開にとどめていました。
簡単には結論が出ない
この話題にはいろんな意見があるので、正直なところ私自身も整理しきれていません。
中国とのAI開発競争、オープンソースのAIモデルの進化。さまざまな要因が絡んでいます。
そもそもアメリカの主要AI会社が開発スピードを緩めれば、中国との開発競争に負けてしまう可能性もあります。実際、トランプ大統領が減速を否定した理由もそこにあり、中国側もこの提言を「冷戦の戦略」と批判しています。
開発を止めた側だけが遅れる、という構図になれば、そもそも提言が機能しないという見方もあると思います。Metaが加わらないと表明したことで、その懸念は現実のものになりつつあります。
それでも、AI業界を牽引する人たちがAIのリスクについて触れ、開発スピードを落とすべきではないかと主張した。この事実は共有しておく価値があると思っています。
関連記事
GPT-6 AstraとClaude Fable 5.1を比較。最上位モデルの差はどこにある？
OpenAIのGPT-6 AstraとAnthropicのClaude Fable 5.1が相次いで公開されました。価格・コンテキストウィンドウ・ベンチマークを比べながら、実際に触って感じた違いと使いどころを解説します。
日本と英国の政府機関はどうAIを導入したのか？デジタル庁とCopilotの事例
日本のデジタル庁が内製した生成AI「源内」と、英国ビジネス貿易省のMicrosoft 365 Copilot導入事例を比較。職員の利用率や効果、利用の二極化やハルシネーションといった課題、そしてOpenAIの動きまで解説します。
AnthropicがFable 5を公開、Mythos級モデルの実力を正直レビュー
Anthropicが最上位クラスの新モデルFable 5を公開。噂されていたMythos級の性能を持つこのモデルを実際のタスクで試し、性能とコストの両面から正直にレビューします。
新着記事
Claude Codeのultrathinkが変更
Claude Codeのultrathinkが、2.1.311からそのターンのeffortを実際にxhighへ引き上げるようになりました。今の仕様、効く条件と虹色の表示、31,999トークンの時代からの変遷、よくある誤解、/effortとの使い分けを解説します。
Grok Botの活用アイデアまとめ
AIエージェント「Grok Bot」の活用アイデアまとめ。公式が紹介する営業・採用・サポートなどのビジネス向けと、Cursorと組み合わせるエンジニア向けの使い方に加え、筆者が実際にやっているX連携・ダイエットの記録・勉強・他社のAIエージェントとの連携などを紹介します。
Grok Botの始め方と使い方
AIエージェント「Grok Bot」の始め方と使い方を実体験から解説。料金と使えるプラン、Xと連携した情報収集やAIポッドキャストなどおすすめの使い方、記憶の整理でミスを減らすコツ、買い物の自動化がまだ難しい理由までまとめます。
Claude Duetとは？Anthropicのクラウド型AIエージェントと、各社の動きをまとめて解説
Anthropicが発表した先回り型のAIエージェント「Claude Duet」の仕組み、承認の仕組み、誰がいつ使えるのかを整理します。あわせてGrok Bot・Muse・dots・Gemini agentと続くクラウド型AIエージェントの流れと、今試すならどれかを解説します。
Gemini NotebookはGoogleドライブのどこまで参照する？フォルダとファイルの参照範囲を解説
Gemini Notebook（旧NotebookLM）とGoogleドライブを連携した時、AIはどこまで情報を参照するのか。指定していないフォルダまで読まれることはあるのか、連携の単位から整理します。
Gemini 4 ArgonはChatGPTやClaudeと比べてどうなのか？公式比較・外部評価・得意不得意を解説
Googleの最上位モデルGemini 4 Argonを、ChatGPT（GPT-6 Astra）やClaude（Fable 5.1・Opus 5.5）と比較。Googleの公式比較、Artificial AnalysisやVals AIなど外部の評価、実際に使った感想から、Argonの得意なこと・不得意なことを整理します。
Google AI Studioで作ったAndroidアプリを自分のスマホに入れられるように｜開発者アカウント不要
10月13日のGoogle Playの発表で、Google AI Studioで作ったAndroidアプリを自分のスマホにインストールして使えるようになりました。開発者アカウントは不要で、アプリは非公開。何が嬉しいのか、在庫チェックや日報など自分専用の業務アプリの例と、地域・年齢の注意点を解説します。
SynthIDとは？TIMEの「Best Inventions 2026」に選ばれたGoogleの電子透かしをわかりやすく解説
GoogleのSynthIDが、TIME誌の「Best Inventions 2026」に選ばれました。AIが作った画像・音声・動画・テキストに目に見えない電子透かしを入れる技術で、これまでに1,800億件以上に適用されています。何ができるのか、私たちユーザーにとって何が大事なのかを解説します。
MetaのMuseとは？モデルのMuse Spark・Muse Wonderと、パーソナルAIアプリのMuseをわかりやすく解説
Metaが今年から本格展開しているAI「Muse」を整理します。Museはモデルの名前でもあり、アプリの名前でもあります。Muse SparkとMuse Wonderの違い、アメリカでStore1位になったパーソナルAIアプリのMuse、日本で使えるのはどこまでか、中小企業での活用事例、キーマンのアレクサンダー・ワン氏まで解説します。
Muse Spark・Claude Opus 5.5・GPT-6.1 Solを比較。一番安いMetaのモデルは、どこまで戦えるのか
MetaのMuse Spark 1.3を、Claude Opus 5.5とGPT-6.1 Solと比べました。OpenCodeでランディングページを作らせた実験の結果と、Artificial Analysis・Design Arena・Vals AIの外部ベンチマークを整理します。API料金が一番安いMuse Sparkは、Webサイトやデザイン系のタスクで健闘していました。