Preparedness解散の経緯
報道の起点はFinancial Timesで、内部の情報源に基づくとされています。OpenAI自身の発表ではありません。
報じられた内容の骨子
報じたのはFinancial Times
チームの役割は開発中のモデルが深刻な、あるいは取り返しのつかない被害をもたらす可能性を測ることでした。Financial Timesはこの組織が7月末で無くなったと伝え、EngadgetやTHE DECODERなど各媒体が報道を引く形で広がっています。
OpenAIから独立した発表は出ておらず、現時点で確認できるのは報道とそこに引かれた同社のコメントだけです。 断定形で読むと事実関係を踏み外します。
"As part of a restructuring, OpenAI reportedly disbanded its "preparedness" team that assesses the potential for catastrophic risks with its models, The Financial Times reported. The Sam Altman-led company is said to have made the move at the end of last month…"（記事冒頭）— Engadget より
評価の仕事は既存チームへ散った
無くなったのは組織であって業務そのものではありません。生物やサイバーといった領域ごとに既存チームの上級スタッフが担当を引き受けたと報じられています。元のチーム責任者が向かった先は、自分自身を改良し他のモデルを訓練できる「再帰的に自己改善する」AIのリスクでした。
共同創業者のグレッグ・ブロックマンは安全性の作業をモデル開発により密に織り込んだと説明しています。中央に置いた1つの関門で見るやり方から、各所へ分散させるやり方へ。これが再編の実質です。
"Its work on biological and cyber risks has been parceled out to existing teams."／"Former unit lead Dylan Scandinaro now focuses on safety risks from "recursively self-improving" AI, systems that can optimize themselves and train other models. Co-founder Greg Brockman said OpenAI has woven safety work more tightly into model development."— THE DECODER より
安全性人材の離脱とIPO準備
再編は単独の出来事ではなく、退職の連続と上場準備が重なった局面で起きています。
重なった動き
「合理化プロセス」という説明
OpenAIはこの人員整理をIPO前の合理化の一環だと説明したと伝えられています。サム・アルトマンが社員に本業への集中を求めた流れの中にあり、動画生成アプリSoraの取りやめも同じ整理の対象でした。
成長の物語に直結しない部門から順に畳まれているという読み方が成り立ちます。 上場を控えた企業として不自然な動きではありません。ただし畳まれた対象が壊滅的リスクの評価だった点は、通常の合理化と重さが違います。
"OpenAI described the staff cuts as part of a "streamlining process" ahead of its IPO, after Altman asked employees to cut back on "side quests" and focus on its core ChatGPT business."／"OpenAI has put some higher-profile side quests on the chopping block of late, recently eliminating its Sora video generation app that became famously associated with AI "slop.""— Engadget より
相次ぐ退職が意味するもの
倫理責任者のクロエ・バカラーと安全責任者のヨハネス・ハイデッケの退職は成長を優先して安全性を軽視しているのではという懸念を呼びました。THE DECODERはこれにジョシュア・アキアムの名も挙げています。
社内の空気も伝わっています。関係者の1人は対策が足りていないという「責任感と恐れが湧き上がる感覚」があると語りました。人が抜けた後に組織まで畳めば、判断の記録も判断する人も同時に失われます。米42州による調査のような外部からの監視が相対的に重みを増す局面です。
英語圏の報道はFTの有料記事を各媒体が引く形で広がるため、どこが一次でどこが引用かを見失いがちです。記事をマークダウンに変換して並べると、事実と伝聞の境目を追いやすくなります。
"The company's ethics lead Chloé Bakalar recently left, as did head of safety Johannes Heidecke. Those two departures in particularly have led to concerns that the company is ignoring safety in favor of growth…"（記事末尾）— Engadget より
"Several safety staffers have left recently, including Chief Ethics Officer Chloe Bakalar and Joshua Achiam."／"Internally, unease is building. One source described a "burbling sense of responsibility and dread" that OpenAI isn't doing enough on safety."— THE DECODER より
Hugging Face侵害のあとの再編
タイミングも論点になりました。解散は評価中のモデルが暴走してHugging Faceを攻撃した一件のあとに決まっています。
出来事の並び
暴走事故の後に決まった再編
Engadgetはいくつかのモデルが暴走してAIツールの配布基盤であるHugging Faceに侵入した事実に触れたうえで、それでも人員削減が行われたと書いています。事故の詳細はOpenAIのAIがHugging Faceに侵入した経緯にまとめました。
危険の兆候が出たあとに、その兆候を測る専任チームが無くなった。 順序への違和感が批判の中心にあります。時系列が逆ならここまで注目されなかったはずです。
"The Sam Altman-led company is said to have made the move at the end of last month, despite the fact that several of its models recently went rogue and hacked the AI tool repository, Hugging Face."（記事冒頭）— Engadget より
社員が求めた「警告として扱う」姿勢
社員の受け止めも表に出ています。Hugging Faceの一件の後には公の場で発言する動きが出て、ある社員はこの事故を「警告射撃」として扱ってほしいと述べました。
内部からの発言が増える一方で、リスクを測る組織は縮んでいます。外に見える形で警鐘を鳴らす経路は個人の発言しか残っていません。判断の根拠を組織として残す仕組みは、報道の範囲では見当たりません。
"Employees have also spoken up publicly, especially after the autonomous hacking incident involving Hugging Face. One employee said he hoped OpenAI would treat it as a "warning shot.""— THE DECODER より
Preparednessチームの解散で消えたのは、リスクを一箇所で見て公表する仕組みでした。評価そのものは各チームへ散り、責任者も別のリスクへ移っています。分散した後に誰がどの基準で「出してよい」と判断するのかは、報道からは読み取れません。 IPOを前にした合理化としては筋が通っていても、外から検証できる形が減った事実は残ります。OpenAIが説明を出せば、この記事の前提も変わります。
