ダリオ・アモディAIセキュリティチームは、Sam Altmanのいくつかの行動で成長していました。 2019年にMicrosoftのOpenaiがインクになった直後に、彼らの多くは、AltmanがMicrosoftで行った約束の限界を発見するためにun然としました。取引の条件は、彼がAltmanから理解したものと一致しませんでした。 AIセキュリティの問題が実際にOpenaiのモデルで発信されている場合、彼らはモデルの展開を防ぐために心配しています。不可能ではないにしても、それはより困難になります。 Amodeiの条件は、Altmanの誠実さについて深刻な疑念を抱き始めました。
「私たちは皆実用的な人々です」とグループの人は言います。 「私たちは明らかにお金を集めています。私たちは商業用品をするつもりです。あなたがサムのような取引の重みを作る人であるなら、それは非常に適切に思えるかもしれません。そして、もしあなたが私のような人なら、あなたはあなたのようです、「私たちは私たちが完全に理解していない何かのビジネスをしています」。それは私たちを不快な場所に連れて行くようです。
それは、会社のさまざまな問題に関するペースの高まりを背景にしたことでした。 AIセキュリティチーム内では、強力な間違ったシステムが破壊的な結果につながる可能性があると彼が強化する証拠として見たという事実に焦点を当てていました。特に奇妙な経験により、それらの多くが緊張していました。 2019年、GPT 2の後に訓練されたモデルの多数のパラメーターを使用して、研究者のグループがAmodiが望んでいたAIセキュリティ作業を追求し始めました。人間の反応から強化をテストして学習をテストする（RLHF）は、モデルを陽気でポジティブな素材を生成し、積極的なものから遠く離れていることを導く方法です。
しかし、深夜、研究者は、RLHFプロセスを一晩離れる前に、彼のコードに単一のタイプミスを含むアップデートを作成しました。このタイプミスは重要でした。それは、RLHFプロセスの逆に機能するプラスのサインに反転したマイナスサインでした。 もっと 低い代わりに攻撃的な材料。翌朝までに、TypoはHavocを破壊し、GPTと2はそれぞれのプロンプトが非常に醜くて性的に明確な言語で各プロンプトを完成させていました。それは陽気でした – さらに関連していました。エラーを特定した後、研究者はOpenaiのコードベースをコメントで修正にプッシュしました。ユーティリティを最小限に抑えないでください。
スケーリングだけでより多くのAIの進歩をもたらす可能性があるという感覚の燃料の中で、多くの従業員は、異なる企業がOpeniの謎を持っている場合に何が起こるかを心配しています。 「私たちの商品の仕組みがご飯の発疹にどのように書かれるかの秘密」と彼らはお互いに言います。 規模、このため、彼らは悪い俳優の手に強力な能力の着陸を心配していました。リーダーシップはこの恐怖に屈し、しばしば中国、ロシア、北朝鮮の脅威を高め、アメリカの組織の手に渡るAGI開発の必要性を強調しました。多くの場合、これはアメリカ人ではない従業員をランク付けしました。昼食時に、彼らはなぜそれがアメリカの組織であるべきなのか疑問に思うでしょうか？元従業員は覚えています。なぜヨーロッパではないのですか？なぜ いいえ 中国からの1つ？
これらの主要な議論の中で、哲学者は、AI研究の長期的な意味について、多くの従業員がしばしばオープンとマンハッタンのプロジェクトの間のアルトマンの初期の直mileに戻りました。 Openiは実際に核兵器に匹敵していましたか？彼がこのように大規模な学術組織として作った奇妙で理想主義的な文化とは奇妙な対照でした。金曜日に、従業員は音楽とアルコールの夜のために長い数週間後にキックバックします。彼は、深夜のオフィスのピアノの回転するアーティストのなだめるような音を見ます。