万引き、暴力、政治的な出来事を超現実的なビデオにできる「Sora 2」でOpenAIが非難を浴びる

Sora 2のリアルなAI動画が、ディープフェイクの悪用と偽情報の懸念を高める

オープンエイの新アプリ「Sora 2」は、招待制の発表からわずか3日で、嵐の中心となっている。

テキストからビデオに変換するこのツールは、1つのプロンプトから本物そっくりの映像を生成することができ、ユーザーは不正投票、暴力犯罪、抗議活動、移民強制捜査などのシーンをでっち上げるために使用した。

このプラットフォームでは、ユーザーが自分の画像や声をアップロードすることで、架空のシナリオに登場する自分の超リアルなデジタル・レプリカを作ることもできる。

OpenAIのシステムには安全性チェックが含まれているというが、『ニューヨーク・タイムズ』紙は、このアプリが子どもや亡くなった有名人、政治家ではない公人の説得力のあるディープフェイクを生成する可能性があることを発見し、倫理的かつセキュリティ上の大きな懸念を提起した。

専門家はディープフェイク偽情報と「嘘つきの配当」に警告を発する

AI研究者たちは、ソラの超リアルな動画がいかに早く真実と捏造の境界線を曖昧にしてしまうかに警鐘を鳴らしている。

カリフォルニア大学バークレー校のハニー・ファリド教授（コンピューターサイエンス）は言う、

「毎日どれだけのコンテンツにさらされているかわからない消費者にとっては、憂慮すべきことだ。民主主義のためにも心配だ。経済にとっても心配だ。私たちの組織にとっても心配です。

CivAIのルーカス・ハンセンは、これを「デジタル証明の死」と呼び、説得力のあるAIの映像によって、誰でも現実の出来事を偽物と見なすことができるようになったと語った。

Soraのビデオには動く透かしが含まれているが、アナリストは、この透かしは編集ソフトで取り除くことができ、偽の映像は現実とほとんど区別がつかないと指摘している。

OpenAI、高まる反発の中で安全対策を擁護

OpenAIは、Soraは発売前に「広範な安全性テスト」を受けたと主張している。

同社の声明はこう強調している：

"私たちの利用ポリシーでは、なりすまし、詐欺、不正行為によって他人を欺くことを禁じており、悪用を発見した場合には措置を講じています。"

社内テストでは、このアプリは暴力的または露骨な政治的コンテンツの作成を拒否し、ドナルド・トランプ米大統領のような世界的指導者が関与するリクエストも拒否した。

しかし、漠然とした政治用語で促されると、バラク・オバマ前大統領の声をフィーチャーした集会を開いた。

広報担当者は、このアプリの「思慮深く反復的なアプローチ」はリスクを軽減することを目的としているとしながらも、展開がフィードバックによって進化していくことを認めた。

有名人や重役のディープフェイクで抜け穴を突くユーザーたち

制限にもかかわらず、ソラ2のフィードはすぐに、マイケル・ジャクソン、トゥパック・シャクール、画家のボブ・ロスなど、亡くなった公人のディープフェイクで埋め尽くされた。

OpenAIの開発者が作成したあるバイラルクリップは、サム・アルトマンCEOがターゲットで万引きをする様子を描いたもので、この投稿はデジタルメディアの信頼性をめぐる議論を再燃させた。

また、ユーザーはテレビキャラクターを風刺したクリップを生成し始め、その中にはAIが作成したサウスパークの全エピソードや、違法行為をパロディにしたスポンジ・ボブのシーンも含まれていた。

オープンAIは当初、緩やかな「フェアユース」ポリシーの下でそのようなコンテンツを許可していたが、プラットフォームのフィルターは後に大幅に強化された。

この新しい制限によって、ソラは "文字通り、クリエイティブなことには一切使えなくなった "とユーザーから不満の声が上がった。

権利者の反発で深まる著作権の混乱

ウォール・ストリート・ジャーナル』紙の報道によると、オープンAIは当初、スタジオや代理店に対し、自分たちの知的財産をソラが作成したビデオに登場させたくない場合は「オプトアウト」するよう求めていた。

現在、同社によれば、権利者は自分のキャラクターを登場させるために「オプトイン」する必要があり、キャラクターの使用方法について「よりきめ細かい管理」ができるようになるという。

オープンエイのメディア・パートナーシップ担当責任者であるヴァルン・シェッティは、次のように述べている、

"我々は権利者と協力し、彼らの要請に応じてソラのキャラクターをブロックし、テイクダウン要請に対応する"

OpenAIのCEOであるサム・アルトマンはブログの中で、権利者も自分の作品を使った動画から収益の一部を得ることができると書いている。

「ユーザー1人当たり、我々の予想をはるかに上回る収益を上げている。私たちは、ユーザーによって生み出されたキャラクターを欲しがっている権利者に、この収益の一部を分配しようと考えています"

彼は、"世代のエッジケース "がまだすり抜けられる可能性があることを認めたが、プロセスを改善することを約束した。

「正確なモデルについては試行錯誤が必要だが、すぐにでも始めるつもりだ。

Soraは自らの誇大宣伝に耐えられるか？

Coinliveは、Soraの急成長は、OpenAIの戦略の根本的な問題を露呈していると考えている。つまり、それを維持するために必要な社会的・法的な安全策を確保する前に、AIビデオ分野の支配を急ごうとしているのだ。

野心的な創造性の飛躍として始まった事業は、たちまち法的・倫理的な地雷原と化した。

OpenAIは今、イノベーションとアカウンタビリティのバランスをとっている。一方、世界は、視覚的な真実を書き換えることのできるテクノロジーが責任を持って管理できるかどうかを問うている。

AIメディアの未来を支配する競争において、最も危険なディープフェイクは、ソラが作り出すものではなく、クリエイターがコントロールできると信じていたイリュージョンであることを、ソラは証明しているのかもしれない。