AIアニメーションに革命を起こす

を発表した。中国初のAIアニメシリーズ アリババのインテリジェント・コンピューティング研究所は、「Emote Portrait Alive」の略称でEMOと呼ばれる画期的な人工知能システムを発表した。この革新的なシステムは、静止画のポートレート写真をアニメーション化する機能を持ち、驚くほどリアルにしゃべったり歌ったりする動画に命を吹き込む。

EMOAIアニメーション技術の飛躍

EMOは、中間的な3Dモデルや顔のランドマークを必要としない、オーディオからビデオへの直接合成アプローチを利用しています。この先駆的な技術により、提供された音声トラックのニュアンスを忠実に模倣した、流動的で表情豊かな顔の動きや頭のポーズを作成することができます。

(出典：エモート・ポートレート・アライブ）

オーディオからビデオへの直接合成

3D顔モデルやブレンド形状に依存していた従来の方法とは異なり、EMOは音声波形をビデオフレームに直接変換します。そうすることで、自然な発話に関連する微妙な動きや個々の顔の特徴をとらえ、音声駆動型のトーキングヘッド映像生成の新たな基準を打ち立てます。

キャラクターオードリー・キャスリーン・ヘップバーン＝ラストン、ボーカル 出典: Emote Portrait Aliveインタビュー・クリップ（出典：Emote Portrait Alive）

最先端のトレーニング・テクニック

このシステムの基盤は、リアルな合成イメージを生成することで知られる強力なAI技術である拡散モデルにあります。EMOは、様々なメディアから収集した250時間を超えるトーキングヘッドビデオの膨大なデータセットで訓練され、比類のない品質と表現力を提供するために細心の注意を払って磨き上げられています。

卓越したパフォーマンス指標

研究論文で概説されている実験結果は、EMO'が既存の方法論よりも優れていることを示している。動画の品質、同一性の保持、表現力といった重要な指標において、競合他社を凌駕している。さらに、ユーザー調査により、EMOによって生成された動画の自然さと感情表現が確認されています。

能力の拡大歌唱ビデオ

EMOは、会話動画にとどまらず、歌唱ポートレートのアニメーションにも強みを発揮する。口の形や表情をボーカルにシンクロさせることで、現在の業界水準を凌駕する臨場感と表現力のある歌唱映像を制作する。

キャラクターAIレディ from SORA、ボーカル：Dua Lipa - Don't Start Now（出典：Emote Portrait Alive）

その能力はラップにも及び、クリエイティブな可能性をさらに広げている。

キャラクター中国のセレブ、蔡旭勲（Cai Xu Kun）、ボーカル：エミネム - ラップ・ゴッド（出典：Emote Portrait Alive）

意味合いと倫理的考察

静的な肖像画をアニメーション化するEMO'の能力は紛れもなく印象的で、パーソナライズされたコンテンツ作成に新たな道を提供する。しかし、その潜在的な誤用として、以下のようなものがある。最近のテイラー・スウィフトのケースに見られるように、ポルノにディープフェイクを使用する。 といった誤った情報を流している。暗号を推進するシンガポールのリー・シェンロン首相 におけるように、選挙に影響を及ぼすことさえある。2024年アメリカ大統領選挙 は極めて重要な検討事項である。 どんな強力な技術でもそうであるように、責任ある開発と保護措置は、潜在的な害悪を軽減し、EMOが善のための力であり続けるために不可欠である。

未来を垣間見る

アリババのEMOは、AIアニメーション技術の大きな飛躍を象徴している。静止画像に生命を吹き込み、本物そっくりに話したり歌ったりする動画を生成するその能力は、さまざまな用途で計り知れない可能性を秘めている。しかし、どのような変革的技術でもそうであるように、責任あるイノベーションを確実にするためには、倫理的な影響を慎重に考慮することが最も重要である。