InfiniteTalk は、オーディオ主導のビデオ ダビングおよび画像からビデオへのキャラクター アニメーションのための Meituan のオープンソース研究フレームワークです。コア機能はスパースフレームビデオのダビングで、口だけを編集するのではなく、体全体の動きを編集します。無制限の長さの生成とストリーミング推論をサポートします。

InfiniteTalk の完全なレビュー

コアパラメータと統計

プロジェクト	仕様
製品のポジショニング	音声主導のスピーキングビデオ生成のための研究フレームワーク
開発庁	Meituan Meigean AI
オープンソース ライセンス	Apache-2.0
コアテクノロジー	スパースフレームビデオダビング + ストリーミング推論
入力方法	映像＋音声（吹き替え）／映像＋音声（キャラクターアニメーション）
出力品質	480P/720P
推論パフォーマンス	シングル GPU / マルチ GPU / 低メモリ / 量子化
世代の長さ	無制限 (フロー推論、理論上長さの上限なし)

ユーザーと市場の認識

InfiniteTalk は、オーディオ駆動のキャラクター アニメーションの分野における Meituan の重要なオープンソース貢献です。市場に出回っているほとんどの「口だけ」のデジタル ヒューマン ソリューションとは異なり、InfiniteTalk はスパース フレーム ビデオ ダビングのアイデアを採用しており、口の領域を編集するだけでなく、体全体の動きも編集します。これは、生成されたビデオが「口が動いている」だけではなく、頭の姿勢、体の動き、ジェスチャーなどを含む「人全体が動いている」ことを意味し、音声コンテンツと連動しています。

宣伝検証: 「無限長生成」の「無限」は理論的には確立されています (ストリーミング推論には長さの上限がありません) が、実際の使用では、長いビデオの意味的一貫性とアイデンティティの一貫性は時間の経過とともに減衰します。 30 秒のビデオを 5 分に延長すると、品質の低下の程度はコンテンツとシーンの複雑さに依存します。

コストメリット

コードとモデルの重みが公開されているオープンソースの研究プロジェクト (Apache-2.0)。公式声明では、生成されたコンテンツは学術用途のみを目的としており、商用利用にはライセンス条項の確認が必要であると述べられています。実際の使用コストは主に GPU 推論リソースです。720P 生成にはより多くのグラフィックス メモリが必要ですが、プロジェクトでは量子化と低グラフィックス メモリ モードを提供してしきい値を下げます。

無料の真実: Apache-2.0 はオープンソースであり、モデルの重みもダウンロードできるように公開されています。ただし、プロジェクトの公式ページには、生成されたコンテンツは学術目的のみであることが明確に記載されています。商用利用が必要な場合は、ライセンスの境界をご自身で確認する必要があります。さらに、720P 推論には少なくとも 16 GB のビデオ メモリが必要であり、個々の開発者は依然としてクラウド GPU をレンタルする必要がある場合があります。

主な機能

• スパースフレームビデオダビング: 既存のビデオと新しいオーディオを受信し、オーディオとビデオが同期された新しいビデオを出力します。口だけを置き換える従来の方法とは異なり、InfiniteTalk は、顔の表情、頭の動き、体の姿勢、さらには背景の一貫性を含むビデオ フレーム全体を編集します。
• 画像からビデオへのキャラクター アニメーション: キャラクターの画像 + 音声から、キャラクターの会話/パフォーマンスのビデオを生成します。入力は、現実の写真から AI によって生成された仮想キャラクター、または漫画の画像にすることもできます。
• 長さ無制限のストリーミング生成: ストリーミング推論と時間コンテキスト フレーム メカニズムを通じて、理論的には任意の長さのビデオを生成できます。各セグメントの終了フレームは、セグメント間のスムーズな移行を保証するために、次のセグメントのコンテキストとして自動的に使用されます。
• 低メモリに優しい: 定量的および低メモリ推論モードをサポートしているため、リソースが限られている開発者でも実験を実行できます。

モデルとバージョンの進化

メインライン リリース

• ~2026-06: InfiniteTalk がオープン ソースとして初めてリリースされ、ビデオ ダビング、画像からビデオへの変換、ストリーミング推論、および低メモリ推論のサポートが提供されます。

技術的な利点

• アルゴリズムの最適化: 応答速度と結果の品質のバランスを達成するために、対応するシナリオに対してモデルまたはアルゴリズム レベルで特別な最適化が実行されています。
• 低遅延アーキテクチャ: ストリーミングまたは非同期処理アーキテクチャを採用してユーザーの待ち時間を短縮し、高頻度の対話シナリオに適しています。

使い方

1. GitHub リポジトリ (https://github.com/meigen-ai/InfiniteTalk) にアクセスしてコードをダウンロードします。
2. Python コンテキストを構成し、事前トレーニングされたモデルをダウンロードする
3. モードを選択します: ビデオダビング (入力ビデオ + オーディオ) または画像からビデオ (入力画像 + オーディオ)
4. 推論スクリプトを実行します: python infer.py --mode dub --input video.mp4 --audio speech.wav
5. オプション: 低メモリ モードまたは量子化モードで実行します。

製品の価格設定

プロジェクト	説明
コードライセンス	Apache-2.0 オープンソース
モデルの重み	パブリックダウンロード（学術利用）
商用利用	ライセンス条項が必要です
APIサービス	提供されていません

人間とマシンのコラボレーションの境界: 100% 自動化: オーディオ主導のフルボディ ビデオ生成、ストリーミング推論による長時間のビデオ スティッチング。手動介入が必要です: リップシンクの精度、生成された結果の受け入れ、ビデオの背景の一貫性、およびキャラクターのアイデンティティの一貫性サンプリング。公開する前に、ビデオ コンテンツをセグメントごとに確認することをお勧めします (特に 2 分を超える長いビデオ)。

アプリケーションのシナリオ

• ビデオの吹き替えと翻訳: 既存のスピーキング ビデオを別の言語または別の文字の吹き替えに置き換え、元のビデオのキャラクターの動きと背景の一貫性を維持します。ビデオコンテンツの多言語ローカリゼーションに適しています。
• キャラクター アニメーション コンテンツ制作: キャラクターの絵と音声から完全なスピーキング/パフォーマンス ビデオを生成します。モーション キャプチャ機器や 3D モデリングの必要性から、1 枚の画像 + 音声まで、バーチャル アンカーやデジタル ヒューマン コンテンツのバッチ制作に適しています。
• 研究目的のデジタル人体実験: オーディオ主導のキャラクター アニメーション、長時間のビデオ生成の一貫性、マルチモーダル アライメントなどを研究します。

該当する人

• コンピュータ ビジョン研究者: オーディオ駆動アニメーション、ビデオ生成、デジタル ヒューマン関連分野に従事する研究者。
• バーチャル コンテンツ クリエイター: トーキング ビデオをバッチ生成する必要があるデジタル ヒューマン クリエイターは、InfiniteTalk のオープン ソースの性質により、API コストとサードパーティ プラットフォームの制限を回避できます。
• AI ビデオ アプリケーション開発者: 音声ビデオ生成機能を自社の製品またはサービスに統合する開発者。

概要と展望

InfiniteTalk の技術的ルートであるスパース フレーム全身ビデオ ダビングは、デジタル ヒューマンの分野における「口だけの」ソリューションに代わる手段を提供します。生成されるビデオはより自然で完全ですが、全身編集はより難しく、計算コストも高くなります。オープンソース プロジェクトとして、研究コミュニティに高品質で再現可能なベースラインを提供します。商用 API をバイパスして独自のデジタル ヒューマン生成機能を構築したいチームにとって、これは検討する価値のあるオープンソース ソリューションです。

現在の制限事項: Meituan は内部チームによって保守されており、非営利製品であり、技術サポート チャネルはありません。全身編集の計算オーバーヘッドは口だけのソリューションよりも高く、リアルタイム生成はまだ実現可能ではありません。複雑な背景や複数人のシーンで生成されたビデオのパフォーマンスを検証する必要があります。

シナリオの中止: 要件がソーシャル メディア用の話し言​​葉ビデオを迅速に生成することである場合、InfiniteTalk の展開および構成コスト (自己構築環境、モデルのダウンロード、パラメータのデバッグ) が、商用 API (HeyGen、D-ID) を直接使用する利便性を超える可能性があります。オープンソース ソリューションの価値は主にカスタマイズとバッチ シナリオにあります。

隠れたメリット: 独自のデジタル ヒューマン ビデオ パイプラインを構築したいチームにとって、InfiniteTalk のオープンソース Apache-2.0 プロトコルにより、コードに基づいた商用変換と二次開発が可能になり、API への依存やサードパーティ プラットフォームでの従量課金を回避できます。

関連ツール: runway、pika

バージョン情報

• インフィニットトーク ：最初のオープンソース リリースでは、ビデオ ダビング、画像からビデオへの変換、ストリーミング推論、およびメモリ不足推論のサポートが提供されます。 （~2026-06）
• インフィニットトーク ：初めてオープンソース化され、スパースフレームビデオの吹き替えと画像からビデオへのキャラクターアニメーションをサポートします。公式の正確な日付はまだありません。 （~2026-06）