InfiniteTalk는 오디오 기반 비디오 더빙 및 이미지-비디오 캐릭터 애니메이션을 위한 Meituan의 오픈 소스 연구 프레임워크입니다. 핵심 기능은 입만 편집하는 것이 아니라 몸 전체의 움직임을 편집하는 스파스 프레임 비디오 더빙입니다. 무제한 길이 생성 및 스트리밍 추론을 지원합니다.

인피니트톡 전체리뷰

핵심 매개변수 및 통계

프로젝트	사양
제품 포지셔닝	오디오 기반 말하기 비디오 생성을 위한 연구 프레임워크
개발 기관	메이투안 메이겐 AI
오픈 소스 라이센스	아파치-2.0
핵심기술	스파스 프레임 비디오 더빙 + 스트리밍 추론
입력방법	영상+음성(더빙) / 그림+음성(캐릭터 애니메이션)
출력 품질	480P/720P
추론 성능	단일 GPU / 다중 GPU / 낮은 메모리 / 양자화
세대 길이	무제한(흐름 추론, 이론적으로 길이 상한 없음)

사용자 및 시장 인지도

InfiniteTalk는 오디오 기반 캐릭터 애니메이션 분야에서 Meituan의 중요한 오픈 소스 기여입니다. 시중에서 판매되는 대부분의 "입 전용" 디지털 휴먼 솔루션과 달리 InfiniteTalk는 입 영역 편집뿐만 아니라 몸 전체의 움직임을 편집하는 스파스 프레임 비디오 더빙 아이디어를 채택합니다. 이는 생성된 비디오가 단순히 "입이 움직이는 것"이 ​​아니라 "사람 전체가 움직이는 것"을 의미합니다. 머리 자세, 신체 움직임, 제스처 등이 오디오 콘텐츠와 조화를 이룹니다.

공개 검증: "무한 길이 생성"의 "무한"은 이론적으로 확립되지만(스트리밍 추론에는 길이에 대한 상한이 없음) 실제 사용에서는 긴 비디오의 의미 일관성 및 정체성 일관성이 시간이 지남에 따라 감소합니다. 30초짜리 비디오를 5분으로 확장하면 품질 저하 정도는 콘텐츠와 장면의 복잡성에 따라 달라집니다.

비용 이점

코드 및 모델 가중치가 공개적으로 액세스 가능한 오픈 소스 연구 프로젝트(Apache-2.0)입니다. 공식 성명에는 생성된 콘텐츠는 학술적 용도로만 사용되며 상업적인 용도로 사용하려면 라이선스 조건을 확인해야 한다고 명시되어 있습니다. 실제 사용 비용은 주로 GPU 추론 리소스입니다. 720P 세대에는 더 높은 그래픽 메모리가 필요하지만 프로젝트에서는 임계값을 낮추기 위해 양자화 및 낮은 그래픽 메모리 모드를 제공합니다.

자유로운 진실: Apache-2.0은 오픈 소스이며 모델 가중치도 공개적으로 다운로드할 수 있습니다. 그러나 공식 프로젝트 페이지에는 생성된 콘텐츠가 학술용으로만 사용된다는 점을 명확하게 명시하고 있습니다. 상업적인 사용이 필요한 경우 라이선스 범위를 직접 확인해야 합니다. 또한 720P 추론에는 최소 16GB의 비디오 메모리가 필요하며 개별 개발자는 여전히 클라우드 GPU를 임대해야 할 수도 있습니다.

주요 기능

• 스파스 프레임 비디오 더빙: 기존 비디오 + 새 오디오를 수신하고 오디오와 비디오가 동기화된 새로운 비디오를 출력합니다. 입만 교체하는 기존 방식과 달리 InfiniteTalk는 얼굴 표정, 머리 움직임, 몸 자세, 심지어 배경 일관성까지 포함하여 전체 비디오 프레임을 편집합니다.
• 이미지에서 비디오 캐릭터 애니메이션: 캐릭터 사진 + 오디오에서 캐릭터가 말하고/공연하는 비디오를 생성합니다. 입력은 실제 사진이나 만화 이미지에서 AI가 생성한 가상 캐릭터일 수 있습니다.
• 무제한 길이의 스트리밍 생성: 스트리밍 추론 및 시간적 컨텍스트 프레임 메커니즘을 통해 이론적으로 모든 길이의 비디오를 생성할 수 있습니다. 각 세그먼트의 끝 프레임은 자동으로 다음 세그먼트의 컨텍스트로 사용되어 세그먼트 간 원활한 전환을 보장합니다.
• 낮은 메모리 친화적: 정량적 및 낮은 메모리 추론 모드를 지원하므로 리소스가 제한된 개발자가 실험을 실행할 수 있습니다.

모델 및 버전의 진화

메인라인 출시

• ~2026-06: InfiniteTalk가 최초로 오픈소스로 출시되어 비디오 더빙, 이미지-비디오 변환, 스트리밍 추론 및 저메모리 추론 지원을 제공합니다.

기술적인 장점

• 알고리즘 최적화: 응답 속도와 결과 품질 간의 균형을 달성하기 위해 해당 시나리오에 대해 모델 또는 알고리즘 수준에서 특수 최적화가 수행되었습니다.
• 낮은 대기 시간 아키텍처: 스트리밍 또는 비동기 처리 아키텍처를 채택하여 사용자 대기 시간을 줄이고 빈도가 높은 상호 작용 시나리오에 적합합니다.

사용방법

1. GitHub 저장소(https://github.com/meigen-ai/InfiniteTalk)를 방문하여 코드를 다운로드하세요.
2. Python 컨텍스트 구성 및 사전 학습된 모델 다운로드
3. 모드 선택: 비디오 더빙(입력 비디오 + 오디오) 또는 이미지를 비디오로(입력 사진 + 오디오)
4. 추론 스크립트를 실행합니다: python infer.py --mode dub --input video.mp4 --audio speech.wav
5. 선택 사항: 메모리 부족 모드 또는 양자화 모드에서 실행

제품 가격

프로젝트	설명
코드 라이센스	Apache-2.0 오픈 소스
모델 가중치	공개 다운로드(학술용)
상업적 이용	라이센스 조건이 필요합니다
API 서비스	제공되지 않음

인간-기계 협업 경계: 100% 자동화: 오디오 기반 전신 비디오 생성, 스트리밍 추론을 통한 긴 비디오 스티칭. 수동 개입이 필요합니다. 생성된 결과의 입술 동기화 정확도 수용, 비디오의 배경 일관성 및 캐릭터 아이덴티티 일관성 샘플링이 필요합니다. 게시하기 전에 동영상 콘텐츠를 세그먼트별로 검토하는 것이 좋습니다. 특히 2분 이상의 긴 동영상은 더욱 그렇습니다.

애플리케이션 시나리오

• 비디오 더빙 및 번역: 원본 비디오의 캐릭터 움직임과 배경의 일관성을 유지하면서 기존 말하는 비디오를 다른 언어 또는 다른 문자의 더빙으로 대체합니다. 비디오 콘텐츠의 다국어 현지화에 적합합니다.
• 캐릭터 애니메이션 콘텐츠 제작: 캐릭터 드로잉 + 오디오로 완전한 말하기/퍼포먼스 영상을 생성합니다. 모션 캡처 장비 및 3D 모델링의 필요성부터 단 하나의 사진 + 오디오에 이르기까지 가상 앵커 및 디지털 휴먼 콘텐츠의 일괄 제작에 적합합니다.
• 연구 목적을 위한 디지털 인체 실험: 오디오 기반 캐릭터 애니메이션, 긴 비디오 생성 일관성, 다중 모드 정렬 등을 연구합니다.

해당자

• 컴퓨터 비전 연구원: 오디오 기반 애니메이션, 비디오 생성, 디지털 휴먼 관련 분야에 종사하는 연구원입니다.
• 가상 콘텐츠 제작자: 말하는 비디오를 일괄 생성해야 하는 디지털 휴먼 제작자인 InfiniteTalk의 오픈 소스 특성은 API 비용과 타사 플랫폼의 제한을 피합니다.
• AI 비디오 애플리케이션 개발자: 말하기 비디오 생성 기능을 제품이나 서비스에 통합하는 개발자입니다.

요약 및 전망

InfiniteTalk의 기술적 경로인 희소 프레임 전신 비디오 더빙은 디지털 휴먼 분야의 "입만 사용하는" 솔루션에 대한 대안을 제공합니다. 제작된 비디오는 더 자연스럽고 완벽하지만 전신 편집도 더 어렵고 계산 비용이 많이 듭니다. 오픈 소스 프로젝트로서 연구 커뮤니티에 재현 가능한 고품질 기준선을 제공합니다. 상용 API를 우회하여 자체 디지털 인간 생성 기능을 구축하려는 팀의 경우 이는 고려해 볼 만한 오픈 소스 솔루션입니다.

현재 제한 사항: Meituan은 비상업적 제품인 내부 팀에 의해 유지 관리되며 기술 지원 채널이 없습니다. 전신 편집의 계산 오버헤드는 입 전용 솔루션보다 높으며 실시간 생성은 아직 가능하지 않습니다. 복잡한 배경이나 다중 인물 장면에서 생성된 비디오의 성능을 검증해야 합니다.

단념 시나리오: 소셜 미디어용 음성 영상을 빠르게 생성해야 하는 경우 InfiniteTalk의 배포 및 구성 비용(자체 구축 환경, 모델 다운로드, 매개변수 디버깅)이 상용 API(HeyGen, D-ID)를 직접 사용하는 편리함을 초과할 수 있습니다. 오픈 소스 솔루션의 가치는 주로 사용자 정의 및 배치 시나리오에 있습니다.

숨겨진 이점: 자체 디지털 휴먼 비디오 파이프라인을 구축하려는 팀의 경우 InfiniteTalk의 오픈 소스 Apache-2.0 프로토콜을 사용하면 코드를 기반으로 한 상업적 변환과 2차 개발이 가능해지며 API 의존성과 제3자 플랫폼에서의 종량제 청구를 피할 수 있습니다.

관련 도구: runway, pika

버전 정보

• 무한토크 ：비디오 더빙, 이미지-비디오 변환, 스트리밍 추론 및 낮은 메모리 추론 지원을 제공하는 최초의 오픈 소스 릴리스입니다. （~2026-06）
• 무한토크 ：처음으로 오픈 소스로 제공되며 스파스 프레임 비디오 더빙 및 이미지-비디오 캐릭터 애니메이션을 지원합니다. 아직 공식적인 정확한 날짜는 없습니다. （~2026-06）