AI 비디오 제작 플랫폼 D-ID는 AI 기술을 사용하여 비디오를 다른 언어로 번역하는 도구를 출시한 최신 회사입니다. 그러나 이 경우 D-ID는 AI 편집 과정 중 일부로 연설자의 음성을 복제하고 번역된 단어에 맞게 그들의 입모양을 변경합니다.

이 기술은 D-ID의 이전 작업에서 유래했습니다 - 며칠 전의 바이럴 트렌드에서 사용자들이 과거 가족 사진을 애니메이션화하고 후에 그 사진들이 말할 수 있었던 것을 기억할 수 있습니다. 그 성공을 바탕으로, 스타트업은 2022년 시리즈 B 펀드레이징에서 2,500만달러를 조달했으며 미국의 기업 고객들이 AI 기술을 사용하여 AI 비디오를 만드는 데 사용하고 있었습니다.

회사가 현재 무료로 D-ID 구독자에게 제공 중인 AI 비디오 번역 기술을 통해 제작자는 비디오를 다른 언어로 자동으로 번역하여 그들의 영향력을 확장할 수 있습니다. 현재 총 30개의 언어가 사용 가능하며 아랍어, 중국어, 일본어, 힌디어, 스페인어 및 프랑스어를 포함합니다. D-ID 구독은 가장 저렴한 요금제와 AI 기능을 사용할 크레딧이 적은 경우에는 연간 56달러부터 시작하여 기업 요금제로 전환하기 전 연간 1,293달러까지 올라갑니다.

D-ID는 새 AI 비디오 기술이 고객들이 마케팅, 엔터테인먼트 및 소셜 미디어와 같은 분야에서 글로벌 관객에게 캠페인을 확장할 때 지역화 비용을 절약할 수 있다고 제안합니다. 이 기술은 더불어 더불어 더비핑 및 AI 비디오에 대한 다른 솔루션과 경쟁하게 될 것입니다.

다년간 더빙 기술은 비디오 시청자가 자국어로 오디오를 듣게해주었지만 종종 작은 크리에이터들에게는 액세스가 어려웠습니다. 회사들이 기술에 대한 접근성을 개선함에 따라 상황이 변했습니다. 예를 들어, YouTube는 그들의 비디오를 다른 언어로 번역하여 더 넓은 관객과 연결할 수 있도록 설계된 다국어 오디오 기능을 출시했습니다. 잘 알려진 크리에이터 Mr. Beast (Jimmy Donaldson)는 이 기술을 이용하여 인기있는 비디오를 11개의 언어로 번역하여 선보였습니다.

AI를 통해 음성을 생성, 번역 또는 복제하는 능력 또한 확대되고 있습니다. 마이크로소프트는 이번 해에 AI를 사용하여 YouTube 비디오와 기타 비디오를 번역 및 더빙할 것이라고 발표했으며, 이를 시청하는 동안 이루어질 것입니다. 7월, 크리에이터 플랫폼인 Vimeo는 화자의 음성을 복제하는 AI 기술을 사용하여 오디오와 자막을 번역하는 도구를 공개했습니다. 또한 Descript, ElevenLabs, Speechify, Veed, Camb.ai, Captions.ai 및 Akool 같은 다수의 기업들이 음성 복제 또는 AI 번역 도구 (또는 때로는 둘 다)를 제공하고 있습니다. 또한 여러 상품들은 인공 지능 아바타를 사용하여 수십 개의 언어로 말할 수 있는 비디오를 만들 수 있도록 도와주는 도구들이 있습니다, 예를 들어 HeyGen, Deepbrain AI 등이 있습니다.

wav2lip와 같은 더빙 및 립싱크 AI 라이브러리는 이러한 종류의 도구를 구축하는 것을 더 쉽게 만들어주며, 크리에이터들에게 AI 기술을 사용하는 데 더욱 간결하고, 아마도 더 저렴하게 사용할 수있도록 제안합니다.

D-ID는 새 비디오 번역 기술이 D-ID Studio 및 해당 API를 통해 사용 가능하다고 말했습니다. 1달간의 무료 평가판을 제공하며 더 많은 데모가 그들의 웹사이트에서 제공됩니다.