【AIGC-04】郭德纲英文相声（声音克隆 + 自动翻译 + 嘴型适配）

2024-04-10

猜测技术路线：

① 视频文字提取

② 文字翻译：比如：中文——>英文

③ AI音色模仿

④ 对口型（lip-sync）

whisper 项目可以实现①② openAI - whisper 项目地址

Elemenlabs 可以实现 ③ elevenlabs 官网

各个软件大体功能介绍

项目	使用方式	主要功能
heygen	官方网页 / 付费	自动翻译 + 嘴型适配
rask.ai	官方网页 / 付费	自动翻译 + 嘴型适配
wav2lip	本地	音 / 视频合成 + 嘴型适配
wav2lip-sync.labs	云端	音 / 视频合成 + 嘴型适配
video-retalking	本地	自动翻译 + 嘴型适配
elevenlabs	官方网页 / 付费	语音翻译克隆

一、heygen

官网

费用：$2 / min

二、rask.ai

官网

特点：免费版可以转成翻译视频，但是口型对不上，充会员可以完成翻译 + 对口型的视频

费用：$1.4 / min

三、wav2lip

（对口型工具，lip-sync）

wav2lip GitHub项目地址

该项目在线试用地址（免费5min，有水印）

wav2lip 魔改版GitHub项目地址

注：生成内容不可商用

四、video-retalking

video-retalking GitHub地址

Video_Retalking项目github地址：https://github.com/OpenTalker/video-retalking 数字人Video_Retalking一键启动整合包下载地址：解压密码：www.aibl.vip 链接：https://pan.baidu.com/s/1rby_PDf9rxX9boVrQMgBfQ?pwd=tnfr 提取码：tnfr

五、elevenlabs（11labs）

声音模仿，中文转英文

1w字——> 5min视频（中转英文）

六、各方案对比

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true