AI爆品的产生及潜在方向-从HeyGen火爆讲起
如果无法正常显示,请先停止浏览器的去广告插件。
1. 关注我:Gorden
AI 爆品的产生及潜在方向
-从 HeyGen 爆火讲起
作者:Gorden
2. 让 HeyGen 爆火的视频
关注我:Gorden
3. 再看一次 HeyGen 的视频
视频链接:
https://gorden-sun.notion.site/HeyGen-
f57ed4966a054362aa3b5cd632441b95?pvs=4
关注我:Gorden
4. 关注我:Gorden
HeyGen 本就是基于开源实现
语音转文字 Whisper
文字翻译 GPT
声音克隆+生成音频 XTTS v2
HeyGen 拆解
效果视频
Bark-Voice-Cloning
生成符合音频的嘴型视频
Wav2Lip VideoReTalking
GeneFace
开源版整套HeyGen:https://github.com/AIFSH/MyHeyGen
HeyGen只能翻译视频,基于开源可以实现伪造视频。
VALL-E-X
5. 关注我:Gorden
HeyGen 为什么火了
传播的因素: 感同身受、大开眼界、展示自己
就像拍综艺
输赢不重要,重要的是出戏
6. 关注我:Gorden
类似 HeyGen 的火爆应用:Wonder Studio
效果视频链接:
https://gorden-sun.notion.site/WonderStudio-
077f557e83f7485ea611de0afe35cb36?pvs=4
7. 关注我:Gorden
类似HeyGen的火爆应用:妙鸭相机
Stable Diffusion
+ LoRA训练
8. 关注我:Gorden
怎么找产品方向?有哪些风险?
怎么找?
让你兴奋的AI技术,把它产品化,就是最好的AI产品方向
风险
1、OpenAI:你的产品不过是他的一个函数;LLM 小团队就别做了;
2、技术发展的太快,更好的开源方案出现,例如 AnimateDiff 替代 Ebsynth ;
9. 关注我:Gorden
有潜力的产品方向
10. 关注我:Gorden
GPTs 相关
GPTs 推荐
破解GPTs prompt
制作GPTs
已有产品上线,做的更好还有机会。 做成对应的教学网站,窗口期很短。 门槛低,易被破解,暂时
https://www.gptshunter.com/
机会不大。
11. 关注我:Gorden
开源版Wonders Studio
第1步:使用Meta的SAM逐帧识别出视频中的人物;
第2步:抠掉画面中的人物,使用E2FGVI补全背景;
第1步+第2步目前已经有实现好的方案( Track-Anything ),效果视频: https://gorden-
sun.notion.site/SAM-E2FGVI-83941481f0e34766b76d915e28ceb225?pvs=4 ;
第3步:使用openPose识别人物动作;
第4步:使用Stable Diffusion的controlNet+inpaint绘图,或使用3D模型摆放对应动作(这部分目前没找
到开源项目可以参考)
12. 关注我:Gorden
AnimateDiff 产品化
结合LCM
效果视频:
https://gorden-sun.notion.site/AnimateDiff-
0325795042084a7c95d481ad8c5a602f?pvs=4
13. 关注我:Gorden
Stable Diffusion + ControlNet
https://www.artbreeder.com/create
ControlNet的每一种模式都值得做一个应用
14. 关注我:Gorden
AI语音故事绘本
绘本视频:
https://gorden-
sun.notion.site/A
I-
95d1970321f94
22b8048b46bc4
49a540?pvs=4
15. 关注我:Gorden
AI艺术二维码
扫码加我微信↓↓↓
我的推特:
https://twitter.com/Gorden_Sun
我的AI日报:
https://gorden-
sun.notion.site/527689cd2b294e60912f
040095e803c5?v=4f6cc12006c94f47ae
e4dc909511aeb5&pvs=4
16. 关注我:Gorden
Thanks