半个月涨粉20万,coze工作流制作人物唱歌视频,火爆全网的西游记歌手你也可以制作
至此整个工作流讲解完成了。大白之前也发过数字人唱歌工作流,和今天的工作流相比,明显感受到AI工具能力有了很大的提升,视频效果也比之前更加逼真了。大家可以修改一下人物形象提示词,比如改成西游记人物,或三国人物等。不过上面即梦对口型插件是按秒计费的,它的算力比较高,20s视频需要成本8-9块,介意的小伙伴也慎用哦。今天的工作流拆解就到这,我们下期拆解更好玩的!🎯 获取完整资料。
你见过会唱摇滚的黑熊精吗?最近,一位“西游记歌手”横空出世,其创意视频迅速刷屏网络。
博主让唐僧师徒在录音棚里大展歌喉,黑熊精更是戴着金色耳机、手持吉他狂野开唱,颠覆了所有人的传统印象。更令人震惊的是其数据表现:发布不到1个月,17个作品狂揽35万粉丝,总播放量高达4100万,获赞169万。多个视频播放量突破百万,其中单条视频播放量达715万,点赞36万,弹幕区更是彻底“沦陷”。

这亮眼的数据是不是很让人羡慕啊。今天我们也来玩一个人物唱歌工作流,只要传入一张图片,输入人物形象和演唱的曲子,10分钟不到就能帮我们生成人物唱歌的视频了。
先来看下生成后的视频效果👇
美女唱歌
上面的视频是不是很逼真。当然,大白也发现了有几句歌词和口型没对上,还需要多运行几次(就像抽卡,有随机性),或优化提示词。
工作流拆解
接下来,我手把手教大家如何制作这个工作流。整体工作流如下图:

总共20个节点,核心步骤分为四块:
1)生成人物形象提示词;
2)根据人物形象提示词生成人物图片;
3)让图片里的人物对口型;
4)将生成的视频进行拼接并返回。
创建工作流
1、登录Coze平台 https://www.coze.cn/
2、点击 “开发平台->个人空间 ->资源库-> 资源”
3、点击 “工作流”,填写工作流的名称和描述

1,设置开始节点
工作流创建后默认有开始和结束两个节点。我们需要配置开始节点的输入参数:
-
mihe_key:工作流图像生成插件会用到这个key
-
audio: 歌曲音频,目前只支持30s以内的音频
-
image:歌手图片
-
input:歌手描述
上面这些参数都勾选必填项。

mihe_key:可以通过http://miheai.com/?share_id=14987注册获取
🔥 重磅福利!新用户专享!
通过上方链接注册,不仅秒得专属API Key,还直接白嫖7天VIP会员!一口气狂领80个精选工作流 + 300条高质量提示词,轻松开启你的AI提效之旅!
登录后,在【个人中心】-【Api Key】一键复制即可使用!
2,获取歌曲音频时长
目前只支持30s以内的音频对口型。所以首先使用【获取音频时长】插件获取音频的时长。
-
输入:开始-> audio

3,判断音频时长
用【选择器】节点判断音频时长是否大于30s。

如果超过30s,就用【输出】节点输出提示内容,并结束。

4,生成人物形象提示词
如果音频不超过30s时,就开始我们视频制作的环节。
首先大模型节点根据图片的理解,生成人物在录音室唱歌的图片提示词。
模型选择 豆包.1.6.视觉理解.250815。
-
输入
input: 开始-> input
-
视觉理解输入
image: 开始 -> image

5,生成人物的唱歌图片

5.1 将图像转成字符串数组
这一步是为5.2 做准备的。需要将开始节点的image格式转换成字符串数组。
使用【剪映小助手】插件str_to_list方法来实现上面功能。

5.2 用即梦4.0生成图片
使用【即梦图片生成】插件来生成图片,配置如下:
其中image_urls 需要传入字符串数组,就是上一步转换后的数据。

6,生成人物唱歌视频
这一步是生成视频的关键。我们详细来拆解一下。

6.1 使用【循环】节点来等待视频生成
这里选择“无限循环”,一直等待直到视频生成。

6.2 使用【即梦对口型】插件
该插件的jimeng_lip_sync方法可以实现图片与音频的完美结合,完成对口型的操作。生成视频需要等待几分钟的时间。但是该方法会立即返回一个任务id。

6.3 查询视频生成的结果
使用【即梦对口型】插件的jimeng_task_info 方法,根据上一步返回的id去查询视频的状态。

6.4 判断视频url是否有值
如果上一步返回的url有值,表示生成了视频,就把值传给【聚合变量】节点。
如果url为空,就要等待一段时间后再次查询视频状态。

6.5 使用【定时器】节点来实现等待
这里总共用了4个定时器,每个定时器设值50。最大值可以填60。

6.6 3分钟后,再次查询视频生成的结果

6.7 用【聚合变量】聚合两次查询视频的结果
两个结果中只会返回一个值。最后使用【终止循环】节点,结束这个循环体。

7,拼接视频
使用扣子官方的【视频剪辑工具】插件的concat_videos方法,对多个视频片段进行拼接。上一个节点只返回一个视频片段,通过该方法生成视频最终的url。

8,查看视频效果
结束节点返回上面节点生成的url。

总结
至此整个工作流讲解完成了。大白之前也发过数字人唱歌工作流,和今天的工作流相比,明显感受到AI工具能力有了很大的提升,视频效果也比之前更加逼真了。
大家可以修改一下人物形象提示词,比如改成西游记人物,或三国人物等。不过上面即梦对口型插件是按秒计费的,它的算力比较高,20s视频需要成本8-9块,介意的小伙伴也慎用哦。
今天的工作流拆解就到这,我们下期拆解更好玩的!
🎯 获取完整资料
关注 + 点赞 + 收藏或评论 ➡️ 点击下面名片,扫码留言【人物唱歌】,即可领取完整提示词!
更多推荐


所有评论(0)