Seedance 2.0 最让人兴奋的不是画质升级,而是它终于能"吃"真正的素材了。

以前的视频模型,输入只有两种:一段文字,或者一张图 + 一段文字。你给它的信息量极其有限,等于闭着眼睛给导演打电话描述你要什么。

Seedance 2.0 一口气开放了:最多 9 张图片 + 3 段视频(总计 15 秒)+ 3 个音频文件(总计 15 秒),加上文字提示词,总共最多 12 个文件。

这不是"提示词工程"了。这是在做"素材驱动的 AI 剪辑"。

@ 引用语法:核心机制

Seedance 2.0 引入了一个类似社交媒体 @ 提及的语法。你上传素材后,在 Prompt 里用 @文件名 来告诉模型这个素材的用途。

几个典型用法:

设定首帧

@Image1 as the first frame, a woman slowly turns around and smiles

你给的图片会被当成视频的第一帧,模型从这一帧开始生成后续运动。

参考运动

Reference @Video1 for the dancing choreography, 
apply the dance to @Image1 as the character

你给一段真人跳舞的视频作为运动参考,再给一张角色图片,模型会让你的角色按照参考视频的动作来跳舞。

复制运镜

Follow @Video1's camera movements, 
but change the scene to a futuristic cityscape

只抄运镜方式,换掉画面内容。拿一个经典电影镜头的运镜,套用到你自己的场景里。

配乐同步

Use @Audio1 for the background music, 
sync the character's movements to the beat

上传一段音乐,让画面里的动作踩着节拍来。做舞蹈视频、音乐 MV 特别好用。

视频续接

Extend @Video1 by 5 seconds, 
the character continues walking and enters the building

给一段现有视频,让模型接着往下拍。

角色替换

Replace the woman in @Video1 with @Image1, 
keep everything else the same

换脸换人,保留原视频的场景和动作。

实战组合:产品宣传视频

假设你要做一个耳机的宣传视频:

上传素材

  • Image1: 耳机正面照
  • Image2: 耳机侧面照
  • Image3: 耳机佩戴效果照
  • Audio1: 一段轻松的背景音乐

Prompt

@Image1 as the first frame showing the product on a white surface,
camera slowly orbits around the headphones revealing @Image2 side view,
then transition to @Image3 with a person wearing the headphones,
the person nods to the beat of @Audio1,
soft studio lighting, product commercial style

一个提示词,四个素材,直接出一条完整的产品宣传视频。

以前做这种效果,需要:3D 建模师做产品旋转动画 + 摄影师拍佩戴照 + 后期师合成 + 音频师配乐。四个人的活,现在一个 Prompt 搞定。

限制和踩坑

文件总数限制 12 个。9 张图 + 3 段视频已经到上限了,如果你还要加音频,就得减掉一些图或视频。

视频素材总时长 15 秒。如果你想参考一个 30 秒的运动片段,得先自己裁剪到 15 秒以内。

音频素材总时长 15 秒。如果你的背景音乐是 3 分钟的完整曲目,需要截取最关键的 15 秒。

@ 引用需要清晰。不要在一个句子里塞太多 @ 引用。模型对"@Image1 作为角色,@Video1 作为运动参考,@Video2 作为运镜参考,@Audio1 作为背景音乐"这种密集引用的理解力有限。建议每个 @ 引用单独给一个子句。

素材之间可能冲突。如果你的 Image1 是白天的室外场景,Video1 是夜晚的室内场景,模型不知道该听谁的。保持素材之间的风格和场景一致性,成功率会高很多。

和 Sora 2 Cameo 的对比

OpenAI 的 Sora 2 有一个 Cameo 功能,也是用参考图片来保持角色一致性。

区别在于:Sora 2 的 Cameo 主要解决的是"角色身份保持"这一个问题。Seedance 2.0 的多模态输入解决的是"运动参考 + 运镜参考 + 角色参考 + 音频参考"一整套问题。

Sora 2 Cameo 相当于一个专精的工具,Seedance 2.0 的 @ 引用相当于一个瑞士军刀。瑞士军刀每个功能可能没有专精工具做得精,但一把刀能干所有的事。

总结

多模态输入把 Seedance 2.0 从"视频生成器"变成了"AI 剪辑台"。

你不再只是跟模型"说"你要什么,而是"给"它看你要什么。用参考素材代替抽象描述,沟通效率提升了一个量级。

掌握 @ 引用语法,就掌握了 Seedance 2.0 最大的差异化能力。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐