最近，阿里推出了Anime anyone，引发了全网热议。网友调侃称，此类工具的推出将导致Tiktok舞蹈主播失业。用户只需选择一张参考图和预设的动作，就可以生成高度真实的短视频。Anime anyone在推出的几天内就获得了6.7K星标，却未供代码和DEMO测试页面。

由于此类工具非常受市场欢迎，12月5日，字节跳动发布了和anime anyone高度类似的项目—magic animate。从提供的几组样本视频可以看出，Magic animate同样可以实现超真实的姿势引导和特征融合，可以生成逼真的短视频。

MagicAnimate利用扩散模型和外观编码器进行时间建模和身份保护，可在推理过程中产生平滑的视频过渡。在油画和电影画面的动画生成方面，MagicAnimate也有不错的表现。以下画面由DALLE3模型生成，由于动作复杂，画面出现了一定的扭曲。在对多人舞蹈画面的模拟上，MagicAnimate也能实现不错的效果。

MagicAnimate提供了Huggingface Demo测试页面，不过由于使用人数过多，该页面已经暂时关闭。MagicAnimate可以在Google Colab运行，点击链接：GitHub – camenduru/MagicAnimate-colab运行脚本。MagicAnimate目前仅支持1:1的视频生成，因此我们可以上传裁剪后的图像，避免出现拉伸导致画面失真。

我在Google Colab为大家演示，先执行配置环境，直到出现如下界面：

选择默认的25步采用步数，视频的生成过程需要5分钟以上。如果没有准备图像素材，大家也可以使用MagicAnimate提供的样本图像和动作。从生成的动画可以看出，人物可以按照预设完成动作，面部刻画则有些失真。

即使MagicAnimate人物面部还原不是很完美，其推出仍有望进一步简化短视频的制作过程。只需一张参考图，就可以轻松合成各种动态效果。点击链接就可以试用该工具。

与此同时，PIKA也演示了最新Modify Region功能，可以实现视频的局部修改。一系列强大功能的推出和预热，也意味着PIKA即将开启付费模式。除了图像转视频，VideoSwap技术也在不断进步，用户只需提供一张参考图，就可以替换原视频中物体的外观，同时保持动作的一致性，实现高质量的视频生成。