一、应用介绍

• 实时视频处理：在视频通话、直播场景中，能实时对人脸进行追踪，可添加各种动态效果和实时滤镜，增强视觉效果。
• 图像转换：将静态人像照片转换为具有动画效果的视频，让静态图片中的人物“活”起来，如给人物添加眨眼、微笑等表情动画。
• 虚拟现实交互：在VR应用里，通过实时人脸追踪，使虚拟角色的表情与用户面部表情实时同步，实现更加自然的交互体验。
• 教育与演示辅助：在教育教学、产品演示中，利用人脸追踪技术，可突出讲解重点，增强视觉表现力，吸引观众注意力。

二、与传统方法对比

三、插件下载地址和安装方法

• 下载地址：https://github.com/kijai/ComfyUI-LivePortraitKJ
• 安装方法：
  • 若使用ComfyUI-Manager，可在节点管理中搜索“LivePortraitKJ”进行自动安装。
  • 手动安装时，先确保已安装Python和pip，根据操作系统安装相关依赖。对于Windows，要确保安装了CMake和Visual Studio；对于macOS，可通过Homebrew安装依赖。然后将下载的插件文件放置到ComfyUI的自定义节点目录下，运行ComfyUI即可。

四、需要的模型及下载地址

• 模型：LivePortrait模型、Insightface模型。
• 下载地址：
  • LivePortrait模型可从Hugging Face下载，地址为相关作者的Hugging Face页面。
  • Insightface模型需放入ComfyUI/models/insightface/buffalo_l目录，可从相应开源渠道获取。

五、插件包含的节点名称

• LoadImage/Video：用于加载静态图像或视频。
• ImageResizeKJ：调整图像或视频帧的分辨率。
• LivePortraitProcess：核心处理节点，进行LivePortrait的相关处理操作。
• VHS_LoadVideo：专门用于加载视频的节点。
• VHS_VideoCombine：用于视频合成。
• VHS_VideoInfo：提取视频的元数据，如帧率等。
  

六、关键插件参数用途和推荐值

• relative_motion_mode：控制运动转移模式，“source_video_smoothed”模式适用于Vid2Vid，可使运动基于输入视频随时间平滑，创建更稳定的结果；“relative”或“single_frame”可能更适合Img2Vid。
• frame_load_cap：控制加载视频的帧数，根据视频长度和处理需求设置，若处理长视频且硬件性能有限，可适当降低，如设为100-200帧。
• 眼部重定向、嘴唇重定向参数：调节眼和嘴的动作幅度，根据人物面部特征和生成效果需求调整，若人物眼睛或嘴巴较大，生成视频无法闭合，可适当减小对应参数值，取值范围一般为0-1，推荐0.5-0.8。

七、节点工作流参考案例

八、总结

ComfyUI-LivePortraitKJ是一款功能强大、应用广泛的ComfyUI插件，基于LivePortrait技术，为用户提供了便捷的人像实时处理和转换解决方案。它在实时视频处理、图像转换等多个领域具有广泛应用，与传统方法相比，在生成速度、控制精度等方面具有明显优势。通过高度可定制的功能、优化的性能以及跨平台支持，满足了不同用户在多种场景下的需求。无论是在创意设计、虚拟现实开发还是教育演示等领域，都能为用户带来高效、优质的创作体验，推动了AI在人像动画领域的应用和发展。