轻松搭建基于Langflow与MCP的流媒体智能分析系统
本系统深度整合Langflow可视化编程框架、MCP标准化通信机制、流媒体技术及本地部署的大语言模型,构建了一套高效、灵活的AI视频分析解决方案,实现从实时视频流处理、到多模态交互的全链路分析,支持智能监控、内容审核等场景,兼具低代码开发效率与数据隐私保护优势。
简介
本系统深度整合Langflow可视化编程框架、MCP标准化通信机制、流媒体技术及本地部署的大语言模型,构建了一套高效、灵活的AI视频分析解决方案,实现从实时视频流处理、到多模态交互的全链路分析,支持智能监控、内容审核等场景,兼具低代码开发效率与数据隐私保护优势。
视频接入
新增一个mcp connection,用于连接智能视频分析平台的mcp服务。
-
选择sse模式,并在mcp sse url中填入智能视频分析平台的mcp服务的sse地址,这里我填写的是
http://192.168.2.102:2222/api/v1/sse
,ip地址根据自己部署的地址填写,如果langflow和智能视频分析平台部署再同一个地址可以填写http://127.0.0.1:2222/api/v1/sse
-
工具选择capture_camera_image_langflow,该接口会从摄像头或流媒体中获取视频图片上传到langflow中。
-
baseurl填写langflow的地址和端口,这里我填写的是
http://192.168.2.10:7860
,如果langflow和智能视频分析平台部署再同一个地址可以填写http://127.0.0.1:7860
-
Resolution是图片分辨率,如果对图片分辨率有要求可以填写,否则默认即可
-
Rtsp Url: 是摄像头的rtsp地址
-
Token: 如果langlfow开启了token认证则需要填写,否则不用填写
-
Useless Array只用与节点连接,没有其他实际用处
-
flowid在langflow每个flow的Api access或Embed into site中可以看到flow_id,可以看到这里我们的flowid是:
5bb71ea6-c914-4b6f-9540-0f12886596b0
本地大模型分析
- 新增一个Media Text Input输入。
- 新增一个ollama本地大模型选择mistral-small3.1:24b。
- 将capture_camera_image_langflow获取的图片连接到File,在Text里面输入想要分析的内容,这里我们分析图片中是否存在儿童攀爬阳台。
-
新增一个Structured output将大模型的输出转化为结构化数据。
-
编辑Structured output的Output Schema在输出的结构体里面新增两个变量。一个是bool一个是description。
-
再新增两个解析器(Parser),将这两个变量分别以字符串的形式取出来,第一个parser里面是{bool}第二个是{description}
-
使用If-Else 组件判断是否存在
-
同时也可以接入chat output将是否存在输出在聊天框。
事件存储
新增一个mcp connection,跟前面一样连接mcp服务,选择insert_ai_event工具。
- 因为mcp connection的输入是string类型,所以我们需要添加三个Message to String组件。
- 将ifelse组件的true通过Message to String连接到title,这样只有当存在儿童攀爬阳台行为是才会写入事件,并且事件名称就是ifelse组件的Message。
- 将description的parser组件通过Message to String连接到Eventdesc作为事件描述
- 将capture_camera_image_langflow通过Message to String连接到image,作为事件图片
点击playground运行测试可以看到,
项目地址
码云: https://gitee.com/daimaxiuligong/langflow
github: https://github.com/daimaxiuligong/langflow
m/daimaxiuligong/langflow
github: https://github.com/daimaxiuligong/langflow
更多推荐
所有评论(0)