简介

本系统深度整合Langflow可视化编程框架、MCP标准化通信机制、流媒体技术及本地部署的大语言模型,构建了一套高效、灵活的AI视频分析解决方案,实现从实时视频流处理、到多模态交互的全链路分析,支持智能监控、内容审核等场景,兼具低代码开发效率与数据隐私保护优势。

视频接入

新增一个mcp connection,用于连接智能视频分析平台的mcp服务。

  • 选择sse模式,并在mcp sse url中填入智能视频分析平台的mcp服务的sse地址,这里我填写的是http://192.168.2.102:2222/api/v1/sse,ip地址根据自己部署的地址填写,如果langflow和智能视频分析平台部署再同一个地址可以填写http://127.0.0.1:2222/api/v1/sse

  • 工具选择capture_camera_image_langflow,该接口会从摄像头或流媒体中获取视频图片上传到langflow中。

  • baseurl填写langflow的地址和端口,这里我填写的是http://192.168.2.10:7860,如果langflow和智能视频分析平台部署再同一个地址可以填写http://127.0.0.1:7860

  • Resolution是图片分辨率,如果对图片分辨率有要求可以填写,否则默认即可

  • Rtsp Url: 是摄像头的rtsp地址

  • Token: 如果langlfow开启了token认证则需要填写,否则不用填写

  • Useless Array只用与节点连接,没有其他实际用处

  • flowid在langflow每个flow的Api access或Embed into site中可以看到flow_id,可以看到这里我们的flowid是:5bb71ea6-c914-4b6f-9540-0f12886596b0
    在这里插入图片描述
    在这里插入图片描述

本地大模型分析

  • 新增一个Media Text Input输入。
  • 新增一个ollama本地大模型选择mistral-small3.1:24b。
  • 将capture_camera_image_langflow获取的图片连接到File,在Text里面输入想要分析的内容,这里我们分析图片中是否存在儿童攀爬阳台。

在这里插入图片描述

  • 新增一个Structured output将大模型的输出转化为结构化数据。

  • 编辑Structured output的Output Schema在输出的结构体里面新增两个变量。一个是bool一个是description。

    在这里插入图片描述

  • 再新增两个解析器(Parser),将这两个变量分别以字符串的形式取出来,第一个parser里面是{bool}第二个是{description}

    在这里插入图片描述

  • 使用If-Else 组件判断是否存在

  • 同时也可以接入chat output将是否存在输出在聊天框。

在这里插入图片描述

事件存储

新增一个mcp connection,跟前面一样连接mcp服务,选择insert_ai_event工具。

  • 因为mcp connection的输入是string类型,所以我们需要添加三个Message to String组件。
  • 将ifelse组件的true通过Message to String连接到title,这样只有当存在儿童攀爬阳台行为是才会写入事件,并且事件名称就是ifelse组件的Message。
  • 将description的parser组件通过Message to String连接到Eventdesc作为事件描述
  • 将capture_camera_image_langflow通过Message to String连接到image,作为事件图片

在这里插入图片描述

点击playground运行测试可以看到,

在这里插入图片描述

项目地址

码云: https://gitee.com/daimaxiuligong/langflow

github: https://github.com/daimaxiuligong/langflow

m/daimaxiuligong/langflow

github: https://github.com/daimaxiuligong/langflow

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐