一、什么是 DINO-X MCP

MCP,全称模型上下文协议(Model Context Protocol),是一种由 Anthropic 发布的协议,旨在为大语言模型(LLMs)提供一种标准化的方式,以访问外部的上下文数据源与工具。

MCP 被作为一种连接外部工具与智能体之间的桥梁。通过 MCP,开发者可以为智能体添加各种第三方工具或服务,使其具备更强的任务执行与理解能力。例如,用户可以通过整合“目标检测服务 + 大语言模型”,获取精准的目标或场景描述;也可以通过整合“大语言模型+旅游服务+地图服务”,进行完备的旅游行程和路线规划。

简而言之,MCP 使 AI 不再局限于模型本身的能力,而能够借助强大的外部工具,进行更专业、更复杂的开发任务。而 DINO-X MCP 则是基于目前最先进的 DINO-X 视觉模型为用户提供目标检测服务。

二、为什么需要 DINO-X MCP

尽管目前市面上众多多模态模型已经具备理解和描述图像的能力,但它们往往缺乏对视觉内容的精确定位和高质量的结构化输出,并容易陷入海量先验知识的经验误区。

而通过 DINO-X MCP,你可以将更精准的目标检测效果整合进你的工作流中,包括但不限于:

(1)实现图像的细粒度理解,包括全图识别、定向检测等;

(2)精准获取目标数量、位置、属性,并以此为依据进行图像问答等任务;

(3)与其他 MCP Server 组合,更灵活地快速构建多步视觉工作流;

(4)构建自然语言驱动的视觉智能体,用于真实场景的自动化任务。

三、DINO-X MCP 的应用场景

DINO-X 就像是 AI 在现实世界的眼睛,帮助 AI 更好地看清世界,与现实进行交互。几乎所有涉及现实内容的应用场景,都可以把 DINO-X MCP 整合进工作流中。以下为 5 大常见的案例:

(1)目标检测和定位

比如通过火焰检测,识别并定位出树林里着火的位置。

(2)物体计数

标记并统计出特定场景中的所有指定目标,比如统计仓库中所有的纸箱数量。

(3)特征检测

根据用户指定的特征(属性、位置等)检测并定位出目标对象,比如停车场内所有红色的车。

(4)姿态分析

通过对目标对象(人物、动物等)进行关键点检测,结合大语言模型分析出目标对象的姿态含义,比如瑜伽姿势分析。

(5)饮食监测

通过精准检测出饮食中包含的食物类型和数量,帮助用户实现更精确的饮食检测。比如卡路里计算,营养分析等。

四、如何接入 DINO-X MCP Server

只要是支持 MCP Server 的 AI 编程 IDE 都可以使用 DINO-X MCP,包括但不限于 Cursor,Trae(国内和国际版)、WindSurf 等。

其中,DINO-X MCP 分为线上调用和本地部署两个版本。线上调用版本则无需安装任何环境;而本地部署需要安装依赖环境,目前仅支持 Node.js 的 npx。因此,如果通过本地部署的方式接入 DINO-X MCP,请先前往 Node.js 官网 下载安装包。

1. Cursor IDE

(1)进入 Cursor IDE 页面,点击左侧的 “Tools & Integrations” 按钮,进入 MCP 设置界面。

(2)在弹出的 JSON 配置页面中填写对应的 JSON 内容:

a. 仅需要线上调用,则 JSON 配置为:

{
  "mcpServers": {
    "dinox-mcp": {
      "url": "https://mcp.deepdataspace.com/mcp?key=your-api-key"
    }
  }
}

其中,代码中的 ‘your-api-key’ 字段需要替换为 DINO-X 开放平台的 API 密钥。

b. 本地部署,则 JSON 配置为:

{
  "mcpServers": {
    "dinox-mcp": {
      "command": "npx",
      "args": ["-y", "@deepdataspace/dinox-mcp"],
      "env": {
        "DINOX_API_KEY": "you-api-key-here",
        "IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
      }
    }
  }
}

其中,代码中的 ‘your-api-key-here’ 字段需要替换为 DINO-X 开放平台的 API 密钥;‘/path/to/your/image/directory’ 字段替换为本地路径(比如指定的文件夹路径)。

最后选择关闭并保存即可。

(3)返回设置界面,并回到 “Tools & Integrations” 页面,你会看到 DINO-X MCP 已经配置成功,并且 Cursor IDE 会默认启动。

(4)你还可以在“model”页面选择心仪的模型。

(5)按下 CTRL/CMD + L 快捷键,即可在编辑器右侧打开对话框。选择“Agent”模式,即可调用 DINO-X MCP。目前 Cursor IDE 支持直接上传图片,如要在对话中通过本地路径或 http 链接的方式来提供图片,需要严格参照 file:///path/to/your/image/directory 或者 https:// 的格式。

2. Trae IDE

(1)进入 Trae IDE 页面,点击右上角的设置按钮,进入智能体设置界面。

(2)在设置界面选择“MCP”选项,选择“手动添加”。

(3)在弹出的手动配置框中填写对应的 JSON 配置内容,如果:

a. 仅需要线上调用,则 JSON 配置为:

{
  "mcpServers": {
    "dinox-mcp": {
      "url": "https://mcp.deepdataspace.com/mcp?key=your-api-key"
    }
  }
}

其中,代码中的 ‘your-api-key’ 字段需要替换为 DINO-X 开放平台的 API 密钥。

b. 本地部署,则 JSON 配置为:

{
  "mcpServers": {
    "dinox-mcp": {
      "command": "npx",
      "args": ["-y", "@deepdataspace/dinox-mcp"],
      "env": {
        "DINOX_API_KEY": "you-api-key-here",
        "IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
      }
    }
  }
}

其中,代码中的 ‘your-api-key-here’ 字段需要替换为 DINO-X 开放平台的 API 密钥;‘/path/to/your/image/directory’ 字段替换为本地路径(比如指定的文件夹路径)。

配置成功后,Trae IDE 默认启动 MCP,这时候返回会话界面即可直接调用 DINO-X MCP。目前 Trae IDE 支持直接上传图片,如要在对话中通过本地路径或 http 链接的方式来提供图片,需要严格参照 file:///path/to/your/image/directory 或者 https:// 的格式。

参考资源

(1)安装 npx 依赖环境: https://nodejs.org/

(2)申请 DINO-X API Key:https://cloud.deepdataspace.com/

(3)Cursor 官方下载链接:https://www.cursor.com/

(4)Trae 官方下载链接:

(国内版)https://www.trae.com.cn/

(国际版)https://www.trae.ai/

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐