—— 从自然语言到 pytest 测试代码的完整实践

一、项目背景

在移动端自动化测试中，传统方案（如 Appium、UIAutomator）通常存在以下问题：

• 测试脚本编写成本高，维护复杂

• 强依赖 UI Tree / Accessibility

• 面对 WebView、混合页面、第三方 App 适配困难

• 自动化测试与 AI 能力割裂，无法真正“智能化”

基于以上痛点，我实现了一个 AI 驱动的移动端自动化测试框架 —— Mobile MCP，
尝试将 大模型 + 设备控制 + 视觉识别 + 代码生成 结合到一个统一的工程体系中。

项目已在 Gitee 开源。

二、项目简介

Mobile MCP（Mobile Model Context Protocol） 是一个面向工程实践的移动端自动化测试项目，核心目标是实现：

通过自然语言描述测试需求，自动操作真实手机，并生成可执行的 pytest 自动化测试代码。

项目支持 Android / iOS，并在传统自动化方案基础上，引入了 AI 理解与视觉识别能力。

---

三、核心能力概览

1️⃣ 自然语言驱动的自动化测试

测试人员只需要描述测试意图，例如：

“测试登录流程，输入账号密码并校验是否登录成功”

系统会自动完成：

• 流程理解

• 页面操作

• 断言生成

• 测试用例结构化

大幅降低自动化测试的门槛。

---

2️⃣ 自动生成 pytest 测试代码（工程级）

Mobile MCP 并不是“黑盒执行”，而是 显式生成标准 pytest 测试代码，包括：

• 测试用例函数

• 操作步骤

• 断言逻辑

• 可维护的 Python 结构

生成的代码支持：

• 二次修改

• 集成 CI / 自动化测试流水线

• 直接用于企业项目

这使得 AI 自动化测试 真正具备工程落地价值。

---

3️⃣ 视觉识别操作（不依赖 UI Tree）

针对 UI Tree 获取困难的场景，项目引入了 截图 + AI 视觉识别方案：

• 自动识别按钮、输入框、文本区域

• 不依赖 Accessibility 或控件层级

• 适用于：

  • WebView

  • 混合页面

  • 第三方 App

  • UI 结构不稳定页面

相比传统方案，具备更强的鲁棒性。

---

4️⃣ MCP 架构：AI Agent × 设备控制解耦

项目采用 MCP（Model Context Protocol）架构，实现：

• AI 决策逻辑

• 设备操作能力

• 测试执行与代码生成

三者解耦，便于：

• 扩展不同模型

• 接入新设备

• 复用测试能力

该架构也非常适合用于 AI Agent + 自动化测试 的研究与实践。

---

四、技术栈说明

• Python

• pytest

• Android / iOS 设备控制

• AI 大模型（自然语言理解 + 视觉识别）

• MCP 架构设计

项目结构清晰，适合二次开发与学习。

---

五、适用场景

• 自动化测试工程实践

• AI + 测试方向探索

• 校招 / 社招技术项目展示

• 移动端测试平台原型

• 智能测试工具研发

---

六、开源地址

📌 Gitee 项目地址：
https://gitee.com/chang-xinping/mobile-mcp

欢迎 Star / Fork / 交流改进思路。

---

七、结语

Mobile MCP 并不是要“替代测试工程师”，
而是希望通过 AI 能力，让自动化测试更接近“描述意图 → 得到结果”。

如果你对 AI Agent、自动化测试、视觉识别、工程化落地 感兴趣，
欢迎一起交流。