工具介绍：

SmartDigger 项目是一个基于 Appium 及视觉大模型的智能移动应用测试工具。它能够自动检测应用界面中的弹窗，并智能处理各种弹窗场景，同时生成详细的元素边界数据报告，为移动应用测试提供高效、智能的解决方案。

开源项目地址：

https://gitee.com/grabby_Tester/smart-digger

迭代1

基于视觉模型的APP自动弹窗检测及关闭

功能特性

• 设备信息获取

  自动识别连接的 Android 设备，获取设备名称、分辨率等信息

• 界面元素分析

  实时截取应用界面，智能分析可点击元素及其边界信息

• 弹窗智能处理

  基于视觉大模型识别各类弹窗，自动执行关闭操作

• 数据报告生成

  自动记录元素边界信息，生成详细的 Markdown 格式报告

• 异常处理机制

  内置完善的错误处理机制，确保检测流程的稳定性

环境要求

• Python 3.8+

• Appium Server 1.22.0+

• Android 设备或模拟器（Android 8.0+）

• 视觉大模型 API 访问权限

运行效果

Case 1

系统

• 截图标注

  

• 运行日志

  

Case 2

抖音

• 截图标注

  

• 运行日志 ng)

  

参考

• mobile_agent

• browser_use 最强基于 Python 的 AI 浏览器自动化

迭代2

基于视觉模型的 APP 自动化任务异常诊断

迭代新增功能说明

1. 新增 rest-api 接口

2. 新增视觉模型，判断是弹窗后，保存弹窗模版

3. 新增对已存在的弹框模版进行图像比对

4. 优化整体项目结构，增加日志、存储等等配置

当前诊断系统核心业务逻辑

（本次迭代 60% 的代码为 AI 编写）

迭代3

基于视觉模型的 APP 自动化异常诊断中心

目前支持的诊断内容

支持弹窗视觉诊断

本次迭代任务

本次主要是优化性能，修复一些 bug

性能

初次弹窗：响应时间 3s

模版库匹配：响应时间 1s

模型耗费费用

单次 api 调用模型：toal_tokens:2080

截至目前调用 209719 Token(s) 话费：0.2076 元，估计调用快 100 次 api

感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取