在这里插入图片描述

什么是 AutoGLM?

AutoGLM 是一个基于 AI 的手机自动化框架,它能够理解你的自然语言指令,然后自动操作你的 Android 手机完成任务。

官网地址:https://github.com/zai-org/Open-AutoGLM/tree/main?tab=readme-ov-file#

举个例子

  • 你说:“打开小红书”
  • AI 自动帮你打开小红书应用
  • 你说:“打开淘宝搜索无线耳机”
  • AI 自动打开淘宝,搜索无线耳机

简单来说,就是用嘴发指令,AI 帮你操作手机


准备工作

在开始之前,请确保你有:

  1. 一台 Android 手机(Android 7.0 及以上版本)
  2. 一根支持数据传输的 USB 数据线(不是仅充电线)
  3. 一台 Mac 电脑(我这边是以 macOS 为例)
  4. ModelScope API Key(免费申请,用于调用 AI 模型)
    https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B/

🔧 第一步:手机端配置

1.1 开启开发者模式

  1. 打开手机 设置
  2. 找到 关于手机(或 关于设备
  3. 找到 版本号(或 内部版本号
  4. 连续快速点击版本号 7-10 次
  5. 直到看到提示"您已处于开发者模式"

1.2 开启 USB 调试

  1. 返回 设置
  2. 找到 开发者选项(通常在"系统"或"其他设置"中)
  3. 开启 USB 调试
  4. 部分机型还需要开启 USB 调试(安全设置)

1.3 安装 ADB Keyboard

ADB Keyboard 是用于文本输入的工具,必须安装。

方法一:在手机上直接下载

  1. 在手机浏览器中访问:https://github.com/senzhk/ADBKeyBoard/releases
  2. 下载 ADBKeyboard.apk 文件
  3. 安装 APK(可能需要允许"未知来源"安装)

方法二:通过电脑传输

  1. 在电脑上下载 APK:https://github.com/senzhk/ADBKeyBoard/releases
  2. 通过 USB 或微信/QQ 传输到手机
  3. 在手机上安装

启用 ADB Keyboard

  1. 打开手机 设置
  2. 进入 系统语言和输入法虚拟键盘
  3. 找到 ADB Keyboard 并启用

第二步:电脑端安装

2.1 安装 Python(如果还没有)

macOS 通常自带 Python 3,检查一下:

python3 --version

访问 https://www.python.org/downloads/ 下载安装。

2.2 下载项目代码

打开终端(Terminal),运行:

cd ~/Documents
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

如果没有 git,也可以直接下载 ZIP 文件解压。

2.3 安装 Python 依赖

pip3 install -r requirements.txt
pip3 install -e .

2.4 安装 ADB 工具

方法一:使用 Homebrew(推荐)

# 如果还没有 Homebrew,先安装它
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

# 安装 ADB
brew install android-platform-tools

方法二:手动下载安装

  1. 访问:https://developer.android.com/tools/releases/platform-tools
  2. 下载 macOS 版本的 platform-tools
  3. 解压到 ~/Downloads/platform-tools
  4. 添加到环境变量:
echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc
source ~/.zshrc

2.5 验证 ADB 安装

adb version

应该看到版本信息。


第三步:连接手机

3.1 用 USB 连接手机

  1. 用 USB 数据线连接手机和电脑
  2. 在手机上点击"允许 USB 调试"的提示

3.2 验证连接

在终端运行:

adb devices

预期输出

List of devices attached
XXXXXXXX    device

如果显示 unauthorized,需要在手机上点击"允许 USB 调试"。


🔑第四步:配置 ModelScope API

4.1 申请 API Key

  1. 访问:https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B/

  2. 部署模型,可以使用官方给的免费实例在这里插入图片描述

  3. 进入个人中心,申请 API Key

  4. 复制你的 API Key(格式类似:ms-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

4.2 测试 API 连接

运行测试脚本(将 YOUR_API_KEY 替换为你的实际 API Key):

python3 scripts/check_deployment_cn.py \
  --base-url https://api-inference.modelscope.cn/v1 \
  --model "ZhipuAI/AutoGLM-Phone-9B" \
  --apikey "YOUR_API_KEY"

如果看到推理结果,说明配置成功!


第五步:开始使用

5.1 基本使用

方式一:使用便捷脚本(推荐)

首先创建一个便捷脚本 run.sh

#!/bin/bash
export PATH=$PATH:~/Downloads/platform-tools
python3 main.py \
  --base-url https://api-inference.modelscope.cn/v1 \
  --model "ZhipuAI/AutoGLM-Phone-9B" \
  --apikey "YOUR_API_KEY" \
  "$@"

保存后添加执行权限:

chmod +x run.sh

使用方式:

./run.sh "打开微信"

方式二:直接使用命令

export PATH=$PATH:~/Downloads/platform-tools
python3 main.py \
  --base-url https://api-inference.modelscope.cn/v1 \
  --model "ZhipuAI/AutoGLM-Phone-9B" \
  --apikey "YOUR_API_KEY" \
  "打开小红书"

5.2 常用任务示例

# 打开应用
./run.sh "打开微信"
./run.sh "打开淘宝"
./run.sh "打开小红书"

# 搜索内容
./run.sh "打开淘宝搜索无线耳机"
./run.sh "打开小红书搜索美食攻略"

# 发送消息
./run.sh "打开微信,给文件传输助手发送消息:测试成功"

5.3 交互模式

不提供任务参数,进入交互模式:

./run.sh

然后直接输入任务,例如:

打开微信
打开淘宝搜索耳机

输入 exit 退出。


支持的应用

AutoGLM 支持 50+ 款主流应用,包括:

  • 社交通讯:微信、QQ、微博
  • 电商购物:淘宝、京东、拼多多
  • 美食外卖:美团、饿了么
  • 视频娱乐:bilibili、抖音、爱奇艺
  • 生活服务:高德地图、百度地图
  • 内容社区:小红书、知乎、豆瓣

查看完整列表:

python3 main.py --list-apps

常见问题

Q1: 提示 “adb: command not found”

解决:ADB 没有安装或不在 PATH 中。

# 检查是否安装
which adb

# 如果没找到,添加 PATH
export PATH=$PATH:~/Downloads/platform-tools

Q2: 提示 “No devices connected”

解决

  1. 检查 USB 线是否连接
  2. 检查手机上是否启用了 USB 调试
  3. 在手机上点击"允许 USB 调试"
  4. 运行 adb kill-server && adb start-server 重启 ADB

Q3: 提示 “ADB Keyboard is not installed”

解决

  1. 确保已安装 ADB Keyboard APK
  2. 在设置中启用 ADB Keyboard
  3. 或运行命令启用:
adb shell ime enable com.android.adbkeyboard/.AdbIME

Q4: 能打开应用但无法点击

解决:部分机型需要同时开启两个选项:

  • USB 调试
  • USB 调试(安全设置)

Q5: 中文输入变成乱码

解决:确保 ADB Keyboard 已安装并在设置中启用。

Q6: API 调用失败

解决

  1. 检查 API Key 是否正确
  2. 检查网络连接
  3. 检查 ModelScope 账号是否有余额
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐