在灵臂(Lybic)云Android沙盒中体验AutoGLM
Open-AutoGLM 是一个基于 智谱-ChatGLM 系列模型构建的开源手机智能助手框架。它可以通过自然语言指令在 Android 设备上自主完成任务。借助灵臂提供的云 Android 沙盒,您无需准备本地手机或配置 ADB,即可直接在云端体验和运行 AutoGLM,快速完成 Phone Agent 的开发、测试与验证。
目前,AutoGLM-Phone-9B 模型现已在 Hugging Face 和 ModelScope 上开放下载。该框架适配各个主流应用,包括 Gmail、Google 地图、微信、淘宝、美团等,并支持英语和中文。
本文将介绍如何在 lybic 云 Android 沙盒中体验 AutoGLM 模型。
Zhipu-Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备,以视觉语言模型进行屏幕感知,再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求,如“打开小红书搜索美食”,Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管。同时,它提供远程 ADB 调试能力,可通过 WiFi 或网络连接设备,实现灵活的远程控制与开发。
现在,您可以在 lybic 云 Android 沙盒中体验 Zhipu-Phone Agent 的强大功能。
与官方的仓库不同,你需要使用lybic分叉的 Zhipu-Phone Agent 该分叉集成了 lybic 云沙盒,允许你在没有(不使用)本地 Android 设备的情况下运行自动化任务。
特性
- 无需本地设备:直接在云端沙盒中运行
- 无需 ADB 配置:通过 API 直接控制
- 开箱即用:自动创建和管理沙盒环境
安装 Agent
克隆项目并安装依赖:
git clone git@github.com:lybic/Open-AutoGLM.git
cd Open-AutoGLM/
pip install -r requirements.txt获取 API Key
lybic apikey
前往 Lybic官网 获取 LYBIC_ORG_ID 和 LYBIC_API_KEY
大模型 apikey
你可以选择以下两个平台之一来获取 AutoGLM-Phone-9B 模型的在线推理 API Key:
1. 智谱 BigModel
- 文档: https://docs.bigmodel.cn/cn/api/introduction
--base-url:https://open.bigmodel.cn/api/paas/v4--model:autoglm-phone--apikey: 在智谱平台申请你的 API Key
2. ModelScope(魔搭社区)
- 文档: https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B
--base-url:https://api-inference.modelscope.cn/v1--model:ZhipuAI/AutoGLM-Phone-9B--apikey: 在 ModelScope 平台申请你的 API Key
使用第三方服务的示例:
# 使用智谱 BigModel
python main.py --lybic --lybic-org-id YOUR_ORG_ID \
--lybic-api-key YOUR_API_KEY \
--base-url https://open.bigmodel.cn/api/paas/v4 \
--model "autoglm-phone" \
--apikey "your-bigmodel-api-key" \
"打开美团搜索附近的火锅店"
# 使用 ModelScope
python main.py --lybic --lybic-org-id YOUR_ORG_ID \
--lybic-api-key YOUR_API_KEY \
--base-url https://api-inference.modelscope.cn/v1 \
--model "ZhipuAI/AutoGLM-Phone-9B" \
--apikey "your-modelscope-api-key"
"打开美团搜索附近的火锅店"如果你想本地运行模型,可以参考 模型本地部署
环境变量
| 变量 | 描述 | 默认值 |
|---|---|---|
PHONE_AGENT_BASE_URL | 模型 API 地址 | http://localhost:8000/v1 |
PHONE_AGENT_MODEL | 模型名称 | autoglm-phone-9b |
PHONE_AGENT_API_KEY | 模型认证 API Key | EMPTY |
PHONE_AGENT_MAX_STEPS | 每个任务最大步数 | 100 |
PHONE_AGENT_DEVICE_ID | ADB 设备 ID | (自动检测) |
PHONE_AGENT_LANG | 语言 (cn 或 en) | cn |
LYBIC_ORG_ID | Lybic 组织 ID | (无) |
LYBIC_API_KEY | Lybic API Key | (无) |
LYBIC_SANDBOX_ID | 指定沙盒 ID | (自动创建) |
LYBIC_SANDBOX_SHAPE | 指定沙盒类型 | guangzhou-4c6g-android-12 |
命令行参数
| 参数 | 描述 | 默认值 |
|---|---|---|
--base-url | 模型 API 地址 | http://localhost:8000/v1 |
--model | 模型名称 | autoglm-phone-9b |
--apikey | 模型认证 API Key | EMPTY |
--max-steps | 每个任务最大步数 | 100 |
--lang | 语言 (cn 或 en) | cn |
--lybic | 使用 lybic 云沙盒 | (不使用) |
--lybic-endpoint | Lybic API 端点地址 | https://api.lybic.cn |
--lybic-org-id | Lybic 组织 ID | (无) |
--lybic-api-key | Lybic API Key | (无) |
--lybic-sandbox-id | 指定沙盒 ID ,如果不指定则自动创建 | (自动创建) |
--lybic-sandbox-shape | 指定沙盒类型 | guangzhou-4c6g-android-12 |
更多命令行参数请参考 main.py