Lybic Docs

在灵臂(Lybic)云Android沙盒中体验AutoGLM

Open-AutoGLM 是一个基于 智谱-ChatGLM 系列模型构建的开源手机智能助手框架。它可以通过自然语言指令在 Android 设备上自主完成任务。借助灵臂提供的云 Android 沙盒,您无需准备本地手机或配置 ADB,即可直接在云端体验和运行 AutoGLM,快速完成 Phone Agent 的开发、测试与验证。

目前,AutoGLM-Phone-9B 模型现已在 Hugging Face 和 ModelScope 上开放下载。该框架适配各个主流应用,包括 Gmail、Google 地图、微信、淘宝、美团等,并支持英语和中文。

本文将介绍如何在 lybic 云 Android 沙盒中体验 AutoGLM 模型。


Zhipu-Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备,以视觉语言模型进行屏幕感知,再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求,如“打开小红书搜索美食”,Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管。同时,它提供远程 ADB 调试能力,可通过 WiFi 或网络连接设备,实现灵活的远程控制与开发。

现在,您可以在 lybic 云 Android 沙盒中体验 Zhipu-Phone Agent 的强大功能。

与官方的仓库不同,你需要使用lybic分叉的 Zhipu-Phone Agent 该分叉集成了 lybic 云沙盒,允许你在没有(不使用)本地 Android 设备的情况下运行自动化任务。

特性

  • 无需本地设备:直接在云端沙盒中运行
  • 无需 ADB 配置:通过 API 直接控制
  • 开箱即用:自动创建和管理沙盒环境

安装 Agent

克隆项目并安装依赖:

git clone git@github.com:lybic/Open-AutoGLM.git
cd Open-AutoGLM/
pip install -r requirements.txt

获取 API Key

lybic apikey

前往 Lybic官网 获取 LYBIC_ORG_IDLYBIC_API_KEY

大模型 apikey

你可以选择以下两个平台之一来获取 AutoGLM-Phone-9B 模型的在线推理 API Key:

1. 智谱 BigModel

2. ModelScope(魔搭社区)

使用第三方服务的示例:

# 使用智谱 BigModel
python main.py --lybic --lybic-org-id YOUR_ORG_ID \
  --lybic-api-key YOUR_API_KEY \
  --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model "autoglm-phone" \
  --apikey "your-bigmodel-api-key" \
  "打开美团搜索附近的火锅店"

# 使用 ModelScope
python main.py  --lybic --lybic-org-id YOUR_ORG_ID \
  --lybic-api-key YOUR_API_KEY \
  --base-url https://api-inference.modelscope.cn/v1 \
  --model "ZhipuAI/AutoGLM-Phone-9B" \
  --apikey "your-modelscope-api-key"
  "打开美团搜索附近的火锅店"

如果你想本地运行模型,可以参考 模型本地部署

环境变量

变量描述默认值
PHONE_AGENT_BASE_URL模型 API 地址http://localhost:8000/v1
PHONE_AGENT_MODEL模型名称autoglm-phone-9b
PHONE_AGENT_API_KEY模型认证 API KeyEMPTY
PHONE_AGENT_MAX_STEPS每个任务最大步数100
PHONE_AGENT_DEVICE_IDADB 设备 ID(自动检测)
PHONE_AGENT_LANG语言 (cnen)cn
LYBIC_ORG_IDLybic 组织 ID(无)
LYBIC_API_KEYLybic API Key(无)
LYBIC_SANDBOX_ID指定沙盒 ID(自动创建)
LYBIC_SANDBOX_SHAPE指定沙盒类型guangzhou-4c6g-android-12

命令行参数

参数描述默认值
--base-url模型 API 地址http://localhost:8000/v1
--model模型名称autoglm-phone-9b
--apikey模型认证 API KeyEMPTY
--max-steps每个任务最大步数100
--lang语言 (cnen)cn
--lybic使用 lybic 云沙盒(不使用)
--lybic-endpointLybic API 端点地址https://api.lybic.cn
--lybic-org-idLybic 组织 ID(无)
--lybic-api-keyLybic API Key(无)
--lybic-sandbox-id指定沙盒 ID ,如果不指定则自动创建(自动创建)
--lybic-sandbox-shape指定沙盒类型guangzhou-4c6g-android-12

更多命令行参数请参考 main.py

本页内容