最近这两年,AI自动化工具简直像开了挂一样。从最早能自动写代码、回邮件的大模型,到后来能控制电脑操作的Auto-GPT,再到搞定浏览器自动化的BrowserUse,AI从“动口”慢慢变成了“动手”。不过这些工具大多集中在PC和网页端,移动端的自动化一直是个空白。
今天开源君分享一款最近非常火的项目 - DroidRun
,能够让你用自然语言控制你的手机。
项目简介
DroidRun
是一个能让AI通过自然语言控制安卓手机的开源框架。你可以把它理解成“AI的手机助手”,只要你用口语化的命令告诉它要干啥,它就能调动背后的大语言模型(比如OpenAI、Anthropic、Gemini),结合手机屏幕截图和UI结构分析,一步一步把任务给完成了。
整个项目分两部分:电脑端的框架和手机端的Portal应用。
电脑端负责解析你的命令、调用大模型生成操作步骤;手机端的APP则像一个“翻译官”,把电脑发来的指令转化成实际的点击、滑动、输入等操作。
而且它完全开源,代码随便看随便改,不管你是想自己折腾个手机助手,还是给公司做自动化测试,都能用上。
刚开源一周就斩获了1.7K star,非常厉害!
性能特色
会“听人话”的手机管家:不需要学复杂的代码,直接用口语化命令就能操控手机。
支持多家大模型:不管你是OpenAI的忠实粉丝,还是觉得Anthropic的Claude更对胃口,或者想试试谷歌的Gemini,DroidRun全都支持。你只需要在配置里切换一下提供商,就能让不同的大模型来执行任务。
看得见摸得着,操作过程全透明:DroidRun会把手机屏幕截图实时分析,你能清楚看到它每一步在点哪个按钮、滑动到哪个位置。如果任务没完成,还能通过截图和日志快速定位问题,debug简直不要太方便。
自带“纠错机制”:手机APP的界面经常更新,传统自动化脚本一更新就失效,但DroidRun很聪明。它会结合视觉识别和UI结构提取,就算按钮位置变了、图标换了,也能通过“找文字”“认图标”来定位目标。
能写脚本能扩展:如果你觉得命令行不够用,还能用Python API自己写脚本。而且框架支持自定义插件,你可以给它添加新的操作类型,打造更复杂的自动化工作流。
快速安装使用
准备工作
一台安卓手机(打开开发者模式,开启USB调试) 电脑上安装ADB(安卓调试桥,相当于电脑和手机的翻译官) 注册一个大模型API密钥(OpenAI、Anthropic、Gemini任选一个)
安装步骤
1、最简单的方式,直接用pip安装:
pip install droidrun
如果你想玩最新功能,也可以从GitHub克隆源码:
git clone https://github.com/droidrun/droidrun.git
cd droidrun
pip install -e .
2、给手机装上DroidRun的Portal应用,去GitHub下载APK文件,然后用命令行安装:
droidrun setup --path=/path/to/droidrun-portal.apk
或者用ADB命令:
adb install -r /path/to/droidrun-portal.apk
3、配置API密钥,在电脑上新建一个.env
文件,把你的大模型密钥填进去:
export OPENAI_API_KEY="你的OpenAI密钥"
# 或者 export ANTHROPIC_API_KEY="你的Anthropic密钥"
# 或者 export GEMINI_API_KEY="你的Gemini密钥"
然后在命令行里运行 source .env
加载配置。
4、用USB线把手机连上电脑,或者通过无线ADB连接(确保手机和电脑在同一个Wi-Fi):
# 查看连接的设备
droidrun devices
# 连接指定设备(无线连接时用IP地址)
droidrun connect 192.168.1.100
简单使用
最简单的命令,比如打开设置:
droidrun "Open the settings app"
指定大模型提供商,比如用Gemini打开计算器:
droidrun "Open the calculator app" --provider gemini --model gemini-2.0-flash
甚至可以让它分析屏幕内容:
droidrun "Take a screenshot and describe what's on the screen" --vision
小结
DroidRun
绝对是最近最让我眼前一亮的开源项目,它把AI和安卓系统打通任督二脉这件事做成了。不管是想自动化测试的码农,还是想偷懒的普通用户,甚至想做手机版AutoGPT的极客,都能玩出花样。
更多细节功能,感兴趣的可以到项目地址查看:
https://github.com/droidrun/droidrun
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接:https://www.hqyman.cn/post/10668.html 非本站原创文章欢迎转载,原创文章需保留本站地址!
休息一下~~