22
2025
04
09:11:04

一周暴涨1.7K star!AI操控手机神器,一句话让手机自动干活!

最近这两年,AI自动化工具简直像开了挂一样。从最早能自动写代码、回邮件的大模型,到后来能控制电脑操作的Auto-GPT,再到搞定浏览器自动化的BrowserUse,AI从“动口”慢慢变成了“动手”。不过这些工具大多集中在PC和网页端,移动端的自动化一直是个空白。

今天开源君分享一款最近非常火的项目 - DroidRun,能够让你用自然语言控制你的手机。

项目简介

DroidRun是一个能让AI通过自然语言控制安卓手机的开源框架。你可以把它理解成“AI的手机助手”,只要你用口语化的命令告诉它要干啥,它就能调动背后的大语言模型(比如OpenAI、Anthropic、Gemini),结合手机屏幕截图和UI结构分析,一步一步把任务给完成了。

                                                                                                                      已关注                                                                            关注                                                               重播                                                                                                                                                            观看更多


    0/0

    00:00/00:56进度条,百分之0播放00:00/00:5600:56全屏


    倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

    继续观看

    一周暴涨1.7K star!AI操控手机神器,一句话让手机自动干活!

    转载,一周暴涨1.7K star!AI操控手机神器,一句话让手机自动干活!开源先锋已同步到看一看


            视频详情              

    整个项目分两部分:电脑端的框架和手机端的Portal应用。

    电脑端负责解析你的命令、调用大模型生成操作步骤;手机端的APP则像一个“翻译官”,把电脑发来的指令转化成实际的点击、滑动、输入等操作。

    而且它完全开源,代码随便看随便改,不管你是想自己折腾个手机助手,还是给公司做自动化测试,都能用上。

                                                                                                                          已关注                                                                            关注                                                               重播                                                                                                                                                            观看更多


      0/0

      00:00/00:22进度条,百分之0播放00:00/00:2200:22全屏


      倍速播放中 0.5倍 0.75倍 1.0倍 1.5倍 2.0倍 超清 流畅

      继续观看

      一周暴涨1.7K star!AI操控手机神器,一句话让手机自动干活!

      转载,一周暴涨1.7K star!AI操控手机神器,一句话让手机自动干活!开源先锋已同步到看一看


              视频详情              

      刚开源一周就斩获了1.7K star,非常厉害!

      性能特色


      • 会“听人话”的手机管家:不需要学复杂的代码,直接用口语化命令就能操控手机。

      • 支持多家大模型:不管你是OpenAI的忠实粉丝,还是觉得Anthropic的Claude更对胃口,或者想试试谷歌的Gemini,DroidRun全都支持。你只需要在配置里切换一下提供商,就能让不同的大模型来执行任务。

      • 看得见摸得着,操作过程全透明:DroidRun会把手机屏幕截图实时分析,你能清楚看到它每一步在点哪个按钮、滑动到哪个位置。如果任务没完成,还能通过截图和日志快速定位问题,debug简直不要太方便。

      • 自带“纠错机制”:手机APP的界面经常更新,传统自动化脚本一更新就失效,但DroidRun很聪明。它会结合视觉识别和UI结构提取,就算按钮位置变了、图标换了,也能通过“找文字”“认图标”来定位目标。

      • 能写脚本能扩展:如果你觉得命令行不够用,还能用Python API自己写脚本。而且框架支持自定义插件,你可以给它添加新的操作类型,打造更复杂的自动化工作流。

      快速安装使用

      准备工作

      • 一台安卓手机(打开开发者模式,开启USB调试)
      • 电脑上安装ADB(安卓调试桥,相当于电脑和手机的翻译官)
      • 注册一个大模型API密钥(OpenAI、Anthropic、Gemini任选一个)

      安装步骤

      1、最简单的方式,直接用pip安装:

      pip install droidrun  

      如果你想玩最新功能,也可以从GitHub克隆源码:

      git clone https://github.com/droidrun/droidrun.git  
      cd droidrun  
      pip install -e .  

      2、给手机装上DroidRun的Portal应用,去GitHub下载APK文件,然后用命令行安装:

      droidrun setup --path=/path/to/droidrun-portal.apk  

      或者用ADB命令:

      adb install -r /path/to/droidrun-portal.apk  

      3、配置API密钥,在电脑上新建一个.env文件,把你的大模型密钥填进去:

      export OPENAI_API_KEY="你的OpenAI密钥"  
      # 或者 export ANTHROPIC_API_KEY="你的Anthropic密钥"  
      # 或者 export GEMINI_API_KEY="你的Gemini密钥"  


      然后在命令行里运行 source .env 加载配置。

      4、用USB线把手机连上电脑,或者通过无线ADB连接(确保手机和电脑在同一个Wi-Fi):

      # 查看连接的设备  
      droidrun devices  
      # 连接指定设备(无线连接时用IP地址)  
      droidrun connect 192.168.1.100  

      简单使用

      • 最简单的命令,比如打开设置:
      droidrun "Open the settings app"  
      • 指定大模型提供商,比如用Gemini打开计算器:
      droidrun "Open the calculator app" --provider gemini --model gemini-2.0-flash  
      • 甚至可以让它分析屏幕内容:
      droidrun "Take a screenshot and describe what's on the screen" --vision  

      小结

      DroidRun绝对是最近最让我眼前一亮的开源项目,它把AI和安卓系统打通任督二脉这件事做成了。不管是想自动化测试的码农,还是想偷懒的普通用户,甚至想做手机版AutoGPT的极客,都能玩出花样。

      更多细节功能,感兴趣的可以到项目地址查看:

      https://github.com/droidrun/droidrun




      推荐本站淘宝优惠价购买喜欢的宝贝:

      image.png

      本文链接:https://www.hqyman.cn/post/10668.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

      分享到:
      打赏





      休息一下~~


      « 上一篇 下一篇 »

      发表评论:

      ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

      请先 登录 再评论,若不是会员请先 注册

      您的IP地址是: