Java

不到48小时2k星:没有root,AI怎么操作手机?

没有 root,也没有系统签名,一个普通 App 怎么替你点微信、下单、截图?Mika 开源 48 小时拿到 1923 星——它自己写了一遍 adb 协议,借调试通道换到 shell 身份,再造一块看不见的屏,把 App 搬进去操作。

不到48小时2k星:没有root,AI怎么操作手机?

图片 1

Mika

10 月 29 日 22:34,GitHub 上出现一个叫 Mika 的仓库。

到 10 月 31 日 16:30,41 小时 56 分,它拿到 1923 star、305 fork。

star 和 fork 的比例是 6.3:1。这个比例不太寻常——通常 star 远多于 fork,六个里就有一个 fork,说明每六个人里就有一个打算把代码拉下来真跑一遍。

它做的事一句话能说完:在一块你看不见的屏上,替你操作手机 App。

真实点、真实打字、真实翻页。你同时在刷自己的手机,两边互不干扰。

图片 2

后台翻完微信群,总结今天聊了啥

(README 里的两段录屏之一,加速播放;总结正文涉及群友发言,已打码)

图片 3

打开小红书,总结一位博主的内容

(同一段录屏的另一半:逐屏读完一个博主的主页再总结)

难的不是模型

这类产品最难过的一关,从来不在模型。

模型早就会说”点右上角那个加号”。难的是:凭什么让一个第三方 App 在没有 root 的手机上、在后台跑起来、被人点击、被人读取,还不打断你?

Mika 的答案分三层:拿一个 shell 身份、造一块假屏、把 App 搬到假屏上。

下面按这三层拆。所有结论来自我读它的源码——980 个 Kotlin 文件、135,253 行,:core 占 68,988 行,:app 占 66,265 行。

先说清楚:我读代码,没在真机上跑过。涉及真机行为的地方我会标出来。

一行命令换来的身份

Mika 的全部特权,起点是这一行:

read n
( echo "$n" | CLASSPATH=<base.apk> setsid app_process /system/bin \
    --nice-name=<pkg>:helper \
    com.wangzan101.mika.shell.HelperMain \
    <pkg> <uid> <certPin> >/dev/null 2>&1 & )
read _

app_process 是 Android Runtime 的启动器。用它可以不安装任何东西,直接跑一个 main 类。

关键在于它由谁启动。这行命令经 adb 送进设备,所以 app_process 继承的是 shell 身份,uid 2000。

uid 2000 能干什么:INJECT_EVENTS(注入触摸)、CREATE_VIRTUAL_DISPLAY(建虚拟屏)、MANAGE_ACTIVITY_TASKS(管任务栈)。这些权限普通 App 申请不到,系统不给。

四个细节值得单独看:

片段 作用
setsid 脱离 adbd 会话,adb 断连不会把助手一起杀掉
read n + 管道 nonce 从 stdin 传,不落在命令行。否则 /proc/pid/cmdline 全世界可读
--nice-name 进程名写成 <包名>:helper,方便之后按 cmdline 精确清理旧实例
<certPin> 助手启动时核对”跑我的 APK 那个包”的签名指纹,不一致就退出

这套机制的核心,是用一次 adb 换一个常驻的特权进程。

问题接着来了:adb 从哪来?手机又没连电脑。

它把 ADB 协议自己写了一遍

Android 11 起有个功能叫无线调试。打开后,手机自己就是 adb 服务端,监听一个端口。

Mika 在 App 里实现了 adb 客户端,约 1500 行,在 core/adb/ 下。配对流程:

  1. mDNS 找到 _adb-tls-pairing._tcp 广播的端口

  2. TLS 1.3 连上去,此时双方都还没有对方的信任锚

  3. 用 exportKeyingMaterial("adb-label\0", 64) 导出 64 字节密钥

  4. 口令 = 你输入的 6 位配对码 + 这段导出密钥,走 SPAKE2

  5. 双方算出同一个会话密钥,用 AES-GCM 互换 PeerInfo

  6. 各自存下对方公钥,配对完成

SPAKE2、Ed25519、TLS 1.3 握手,都是自己写的。

这也解释了它为什么要求 Android 13+。虚拟屏要用到的几个 flag 和 takeScreenshot 都是 13 才有的:11 能装,13 才能干活。

Binder 怎么从 shell 进程回到 App

助手跑起来了,但它和 Mika 是两个进程,Binder 不能直接传。

Mika 用 ContentProvider 做中转站:

// 助手侧
val holder = ActivityManager.getContentProviderExternal(authority, userId, token, TAG)
holder.provider.call(AttributionSource, authority, "attach", null, extras)
// extras 里塞:我的 Binder、nonce、uid、pid、apkPath

App 侧校验完,回一个 KEY_TOKEN 和一个新 nonce。助手存下 Binder,linkToDeath。

反向的桥也建了。助手用 addOnUidImportanceListener 盯着 Mika 的 uid,Mika 被杀又重启时会重新交接一次,不用再走 adb。

三道校验:onTransact 第一行比对 calling uid;签名指纹必须匹配;nonce 一次性、30 秒过期。

到这里,特权通道就有了。整条链路长这样:

图片 4

权限上升路径

接下来是更难的部分。

一块不落在玻璃上的屏

常规做法都撞墙:

  • 主屏打开再按 Home:Activity 被 onStop,也打断了用户

  • 小窗或画中画:还是占着物理屏

  • MediaProjection 录屏:只能看不能点,系统每 30 分钟弹一次授权

Mika 用 VirtualDisplay。App 先建一个 ImageReader,把它的 Surface 交给 shell 进程去建屏:

private val reader = ImageReader.newInstance(w, h, PixelFormat.RGBA_8888, 2)
val id = shell.createDisplay(reader.surface, w, h, dpi)

渲染结果全部写进这块 Surface,只有 Mika 能读。物理屏上什么都不显示。

建屏用的 flags,是整段代码里最能看出”踩过坑”的地方:

Flag 缺了会怎样
PUBLIC App 无法在上面显示
TRUSTED Android 12+ 拒绝在上面启动 Activity
SUPPORTS_TOUCH 触摸事件被丢弃
OWN_DISPLAY_GROUP 和主屏共用任务栈,挪任务失效
ALWAYS_UNLOCKED 用户锁屏后 App 被暂停
TOUCH_FEEDBACK_DISABLED 画面上出现白色圆点,污染 OCR
OWN_FOCUS 焦点永远在主屏,输入事件进不去
STEAL_TOP_FOCUS_DISABLED 用户打字时输入法突然消失

最后一条最隐蔽。虚拟屏有了自己的焦点后会去抢主屏的 top focus,用户正在微信里打字,键盘会莫名收起。

还有一个 IME_POLICY = LOCAL,通过反射设 setDisplayImePolicy。不设的话,输入法会弹到用户的主屏上——你在用手机,突然跳出一个键盘。

这些 flag 没有文档可查,只能一个版本一个版本试。也正因为如此,它对 Android 版本的依赖是硬的。

把 App 搬到这块屏上

建屏只是有了空地。要让第三方 App 上去,普通 startActivity 不够——系统会用调用者的 display。

必须用 shell 身份调 startActivityAsUser,带 12 个参数,其中一个 ActivityOptions.setLaunchDisplayId(displayId)。

Mika 用反射调,失败退回 am start --display。

它没把返回码简化成成功或失败,而是分了八种:

码 含义 上层怎么办
START_OK 成功 继续
IN_USE_ON_MAIN 用户正在主屏用这个 App 不启动
IN_USE_BY_OTHER 另一个任务在 Mika 屏上用它 排队
OK_COLD_IGNORED 要求冷启动但任务在自己屏上 忽略冷启动,不杀用户进程

IN_USE_ON_MAIN 这条是产品级的克制。技术上有能力抢,但选择了不抢。

图片 5

虚拟屏与App搬迁

最值钱的 97 行

这是我读这个项目时最意外的发现。

场景:目标 App 从后台拉起另一个 App。点通知、点分享、跳支付、跳登录,都算。

系统会把新页面放到发起者的 display 上。但很多路径最终落到了主屏。

结果很荒谬:用户正在玩手机,屏幕上突然弹出一个 App;Mika 的虚拟屏毫无变化,模型以为没点上,一遍遍重试。

它的源码注释把这件事写得很直白:

App 不是从自己在 Mika 屏上的页面、而是从后台(服务、通知的跳转、系统的选择器、跨用户的转交)打开另一个 App 时,系统按默认放到主屏;Mika 的屏上看不出变化,模型会以为没点上、一遍遍再点。

Mika 的处理是三步:动作前让助手注册 ITaskStackListener 盯主屏 6 秒;动作后拉取”主屏最上面换人”的事件;再用一段纯逻辑判定。

private fun verdict(a: Arrival, ...): Verdict? {
    if (a.at < since || a.at > since + windowMs) return null// 不在窗口内
    if (!a.standard || pkg in excluded) return null// 桌面、Mika 自己
    if (a.from != NEW && a.from != MAIN) return null// 从别的屏挪来的
    if (a.now != MAIN) return null// 已经不在主屏
    if (userTaps.any { it in since..a.at }) return null// 用户点过,算他自己开的
    if (a.taskId == topBefore) return if (a.sameTask) InUse(a) else null
    return PullBack(a)
}

判成 PullBack 就 moveRootTaskToDisplay 挪回来,等它真的到最上面。

判成 InUse 就不动——原来就在主屏的那个 App 换了页面,说明用户正用着的那个被打开了,那是在用户眼前,别碰。

还有例外:系统选择器(“用哪个 App 打开”)不挪,留给用户自己选,任务暂停等待。

这 97 行是纯 Kotlin,没有一行 Android 依赖,可以直接单测。

能写成纯函数,是因为所有 Android 查询都被抽成了一个 Arrival 数据类。能纯逻辑就纯逻辑,这是这个项目一贯的做法。

读屏的四段降级

App 上屏了,接下来要”看”。

第一段是无障碍控件树。getWindowsOnAllDisplays() 按 displayId 取窗口,过滤输入法、无障碍浮层、放大镜,遍历节点生成元素表:@e1、@e2,每个带 role、名字、坐标、是否可点、是否密码框。

几个细节:

  • 坐标归一化到 0–999,和分辨率解耦

  • 无名字的可点容器,用子节点文字拼出名字,最多 60 字

  • hint 和 placeholder 分开:输入框显示灰色提示语时,告诉模型”这不是你输入的内容”

  • 树指纹用 FNV-1a,包含光标位置,只打一个字也能检测到

第二段判质量。TreeQuality 是个纯函数,判这棵树够不够用:有名字的元素少于 6 个就判不准,盲区超过 20% 屏也判不准,控件大多没名字则降为 Partial。

判不准,就把球踢给下一段。

第三段是本机 OCR。ML Kit 的中文和拉丁两个模型并行跑,随 APK 打包,不联网。

第四段才是视觉模型。而且用了两段式:模型给出 bbox,画红框再截一次图,让它自己确认”我框的是不是它”。名字对不上就拒绝。

这四段有严格的先后。顺序错了会很贵:直接上视觉模型,一次定位的 token 够读十次树。

图片 6

读屏四段降级

三路点击,三路输入

点击顺序是:可点祖先的 ACTION_CLICK → 无障碍手势 dispatchGesture(setDisplayId) → shell 注入 InputEvent。

第三种必须 setDisplayId,不设的话事件进的是主屏。这是 @hide API,只有 shell 身份能用。

输入更麻烦,三条完全不同的路:

路 什么时候用 怎么做
ACTION_SET_TEXT 普通输入框 直接写,再全选
剪贴板粘贴 WebView、密码框 全选 → ACTION_PASTE
坐标打字 自绘界面,树里看不到输入框 点坐标 → Ctrl+A → Ctrl+V

WebView 里 ACTION_SET_TEXT 打不进去,因为那是 Chromium 自己渲染的输入框,页面 JS 收不到 input 事件。

第三路最糙:没有控件树,无法知道字有没有进去,只能比对前后两帧的像素,一点没变就报 point_not_typed。

剪贴板这块写得很克制:读不到原来的剪贴板就放弃粘贴,免得弄丢用户复制的验证码;粘贴时给内容打敏感标记;抑制系统的”已复制”浮层;操作完立刻还原。

怎么知道真的点到了

这是 Agent 幻觉最严重的地方。模型说”已点击”,实际什么都没发生,然后它继续往下走,全盘错。

Mika 的每一步都核。核心是这个包装器:

val beforeTree = treeHash()
val beforeFrame = frameSignature()
val w = armSpillWatch()
val changed = withEventClock { clock ->
    clock.mark()
    if (action()) awaitChange(clock, beforeTree, beforeFrame) else null
}

三个证据:树指纹变化、帧亮度格变化、元素表结构差异。

等待用的是”等到没有新事件 500 毫秒”,全程没写一个固定 delay。快的时候 80 毫秒返回,慢的时候等到 1.5 秒上限。

最后给出四种结论:

enum class EffectKind(val wire: String) {
    Done("done"), SmallChange("small_change"),
    NoEffect("no_effect"), PlaceChanged("place_changed")
}

NoEffect 给模型的提示是”换个做法,别原样再来”。这句很重要,模型最常见的坏行为就是原样重试。

还有个字段叫 treeBlind:树读不出的地方,不说”你没点上”,避免在自绘界面里无谓重试。

图片 7

动作后怎么验证

拟人化不只是为了像人

点击落点用三角分布。均匀分布会让 20% 的点落在元素边缘 2 像素内,容易误触相邻控件;三角分布把峰值放在中心。

路径是贝塞尔弧线,弓高 6%、最大 30 像素。真人的手指不走直线。

滑动速度用三次 Hermite:

fun progress(u: Float, endSpeed: Float): Float =
    (-2*u*u*u + 3*u*u) + endSpeed * (u*u*u - u*u)

标准 smoothstep 保证起步和结束速度都是 0;加上 endSpeed 项,滑动结束时还有残余速度。

没有这个残余速度,列表滑不动。匀速直线滑动不会触发惯性滚动。

看着像在做人设,实际是在修 bug。

三个取舍和它们的代价

取舍一:虚拟屏,而不是 MediaProjection。

换来的是不占物理屏、不需要反复授权、不受防截屏影响(虚拟屏这一路是渲染管线直出)。

代价是必须有 shell,而 shell 只能靠无线调试拿。

取舍二:自己实现 ADB,而不是依赖 Shizuku。

Shizuku 也要靠 adb 或 root 启动,用户还得再装一个 App。自己实现的代价是 1500 行协议代码,以及一个致命依赖:没有 Wi-Fi 就没有 adbd。

Android 的无线调试绑在 Wi-Fi 关联上。没连 Wi-Fi 时,系统会把 adb_wifi_enabled 写回 0,并停掉 adbd。

所以手机重启后如果没连 Wi-Fi,Mika 起不了助手,整个 App 的手机能力全废。这条它自己的 roadmap 里也写着,真机验证还挂着。

取舍三:树优先,而不是纯视觉。

树读得快、准、便宜,还能拿到 resourceId 和控件状态。代价是对自绘界面无力,必须补 OCR 和视觉模型,于是有了四段降级和两段式视觉确认。

什么时候别用

iOS 上无解。四层全封死:没有 adb 等价物、没有虚拟屏、第三方读不到别人 App 的 UI 树、没有合法的输入注入。Apple 的立场是任何第三方都不该拥有跨 App 的控制权。

无 Wi-Fi 的冷启动不可用。助手还在时断网没事,Binder 不依赖网络;助手不在又没 Wi-Fi,就起不来。

反射随时会坏。startActivityAsUser 的 12 个参数、setDisplayImePolicy、InputManagerGlobal 全是 @hide,每个 Android 大版本都可能变。

屏幕内容会发给模型。读屏的截图和元素表会上传到你配的模型服务商。项目说没有自己的服务器,这不等于内容不出手机。

最终核查是关着的。TaskRun 里 reviewFinalAnswer = false,所以任务有没有真的完成没有独立验证,回答一律记为”未核实”。它自己的 roadmap 把这条列在已知问题第一位。

哪一部分能搬到你的项目

一、端口抽象。整个 Android 实现藏在 ScreenPort 接口后面。想换 iOS、换云真机、换测试桩,只需要换一个实现。

二、动作核实。EffectKind 四态加 InterfaceDiff 内容对齐,和平台无关。任何”点了之后要确认生效”的场景都能用。

三、树质量判定。TreeQuality 判的是元素够不够用,78 行纯函数。

四、工具折叠。68 个工具先给 10 个入口,用到再展开。它的注释里还有一句很少见的考虑:展开只影响列表尾部,让 prompt cache 的前缀尽可能长命。

五、拟人化参数。三角分布、贝塞尔弧、Hermite 曲线,三个函数抄走就能用。

它还能干别的

除了操作 App,它还有一个内置浏览器:自己的 WebView,跑在私有虚拟屏上,用 DevTools 协议做真实输入,默认以电脑版身份打开。

还有一个随 APK 自带的 Alpine Linux 沙箱,走 PRoot,每对话一个工作区,默认断网。

知识库是纯文本:18 个 App、12 个网站、4 类通用做法,放在 core/src/main/resources/ 下,可以直接提 PR 补充。

图片 8

在 BOSS 直聘网页上找岗位、打招呼

图片 9

打开汽水音乐,看广告领听歌权益

图片 10

在美团上凑满减、点外卖,付款前问你

付款前会停下来问你。这是它默认的”询问模式”里唯一会拦的动作——发消息、提交、删除都直接做完。

写在最后

过去,想让 AI 操作手机,等于等一个系统级权限。

Mika 让这道等式松了一格:一个 APK,加一次 6 位配对码,就够了。

代价它也都摊在明面上:依赖 Wi-Fi、依赖反射、iOS 上完全走不通。

41 小时 1923 star、305 fork,说明很多人等的就是这个”不用 root 也能试”的版本。

项目地址:https://github.com/wangzan101/Mika

下载地址:https://github.com/wangzan101/Mika/releases/latest

如果遇到下载或安装问题也可以在评论区留言交流,欢迎大家一起讨论新技术。

一句话总结

Mika 之所以能在没有 root 的安卓上操作 App,是因为它把 adb 的 shell 身份变成了一个常驻进程,再用一块 VirtualDisplay 把 App 从你眼前挪走。

下一篇

下一篇拆会继续拆解,比如OCR和视觉模型在什么条件下才被允许介入。或者你有其他更感兴趣的内容,欢迎评论区留言。


我是 Aaron,10 年算法工程经验,每周拆一个 AI 新东西的实现细节。 关注「AI拆解猿」,每周拆一个 AI协议、框架、源码或架构,直到你能自己动手。

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿