
Mika
10 月 29 日 22:34,GitHub 上出现一个叫 Mika 的仓库。
到 10 月 31 日 16:30,41 小时 56 分,它拿到 1923 star、305 fork。
star 和 fork 的比例是 6.3:1。这个比例不太寻常——通常 star 远多于 fork,六个里就有一个 fork,说明每六个人里就有一个打算把代码拉下来真跑一遍。
它做的事一句话能说完:在一块你看不见的屏上,替你操作手机 App。
真实点、真实打字、真实翻页。你同时在刷自己的手机,两边互不干扰。

后台翻完微信群,总结今天聊了啥
(README 里的两段录屏之一,加速播放;总结正文涉及群友发言,已打码)

打开小红书,总结一位博主的内容
(同一段录屏的另一半:逐屏读完一个博主的主页再总结)
难的不是模型
这类产品最难过的一关,从来不在模型。
模型早就会说”点右上角那个加号”。难的是:凭什么让一个第三方 App 在没有 root 的手机上、在后台跑起来、被人点击、被人读取,还不打断你?
Mika 的答案分三层:拿一个 shell 身份、造一块假屏、把 App 搬到假屏上。
下面按这三层拆。所有结论来自我读它的源码——980 个 Kotlin 文件、135,253 行,:core 占 68,988 行,:app 占 66,265 行。
先说清楚:我读代码,没在真机上跑过。涉及真机行为的地方我会标出来。
一行命令换来的身份
Mika 的全部特权,起点是这一行:
read n
( echo "$n" | CLASSPATH=<base.apk> setsid app_process /system/bin \
--nice-name=<pkg>:helper \
com.wangzan101.mika.shell.HelperMain \
<pkg> <uid> <certPin> >/dev/null 2>&1 & )
read _
app_process 是 Android Runtime 的启动器。用它可以不安装任何东西,直接跑一个 main 类。
关键在于它由谁启动。这行命令经 adb 送进设备,所以 app_process 继承的是 shell 身份,uid 2000。
uid 2000 能干什么:INJECT_EVENTS(注入触摸)、CREATE_VIRTUAL_DISPLAY(建虚拟屏)、MANAGE_ACTIVITY_TASKS(管任务栈)。这些权限普通 App 申请不到,系统不给。
四个细节值得单独看:
| 片段 | 作用 |
|---|---|
setsid |
脱离 adbd 会话,adb 断连不会把助手一起杀掉 |
read n + 管道 |
nonce 从 stdin 传,不落在命令行。否则 /proc/pid/cmdline 全世界可读 |
--nice-name |
进程名写成 <包名>:helper,方便之后按 cmdline 精确清理旧实例 |
<certPin> |
助手启动时核对”跑我的 APK 那个包”的签名指纹,不一致就退出 |
这套机制的核心,是用一次 adb 换一个常驻的特权进程。
问题接着来了:adb 从哪来?手机又没连电脑。
它把 ADB 协议自己写了一遍
Android 11 起有个功能叫无线调试。打开后,手机自己就是 adb 服务端,监听一个端口。
Mika 在 App 里实现了 adb 客户端,约 1500 行,在 core/adb/ 下。配对流程:
-
mDNS 找到
_adb-tls-pairing._tcp广播的端口 -
TLS 1.3 连上去,此时双方都还没有对方的信任锚
-
用
exportKeyingMaterial("adb-label\0", 64)导出 64 字节密钥 -
口令 = 你输入的 6 位配对码 + 这段导出密钥,走 SPAKE2
-
双方算出同一个会话密钥,用 AES-GCM 互换 PeerInfo
-
各自存下对方公钥,配对完成
SPAKE2、Ed25519、TLS 1.3 握手,都是自己写的。
这也解释了它为什么要求 Android 13+。虚拟屏要用到的几个 flag 和 takeScreenshot 都是 13 才有的:11 能装,13 才能干活。
Binder 怎么从 shell 进程回到 App
助手跑起来了,但它和 Mika 是两个进程,Binder 不能直接传。
Mika 用 ContentProvider 做中转站:
// 助手侧
val holder = ActivityManager.getContentProviderExternal(authority, userId, token, TAG)
holder.provider.call(AttributionSource, authority, "attach", null, extras)
// extras 里塞:我的 Binder、nonce、uid、pid、apkPath
App 侧校验完,回一个 KEY_TOKEN 和一个新 nonce。助手存下 Binder,linkToDeath。
反向的桥也建了。助手用 addOnUidImportanceListener 盯着 Mika 的 uid,Mika 被杀又重启时会重新交接一次,不用再走 adb。
三道校验:onTransact 第一行比对 calling uid;签名指纹必须匹配;nonce 一次性、30 秒过期。
到这里,特权通道就有了。整条链路长这样:

权限上升路径
接下来是更难的部分。
一块不落在玻璃上的屏
常规做法都撞墙:
-
主屏打开再按 Home:Activity 被 onStop,也打断了用户
-
小窗或画中画:还是占着物理屏
-
MediaProjection 录屏:只能看不能点,系统每 30 分钟弹一次授权
Mika 用 VirtualDisplay。App 先建一个 ImageReader,把它的 Surface 交给 shell 进程去建屏:
private val reader = ImageReader.newInstance(w, h, PixelFormat.RGBA_8888, 2)
val id = shell.createDisplay(reader.surface, w, h, dpi)
渲染结果全部写进这块 Surface,只有 Mika 能读。物理屏上什么都不显示。
建屏用的 flags,是整段代码里最能看出”踩过坑”的地方:
| Flag | 缺了会怎样 |
|---|---|
PUBLIC |
App 无法在上面显示 |
TRUSTED |
Android 12+ 拒绝在上面启动 Activity |
SUPPORTS_TOUCH |
触摸事件被丢弃 |
OWN_DISPLAY_GROUP |
和主屏共用任务栈,挪任务失效 |
ALWAYS_UNLOCKED |
用户锁屏后 App 被暂停 |
TOUCH_FEEDBACK_DISABLED |
画面上出现白色圆点,污染 OCR |
OWN_FOCUS |
焦点永远在主屏,输入事件进不去 |
STEAL_TOP_FOCUS_DISABLED |
用户打字时输入法突然消失 |
最后一条最隐蔽。虚拟屏有了自己的焦点后会去抢主屏的 top focus,用户正在微信里打字,键盘会莫名收起。
还有一个 IME_POLICY = LOCAL,通过反射设 setDisplayImePolicy。不设的话,输入法会弹到用户的主屏上——你在用手机,突然跳出一个键盘。
这些 flag 没有文档可查,只能一个版本一个版本试。也正因为如此,它对 Android 版本的依赖是硬的。
把 App 搬到这块屏上
建屏只是有了空地。要让第三方 App 上去,普通 startActivity 不够——系统会用调用者的 display。
必须用 shell 身份调 startActivityAsUser,带 12 个参数,其中一个 ActivityOptions.setLaunchDisplayId(displayId)。
Mika 用反射调,失败退回 am start --display。
它没把返回码简化成成功或失败,而是分了八种:
| 码 | 含义 | 上层怎么办 |
|---|---|---|
START_OK |
成功 | 继续 |
IN_USE_ON_MAIN |
用户正在主屏用这个 App | 不启动 |
IN_USE_BY_OTHER |
另一个任务在 Mika 屏上用它 | 排队 |
OK_COLD_IGNORED |
要求冷启动但任务在自己屏上 | 忽略冷启动,不杀用户进程 |
IN_USE_ON_MAIN 这条是产品级的克制。技术上有能力抢,但选择了不抢。

虚拟屏与App搬迁
最值钱的 97 行
这是我读这个项目时最意外的发现。
场景:目标 App 从后台拉起另一个 App。点通知、点分享、跳支付、跳登录,都算。
系统会把新页面放到发起者的 display 上。但很多路径最终落到了主屏。
结果很荒谬:用户正在玩手机,屏幕上突然弹出一个 App;Mika 的虚拟屏毫无变化,模型以为没点上,一遍遍重试。
它的源码注释把这件事写得很直白:
App 不是从自己在 Mika 屏上的页面、而是从后台(服务、通知的跳转、系统的选择器、跨用户的转交)打开另一个 App 时,系统按默认放到主屏;Mika 的屏上看不出变化,模型会以为没点上、一遍遍再点。
Mika 的处理是三步:动作前让助手注册 ITaskStackListener 盯主屏 6 秒;动作后拉取”主屏最上面换人”的事件;再用一段纯逻辑判定。
private fun verdict(a: Arrival, ...): Verdict? {
if (a.at < since || a.at > since + windowMs) return null// 不在窗口内
if (!a.standard || pkg in excluded) return null// 桌面、Mika 自己
if (a.from != NEW && a.from != MAIN) return null// 从别的屏挪来的
if (a.now != MAIN) return null// 已经不在主屏
if (userTaps.any { it in since..a.at }) return null// 用户点过,算他自己开的
if (a.taskId == topBefore) return if (a.sameTask) InUse(a) else null
return PullBack(a)
}
判成 PullBack 就 moveRootTaskToDisplay 挪回来,等它真的到最上面。
判成 InUse 就不动——原来就在主屏的那个 App 换了页面,说明用户正用着的那个被打开了,那是在用户眼前,别碰。
还有例外:系统选择器(“用哪个 App 打开”)不挪,留给用户自己选,任务暂停等待。
这 97 行是纯 Kotlin,没有一行 Android 依赖,可以直接单测。
能写成纯函数,是因为所有 Android 查询都被抽成了一个 Arrival 数据类。能纯逻辑就纯逻辑,这是这个项目一贯的做法。
读屏的四段降级
App 上屏了,接下来要”看”。
第一段是无障碍控件树。getWindowsOnAllDisplays() 按 displayId 取窗口,过滤输入法、无障碍浮层、放大镜,遍历节点生成元素表:@e1、@e2,每个带 role、名字、坐标、是否可点、是否密码框。
几个细节:
-
坐标归一化到 0–999,和分辨率解耦
-
无名字的可点容器,用子节点文字拼出名字,最多 60 字
-
hint和placeholder分开:输入框显示灰色提示语时,告诉模型”这不是你输入的内容” -
树指纹用 FNV-1a,包含光标位置,只打一个字也能检测到
第二段判质量。TreeQuality 是个纯函数,判这棵树够不够用:有名字的元素少于 6 个就判不准,盲区超过 20% 屏也判不准,控件大多没名字则降为 Partial。
判不准,就把球踢给下一段。
第三段是本机 OCR。ML Kit 的中文和拉丁两个模型并行跑,随 APK 打包,不联网。
第四段才是视觉模型。而且用了两段式:模型给出 bbox,画红框再截一次图,让它自己确认”我框的是不是它”。名字对不上就拒绝。
这四段有严格的先后。顺序错了会很贵:直接上视觉模型,一次定位的 token 够读十次树。

读屏四段降级
三路点击,三路输入
点击顺序是:可点祖先的 ACTION_CLICK → 无障碍手势 dispatchGesture(setDisplayId) → shell 注入 InputEvent。
第三种必须 setDisplayId,不设的话事件进的是主屏。这是 @hide API,只有 shell 身份能用。
输入更麻烦,三条完全不同的路:
| 路 | 什么时候用 | 怎么做 |
|---|---|---|
ACTION_SET_TEXT |
普通输入框 | 直接写,再全选 |
| 剪贴板粘贴 | WebView、密码框 | 全选 → ACTION_PASTE |
| 坐标打字 | 自绘界面,树里看不到输入框 | 点坐标 → Ctrl+A → Ctrl+V |
WebView 里 ACTION_SET_TEXT 打不进去,因为那是 Chromium 自己渲染的输入框,页面 JS 收不到 input 事件。
第三路最糙:没有控件树,无法知道字有没有进去,只能比对前后两帧的像素,一点没变就报 point_not_typed。
剪贴板这块写得很克制:读不到原来的剪贴板就放弃粘贴,免得弄丢用户复制的验证码;粘贴时给内容打敏感标记;抑制系统的”已复制”浮层;操作完立刻还原。
怎么知道真的点到了
这是 Agent 幻觉最严重的地方。模型说”已点击”,实际什么都没发生,然后它继续往下走,全盘错。
Mika 的每一步都核。核心是这个包装器:
val beforeTree = treeHash()
val beforeFrame = frameSignature()
val w = armSpillWatch()
val changed = withEventClock { clock ->
clock.mark()
if (action()) awaitChange(clock, beforeTree, beforeFrame) else null
}
三个证据:树指纹变化、帧亮度格变化、元素表结构差异。
等待用的是”等到没有新事件 500 毫秒”,全程没写一个固定 delay。快的时候 80 毫秒返回,慢的时候等到 1.5 秒上限。
最后给出四种结论:
enum class EffectKind(val wire: String) {
Done("done"), SmallChange("small_change"),
NoEffect("no_effect"), PlaceChanged("place_changed")
}
NoEffect 给模型的提示是”换个做法,别原样再来”。这句很重要,模型最常见的坏行为就是原样重试。
还有个字段叫 treeBlind:树读不出的地方,不说”你没点上”,避免在自绘界面里无谓重试。

动作后怎么验证
拟人化不只是为了像人
点击落点用三角分布。均匀分布会让 20% 的点落在元素边缘 2 像素内,容易误触相邻控件;三角分布把峰值放在中心。
路径是贝塞尔弧线,弓高 6%、最大 30 像素。真人的手指不走直线。
滑动速度用三次 Hermite:
fun progress(u: Float, endSpeed: Float): Float =
(-2*u*u*u + 3*u*u) + endSpeed * (u*u*u - u*u)
标准 smoothstep 保证起步和结束速度都是 0;加上 endSpeed 项,滑动结束时还有残余速度。
没有这个残余速度,列表滑不动。匀速直线滑动不会触发惯性滚动。
看着像在做人设,实际是在修 bug。
三个取舍和它们的代价
取舍一:虚拟屏,而不是 MediaProjection。
换来的是不占物理屏、不需要反复授权、不受防截屏影响(虚拟屏这一路是渲染管线直出)。
代价是必须有 shell,而 shell 只能靠无线调试拿。
取舍二:自己实现 ADB,而不是依赖 Shizuku。
Shizuku 也要靠 adb 或 root 启动,用户还得再装一个 App。自己实现的代价是 1500 行协议代码,以及一个致命依赖:没有 Wi-Fi 就没有 adbd。
Android 的无线调试绑在 Wi-Fi 关联上。没连 Wi-Fi 时,系统会把 adb_wifi_enabled 写回 0,并停掉 adbd。
所以手机重启后如果没连 Wi-Fi,Mika 起不了助手,整个 App 的手机能力全废。这条它自己的 roadmap 里也写着,真机验证还挂着。
取舍三:树优先,而不是纯视觉。
树读得快、准、便宜,还能拿到 resourceId 和控件状态。代价是对自绘界面无力,必须补 OCR 和视觉模型,于是有了四段降级和两段式视觉确认。
什么时候别用
iOS 上无解。四层全封死:没有 adb 等价物、没有虚拟屏、第三方读不到别人 App 的 UI 树、没有合法的输入注入。Apple 的立场是任何第三方都不该拥有跨 App 的控制权。
无 Wi-Fi 的冷启动不可用。助手还在时断网没事,Binder 不依赖网络;助手不在又没 Wi-Fi,就起不来。
反射随时会坏。startActivityAsUser 的 12 个参数、setDisplayImePolicy、InputManagerGlobal 全是 @hide,每个 Android 大版本都可能变。
屏幕内容会发给模型。读屏的截图和元素表会上传到你配的模型服务商。项目说没有自己的服务器,这不等于内容不出手机。
最终核查是关着的。TaskRun 里 reviewFinalAnswer = false,所以任务有没有真的完成没有独立验证,回答一律记为”未核实”。它自己的 roadmap 把这条列在已知问题第一位。
哪一部分能搬到你的项目
一、端口抽象。整个 Android 实现藏在 ScreenPort 接口后面。想换 iOS、换云真机、换测试桩,只需要换一个实现。
二、动作核实。EffectKind 四态加 InterfaceDiff 内容对齐,和平台无关。任何”点了之后要确认生效”的场景都能用。
三、树质量判定。TreeQuality 判的是元素够不够用,78 行纯函数。
四、工具折叠。68 个工具先给 10 个入口,用到再展开。它的注释里还有一句很少见的考虑:展开只影响列表尾部,让 prompt cache 的前缀尽可能长命。
五、拟人化参数。三角分布、贝塞尔弧、Hermite 曲线,三个函数抄走就能用。
它还能干别的
除了操作 App,它还有一个内置浏览器:自己的 WebView,跑在私有虚拟屏上,用 DevTools 协议做真实输入,默认以电脑版身份打开。
还有一个随 APK 自带的 Alpine Linux 沙箱,走 PRoot,每对话一个工作区,默认断网。
知识库是纯文本:18 个 App、12 个网站、4 类通用做法,放在 core/src/main/resources/ 下,可以直接提 PR 补充。

在 BOSS 直聘网页上找岗位、打招呼

打开汽水音乐,看广告领听歌权益

在美团上凑满减、点外卖,付款前问你
付款前会停下来问你。这是它默认的”询问模式”里唯一会拦的动作——发消息、提交、删除都直接做完。
写在最后
过去,想让 AI 操作手机,等于等一个系统级权限。
Mika 让这道等式松了一格:一个 APK,加一次 6 位配对码,就够了。
代价它也都摊在明面上:依赖 Wi-Fi、依赖反射、iOS 上完全走不通。
41 小时 1923 star、305 fork,说明很多人等的就是这个”不用 root 也能试”的版本。
项目地址:https://github.com/wangzan101/Mika
下载地址:https://github.com/wangzan101/Mika/releases/latest
如果遇到下载或安装问题也可以在评论区留言交流,欢迎大家一起讨论新技术。
一句话总结
Mika 之所以能在没有 root 的安卓上操作 App,是因为它把 adb 的 shell 身份变成了一个常驻进程,再用一块 VirtualDisplay 把 App 从你眼前挪走。
下一篇
下一篇拆会继续拆解,比如OCR和视觉模型在什么条件下才被允许介入。或者你有其他更感兴趣的内容,欢迎评论区留言。
我是 Aaron,10 年算法工程经验,每周拆一个 AI 新东西的实现细节。 关注「AI拆解猿」,每周拆一个 AI协议、框架、源码或架构,直到你能自己动手。

