开始之前请先确认：Quileg HID 需要一块 ESP32-S3 开发板（约 ¥30–60，需 16MB Flash）。已验证可用：Seeed XIAO ESP32S3 Plus，以及搭载 ESP32-S3-WROOM-1-N16R8 模组的第三方开发板。 这块板子会伪装成蓝牙键盘和鼠标，替 AI 去「按」手机。没有板子，App 装了也无法控制手机。
能做什么
只要屏幕上能手动完成的操作，AI 就能替你完成。
操作没有 API 的 App
朋友圈、外卖、银行、政务……凡是只能手点的界面，都能被点到。不需要对方开放接口。
把重复操作交给它
每天固定要做的点选、填写、翻页、复制，说一遍流程，之后让它自己跑。
边做边看，每步可验证
每次动作后重新截图确认结果，点偏了能发现、能纠正，而不是盲点一通。
完整键盘能力
字母、符号、功能键、修饰键组合都支持；中文输入走拼音 + 候选词点选。
不止 iPhone
iOS / iPadOS 走 AirPlay 投屏；Android、Windows、macOS 需配 UVC 采集卡。键位策略按被控平台切换。
全部在本地
控制服务只监听本机 127.0.0.1:8890，画面和操作不出你的电脑。
AI 怎么控制它
不用写脚本，也不用算坐标。把 DMG（下载的安装包）交给 AI：它自己装好、读包里的文档、配好接入，然后就能看屏幕、点按钮、打字。你说人话，它动手。
三步开始
- 把 DMG 交给 AI；或下载后自己拖进「应用程序」
- 让它读包里的
START-HERE.md - 按下面「连上手机」把设备接好，再对 AI 说：「手机连好了吗？」
有本机文件权限的 AI（Claude Code、Cursor、DSH 等）可以自己挂载 DMG、装进「应用程序」、核对签名与版本、读完包里 7 份文档，再按文档配好接入——你只需要在关键步骤点确认。
只能聊天的 AI（如 Claude Desktop）读不到本地文件，需要你先手动装一次；装完它就能通过 MCP 操作手机。服务只监听本机 127.0.0.1:8890，不要暴露到公网。在网页上看这些文档 →
场景：把一句话记进手机备忘录
每一步都重新看一眼屏幕确认，点偏了能发现，而不是盲点一通。
连上手机：这几步只能你自己做
- 打开「辅助触控」iPhone 设置 → 辅助功能 → 触控 → 辅助触控。不开就没有鼠标指针，所有点击都像没反应。
- 关掉「使用主键盘」同一页 → 指针设备 → 鼠标键 → 使用主键盘。开着时键盘会被当成鼠标，部分字符不落屏。
- 投屏到这台 Mac控制中心 →「屏幕镜像」→ 选你的 Mac。
- 板子上电并配网USB 连上 Mac，按 App 引导刷固件、连 Wi-Fi；带外置天线的板子记得插上天线。
四步做完，再对 AI 说一句「手机连好了吗？」——它会逐项自检，缺什么直接告诉你。
32 个工具，分四类
看
截图、识别屏幕文字、判断方向，返回可直接点击的坐标。
screenshot · ocr · orientation · click_text
做
点、长按、拖动、翻页、打字、按组合键。
click · long_press · drag · scroll · type_text · key
说
让 Mac 朗读、让手机听写输入中文，也能播提示音。
speak · dictation · play_audio
校准与诊断
请求校准、查状态、读日志、查某个快捷键能不能用。
calibration_request · app_status · app_logs · keymap_check
它怎么工作
三件事配合起来，就把「看」和「做」都解决了。
投屏，让 AI 看见
用 iPhone 自带的「屏幕镜像」把画面投到 Mac。App 收到画面后转成图像，AI 才能判断屏幕上有什么。
板子，替 AI 动手
ESP32-S3 以标准蓝牙键盘鼠标的身份连上手机，接收 Mac 发来的「点这里 / 打这几个字」，真实地按下去。
AI，指挥这一切
App 在本机开放控制接口，AI 通过 MCP 工具调用它：看一眼、点一下、再确认一眼。每一步都可验证。
控制台
左侧是手机实时画面，右侧是控制与设备面板
为什么不是「云手机」
- 画面来自你自己的手机，不经过任何服务器
- 操作是真实的蓝牙键鼠事件，不是注入或改包
- 手机上不装任何 App，不开开发者模式，不越狱
- 断网也能用——只要 Mac 和板子在同一个局域网
三代演进
同一个内核：让设备以标准键盘和鼠标的身份工作。前两代基于 STM32，做的是插在电脑上的有线设备；第三代改用 ESP32-S3，走蓝牙，把目标换成了手机。前两代均未公开发布。
-
第一代
2024 年 7 月
Quileg 程控键鼠模拟器
基于 STM32 的独立设备，以键鼠身份执行编排好的流程，做过黄/白/蓝多种外壳（见下图）。未公开发布；作品介绍
-
第二代
2025 年 7 月
多机并联
仍是 STM32，关键变化是支持多台设备串联、并列运行。未公开发布。
-
第三代 · 当前
2026 至今
Quileg HID
改用 ESP32-S3 走蓝牙：不再需要插线，目标也从电脑换成手机——投屏看画面，键鼠动手，让 AI 直接操作 iPhone。
开始使用
从零到可用，大约 30–40 分钟——其中约 13 分钟是第一次校准；只要手机、分辨率、指针大小、视频源和方向不变，之后不用再做。
准备板子
买一块 ESP32-S3（16MB Flash 版本）。若板子带外置天线接口，务必插上天线，否则 Wi-Fi 几乎收不到信号。
装 App、刷固件
下载 DMG，把 App 拖进「应用程序」，打开后用 USB 连上板子，在 App 里一键刷入固件。
投屏、校准、开始用
手机控制中心 →「屏幕镜像」→ 选你的 Mac；先在 iPhone 上打开「辅助触控」（设置 → 辅助功能 → 触控），并确认「指针设备 → 鼠标键 → 使用主键盘」是关闭的；然后在 App 里走一次校准，之后就能让 AI 动手了。
系统要求
| 操作系统 | macOS 13.0（Ventura）及以上 |
|---|---|
| 处理器 | Apple Silicon（M1–M4）或 Intel Mac（macOS 13–26）。两个架构分开下载、互不通用：Apple 芯片用 -arm64，Intel 用 -intel |
| 配套硬件 | ESP32-S3 开发板，16MB Flash。已验证：Seeed XIAO ESP32S3 Plus；ESP32-S3-WROOM-1-N16R8 模组的第三方板（部分批次用 XMC Flash，需实测） |
| 网络 | Mac 与板子处于同一局域网（Wi-Fi 2.4GHz） |
| 被控设备 | iPhone / iPad（AirPlay 屏幕镜像）；Android / Windows / macOS（需 UVC 采集卡） |
| 价格 | 免费 |
技术细节
给要接自动化、写脚本、看实现的人。
本机控制接口与 MCP
App 启动后在本机 8890 端口提供 HTTP 接口，GUI、控制层和 MCP 共用同一个服务。检查它是否在运行：
curl -s http://127.0.0.1:8890/api/statusAI 通过 MCP 工具调用它，共 32 个工具，覆盖状态查询、截图、点击、输入、滚动、拖拽、按键、校准等。工具设计成「一次一个动作」，每次动作后都要重新观察屏幕，避免盲操作。
校准：为什么需要 13 分钟
蓝牙键鼠发送的是相对位移，而 AI 需要的是「点这个按钮」。所以要先测出这块屏幕、这个分辨率下的坐标映射关系，以及整条链路的延迟。
校准会测四个角的停车点、每个角的分段映射表、整条链路的延迟，并做一轮验证，生成一份按「视频源:分辨率」区分的档案（如 airplay:500x1080）。只有这几件事变了才需要重做：换手机、改镜像分辨率、改指针大小、换视频源（AirPlay ↔ UVC）、把手机横过来。换板子不用重做——表跟着手机走，不跟着板子走；AirPlay 和 UVC 各有一份档案，两路都用就要各校准一次。
第三方组件与许可证
本项目的部分能力建立在开源工作之上，随 App 与 DMG 一并分发声明与许可全文：
- esp32-iphone-agent（MIT）—— 板端控制服务的基础
- UxPlay（GPL-3.0）—— AirPlay 接收端
App 自身代码不开源。GPL-3.0 组件的对应源码随每个版本在 Releases 页面提供。
分发与验证
每个安装包都用 Developer ID 签名、经 Apple 公证，并把公证票据写入包内，因此首次启动无需联网验证。
校验下载是否完整：
shasum -a 256 Quileg-HID-版本号.dmg与 Releases 页面公布的 SHA-256 对照即可。
常见问题
为什么一定要有那块板子？
因为 iOS 不允许任何软件在系统内部模拟触摸。唯一的办法是从外部送进真实的蓝牙键鼠事件——这正是 ESP32-S3 做的事。它被手机当成一个普通蓝牙键盘，所以既不需要越狱，也不需要装 App。
会被判定为作弊或封号吗？
从设备角度看，操作就是真实的键盘鼠标输入，与人工操作没有区别。但请只在你有权操作的设备与账号上使用，并遵守对应平台的服务条款。涉及金融、支付等敏感操作时，请自行评估风险。
支持 Intel Mac 吗？
支持，请下载 Intel 包（文件名以 -intel.dmg 结尾）。功能与 Apple 芯片版一致，同样签名 + 公证；注意 Intel Mac 的系统上限是 macOS 26。
iPad 上指针一碰屏幕顶边就出现「锁屏」？
那不是锁屏。iPadOS 26 里指针碰到屏幕顶边会拉下通知中心（左半）或控制中心（右半），
画面和大时钟跟锁屏一模一样，按 Esc 或点空白就能关掉。
0.9.33 起归位改为「底部锚定」，不再把指针顶到角落，因此不会再触发它； 旧版本升级后请重新校准一次。校准期间别碰设备，自动锁定建议设为「永不」。
手机上要装什么吗？
不需要。iPhone 上不用装任何 App、不用开开发者模式、不用越狱，只需要用系统自带的「屏幕镜像」投屏。
我的屏幕内容会被上传吗？
不会。投屏接收、画面处理、控制指令全部在本机完成，服务只监听 127.0.0.1。是否把截图交给 AI，取决于你自己所用的 AI 工具。
安装时提示「无法验证开发者」怎么办？
正常情况下不会出现——包已公证并写入票据。若确实遇到，请确认下载完整（对照 SHA-256），并从「系统设置 → 隐私与安全性」中允许打开，不要使用来源不明的转载包。
文档
与安装包内文档同源，随版本更新。第一次用建议按顺序读前三篇。