explorar pick editorial #phone-as-agent-tool hallazgo 05 · boletín 2026-08-09

ShawnPana/phone-harness

Harness Python minimalista (MIT, 358★, creado hace 2 días) que conecta un LLM directamente al iPhone vía macOS iPhone Mirroring: screencapture + Vision OCR como 'ojos', HID-level CGEvents como 'manos'. El agente escribe su propio helper Python en agent-workspace/agent_helpers.py durante la ejecución.

Estrellas

358

Forks

Lenguaje

Python

Licencia

MIT

Issues

—

Estado

—

Cómo funciona

Implementa phone-as-agent-tool

Núcleo

ShawnPana/phone-harness Python · MIT

Se cruza con relevante para computer use usa os-level-mirroring

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Posición en el ecosistema

ShawnPana/phone-harness

implementa

phone-as-agent-tool Concepto

ShawnPana/phone-harness

relevante para

computer use Concepto

ShawnPana/phone-harness

usa

os-level-mirroring Herramienta

Expandir en el grafo 3D →

Relaciones que aportó este boletín

implementsphone-as-agent-toolnuevo usesos-level-mirroringnuevo relevant_tocomputer-usenuevo

Por qué importa

Es la pieza que faltaba entre computer-use (Claude Desktop, OpenAI Operator) y el smartphone real. La elegancia del enfoque es que no toca el teléfono: usa el mirroring nativo de macOS (iPhone Mirroring) con screencapture + Vision OCR como 'ojos' y CGEvents a nivel HID (eventos de hardware de bajo nivel, los mismos que usa el sistema para simular teclado y ratón) como 'manos'. El truco del repo — que el propio agent escriba su helper Python en agent-workspace/agent_helpers.py durante la ejecución — le da una plasticidad interesante. No necesita WDA (WebDriverAgent, la pieza que usa Appium para iOS), ni jailbreak, ni Xcode. Las 358 estrellas y 2 días de vida son una señal de adopción temprana, no de tracción consolidada, y el riesgo real es que Apple cierre el agujero de Mirroring en cualquier release. Para CSS: si cubrimos computer-use, este es el ejemplo más limpio de que el smartphone es el próximo frontier, y la comparativa con Android (scrcpy + uiautomator) es obligada.

Acción concreta

ShawnPana/phone-harness: iPhone Mirroring + Vision OCR + HID sin jailbreak. Tu propia skill computer-use ya cubre desktop; este es el análogo para smartphone. Worth explorar si tu flujo 'Alejandro móvil-first' lo justifica.

Apariciones · 1

2026-08-09 hallazgo principal
primera vez en el boletín

Señales de madurez (texto original)

358★ · 27 forks · Python · creado 2026-08-07 · último push 2026-08-07 · licencia MIT. Descripción oficial: let your agent control your phone. Topics: (sin topics).