explorar #accessibility-tree-computer-use hallazgo 03 · boletín 2026-09-20

lahfir/agent-desktop

CLI nativa en Rust (1.312★, 87 forks, Apache-2.0, creado 2026-02-19, último push 2026-09-17) más C-ABI cdylib (libagent_desktop_ffi) que permite cargar la librería desde Python / Swift / Go / Ruby / Node / C sin forkear el CLI. La tesis editorial: en macOS el árbol de accesibilidad es la estructura real de la UI — agent-desktop la lee y la opera, con refs estables y acciones seguras de reintentar, en lugar de adivinar desde píxeles.

Estrellas

1.312

Forks

Lenguaje

Rust

Licencia

Apache-2.0

Issues

—

Estado

—

Cómo funciona

Implementa accessibility-tree-computer-use

Núcleo

lahfir/agent-desktop Rust · Apache-2.0 agentaccessibilityclaude-computer-usecomputer-usemacososascriptrust

Se cruza con related_to Browser CDP harness compite con claude computer use

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Posición en el ecosistema

lahfir/agent-desktop

related_to

Browser CDP harness Concepto · y browser-use/jev-ultrafast

lahfir/agent-desktop

implementa

accessibility-tree-computer-use Concepto

lahfir/agent-desktop

compite con

claude computer use Concepto

Expandir en el grafo 3D →

Relaciones que aportó este boletín

implementsaccessibility-tree-computer-usenuevo competes_withclaude-computer-usenuevo relevant_tobrowser-cdp-harness· 2026-08-23usescdpnuevorelevant_tohuman-in-the-loop-agent-workflow· 2026-08-19

Por qué importa

Aquí toca ser honestos sobre la limitación: el resto de entradas de computer-use (OpenAI Operator, Anthropic Claude Computer Use, Google Astra) que hemos cubierto en boletines previos trabajan con screenshots + visión multimodal — caro en tokens, frágil a reflows, propenso a "fingir que entendió". agent-desktop propone otra ruta: lee el Accessibility tree nativo de macOS (el mismo que usa VoiceOver), lo aplana en un snapshot estructurado con progressive skeleton traversal (78–96% menos tokens sobre apps densas como Slack según el README) y referencia los elementos por IDs compactos tipo @s8f3k2p9:e1. El catálogo de comandos es serio: 58 nombres / 54 operacionales cubriendo observación, interacción, teclado, ratón, notificaciones, clipboard, gestión de ventanas y ciclo de vida de sesión. Killer feature para nosotros: Chromium-app interop vía CDP (launch --cdp abre un DevTools port verificado) — cualquier framework que habla CDP (Playwright, Puppeteer, agent-browser) maneja el contenido web mientras los menús nativos siguen el path de accesibilidad. La adopción es trivial: npm install -g agent-desktop descarga el binario prebuilt, npx agent-desktop snapshot --app Finder -i funciona sin instalar aunque el bundle completo pida permisos. Caveat duro: macOS only (13.0+, Rust 1.89+, requiere Accessibility + Screen Recording + Automation permissions); para Linux/Windows ya cubrimos warp-tech/warpgate que cubre SSH/K8s/database bastion pero no computer-use nativo. Conexión con boletines previos: ya cubrimos el patrón browser-CDP-harness el 2026-08-23 y los flujos human-in-the-loop para agentes el 2026-08-19; agent-desktop aterriza ambos desde la esquina nativa.

Alerta

instalar con npm install -g agent-desktop, ejecutar npx agent-desktop snapshot --app Finder -i para ver el output sobre tu propia sesión, validar permissions --request antes de comprometerte; si trabajas con Slack/Xcode/Finder/Safari y un coding agent, agent-desktop es la pieza que cierra el loop "el agente opera sobre la UI real sin adivinar desde píxeles"; macOS only — no aplica para Linux/Windows

Apariciones · 1

2026-09-20 hallazgo principal
primera vez en el boletín

Señales de madurez (texto original)

1.312★ · 87 forks · Rust + npm wrapper · Apache-2.0 · creado 2026-02-19 · último push 2026-09-17 · topics: agent, accessibility, claude-computer-use, computer-use, macos, osascript, rust. CI workflow, releases en GitHub, npm package agent-desktop, ClawHub skill listing, skills.sh listing. Documentación: arquitectura + diagramas + star-history.