La inferencia de frontera se democratiza: LLM en una sola tarjeta y1-bit oficial

BitNet b1.58 ya es la respuesta "production-grade" al argumento "los modelos pequeños son lentos en CPU": los modelos 1-bit I2_S ahora corren con RTF<1 (tiempo-real) consumiendo muy pocos threads tanto en CPU x86 con instrucciones AVX2 como en ARM con NEON. La pieza de ASR multilingüe (VibeASR.cpp, julio 2026) y los modelos de embedding 1-bit (BitNet-embedding-0.6B / 270M, julio 2026, con speedup de 1.42-2.28× sobre precisión F16 en prefill con 8 threads) cierran el círculo: el stack "Raspberry Pi + LLM razonablemente capaz + ASR multilingüe + embeddings baratos" ya tiene los tres pilares open-source oficiales de Microsoft. El modelo de referencia BitNet-b1.58-2B fue entrenado con 4T tokens (abril 2025), el kernel oficial para GPU llegó en mayo 2025 y el CPU paralelo con tiling configurable en enero 2026 (1.15-2.1× extra). Además, la arquitectura I2_S se puede aplicar a cualquier modelo Hugging Face vía convert.py. Ya cubrimos a BitNet como competidor de llama.cpp el 2026-08-17 y a Microsoft Research como actor detrás el 2026-09-19; este hito consolida esa línea con un stack CPU/GPU maduro. Nota: las cifras de speedup son claims del proyecto y conviene contrastarlas con benchmarks propios antes de comprometerlas en un artículo.

La barrera "necesitas 8×H100" para correr modelos frontera se evapora si aceptas latencia por capa: la técnica de "stream frozen weights una capa a la vez y mantener adapters en GPU" permite correr Kimi K3 (2.8T) en 3.72 GB de VRAM en una sola RTX 6000 Ada, Qwen3.8-Flash-Next (125B MoE) en 5.95 GB en RTX 4090 con tabla n-gram file-mapped en host, DeepSeek-V3 (671B) en torno a 12 GB y Qwen3-235B en unos 3 GB (cifras reportadas por el autor y verificadas en la práctica por la comunidad, 37.775★). Desde septiembre 2026 también entrena adapters: Qwen3.8-Flash-Next (125B) cabe bajo 6 GB en una RTX 3060 Ti y Qwen3.8-27B entrena en ~2 GB a secuencia 512. El último push es de hoy 2026-10-13, así que el ritmo de integración es activo y reusable en cualquier agente con fine-tuning local. Ya cubrimos la relación con Kimi K3 el 2026-07-28 y la competencia con llama.cpp / vllm el 2026-08-17 y 2026-09-08, y la oleada de tooling Python para inference local el 2026-10-12; este repo encaja exactamente en esa trayectoria y cambia la economía del auto-hospedaje en GPUs de consumo. Limitación honesta: las cifras de VRAM son del README; rendimiento real variará según el modelo y la secuencia.

El problema "tool output devora context window" (un Playwright snapshot ronda los 56 KB, 20 GitHub issues 59 KB, un access log 45 KB, y entre todos pueden comerse un 40% del contexto en 30 minutos) tiene ya un producto maduro con sus más de 27.500★, #1 en HN con 570+ puntos y último push hoy 2026-10-12: la estrategia es sandbox-ear el raw data en host y exponer al context solo metadatos y resúmenes, persistir entre sesiones qué archivos, tasks y preguntas se estaban editando, y enrutar entre 17 plataformas (Claude Code, Codex, OpenCode, Cursor, etc.). Si Alejandro opera con Claude Code o Codex en codebases grandes, context-mode puede ser el single best quality-of-life upgrade del año. Caveat a no pasar por alto: los badges "Used at Microsoft, Google, Meta, Amazon, Stripe, Cursor, Notion" son contadores dinámicos sin evidencia verificable más allá del JSON del repo, y la licencia ELv2 prohíbe ofrecerlo como servicio hosted (no es OSI open source), así que cualquier plan de producto حول a él necesita ese matiz. En el grafo ya cubrimos el concepto context-window-optimizer el 2026-09-08, la compresión de contexto el 2026-08-08, la exposición vía protocolo MCP el mismo 2026-09-08, e integraciones con claude-code, openai-codex, opencode y cursor también el 2026-09-08; este empujón confirma que la categoría ha pasado de prototipo a pieza seria del flujo de coding agents.