probar #tiered-kv-cache-inference hallazgo 04 · boletín 2026-08-17

jundot/omlx

servidor LLM optimizado para Apple Silicon (M1/M2/M3/M4) con continuous batching + tiered KV cache (RAM hot + SSD cold) que sobrevive a cambios de contexto mid-conversation. macOS app con in-app auto-update, Homebrew tap (brew tap jundot/omlx), MCP support opcional, admin chat UI en localhost:8000/admin/chat. Kernels nativos Metal custom para GLM-5.2, MiniMax M3, Qwen3.5 (medido: 845 vs ~29 tok/s en prefill DSA GLM-5.2 sobre M3 Ultra).

Estrellas

18.816

Forks

1.500

Lenguaje

Python

Licencia

Apache-2.0

Issues

—

Estado

—

Cómo funciona

Implementa tiered-kv-cache-inference

Núcleo

jundot/omlx Python · Apache-2.0

Se cruza con complementa ollama/ollama relevante para llama.cpp

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Posición en el ecosistema

jundot/omlx

implementa

tiered-kv-cache-inference Concepto

jundot/omlx

complementa

ollama/ollama Repositorio · y rocketride-server

jundot/omlx

relevante para

llama.cpp Herramienta · y kvcache-ai/ktransformers

Expandir en el grafo 3D →

Relaciones que aportó este boletín

implementstiered-kv-cache-inferencenuevo

Por qué importa

El cuello de botella que LM Studio y Ollama comparten en sesiones largas de coding agents (Claude Code con 200k+ tokens de contexto) es que el KV cache se reinicia cada vez que el contexto cambia. oMLX ataca eso con un KV cache de dos niveles: tier caliente en RAM y tier frío en SSD, persistente entre cambios de contexto mid-conversation, lo que habilita modelos 70B+ en máquinas con 32-64 GB de RAM. La pieza competitiva real son los kernels Metal nativos para GLM-5.2, MiniMax M3 y Qwen3.5: 845 vs ~29 tok/s en prefill DSA sobre M3 Ultra (dato del repo, no replicado por). Si esa cifra se sostiene en M4 Max, el sweet spot para inference local en Apple Silicon se mueve. Limitación a verificar: el benchmark es del propio proyecto, sin independiente aún

Acción concreta

omlx (LM Studio++ para Mac con KV cache tiered y Metal nativo) es el tipo de pieza local-first concreta que el público de CSS puede aplicar esta semana sin esperar a Linux.

Apariciones · 1

2026-08-17 hallazgo principal
primera vez en el boletín

Señales de madurez (texto original)

18.816 ★ · 1.500 forks · Python · creado 2026-01-12 · último push 2026-08-17 · Apache-2.0 · topics: (no devueltos) · Homebrew tap · DMG oficial con kernels precompilados · MCP integration · admin UI · benchmarks públicos en omlx.ai/benchmarks.