explorar pick editorial hallazgo 01 · boletín 2026-09-10

Edge0-AI/Edge0

framework open source de inferencia MoE en streaming que generaliza una receta ya probada en producción: descarga de expertos a SSD, Recover-LoRA para compensar la pérdida de calidad, y un prerouter que predice qué expertos hará falta cargar antes de necesitarlos.

Estrellas

283

Forks

Lenguaje

Python

Licencia

Apache-2.0

Issues

—

Estado

preview

Cómo funciona

Implementa moe-edge-inference

Núcleo

Edge0-AI/Edge0 Python · Apache-2.0 · preview

Se cruza con relevante para on-device-llm usa ssd-expert-offload

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Posición en el ecosistema

Edge0-AI/Edge0

relevante para

on-device-llm Concepto · y lyogavin/airllm

Edge0-AI/Edge0

implementa

moe-edge-inference Concepto

Edge0-AI/Edge0

usa

ssd-expert-offload technique

Expandir en el grafo 3D →

Relaciones que aportó este boletín

implementstechnique:moe-expert-offloadnuevo solvesvram-bound-inferencenuevo competes_withllama.cpp· 2026-08-17

Por qué importa

Es el eje local-first llevado al límite. Publican dos tiers listos (edge0-35b sobre Qwen3.5-MoE 35B-A3B y edge0-8b sobre Ling 3.0), cada uno con checkpoint + adaptadores LoRA + cabezas de prerouter entrenadas, cargando automáticamente con edge0 serve <tier>. La arquitectura invierte el problema: en lugar de cargar el modelo entero en VRAM, el prerouter predice qué expertos se necesitarán y los descarga de SSD justo a tiempo, compensando la pérdida de calidad con Recover-LoRA. Backend MLX (Apple Silicon) hoy, CUDA en el roadmap. Si escribes sobre correr modelos grandes fuera del datacenter, esta es la arquitectura a explicar: el cuello de botella deja de ser la VRAM y pasa a ser la predicción de routing. En el grafo competimos con llama.cpp desde el boletín del 2026-08-17, y edge0 es una referencia útil para entender qué huecos deja cubierto (o no) ese enfoque.

Alerta

leer la sección de arquitectura del prerouter; es el aporte no obvio frente a un offload clásico

Acción concreta

Edge0 redefine la inferencia local-first; comparar su prerouter con el offload de llama.cpp puede dar un articulo solido sobre el fin de la VRAM como cuello de botella.

Apariciones · 2

2026-10-04 hallazgo principal
2026-09-10 hallazgo principal

Señales de madurez (texto original)

283 ★ · 10 forks · Python · creado 2026-09-08 · último push 2026-09-10 · Apache-2.0 · sin descripción en el campo oficial de GitHub · sin topics. Dos días de vida: tratar como preview, no como producción.