sin acción
lyogavin/airllm
Disk-offloading agresivo para correr LLMs de 70B en GPUs tan pequeñas como 4 GB de VRAM. El modelo vive en RAM/disco y se mueve a la GPU capa por capa.
Estrellas
23.737
Forks
—
Lenguaje
Jupyter Notebook
Licencia
Apache-2.0
Issues
—
Estado
—
Cómo funciona
Implementa sin concepto declarado
Núcleo
lyogavin/airllm Jupyter Notebook · Apache-2.0
Se cruza con habilita on-device-llm habilita local 70B inference relevante para Hermes local LLM strategy
Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.
Posición en el ecosistema
lyogavin/airllm
habilita
on-device-llm
lyogavin/airllm
habilita
local 70B inference
lyogavin/airllm
relevante para
Hermes local LLM strategy
Relaciones que aportó este boletín
enableslocal_70B_inferencenuevo
(concept, relación nueva de hoy)
competes_withGGUF_offloadingnuevo
(concept, relación nueva de hoy)
relevant_toHermes_local_LLM_strategynuevo
(concept, relación nueva de hoy)