sin acción #local_70B_inference
kvcache-ai/ktransformers
Framework para experimentar con optimizaciones heterogéneas de inferencia y fine-tuning de LLMs (offloading a CPU, cuantización, KV cache, scheduling). Apache-2.0, 18.8k★, mantenido por el grupo de kvcache-ai (Berkeley-ish). Re-trending en GitHub Trending daily.
Estrellas
18.792
Forks
1.463
Lenguaje
Python
Licencia
Apache-2.0
Issues
—
Estado
—
Cómo funciona
Implementa llm inference optimization
Núcleo
kvcache-ai/ktransformers Python · Apache-2.0
Se cruza con habilita local 70B inference desarrollado por kvcache ai
Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.
Posición en el ecosistema
kvcache-ai/ktransformers
habilita
local 70B inference
kvcache ai
desarrollado por
kvcache-ai/ktransformers
kvcache-ai/ktransformers
implementa
llm inference optimization
Relaciones que aportó este boletín
enableslocal_70B_inferencenuevo
(concept, relación nueva de hoy)
complementslyogavin/airllm· 2026-07-20
(concept, ya cubierta el 2026-07-20)
competes_withllama.cppnuevo
(concept, relación nueva de hoy)