vigilar
MakazhanAlpamys/Soup
«Ajusta un modelo de 8B en una GPU de portátil de 4 GB». En fase beta, la transmisión de capas mantiene el modelo base congelado en la RAM y solo envía la capa activa a la VRAM. Medido en una RTX 3050 para portátil de 4 GB con Llama-3.1-8B-Instruct NF4: 119,6 tokens/s y 3,32 GB de pico.
Estrellas
1.797
Forks
273
Lenguaje
Python
Licencia
Apache-2.0
Issues
—
Estado
—
Cómo funciona
Implementa sin concepto declarado
Núcleo
MakazhanAlpamys/Soup Python · Apache-2.0
Se cruza con todavía sin cruces en el grafo
Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.