explorar #tiny-foundation-model hallazgo 03 · boletín 2026-08-12

cactus-compute/needle

MIT, Python, 3.9k★, paper arXiv 2607.18363. Needle 2: modelo de 45M parámetros, 14 MB de binario único, 28 MB de RAM en sesión completa. Tool calling, device use y structured extraction con grammar-constrained decoding nativo y confidence scoring calibrado. Compite con FunctionGemma 270M y Apple FM a "5x-70x smaller, 2 bits vs f16".

Estrellas

3.899

Forks

294

Lenguaje

Python

Licencia

MIT

Issues

—

Estado

—

Cómo funciona

Implementa tiny-foundation-model

Núcleo

cactus-compute/needle Python · MIT cactusgeminigemmallmon-device-ai

Se cruza con habilita on-device-agent complementa h3.c

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Posición en el ecosistema

cactus-compute/needle

implementa

tiny-foundation-model Concepto

cactus-compute/needle

habilita

on-device-agent Concepto

cactus-compute/needle

complementa

h3.c Repositorio · y local-multimodal-inference

Expandir en el grafo 3D →

Relaciones que aportó este boletín

implementstiny-foundation-modelnuevo enableson-device-agentnuevo complementsantirez/h3.c· 2026-08-11relevant_totinygradnuevo

Por qué importa

45 millones de parámetros, 14 MB de binario y 28 MB de RAM en sesión completa, haciendo tool calling, control de dispositivo y extracción estructurada con gramática restringida nativa (el modelo no puede emitir un formato inválido) y puntuación de confianza calibrada, es decir, te dice cuánto se fía de su propia respuesta. El cambio de escala es el titular: agente local ya no significa cargar un 7B con llama.cpp, sino un modelo que cabe en un wearable o un móvil sin GPU. El repo se compara con FunctionGemma 270M y el modelo de Apple afirmando ser entre 5 y 70 veces más pequeño (2 bits frente a f16); son cifras del propio proyecto y no hemos verificado el benchmark. Ya cubrimos esta línea el 2026-08-11 con antirez/h3.c: los dos atacan la inferencia local-first, uno por el lado multimodal y este por el de tool calling. Si te interesa montar agentes que no llamen a ninguna API externa, es la pieza de referencia hoy; hay paper (arXiv 2607.18363) y licencia MIT, así que se puede auditar y usar.

Alerta

Las cifras comparativas de cactus-compute/needle ('5x-70x smaller, 2 bits vs f16') frente a FunctionGemma y Apple FM vienen del propio proyecto y el boletín no las ha verificado con benchmarks externos.

Acción concreta

El dato '45M parámetros, 14 MB, tool calling + grammar-constrained en dispositivo' es el tipo de cifra que cambia la conversación sobre 'agente local = necesitas una GPU', ideal para una pieza corta de CSS sobre el nuevo suelo de lo on-device.

Apariciones · 3

2026-08-18 radar
2026-08-16 radar
2026-08-12 hallazgo principal

Señales de madurez (texto original)

3,899★ · 294 forks · Python · creado 2026-02-24 · último push 2026-08-11 · licencia MIT. Repo original (fork=False, parent=None). Homepage: https://cactuscompute.com. Topics: cactus, gemini, gemma, llm, on-device-ai. README explica la receta "Simple Attention Network", con diagrama de arquitectura y frontier plot de size-vs-quality. Pesos en HuggingFace: Cactus-Compute/needle2. pip install cactus-needle, declaras herramientas, ejecutas.