ai-evals-course/evals-skills

Skills library de Hamel Husain / Parlance Labs (curso AI Evals en Maven) que enseña a AI coding agents a construir product-specific evals (no foundation model benchmarks). El entry point evals-start enruta a eval-audit (revisar pipeline existente) o error-discovery (analizar traces existentes con annotation interface custom). Instalable vía npx skills add (vercel-labs/skills).

Estrellas

1.055

Forks

Lenguaje

—

Licencia

—

Issues

—

Estado

—

Cómo funciona

Implementa sin concepto declarado

Núcleo

ai-evals-course/evals-skills sin señales de build declaradas

Se cruza con todavía sin cruces en el grafo

Diagrama derivado de madurez_senales (lenguaje, licencia, estado y topics) y de las relaciones que este repo tiene en el grafo de conocimiento. No es una arquitectura del proyecto: es su posición funcional tal como la registran los boletines.

Relaciones que aportó este boletín

implementsagent-skills-vertical-ai-evalsnuevo usesskill-md-progressive-disclosure· 2026-09-22enablesproduct-evals-by-agentnuevocomplementsobra/superpowers· 2026-08-08relevant_tocompany:parlance-labsnuevo

Por qué importa

Es la primera skills library seria y específica para AI evals, escrita por Hamel Husain / Parlance Labs como material del curso AI Evals en Maven, e instalable vía npx skills add (el patrón de skills verticales con SKILL.md ya lo cubrimos el 2026-09-22, y a obra/superpowers lo mencionamos el 2026-08-08). El entry point evals-start enruta a dos tareas enseñables: eval-audit para revisar un pipeline de evals existente y error-discovery para analizar traces con una annotation interface custom, justo los footguns que todo equipo que monta evals de producto acaba sufriendo. La tesis "los skills verticales reemplazan a la consultora de evaluación" se vuelve plausible con este repo: un agente puede instalar la skill y correr el audit sin que Hamel lo haga a mano. Caveat: la licencia no aparece en la API de GitHub (revisa el archivo LICENSE antes de Adoptarlo).

Alerta

instalar la skill y leer skills/eval-audit/SKILL.md y skills/error-discovery/SKILL.md; si trabajas en AI evals, vale integrar esta skill como recurso por defecto del agente; la promesa editorial: cualquier equipo con AI evals puede correr un audit estructurado sin contratar a Parlance Labs — democratiza el primer paso de la consultoría de evaluación

Apariciones · 1

2026-09-23 hallazgo principal
primera vez en el boletín

Señales de madurez (texto original)

1,055★ · 74 forks · None · None · creado 2026-06-23 · último push 2026-09-16. · Default branch main. Instalable vía npx skills add (vercel-labs/skills). · Mantenido por Parlance Labs / Hamel Husain (Ham dev blog: https://hamel.dev/blog/posts/revenge/) — voz reconocida en AI evals. · Shreya (co-autora del curso) hace walkthrough en YouTube del error-discovery skill. · Caveat: sin topics en API, sin license explícita en la respuesta del API; leer LICENSE file antes de adopción.