Define la carga
Fija modelo y cuantización, versión del runtime, flags, hardware, longitudes de entrada/salida, concurrencia y condiciones relevantes.
Qué mide
Evaluación mide la capacidad de una combinación local de modelo, backend, harness y herramientas para completar objetivos.
| Prueba | Interés |
|---|---|
| B01 | Memoria, localidad y contexto |
| B02 | Archivos y herramientas |
| B03 | Tareas multietapa |
| B04 | Recuperación y conocimiento |
| B05 | Coding y ejecución local |
La evaluación ya llega hasta el runtime real
RC1 ha demostrado que una selección autorizada puede recorrer el gate, ejecutar Ollama y A01, pasar el grader y producir una medición nueva conservada como evidencia.
selection → gate → execution_authorized=true
→ Ollama → A01 → grader
→ measured → evidenceReferencia:
qwen2.5:0.5b-instruct-q4_K_M · Ollama · A01 · 53.3795 tok/s · medición real del 2026-08-31.Ver estado completo de LEONES → · Ver evidencia documental →
Evidencia
reported → reproducible → verified
↘ rejectedRegla: publicar un resultado no lo convierte automáticamente en verificado. Una medición física de LEONES conserva su procedencia y no reutiliza datos históricos como si fueran nuevos.
Un protocolo que se pueda repetir
Mide varias dimensiones
No uses solo tok/s. Registra TTFT, TPOT, percentiles, tokens/s, solicitudes/s y memoria cuando sea posible.
Usa tareas representativas
Los benchmarks de tareas deben representar el trabajo real que se quiere completar, no solo una cifra sintética.
Separa desarrollo y prueba
El conjunto de prueba no debe convertirse en objetivo de optimización. Conserva pruebas frescas y condiciones explícitas.
Integridad de la evaluación
Regla de oro: entrenamiento → validación → prueba. La prueba debe permanecer reservada para medir generalización.
Hay riesgos específicos de LLM: contaminación del preentrenamiento, datos sintéticos, recuperación que contiene respuestas, sobreajuste de prompts/scaffolds y contaminación de benchmarks de código. Para afirmaciones serias, conviene usar pruebas frescas, privadas o en vivo y documentar protocolo, incertidumbre y limitaciones.
Por qué importa para Router
Dos modelos con una velocidad similar pueden tener una utilidad completamente distinta para una tarea agentiva. Evaluación aporta la evidencia que falta a una simple medición de tok/s.
Ahora toca medir en otras máquinas
La siguiente etapa es recoger ejecuciones independientes. Cada beta tester debe producir su propio execution_id, timestamp, métrica y artefacto.