Hardware
CPU, GPU, RAM, VRAM y almacenamiento determinan qué modelos y runtimes son realmente viables.
La pila no es solo el modelo
LEONES trata la ejecución local como una cadena de capas. Cada una puede cambiar sin obligar a sustituir todo el sistema.
HARDWARE ↓ SISTEMA OPERATIVO ↓ RUNTIME / DRIVERS ↓ BACKEND DE INFERENCIA ↓ MODELO + CUANTIZACIÓN ↓ HARNESS / AGENTIC STACK ↓ HERRAMIENTAS / SKILLS ↓ BUDDY / KNOWLEDGE ↓ Evaluación agentiva ↓ RESULTADO + UX
Qué aporta cada capa
Sistema y runtime
El sistema operativo, drivers y runtime gestionan la ejecución y el acceso efectivo a los recursos disponibles.
Inferencia
Backend, formato, modelo y cuantización determinan cómo se convierten los recursos del equipo en tokens y latencia.
Capa agentic
Harness, herramientas, skills y conocimiento convierten la inferencia en capacidad para completar objetivos.
Evaluación
Evaluación agentiva y las pruebas reproducibles permiten separar percepción, afirmaciones y evidencia medible.
Resultado y UX
El resultado final importa por lo que permite hacer al usuario, no por el número de tokens producido por segundo de forma aislada.
¿Cabe el modelo?
Una primera aproximación para los pesos es memoria ≈ parámetros × bits efectivos / 8. Pero la memoria total también incluye caché KV, activaciones, batching/concurrencia, sobrecarga del runtime y margen de seguridad.
FP16 / BF16
≈ 2 GB por cada 1B de parámetros.
FP8 / INT8
≈ 1 GB por cada 1B de parámetros.
4-bit
≈ 0,5 GB por cada 1B de parámetros, antes de los demás costes.
Margen
La documentación recomienda no llenar la memoria al límite; una ejecución que desborda hacia CPU puede perder mucha velocidad.
Importante: cuantización de pesos y cuantización de caché KV son cosas distintas. Un modelo menor con más precisión puede superar a uno mayor excesivamente comprimido.
Prefill, decode y ancho de banda
Prompt ↓ Prefill · TTFT ↓ Decode · TPOT / tok/s ↓ Respuesta
Prefill procesa el prompt y es más intensivo en cómputo. Decode genera token a token y suele estar limitado por el ancho de banda de memoria. Prompts largos penalizan prefill; respuestas largas penalizan decode; conversaciones largas penalizan ambos porque crece la caché KV.
Elegir runtime después de entender la carga
Portabilidad / hardware atípico
llama.cpp es la referencia descrita para equipos locales variados, offline, edge y descarga híbrida CPU+GPU.
Apple Silicon
MLX / MLX-LM aprovechan la memoria unificada; llama.cpp sigue siendo relevante para GGUF.
Servicio
vLLM y SGLang aparecen como opciones para cargas de servicio; SGLang destaca en contexto largo, MoE y routing.
NVIDIA máximo rendimiento
TensorRT-LLM está orientado al rendimiento máximo en infraestructura NVIDIA, sacrificando portabilidad.
No elijas por nombre: considera hardware, memoria rápida, cuello de botella prefill/decode, contexto, concurrencia, arquitectura densa/MoE, formato de cuantización y objetivo de latencia, throughput, coste o privacidad.
Web e infraestructura no son la misma capa
La web de LEONES documenta, explica y presenta el ecosistema. La infraestructura mantiene datos, procesos y automatización. Los scripts locales son una frontera distinta: deben poder copiarse y ejecutarse sin instalar toda esa infraestructura.
Decisión: la web no se diseña como un paquete que el usuario tenga que descargar. Lo descargable son las herramientas locales necesarias para realizar pruebas en su propio equipo.
Objetivo de Router
Router debe encontrar la combinación que satisfaga una necesidad con el hardware disponible, utilizando evidencia real y declarando incertidumbre cuando falte información.
Necesidad ↓ Hardware ↓ Modelo ↓ Runtime ↓ Agentic stack ↓ Evaluación