Optimización de inferencia

Familias y técnicas para hacer viable la inferencia de LLM en hardware modesto. Esta capa se evalúa antes de valorar modelos candidatos.

Orden del Selector de LLM

CASO DE USO → HARDWARE → RUNTIME → OPTIMIZACIÓN → DENSE/MoE → ESTIMADORES → CANDIDATOS → SELECCIÓN → runtime-selection.v1 → BENCHMARK → MEDICIÓN LEONES
Regla MoE: Dense se ordena por total_parameters_m. MoE se ordena computacionalmente por active_parameters_m; el total permanece para memoria y almacenamiento.

Fuentes y proyectos