LEONES · Fuentes de conocimiento

Contrato de esta página. Fuente de conocimiento es una entrada manual. No es el inventario de descubrimientos de Prospección. Prospección es el artefacto generado por el proceso de descubrimiento; Atlas es el producto estructurado que consume ese artefacto. Una fuente puede aparecer después en Prospección sin constituir una segunda alta manual.

Las fichas separan siempre lo que la fuente afirma de lo que LEONES pretende hacer con ella. Una cifra externa no se convierte automáticamente en medición LEONES: mantenemos procedencia y distinguimos reported, estimated, observed, measured y verified.

1. Inferencia local, runtimes y selección

FreeToken

RuntimeMoEEdgeAgentic

Qué es

FreeToken es un sistema de serving orientado a MoE grandes que no caben completamente en VRAM. Su idea central es tratar GPU, CPU, RAM y PCIe como un único sistema de inferencia y decidir dinámicamente dónde mantener y ejecutar los expertos.

Para qué sirve

Permite estudiar inferencia híbrida en hardware de consumo/workstation, especialmente cuando el cuello de botella no es solamente la capacidad de VRAM sino la transferencia PCIe, el ancho de banda de RAM y la reutilización de expertos.

Qué aporta a LEONES

Nueva clase de runtime: edge-moe-bandwidth-adaptive.
Introduce al selector variables como bandwidth PCIe, bandwidth de memoria host, localidad de expertos y patrón de workload.
Ofrece un benchmark real de serving y una política adaptativa basada en mediciones del hardware.
Es especialmente relevante para agentes, tool calling y sesiones multi-turn.

Evidencia que LEONES conservará

El paper reporta 39,3 tok/s para Qwen3.6-35B-A3B en una RTX 4060 Laptop de 8 GB y 14,9 tok/s para GLM-5.2 de 753B en una RTX PRO 6000 de 96 GB, bajo configuraciones y workloads concretos. Son resultados externos hasta su reproducción.

Cómo lo usará LEONES

Como candidato de runtime-selection.v1, comparándolo con llama.cpp, KTransformers, AirLLM y otros runtimes mediante benchmarks reproducibles. LEONES deberá medir TTFT, TPOT, prefill, VRAM, RAM, PCIe, cache hit/miss de expertos, reparto CPU/GPU y calidad agentica.

Paper Código Ficha técnica LEONES

LLMFit

Model fitHardwareSelector

Qué es

LLMFit es una herramienta para relacionar modelos con el hardware disponible y estimar qué modelos pueden ejecutarse y con qué configuración.

Para qué sirve

Sirve como primera criba antes de descargar modelos o lanzar benchmarks: reduce el espacio de candidatos y aporta una estimación inicial basada en las características de la máquina.

Qué aporta a LEONES

Es la primera capa del proceso de recomendación de modelos. LEONES no debe confundir la estimación de LLMFit con evidencia empírica: su función es producir recommendation candidates que posteriormente pasan por selección de runtime y medición real.

Cómo lo usará LEONES

Como adaptador inicial hardware → candidatos de modelo.
Como filtro previo al benchmark.
Como entrada combinada con el descubrimiento físico de CPU, RAM, GPU, almacenamiento y bandwidth.
Como fuente de hipótesis que el benchmark debe confirmar o refutar.

Web GitHub

AirLLM

RuntimeMemory constrainedOffload

Qué es

AirLLM es un enfoque de inferencia pensado para ejecutar modelos grandes con una ocupación de memoria GPU mucho menor, utilizando técnicas de movimiento/offload de pesos y ejecución por capas.

Para qué sirve

Amplía el conjunto de modelos que pueden estudiarse en máquinas con VRAM limitada y permite comparar distintas estrategias de intercambio entre memoria del sistema y GPU.

Qué aporta a LEONES

Es un punto de comparación fundamental frente a FreeToken y otros runtimes memory-constrained. Ayuda a separar dos problemas que no deben mezclarse: reducir memoria necesaria y maximizar rendimiento bajo un workload real.

Cómo lo usará LEONES

Como runtime candidato cuando el modelo supera cómodamente la VRAM disponible y como baseline experimental para comparar offload, latencia y consumo de recursos.

GitHub

ODS · Osmantic

IA localStacksInfraestructura

Qué es

ODS es una referencia del ecosistema de herramientas y stacks de IA local de Osmantic.

Para qué sirve

Permite estudiar cómo se ensamblan modelos, runtimes, servicios y componentes de IA en una infraestructura local utilizable.

Qué aporta a LEONES

ODS aporta contexto de infraestructura y sirve como uno de los entornos de referencia para integración. En particular, LEONES contempla su relación con los harnesses y con el stack de ejecución local.

Cómo lo usará LEONES

Como fuente de conocimiento técnico, subproyecto de integración y referencia para evaluar cómo una recomendación de modelo/runtime puede convertirse en un servicio local reproducible.

GitHub Osmantic

Magnitude

HardwareRuntimeCoding agents

Qué es

Magnitude es una herramienta orientada a perfilar hardware, estimar rendimiento de modelos y facilitar su ejecución, especialmente en escenarios de coding.

Para qué sirve

Conecta la descripción del hardware con decisiones prácticas de modelo, cuantización, engine y configuración de inferencia.

Qué aporta a LEONES

Complementa a LLMFit: LLMFit ayuda a estimar el encaje; Magnitude aporta una capa más próxima a profiling, ejecución y rendimiento. La combinación permite que el selector no se quede en una recomendación puramente teórica.

Cómo lo usará LEONES

Perfilado y caracterización del hardware.
Estimaciones iniciales de tok/s.
Comparación de runtimes y configuraciones.
Integración con ODS y los harnesses de referencia.
Generación de evidencia previa al benchmark LEONES.

GitHub

2. Harnesses y evaluación agéntica

DeepSeek Harness

HarnessAgentsEvaluation

Qué es

DeepSeek Harness es una referencia para construir y ejecutar tareas de agentes sobre un entorno controlado.

Para qué sirve

Permite evaluar modelos como agentes, donde la métrica no es solamente la calidad de una respuesta aislada sino la capacidad de completar una tarea mediante herramientas, estado y múltiples pasos.

Qué aporta a LEONES

Es uno de los harnesses de referencia de la plataforma. Su valor está en proporcionar un entorno de ejecución que pueda quedar por debajo del grader y por encima del runtime.

Cómo lo usará LEONES

Como referencia para las tareas agenticas y como posible ejecutor dentro de la cadena runtime → harness → grader → evidence.

GitHub

Buddy

HarnessAgentsCoding

Qué es

Buddy es otro harness de referencia que permite ejecutar y evaluar interacciones agénticas y tareas de software.

Para qué sirve

Sirve para probar si un modelo puede actuar sobre herramientas y completar objetivos reales, no solo producir texto.

Qué aporta a LEONES

Debe coexistir con DeepSeek Harness y Hermes como familia de harnesses de referencia. Su integración prevista con ODS y Magnitude permite unir ejecución, infraestructura y profiling.

Cómo lo usará LEONES

Como entorno de ejecución para benchmarks agénticos, especialmente coding y tareas con herramientas, y como fuente para estudiar diferencias de comportamiento entre modelos y runtimes.

GitHub

Hermes

HarnessAgentsReference

Qué es

Hermes forma parte de la familia de harnesses de referencia que LEONES está considerando para ejecutar tareas agenticas reproducibles.

Para qué sirve

Aporta otro entorno de comparación para comprobar que una conclusión no depende accidentalmente de un único agente, toolchain o protocolo.

Qué aporta a LEONES

La diversidad de harnesses es importante: el rendimiento de un runtime puede cambiar según el patrón de llamadas a herramientas, contexto, número de turnos y gestión del estado.

Cómo lo usará LEONES

Como referencia de ejecución y contraste dentro de la suite de benchmarks agenticos, cuando exista un ejecutor y protocolo reproducibles.

Agentic Benchmark V1

BenchmarkAgentsLEONES

Qué es

Es la línea de trabajo de LEONES para convertir tareas agenticas en benchmarks reproducibles, con ejecutor, grader, métricas y evidencia.

Para qué sirve

Permite medir capacidades que los benchmarks de texto tradicionales no capturan: uso de herramientas, persistencia de estado, planificación, recuperación ante errores y finalización de tareas.

Cómo lo usará LEONES

Como capa entre el runtime y el grader. El objetivo es que una recomendación de runtime pueda validarse sobre una tarea real y producir evidencia trazable.

3. Evidencia externa y benchmarks

LMSYS Chatbot Arena

Human evaluationELOExternal evidence

Qué es

Plataforma de comparación cara a cara en la que modelos compiten mediante conversaciones y preferencias humanas.

Para qué sirve

Proporciona una señal empírica de preferencia relativa en uso conversacional real, complementaria a benchmarks sintéticos.

Qué aporta a LEONES

Una señal externa de calidad que puede utilizarse para contextualizar recomendaciones y detectar diferencias entre modelos que no siempre aparecen en un benchmark académico.

Cómo lo usará LEONES

Como evidencia externa, nunca como sustituto del benchmark propio. Se conservarán modelo, fecha, métrica y procedencia para evitar mezclar posiciones de épocas diferentes.

Chatbot Arena

Hugging Face Open LLM Leaderboard

BenchmarkOpen modelsExternal evidence

Qué es

Un entorno de evaluación automatizada de modelos abiertos que concentra resultados de benchmarks estandarizados.

Para qué sirve

Permite comparar modelos mediante una batería común y obtener señales reproducibles de capacidades académicas.

Qué aporta a LEONES

Es una fuente externa prioritaria para enriquecer el conocimiento del Atlas sobre modelos y benchmarks antes de realizar mediciones locales.

Cómo lo usará LEONES

Como fuente de evidencia de benchmark y como contraste con las mediciones propias. Los resultados se almacenarán con procedencia y fecha.

Leaderboard

LLM Stats

BenchmarksReasoningCodeVision

Qué es

Fuente comparativa de métricas de modelos en áreas como razonamiento, GPQA, MMLU-Pro, SWE-bench, visión y código.

Para qué sirve

Ayuda a obtener una visión transversal del rendimiento de modelos y a descubrir qué benchmarks son relevantes para cada capacidad.

Cómo lo usará LEONES

Como fuente secundaria de evidencia y como ayuda para seleccionar qué capacidades merece la pena validar localmente.

Benchmarks

Artificial Analysis / Optima

Agentic evaluationBenchmarkMethodology

Qué es

Artificial Analysis ofrece evaluación y comparación de modelos y sistemas, incluyendo metodologías para inteligencia, tareas de trabajo y microevaluaciones. Optima aporta un marco de evaluación de sistemas agénticos.

Para qué sirve

Permite estudiar cómo medir capacidades complejas con tareas, trazas, graders y métricas, y no únicamente con preguntas estáticas.

Qué aporta a LEONES

Es una referencia metodológica para diseñar nuestros propios benchmarks agenticos y para comparar resultados externos con el pipeline de LEONES.

Cómo lo usará LEONES

Metodología de benchmarking.
Diseño de tareas y microevaluaciones.
Comparación externa de modelos.
Ideas para grading y trazabilidad de resultados.

Methodology GDPval-AA MicroEvals

4. Investigación, aprendizaje y ecosistema

Ahmad Osman · LLMs from Zero to Hero

LearningLLM engineeringLocal AI

Qué es

Serie de materiales de aprendizaje sobre construcción, entrenamiento, inferencia y comprensión de LLMs, incluyendo fundamentos y aspectos prácticos de infraestructura.

Para qué sirve

Sirve como fuente didáctica para comprender las piezas que posteriormente LEONES necesita convertir en criterios técnicos y de benchmark.

Qué aporta a LEONES

Conocimiento conceptual y práctico para interpretar correctamente modelos, runtimes, memoria, cuantización, entrenamiento e inferencia.

Cómo lo usará LEONES

Como fuente de formación y contraste conceptual; cuando un concepto se convierta en una decisión del sistema, deberá además respaldarse con evidencia técnica o medición.

Roadmap / blog

Serie «LLM de cero a héroe»

Curso / serieKnowledgeLLM

Qué es

Material de aprendizaje que el usuario ha incorporado expresamente al conocimiento de LEONES para estudiar los LLM desde fundamentos hasta sistemas más completos.

Para qué sirve

Aporta una ruta pedagógica que ayuda a contextualizar conceptos que aparecen después en la selección de modelos, inferencia y evaluación.

Cómo lo usará LEONES

Como fuente de conocimiento y formación. Sus contenidos no se convertirán automáticamente en hechos de benchmark: cuando haya afirmaciones cuantitativas, se mantendrá su procedencia y se buscará evidencia primaria o medición.

Estudio de LLMs

Research notesLLM landscape

Qué es

Material de estudio incorporado por el usuario para reunir y analizar información sobre modelos, familias, capacidades, hardware y herramientas del ecosistema LLM.

Para qué sirve

Funciona como contexto amplio para alimentar investigación, clasificación y decisiones posteriores del Atlas.

Cómo lo usará LEONES

Como fuente de conocimiento auxiliar y material de investigación. Los datos que entren en estructuras operativas deberán pasar por normalización, procedencia y quality gates.

Mozilla Open Source AI Ecosystem

Open sourceEcosystemLandscape

Qué es

Mapa/ecosistema de proyectos y actores de inteligencia artificial abierta utilizado como referencia para contextualizar el panorama open-source.

Para qué sirve

Ayuda a descubrir categorías, proyectos y relaciones del ecosistema que no aparecen necesariamente en un benchmark de modelos.

Cómo lo usará LEONES

Como contexto de ecosistema y fuente de descubrimiento conceptual. La aparición de un proyecto en este material no implica automáticamente que LEONES lo recomiende: debe pasar por los criterios de conocimiento, evidencia y utilidad.

Mozilla AI en GitHub

5. Fuentes de descubrimiento y evidencia técnica complementaria

Hugging Face Hub

ModelsDatasetsEvidence

Qué es

Hub de modelos, datasets, Spaces y artefactos de investigación de IA.

Para qué sirve

Es una de las fuentes principales para localizar modelos, metadatos, cuantizaciones, datasets y evaluaciones.

Cómo lo usará LEONES

Como fuente externa de datos y evidencia para Atlas y como punto de partida de Prospección. La información obtenida debe conservar procedencia y someterse a deduplicación y validación.

Hugging Face

Artificial Analysis · Intelligence Benchmarking / GDPval-AA / MicroEvals

External evidenceEvaluation

Uso transversal

Además de la ficha metodológica anterior, estas superficies se consideran fuentes independientes de resultados y diseños de evaluación. LEONES debe registrar la procedencia exacta de cada resultado y no mezclar versiones, fechas o protocolos.

Aplicación

Servirán para comparar modelos, descubrir tareas relevantes y diseñar pruebas propias que después se ejecuten bajo el protocolo LEONES.

Artificial Analysis

Vídeo / análisis de benchmarks agénticos

ResearchAgentic benchmarks

Qué es

El vídeo indicado por el usuario sobre benchmarking agéntico se incorporó como fuente de conocimiento para analizar enfoques de evaluación de tareas reales.

Para qué sirve

Sirve para extraer ideas de diseño de benchmarks, especialmente sobre tareas, agentes, herramientas y criterios de éxito.

Cómo lo usará LEONES

Como fuente metodológica secundaria. Las ideas extraídas se convierten en propuestas de benchmark; los resultados propios de LEONES deberán proceder de ejecuciones reproducibles.

Vídeo indicado

6. Cómo entra una fuente en LEONES

La fuente de conocimiento es manual. La incorporamos porque decidimos que merece formar parte del conocimiento operativo del proyecto.

Después puede alimentar diferentes procesos:

FUENTE DE CONOCIMIENTO
        ↓
interpretación / extracción
        ↓
PROSPECCIÓN (artefacto de descubrimiento)
        ↓
normalización · deduplicación · evidencia · quality gates
        ↓
ATLAS
        ↓
selector / runtime-selection.v1
        ↓
executor → grader → benchmark → evidence
        ↓
Router / recomendación

La regla fundamental es que conocer una herramienta no equivale a recomendarla y que una cifra publicada no equivale a una medición LEONES.

7. Cobertura y mantenimiento

Esta página recoge las fuentes que han sido indicadas expresamente como conocimiento en el trabajo de LEONES, incluyendo runtimes, herramientas de selección, stacks, harnesses, benchmarks, fuentes de evidencia, materiales de investigación y referencias de ecosistema.

Cuando se incorpore una nueva fuente, se añade aquí manualmente con una ficha explicando qué es, para qué sirve, qué aporta a LEONES, cómo se pretende usar y, cuando proceda, qué evidencia debe reproducirse.

La página no sustituye a Prospección. Prospección sigue siendo el artefacto generado por el proceso de descubrimiento.

→ Prospección · Atlas · ← LEONES