La discusión llega en un momento en que muchos laboratorios de IA apoyan buena parte de su reputación pública en rankings y pruebas de rendimiento. Pero, según Solaiman, ese terreno sigue madurando y necesita más consistencia si quiere servir como base fiable para decisiones industriales, de seguridad o de producto.
La reproducibilidad sigue siendo el gran filtro
Solaiman planteó que la confianza en una evaluación no depende solo del número final, sino de si ese resultado puede reproducirse y bajo qué condiciones. En su intervención, subrayó que el acceso al modelo importa mucho y vinculó esa cuestión con la relevancia de los modelos de pesos abiertos, que facilitan inspeccionar y repetir parte del proceso de prueba.
La observación toca uno de los puntos más delicados del sector: no basta con que una métrica sea útil una vez. Si el resultado cambia con pequeñas variaciones en el entorno, en el *prompt*, en el *harness* o en el acceso al sistema, la evaluación pierde fuerza como herramienta comparativa. Solaiman describió las evaluaciones como una ciencia todavía en evolución, con dificultades para compararse entre sí de forma significativa.
El benchmark ya no mide solo el modelo
Otro de los matices importantes de su argumentación es que la evaluación ya no puede limitarse al modelo en abstracto. Solaiman señaló que ahora también hay que medir el sistema completo que lo rodea, incluido el *harness* —la herramienta con la que el usuario accede al modelo— y el agente que actúa sobre él.
Eso cambia bastante el enfoque. En la práctica, un modelo menos capaz puede rendir mejor si cuenta con un *harness* más sólido, mientras que un modelo más fuerte puede quedar por detrás si el sistema de acceso o de ejecución es peor. La comparación deja de ser una carrera lineal entre modelos y pasa a medir el conjunto.
Para el lector no técnico, esto significa que un ranking aislado puede ocultar demasiadas condiciones. Dos productos con la misma base pueden ofrecer resultados distintos si su infraestructura de evaluación, su configuración de herramientas o sus mecanismos de ejecución no son equivalentes.
Los evaluadores embebidos, una idea que todavía necesita madurar
La idea de los evaluadores embebidos —terceros supuestamente neutrales situados dentro de organizaciones de IA para revisar seguridad, comportamiento y riesgos— ha ganado presencia en los últimos meses. La industria los presenta como una vía para compensar la falta de supervisión pública directa, sobre todo después de incidentes de seguridad en sistemas de IA.
Pero Solaiman advierte de que esa solución no está madura. Según explicó, falta una definición clara de qué cualifica a un evaluador eficaz para cada tarea y todavía no existe la estandarización necesaria para que ese ecosistema funcione de manera homogénea. En otras palabras: no basta con incorporar a un tercero; hay que saber qué mide, con qué método y con qué criterios de independencia.
Ese punto es especialmente relevante porque la discusión sobre gobernanza de la IA se está desplazando desde el modelo hacia el sistema completo. No solo importa si un modelo responde bien o mal, sino quién lo evalúa, cómo se ejecuta la prueba y si el proceso puede auditarse o repetirse.
Evaluar agentes es todavía más caro y más difícil
Solaiman también distinguió entre evaluaciones de modelos y evaluaciones de sistemas *agentic*. Estas últimas, dijo, son mucho más difíciles y más caras. La industria tiene más pruebas para modelos que para *harnesses*, y está empezando a desarrollar métricas para el agente completo, que es lo que muchos usuarios y empresas están utilizando ya en la práctica.
Ese detalle importa porque la conversación pública suele reducirse a quién lidera un benchmark concreto. Sin embargo, cuando los productos pasan de responder preguntas a ejecutar tareas, navegar interfaces o encadenar acciones, la evaluación se parece más a probar un sistema completo que a comparar una sola función.
La consecuencia para empresas y equipos técnicos es concreta: si la forma de medir no está madura, también es más difícil decidir qué proveedor es realmente mejor para un caso de uso dado. Un resultado llamativo puede no traducirse en rendimiento estable en producción si no está claro qué parte del sistema explica la ventaja.
Lo que queda pendiente
La pieza no ofrece una solución cerrada, y ese es precisamente su interés. Lo que deja confirmado es que Hugging Face ve los evaluadores embebidos como una respuesta incompleta y que el sector todavía no dispone de una metodología suficientemente uniforme para tratar los *benchmarks* como una referencia definitiva.
Queda por ver si la industria converge en estándares más claros, si los evaluadores externos ganan legitimidad o si la supervisión terminará moviéndose hacia fórmulas regulatorias más formales. Por ahora, el mensaje es menos cómodo pero más útil: evaluar IA sigue siendo una disciplina inmadura, y confundir una puntuación con una garantía puede llevar a conclusiones demasiado rápidas.
