El 22 de septiembre de 2026, la española Sigma AI Group presentó Sigma Eval: un servicio de auditoría y verificación continua e independiente para agentes conversacionales de IA en empresas. No es otro chatbot ni un framework de prompts: la compañía insiste en que no construye el agente, no ajusta el modelo y no suministra las instrucciones. Mide el comportamiento resultante —la diferencia, en su analogía, entre el auditor y quien firma las cuentas.
El contexto duele. Un estudio sectorial citado en el comunicado (y recogido por Ecosistema Startup y EIN Presswire) sitúa en torno al 50% a las organizaciones que desplegaron un agente o una función basada en LLM que había pasado evaluaciones internas y después falló con clientes reales (VentureBeat). LangChain, en otra encuesta citada, eleva al 57% las organizaciones con agentes en producción, mientras solo alrededor del 52% asegura hacer evaluaciones offline.
Doce dimensiones, cero integración profunda
Sigma Eval evalúa el agente en 12 dimensiones agrupadas en seguridad (sesgo, toxicidad, alucinaciones, opacidad, exposición de PII, vulnerabilidad a jailbreaks), experiencia de usuario (desalineación de contexto, inconsistencia conversacional, desinterés) y rendimiento (trayectoria, esfuerzo del cliente, coste de resolución). El informe desglosa cada eje: no hay una nota única que permita maquillar un fallo de seguridad con un buen resultado comercial.
No hace falta abrir el código: se envía el enlace público del agente, contexto y KPIs; la evaluación corre con usuarios y conversaciones sintéticas, en cualquier idioma, y el informe es confidencial.
Operativamente, la organización no cede acceso a código ni a APIs internas. Basta el enlace público del agente, datos de contacto y contexto (propósito, idiomas, KPIs, casos límite). La evaluación usa conversaciones sintéticas a escala; el informe no se reutiliza como ranking público. Sigma abre con un primer informe gratuito para quien ya tenga un agente en producción, más reevaluaciones limitadas para medir correcciones, y se apoya en Sigma Cypher para anonimizar PII antes del análisis. El CEO, Dr. Daniel Tapias, resume la tesis: las empresas no deberían adivinar si su agente es bueno; deberían poder saberlo.
Regulación UE: el vacío que empuja a terceros
El lanzamiento llega con dos movimientos europeos de fondo. La guía de la AEPD del 18 de febrero de 2026 trata la arquitectura agéntica bajo el GDPR e introduce la «Rule of 2»: como máximo dos de tres factores —entrada no controlada, acceso a datos sensibles y acciones autónomas— pueden coexistir sin salvaguardas reforzadas. El Digital Omnibus de la UE entró en vigor el 27 de julio de 2026; las obligaciones de alto riesgo del AI Act se retrasaron a diciembre de 2027, pero la transparencia del Artículo 50 sigue vigente desde agosto de 2026, junto con poderes de enforcement sobre modelos de uso general (GPAI).
Traducción para pymes y vendors hispanohablantes que venden a la UE: aunque lo más duro se aplazó, los compradores corporativos ya piden evidencia externa de que el agente no alucina datos, no filtra PII y no se desvía tras cada cambio de prompt. Sigma Eval se posiciona ahí —complementario, no sustituto, de benchmarks de capacidad como el Agent Effectiveness Index de Brackett—. Si despliegas o compras un agente conversacional en 2026, la pregunta ya no es solo “¿funciona en el demo?”, sino “¿quién lo midió desde fuera?”.