Nikiwa frente a los demás
Evaluar agentes de IA cripto es difícil. Su calidad no depende solo del modelo que hay detrás, sino de lo rápido y bien que acceden a datos on-chain en tiempo real, y los benchmarks generalistas no miden eso. Así que creamos el nuestro: 95 tareas que ponen a prueba un agente de principio a fin en el trabajo que los usuarios cripto realmente le piden, desde rastrear una wallet y analizar un token hasta interpretar mercados de predicción y alertas de seguridad. A medida que la IA pasa a formar parte de cómo la gente investiga, opera y se protege en cripto, la industria necesita una forma común de saber en qué agentes se puede confiar. Esperamos que este benchmark lo sea, para Nikiwa y para cualquier otro agente de IA cripto.
Alcance: qué se evalúa
Este es un benchmark de agentes de IA de seguridad cripto, no de modelos de lenguaje aislados. Un agente combina un modelo con herramientas: datos de blockchain en tiempo real, datos de tokens y mercado, inteligencia de direcciones, datos de mercados de predicción y redes sociales. Nikiwa es un agente de este tipo, creado por LegalBlock para seguridad, cumplimiento e investigación.
Para mostrar lo que aportan esas herramientas, tres clases de sistemas responden a las mismas tareas, con las mismas rúbricas y el mismo juez:
Nikiwa en los modos Default, Auto, Thinking y Pro Thinking: agentes con distinta velocidad y enfoque para distintos fines.
Surf AI en modos Instant, Task y Task Max: la alternativa especializada más cercana, también con herramientas de datos cripto.
Modelos de frontera de Anthropic, OpenAI, Google, DeepSeek y otros, consultados sin herramientas de agente.
Por qué las puntuaciones están tan alejadas: un LLM generalista, por muy capaz que sea, no puede consultar el saldo de una wallet, los holders de un token ni las cuotas actuales de Polymarket. En esas tareas solo puede razonar con sus datos de entrenamiento. El benchmark mide el sistema completo que recibe el usuario; no es un ranking de la inteligencia bruta de los modelos.
Resultados
Los agentes cripto especializados superan claramente a los modelos generalistas, y Nikiwa lidera ese grupo tanto en precisión como en velocidad. Su ventaja es mayor allí donde la respuesta depende de datos on-chain actuales; en conocimiento cripto general, las diferencias son pequeñas.
Clasificación
Las preguntas cripto generales son el único área donde los LLM generalistas compiten: las respuestas están en sus datos de entrenamiento. En cuanto una tarea necesita datos en tiempo real (una wallet, un token, una transacción, un mercado), sus puntuaciones se desploman y los agentes se distancian. Nikiwa lidera siete de diez áreas; el agente cripto especializado lidera investigación DeFi y TradFi e impuestos.
Precisión frente a velocidad
Cada punto es un sistema, según su tiempo medio por pregunta y su puntuación global · mejor cuanto más arriba y a la izquierda
Conclusiones clave
Mejor puntuación global, de Nikiwa Pro Thinking. Le sigue Nikiwa Default con 80,0%; las configuraciones de Nikiwa ocupan los tres primeros puestos.
Ventaja de Nikiwa sobre el LLM generalista más fuerte, Claude Opus 5 (36,5%). La media de los 21 LLM es 31,0%.
Más rápido que el agente de IA cripto más cercano: 51 s frente a 242 s por pregunta, con mejor puntuación.
Tareas del benchmark
El benchmark consta de 95 tareas en 10 áreas, redactadas como preguntan las personas reales. El conjunto completo es privado, para que no se filtre a datos de entrenamiento ni se pueda optimizar contra él.
Áreas
95 tareas en 10 áreas · más peso en el análisis de wallets y tokens
Perfil de una dirección: atribución, tenencias, contrapartes y exposición al riesgo.
Identidad, lectura de mercado, concentración de holders, liquidez y seguridad del contrato.
Encontrar e interpretar mercados de Polymarket y Kalshi, cuotas y actividad de traders.
Posicionamiento y rendimiento de traders de perpetuos en Hyperliquid.
Preguntas conceptuales sobre wallets, transacciones y mecánica de protocolos.
Etiquetas de robo, exposición a entidades ilícitas y lo que la evidencia prueba y no prueba.
Rankings de protocolos, tasas de liquid staking, rendimientos y actividad de financiación.
Verificar cuentas de X: autenticidad y señales de riesgo.
Descifrar una transacción: qué se movió, adónde y por qué.
Donde lo cripto se cruza con las finanzas tradicionales: ETF, acciones expuestas a cripto, fiscalidad.
Tareas de ejemplo
Tres de las 95 tareas · rúbricas completas y puntuaciones de los 28 sistemas
Notas y limitaciones
Las puntuaciones las asigna un juez LLM aplicando rúbricas específicas de cada tarea. La evaluación es idéntica para todos los sistemas, pero no es una revisión humana.
Las áreas con 3–5 tareas (preguntas generales, forense de seguridad, investigación DeFi, social, análisis de transacciones, TradFi e impuestos) varían mucho con una sola respuesta. Sus medias son orientativas.
El tiempo es el tiempo real medio por pregunta completada y depende de la carga y la red durante la ejecución.
Algunas tareas quedaron sin puntuar para ciertos sistemas por errores de ejecución; la puntuación global promedia solo las tareas puntuadas.
El benchmark mide sistemas completos, incluidas sus herramientas. No es un ranking de los modelos de lenguaje subyacentes.