Nikiwa ve diğerleri
Kripto yapay zeka ajanlarını değerlendirmek zor. Kaliteleri yalnızca arkalarındaki modele değil, canlı zincir üstü veriye ne kadar hızlı ve doğru ulaştıklarına da bağlı; genel amaçlı benchmark’lar bunu ölçmüyor. Bu yüzden kendimizinkini oluşturduk: bir ajanı, kripto kullanıcılarının gerçekten getirdiği işlerde uçtan uca sınayan 95 görev; bir cüzdanı izlemekten bir token’ı incelemeye, tahmin piyasalarını okumaktan güvenlik uyarılarını yorumlamaya kadar. Yapay zeka, insanların kriptoda araştırma yapma, işlem yapma ve güvende kalma biçiminin bir parçası haline geldikçe, sektörün hangi ajanlara güvenilebileceğini anlamak için ortak bir yönteme ihtiyacı var. Bu benchmark’ın, Nikiwa ve diğer tüm kripto yapay zeka ajanları için bu yöntem olmasını umuyoruz.
Kapsam: neyi ölçüyoruz
Bu, tek başına dil modellerinin değil, kripto güvenlik yapay zeka ajanlarının benchmark’ıdır. Bir ajan, modeli araçlarla birleştirir: canlı blockchain verisi, token ve piyasa verileri, adres istihbaratı, tahmin piyasası ve sosyal medya verileri. Nikiwa, LegalBlock’un güvenlik, uyum ve soruşturma çalışmaları için geliştirdiği böyle bir ajandır.
Bu araçların değerini göstermek için üç sistem sınıfı aynı görevleri, aynı rubrikler ve aynı hakemle yanıtlar:
Default, Auto, Thinking ve Pro Thinking modlarında Nikiwa: farklı amaçlar için farklı hız ve yaklaşıma sahip ajanlar.
Instant, Task ve Task Max modlarında Surf AI: kripto veri araçlarına sahip en yakın uzman alternatif.
Anthropic, OpenAI, Google, DeepSeek ve diğerlerinin öncü modelleri, ajan araçları olmadan sorgulandı.
Puanlar neden bu kadar farklı: genel amaçlı bir LLM, ne kadar yetenekli olursa olsun, bir cüzdanın bakiyesini, bir token’ın sahiplerini ya da bugünkü Polymarket oranlarını sorgulayamaz. Bu görevlerde yalnızca eğitim verisinden akıl yürütebilir. Benchmark, kullanıcının eline geçen sistemin tamamını ölçer; ham model zekâsı sıralaması değildir.
Sonuçlar
Kriptoya özel ajanlar genel amaçlı modelleri açık farkla geride bırakıyor; Nikiwa bu grubu hem doğrulukta hem hızda önde götürüyor. Avantajı, yanıtın güncel zincir üstü veriye dayandığı yerlerde en büyük; genel kripto bilgisinde ise farklar küçük.
Sıralama
Genel kripto soruları, genel amaçlı LLM’lerin rekabet edebildiği tek alan: yanıtlar eğitim verilerinde mevcut. Bir görev canlı veri gerektirdiği anda (bir cüzdan, bir token, bir işlem, bir piyasa) puanları çöküyor ve ajanlar öne geçiyor. Nikiwa on alanın yedisinde önde; uzman kripto ajanı DeFi araştırması ile TradFi ve vergide önde.
Doğruluk ve hız
Her nokta bir sistemdir; soru başına ortalama süreye ve genel puana göre konumlanır · sol üst daha iyidir
Temel bulgular
En yüksek genel puan, Nikiwa Pro Thinking’e ait. Nikiwa Default %80,0 ile izliyor; ilk üç sıra Nikiwa yapılandırmalarının.
Nikiwa’nın en güçlü genel amaçlı LLM Claude Opus 5’e (%36,5) karşı farkı. 21 LLM’nin ortalaması %31,0.
En yakın kripto YZ ajanından daha hızlı: soru başına 51 sn’ye karşı 242 sn, üstelik daha yüksek puanla.
Benchmark görevleri
Benchmark, insanların gerçekten sorduğu şekilde yazılmış 10 alanda 95 görevden oluşur. Görev setinin tamamı gizli tutulur; böylece eğitim verilerine sızamaz ve ona göre optimize edilemez.
Alanlar
10 alanda 95 görev · ağırlık cüzdan ve token analizinde
Bir adresin profili: kimlik tespiti, varlıklar, karşı taraflar ve risk maruziyeti.
Bir token’ın kimliği, piyasa görünümü, sahip yoğunluğu, likiditesi ve sözleşme güvenliği.
Polymarket ve Kalshi piyasalarını, oranları ve trader hareketlerini bulma ve yorumlama.
Hyperliquid’deki vadeli işlem trader’larının pozisyonları ve performansı.
Cüzdanlar, işlemler ve protokol mekanikleri üzerine kavramsal sorular.
Hırsızlık etiketleri, yasa dışı kuruluşlara maruziyet ve kanıtın neyi kanıtlayıp neyi kanıtlamadığı.
Protokol sıralamaları, likit staking oranları, getiriler ve fonlama hareketleri.
X hesaplarını özgünlük ve risk sinyalleri açısından kontrol etme.
Tek bir işlemi çözümleme: ne, nereye ve neden taşındı.
Kriptonun geleneksel finansla kesiştiği yer: ETF’ler, kriptoya maruz hisseler, vergilendirme.
Örnek görevler
95 görevden üçü · tam rubrikler ve 28 sistemin puanları
Notlar ve sınırlamalar
Puanlar, göreve özel rubrikler uygulayan bir LLM hakemden gelir. Değerlendirme tüm sistemler için aynıdır ancak insan incelemesi değildir.
3–5 görevli alanlar (genel sorular, güvenlik adli analizi, DeFi araştırması, sosyal, işlem analizi, TradFi ve vergi) tek bir yanıtla çok değişir. Ortalamalarını yön gösterici kabul edin.
Süre, tamamlanan soru başına ortalama gerçek süredir ve çalıştırma sırasındaki yüke ve ağ koşullarına bağlıdır.
Bazı görevler, çalıştırma hataları nedeniyle bazı sistemler için puanlanamadı; genel puan yalnızca puanlanan görevlerin ortalamasıdır.
Benchmark, araçları dahil olmak üzere sistemlerin tamamını ölçer. Altta yatan dil modellerinin sıralaması değildir.