Artificial Analysis sering menjadi tujuan pertama saat membandingkan API LLM, karena situs ini mengukur waktu permintaan nyata ke setiap penyedia. Namun itu hanya satu sudut pandang. Situs lain memeringkat berdasarkan voting manusia, skor benchmark, pemakaian, atau harga, dan masing-masing menjawab pertanyaan berbeda. Panduan ini menjelaskan apa yang diukur setiap situs, bagaimana caranya, data apa yang bisa Anda ambil, dan kapan memakainya. Setiap fakta di bawah dibaca dari halaman milik situs itu sendiri pada 15 November 2026.
Pengungkapan lebih dulu: BroadRouter adalah situs web milik BroadNet. Situs ini mengarahkan developer ke BroadNet Inference dan memublikasikan data harga. BroadRouter tidak melakukan benchmark model, dan muncul di daftar ini hanya untuk harga.
Apa keunggulan Artificial Analysis?
Artificial Analysis menyebut dirinya “Independent analysis of AI” (Terjemahan BroadRouter: analisis AI yang independen). Halaman metodologinya menjelaskan tiga hal yang jarang dilakukan situs lain:
- Kecepatan per endpoint penyedia. Kecepatan output adalah “output tokens per second over each request’s full duration” (Terjemahan BroadRouter: token output per detik sepanjang durasi penuh setiap permintaan), termasuk token penalaran, dirata-ratakan “over the workloads we measured in the past 5 days” (Terjemahan BroadRouter: atas beban kerja yang kami ukur dalam 5 hari terakhir). Karena satu model “may have multiple endpoints across different providers” (Terjemahan BroadRouter: bisa punya beberapa endpoint di penyedia berbeda), Anda bisa melihat model yang sama berjalan lebih cepat di satu host daripada host lain.
- Latensi yang bisa dibandingkan. Situs ini melaporkan waktu hingga token pertama, waktu hingga token jawaban pertama (yang mencakup penalaran, sehingga model penalaran dan non-penalaran bisa dibandingkan secara adil), dan waktu end-to-end.
- Evaluasi sendiri. Intelligence Index v5.0.1 menggabungkan sembilan evaluasi dalam empat kelompok berbobot sama (pekerjaan pengetahuan, coding, sains, umum). Beberapa adalah benchmark miliknya sendiri atau jalannya sendiri atas tugas pihak lain, dengan jumlah pengulangan yang disebutkan.
Leaderboard penyedianya mencakup “over 500 AI Model endpoints” (Terjemahan BroadRouter: lebih dari 500 endpoint model AI) dengan biaya per tugas, waktu per tugas, latensi token jawaban pertama, tingkat error, context window, dan lisensi. Harganya adalah “the current prices listed by providers” (Terjemahan BroadRouter: harga terkini yang dicantumkan penyedia), dan harga gabungannya memakai rasio 7:2:1 untuk token cache hit, input, dan output. Sesuaikan campuran itu dalam hitungan Anda jika beban kerja Anda berat di output.
Jika Anda membutuhkan kecepatan dan tingkat error terukur per penyedia, situs ini sulit digantikan. Orang mencari alternatif saat menginginkan sinyal lain: preferensi manusia, domain tertentu, data mentah yang bisa diunduh, atau daftar harga dengan sumber untuk setiap baris.
Apa saja alternatif Artificial Analysis?
| Situs | Apa yang diukur | Metode | Data yang bisa diambil | Paling cocok untuk |
|---|---|---|---|---|
| Artificial Analysis | Indeks kecerdasan, kecepatan output, latensi, tingkat error, harga per endpoint | Menjalankan evaluasi sendiri dan permintaan yang diukur waktunya; jendela kecepatan bergulir 5 hari | API gratis, wajib atribusi | Kecepatan dan latensi per penyedia |
| Arena (dulu LMArena) | Preferensi manusia | Dua model anonim menjawab, seseorang memilih, nama dibuka sesudahnya | Dataset preferensi terbuka di Hugging Face | Bagaimana jawaban terasa bagi orang |
| Epoch AI Benchmarking Hub | Skor benchmark dari waktu ke waktu | Menjalankan sebagian benchmark sendiri dengan Inspect; mengumpulkan yang lain dari leaderboard resmi | CSV dan klien Python; datanya CC BY | Tren dan skor mentah |
| Vals AI | Akurasi domain, biaya, dan latensi | 42 benchmark, sebagian privat atau disimpan | Tidak disebutkan di halaman benchmark | Hukum, keuangan, pajak, dan domain lain |
| Peringkat OpenRouter | Pemakaian | Token yang diproses lewat OpenRouter, dalam kelompok harian UTC | API model publik dengan harga | Apa yang benar-benar dijalankan developer |
| Open LLM Leaderboard (Hugging Face) | Skor model open-weight | Enam benchmark di harness Eleuther AI | Dataset hasil dan permintaan | Membandingkan checkpoint terbuka |
| Data harga BroadRouter (situs BroadNet) | Hanya harga yang dipublikasikan | Dibaca dari halaman harga milik setiap penyedia, dengan URL, tanggal, dan kutipan | CSV dan JSON, CC BY 4.0 untuk kompilasinya | Memeriksa harga di sumbernya |
Apa bedanya Arena?
Arena (lmarena.ai kini dialihkan ke arena.ai) meminta orang sungguhan membandingkan dua jawaban anonim dan memilih salah satunya. Nama model baru muncul setelah voting. Ini mengukur preferensi, yang mencampur ketepatan dengan nada, panjang, dan format. Leaderboard-nya punya papan terpisah, termasuk Text, WebDev, Vision, Document, dan Search, dan tampilan Pareto-nya menunjukkan biaya per tugas. Arena menyatakan telah membuka data preferensinya di Hugging Face, yang berguna jika Anda ingin mempelajari voting alih-alih sekadar membaca peringkat.
Pakai Arena untuk melihat bagaimana sebuah jawaban chat diterima orang. Jangan pakai untuk memilih penyedia API: Arena memeringkat model, bukan host, dan tidak membahas kecepatan di endpoint tertentu.
Kapan Epoch AI dan Vals AI lebih cocok?
Epoch AI menyimpan database hasil benchmark, melacak 99 benchmark dan 428 model saat kami mengecek. Sebagian hasil dijalankannya sendiri dengan framework Inspect; sisanya berasal dari leaderboard resmi yang dikelola pembuat benchmark. Anda bisa mengunduh datanya sebagai CSV atau memakai klien Python-nya. Data miliknya sendiri bebas dipakai ulang dengan atribusi di bawah CC BY; hasil dari sumber eksternal tetap memakai lisensi aslinya. Pilih Epoch jika Anda menginginkan skor mentah atau garis tren, bukan satu indeks.
Vals AI menjalankan 42 benchmark di bidang hukum, keuangan, kesehatan, coding, matematika, dan lainnya, dan sebagian set bersifat privat atau disimpan, sehingga mengurangi risiko model sudah dilatih dengan data uji. Leaderboard-nya membandingkan akurasi, biaya, dan latensi, dan Inference Provider Index-nya membandingkan penyedia dari segi akurasi, biaya, dan kecepatan. Vals Index gabungannya membobotkan sektor menurut porsinya dalam PDB AS. Pilih Vals jika tugas Anda mirip salah satu domainnya.
Apa yang sebenarnya ditunjukkan peringkat OpenRouter?
Pemakaian. Setiap model diperingkat berdasarkan “tokens it processed through the OpenRouter API” (Terjemahan BroadRouter: token yang diprosesnya lewat API OpenRouter), prompt dan completion digabung, selama satu, tujuh, atau tiga puluh hari terakhir. Halamannya menyatakan dengan jelas bahwa peringkat itu “do not rank models by accuracy, reasoning ability, or benchmark performance” (Terjemahan BroadRouter: tidak memeringkat model berdasarkan akurasi, kemampuan penalaran, atau performa benchmark). Model yang menulis jawaban panjang atau berjalan dalam loop agen yang panjang akan naik peringkat. Baca sebagai sinyal popularitas dan daftar model yang layak diuji. OpenRouter juga punya endpoint model publik dengan harga per model, yang mencakup tarif OpenRouter, bukan tarif langsung setiap host.
Apakah Open LLM Leaderboard Hugging Face masih layak dipakai?
Untuk checkpoint open-weight, ya, dengan hati-hati. Dokumentasi Hugging Face menyatakan versi pertamanya diarsipkan pada Juni 2024 dan digantikan. Versi saat ini menilai model pada IFEval, BBH, MATH level 5, GPQA, MuSR, dan MMLU-Pro di harness evaluasi Eleuther AI, dan memublikasikan hasilnya sebagai dataset. Yang dievaluasi adalah file model, bukan API yang di-host, jadi leaderboard ini tidak bisa memberi tahu Anda soal harga, kecepatan, atau cara penyedia menyajikan model.
Di mana membandingkan model bahasa Arab?
Leaderboard umum hampir tidak membahas bahasa Arab, dan filter Arena yang terlihat tidak mencakup bahasa. Dua Space Hugging Face mengisi sebagian kekosongan itu:
- Open Arabic LLM Leaderboard, dikelola organisasi OALL, untuk teks bahasa Arab.
- Open Universal Arabic ASR Leaderboard, yang disebut “a benchmark for open-source multi-dialect Arabic ASR models” (Terjemahan BroadRouter: benchmark untuk model ASR bahasa Arab multi-dialek open-source), untuk pengenalan ucapan. BroadNet melaporkan model Transcribe Arabic miliknya di posisi #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026). Itu angka dari BroadNet, dan papannya berubah seiring penambahan model.
Baca hasil ucapan per dialek, bukan hanya rata-ratanya. Penjelasan word error rate ASR bahasa Arab menunjukkan caranya.
Di mana posisi data harga BroadRouter?
BroadRouter memublikasikan tiga sumber harga: halaman harga API LLM per model, indeks harga dengan median dan sebaran, serta database harga penyedia mentah. Setiap baris dibaca dari halaman harga milik penyedia dan disimpan bersama URL sumber, tanggal, dan kutipan kata per kata, dan skrip mingguan mengambil ulang sumbernya. Tidak ada feed agregator yang dipakai.
Apa yang tidak dilakukannya sama pentingnya:
- BroadRouter tidak mengukur kecepatan, latensi, uptime, atau kualitas. Untuk itu, pakai Artificial Analysis, Arena, Epoch AI, atau Vals AI.
- BroadRouter hanya menyimpan harga pihak ketiga. Harga BroadNet sendiri ada di pricing.json dan di halaman harga.
- BroadRouter adalah situs milik BroadNet, jadi perlakukan sebagai kompilasi dari vendor yang bisa Anda periksa baris per baris, bukan sebagai juri yang netral.
Bagaimana menggabungkan situs-situs ini?
- Susun daftar pendek berdasarkan kualitas. Pakai Arena untuk nuansa chat dan Epoch AI atau Vals AI untuk skor tugas di domain Anda. Pertahankan tiga hingga lima model.
- Periksa kecepatan di host yang akan Anda pakai. Artificial Analysis menunjukkan kecepatan dan latensi per endpoint. Penjelasan latensi LLM membahas angka mana yang penting untuk aplikasi Anda.
- Periksa harga di sumbernya. Pakai database harga untuk menemukan penyedia, lalu buka halaman milik setiap penyedia. Perhatikan harga input cache dan output, yang pada banyak beban kerja lebih menggerakkan tagihan daripada input.
- Uji dengan data Anda sendiri. Jalankan 50 hingga 100 input nyata melalui setiap finalis dan beri nilai. Sebuah benchmark hanya memprediksi hasil Anda sejauh tugasnya mirip dengan tugas Anda. Cara mengevaluasi LLM sebelum berpindah memberi metodenya, dan checklist penyedia 20 poin membahas batas, privasi, dan dukungan.
Posisi BroadNet Inference
BroadNet Inference adalah API yang kompatibel dengan OpenAI, bukan leaderboard. Layanan ini menyajikan sejumlah kecil model: DeepSeek V4.1 Flash (di-host mitra), GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B, dan dua model speech-to-text. Tool calling dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Akun self-serve tidak punya SLA, dan tidak ada batch API atau embedding. Jika salah satu model ini masuk daftar pendek Anda, kredit awal $5 mencakup Gemma 4 VL 26B, kedua model Transcribe, dan kunci per jam Gemma, jadi Anda bisa menjalankan langkah 4 dengan input Anda sendiri sebelum membayar; DeepSeek, GLM, dan Qwen memerlukan top up. Prompt dan jawaban tidak disimpan. Bandingkan modelnya atau buat akun.
