Claude的中文税：问同样内容比英文多花65%token，OpenAI只多15%

Menurut pemantauan Beating, peneliti AI Aran Komatsuzaki menerjemahkan makalah terkenal Rich Sutton “Pelajaran Pahit” (The Bitter Lesson) ke dalam 9 bahasa, lalu memasukkan ke dalam alat tokenisasi model-model OpenAI, Gemini, Qwen, DeepSeek, Kimi, Claude 6, untuk melihat berapa kali lipat jumlah token yang digunakan dibandingkan dengan teks asli dalam bahasa Inggris sebagai patokan. Hasilnya: isi yang sama jika ditanyakan ke Claude dalam bahasa Mandarin, konsumsi token-nya 1,65 kali lipat dari patokan; jika menggunakan OpenAI hanya 1,15 kali lipat. Dalam bahasa Hindi di Claude bahkan lebih ekstrem, melebihi 3 kali lipat dari patokan. Dalam enam model tersebut, Anthropic berada di posisi terbawah.

Terjemahan akan mengubah panjang teks, jadi rasio dibandingkan dengan bahasa Inggris tidak sepenuhnya akurat. Tapi yang lebih meyakinkan adalah performa teks Mandarin yang sama di berbagai model (dengan patokan yang sama): Kimi hanya membutuhkan 0,81 kali lipat (lebih sedikit dari Inggris), Qwen 0,85 kali, dan di Claude menjadi 1,65 kali lipat. Teksnya sama persis, perbedaan murni karena efisiensi alat tokenisasi. Model-model China yang memproses Mandarin lebih hemat daripada Inggris, menunjukkan bahwa masalahnya bukan pada bahasa Mandarin itu sendiri, melainkan pada apakah alat tokenisasi tersebut sudah dioptimalkan untuk bahasa tersebut.

Bagi pengguna, semakin banyak token, API menjadi lebih mahal langsung, waktu tunggu sebelum model menjawab juga lebih lama, dan jendela konteks cepat habis. Efisiensi alat tokenisasi tergantung pada proporsi bahasa dalam data pelatihan: data Inggris banyak, kata-kata Inggris dikompresi secara efisien; data non-Inggris sedikit, hanya bisa dipotong menjadi fragmen kecil. Kesimpulan Aran: siapa yang pasar lebih besar, mereka akan lebih hemat token.