Hal yang menarik terjadi di pasar inferensi AI, yang patut dibahas. NVIDIA mengakuisisi Groq, dan ketika Juan Rensyun mulai menjelaskan logika di balik kesepakatan ini, menjadi jelas bahwa ini bukan sekadar kebetulan.

Sebelumnya, fokus utama adalah satu hal: bagaimana melewatkan lebih banyak data secara bersamaan, yaitu pada kapasitas bandwidth. Tetapi ternyata, pasar telah terbelah. Beberapa pengguna bersedia membayar harga lebih tinggi untuk mendapatkan jawaban lebih cepat. Token menjadi lebih mahal, dan waktu generasi mereka mulai memiliki nilai nyata. Ini mengubah seluruh permainan.

Jadi, Groq memang khusus berfokus pada hal ini — pada latensi rendah. Arsitektur LPU mereka dibangun sedemikian rupa untuk memastikan latensi yang deterministik dan dapat diprediksi. Ketika NVIDIA mengakuisisi Groq, mereka secara efektif mengisi kekosongan dalam portofolio mereka. GPU NVIDIA tetap menjadi raja dalam hal kapasitas bandwidth, tetapi untuk segmen latensi rendah, dibutuhkan arsitektur yang berbeda.

Chip Groq 3 LPU yang baru — adalah produk pertama setelah penggabungan ini, yang diproduksi dengan teknologi 4 nm. Menurut pernyataan NVIDIA, efisiensinya saat bekerja dengan model besar 35 kali lipat lebih tinggi daripada flagship mereka Blackwell NVL72. Ini bukan tentang kecepatan absolut, tetapi tentang berapa banyak daya yang dibutuhkan untuk mencapai kecepatan tersebut.

Praktisnya, ini berarti sekarang dapat menawarkan solusi berbeda untuk kebutuhan yang berbeda: jika ingin kapasitas bandwidth maksimal — ada GPU; jika membutuhkan jawaban cepat dengan harga berapapun — ada Groq. Model yang sama bisa memiliki harga berbeda tergantung seberapa cepat Anda menginginkan hasilnya. Ini memperluas batas apa yang bisa dioptimalkan di pasar inferensi.