GPU Blackwell Nvidia untuk aplikasi AI akan lebih mahal daripada prosesor berbasis Hopper milik perusahaan, menurut analis dari HSBC yang dikutip oleh @firstadopter, seorang penulis senior dari Barron's. Para analis mengklaim bahwa satu superchip GB200 (CPU+GPU) bisa berharga hingga $70.000. Namun, Nvidia mungkin lebih cenderung menjual server berdasarkan GPU Blackwell daripada menjual chip secara terpisah, terutama mengingat server B200 NVL72 diperkirakan berharga hingga $3 juta per unit.
HSBC memperkirakan bahwa GPU B100 'entri' Nvidia akan memiliki harga jual rata-rata (ASP) antara $30.000 dan $35.000, yang setidaknya berada dalam kisaran harga H100 Nvidia. GB200 yang lebih bertenaga, yang menggabungkan satu CPU Grace dengan dua GPU B200, dilaporkan akan berharga antara $60,000 dan $70,000. Dan jujur saja: biayanya mungkin akan lebih mahal dari itu, karena ini hanya perkiraan analis.
HSBC memperkirakan harga untuk sistem rak server NVIDIA GB200 NVL36 adalah $1,8 juta dan NVL72 adalah $3 juta. Juga memperkirakan ASP GB200 adalah $60.000 hingga $70.000 dan ASP B100 adalah $30.000 hingga $35.000.13 Mei 2024
Server berdasarkan desain Nvidia akan jauh lebih mahal. Nvidia GB200 NVL36 dengan Superchip 36 GB200 (18 CPU Grace dan 36 GPU B200 yang ditingkatkan) dapat dijual dengan harga rata-rata $1,8 juta, sedangkan Nvidia GB200 NVL72 dengan Superchip 72 GB200 (36 CPU dan 72 GPU) dapat dijual dengan harga sekitar $3 juta, menurut dugaan nomor HSBC.
Ketika CEO Nvidia Jensen mengungkapkan chip pusat data Blackwell di GTC 2024 tahun ini, cukup jelas bahwa tujuannya adalah untuk memindahkan seluruh rak server. Jensen berulang kali menyatakan bahwa ketika dia memikirkan GPU, dia sekarang membayangkan rak NVL72. Seluruh pengaturan terintegrasi melalui koneksi bandwidth tinggi untuk berfungsi sebagai GPU besar, menyediakan total VRAM sebesar 13.824 GB — sebuah faktor penting dalam melatih LLM yang semakin besar.
Menjual keseluruhan sistem dibandingkan GPU/Superchip yang berdiri sendiri memungkinkan Nvidia menyerap sebagian premi yang diperoleh integrator sistem, sehingga akan meningkatkan pendapatan dan profitabilitasnya. Mengingat pesaing Nvidia, AMD dan Intel, mendapatkan daya tarik yang sangat lambat dengan prosesor AI mereka (misalnya, seri Instinct MI300, Gaudi 3), Nvidia tentu dapat menjual prosesor AI-nya dengan harga yang sangat mahal. Oleh karena itu, harga yang diduga diperkirakan oleh HSBC tidak terlalu mengejutkan.
Penting juga untuk menyoroti perbedaan antara H200 dan GB200. H200 sudah menetapkan harga hingga $40.000 untuk masing-masing GPU. GB200 secara efektif akan melipatgandakan jumlah GPU (empat cetakan silikon, dua per B200), ditambah penambahan CPU dan PCB besar untuk apa yang disebut Superchip. Komputasi mentah untuk satu Superchip GB200 adalah 5 petaflops FP16 (10 petaflops dengan ketersebaran), dibandingkan dengan 1/2 petaflops (padat/jarang) pada H200. Itu kira-kira lima kali lipat komputasi, bahkan tidak memperhitungkan peningkatan arsitektur lainnya.
Perlu diingat bahwa harga aktual perangkat keras kelas pusat data selalu bergantung pada kontrak individual, berdasarkan volume perangkat keras yang dipesan dan negosiasi lainnya. Oleh karena itu, ambillah angka perkiraan ini dengan bantuan garam. Pembeli besar seperti Amazon dan Microsoft kemungkinan besar akan mendapatkan diskon besar, sementara klien kecil mungkin harus membayar harga lebih tinggi dari yang dilaporkan HSBC.