Menurut Digitimes, General Manager Dell Taiwan Terence Liao melaporkan bahwa waktu tunggu pengiriman GPU Nvidia H100 AI telah berkurang selama beberapa bulan terakhir dari 3-4 bulan, seperti yang kami laporkan sebelumnya, menjadi hanya 2-3 bulan (8- 12 minggu). Server ODM mengungkapkan bahwa pasokan akhirnya berkurang dibandingkan tahun 2023 ketika hampir tidak mungkin untuk mendapatkan GPU H100 Nvidia.
Meskipun waktu tunggu berkurang, Liao menyatakan bahwa permintaan perangkat keras berkemampuan AI masih sangat tinggi. Secara khusus, pembelian server AI menggantikan pembelian server tujuan umum dalam bisnis, meskipun biaya server AI sangat mahal. Namun, dia yakin waktu pengadaan adalah satu-satunya alasan hal tersebut.
Jangka waktu pengiriman 2-3 bulan adalah waktu tunggu terpendek untuk GPU H100 Nvidia. Enam bulan yang lalu, waktu tunggu mencapai 11 bulan, yang berarti sebagian besar pelanggan Nvidia harus menunggu satu tahun untuk memenuhi pesanan AI GPU mereka.
Sejak awal tahun 2024, waktu tunggu telah menurun secara signifikan. Pertama, kami melihat penurunan yang sangat besar dibandingkan 3-4 bulan di awal tahun. Kini, waktu tunggu telah menyusut satu bulan lagi. Pada tingkat ini, kita dapat melihat waktu tunggu akan hilang sepenuhnya pada akhir tahun atau lebih cepat.
Perilaku ini kemungkinan merupakan dampak lanjutan dari beberapa perusahaan yang memiliki kelebihan GPU H100 dan menjual kembali sebagian pasokan mereka untuk mengimbangi tingginya biaya pemeliharaan inventaris yang tidak terpakai. Selain itu, AWS telah mempermudah penyewaan GPU Nvidia H100 melalui cloud, yang juga membantu meringankan sebagian permintaan H100.
Satu-satunya pelanggan Nvidia yang masih berjuang dengan kendala pasokan adalah perusahaan besar seperti OpenAI, yang sedang mengembangkan LLM mereka sendiri. Perusahaan-perusahaan ini membutuhkan puluhan dan ratusan ribu GPU untuk melatih LLM mereka dengan cepat dan efektif.
Kabar baiknya adalah hal ini tidak akan menjadi masalah dalam waktu lama. Jika waktu tunggu terus menjadi lebih pendek secara eksponensial, seperti yang terjadi dalam empat bulan terakhir, pelanggan terbesar Nvidia seharusnya bisa mendapatkan semua GPU yang mereka butuhkan, setidaknya secara teori.