“Craigslist untuk cluster GPU” yang diproklamirkan sendiri ada di sini; gpulist.ai menyebut dirinya sebagai satu-satunya tempat di internet di mana siapa pun dapat menyewa cluster GPU berdasarkan kartu dan per jam. Layanan ini baru saja diluncurkan kemarin dan server kecil hingga menengah sudah menawarkan ratusan GPU kepada banyak orang, hanya dengan harga dolar per jam per kartu. Sekarang siapa pun secara teoritis dapat memanfaatkan kekuatan beberapa GPU AI tanpa perlu membangun pusat data dari awal.
Situs ini diumumkan oleh investor startup AI dan mantan CEO GitHub Nat Friedman, yang bersama Daniel Gross menjalankan superkomputer Andromeda Cluster. Cara kerjanya hampir sama dengan Craigslist: orang-orang dengan cluster GPU membuat daftar yang merinci spesifikasi sistem dan biaya per GPU per jam, dan pengguna dapat menghubungi penjual untuk menyusun pengaturan. Tampaknya tidak ada yang super rumit tentang gpulist.ai itu sendiri, karena gpulist.ai hanya menawarkan pasar yang didukung oleh pemain industri besar.
Anda mungkin akan berpikir sangat tidak mungkin bahwa siapa pun yang memiliki server dengan cluster GPU (yang mungkin memerlukan biaya minimal ratusan ribu atau jutaan untuk membangun dari awal) akan mencantumkannya di situs web mirip Craigslist, tetapi Anda akan sangat menyukainya. salah. Sudah ada 13 listing berbeda yang menawarkan penyewaan GPU A100 dan H100. Dua dari listing ini berasal dari Andromeda, yang dimiliki oleh Friedman dan Gross, namun 11 lainnya berasal dari enam pihak ketiga yang berbeda.
Beberapa dari daftar ini cukup fleksibel, menawarkan masa sewa minimum satu minggu dan GPU paling sedikit sebanyak empat, dan dalam satu kasus hanya satu kartu. Namun, ada banyak listing yang mengharapkan penyewa untuk membuat komitmen jangka panjang atau dalam jumlah besar. Tiga listing untuk cluster H100 meminta penyewa untuk menyewakan setidaknya 256 kartu; ada lagi yang memiliki minimal 128 dan satu lagi dengan 50. Listing yang sama juga memerlukan periode sewa yang panjang, mulai dari 12 minggu pada harga terendah hingga 104 minggu, atau hampir dua tahun.
Dengan harga yang berkisar antara $2 hingga $3,50 per GPU per jam, Anda mungkin bertanya-tanya apakah harga ini benar-benar sepadan. Perkiraan terbaru menyebutkan harga satu GPU H100 sekitar $40.000; dengan harga $40.000 yang sama, Anda mungkin bisa menyewa H100 selama satu hingga satu setengah tahun berdasarkan harga saat ini di gpulist.ai. Bahkan listing selama 104 minggu yang meminta penyewa untuk menyewa setidaknya 256 GPU H100 hanya berharga sekitar 256 kartu H100. Mengingat waktu dan uang yang dihabiskan untuk membangun atau meningkatkan pusat data (ini lebih dari sekedar GPU), ini sebenarnya bukan hal yang buruk.
Meskipun ini semua terdengar sangat baru, namun belum 100% orisinal, karena broad.ai adalah layanan lain yang memungkinkan orang menyewa komputer. Ketika ditanya tentang kemiripan gpulist.ai dengan broad.ai, Friedman hanya mengatakan “ini untuk cluster”. Hal ini cukup jelas jika Anda membandingkan GPU yang ditawarkan kedua layanan tersebut. broad.ai sebagian besar menawarkan RTX 4090, dan hanya ada sedikit kartu H100, A100, dan kartu pusat data lainnya yang tersedia untuk disewa. Server H100 terbesar yang disewakan di broad.ai hanya memiliki delapan GPU; Anda tampaknya dapat menyewa setidaknya 256 dan hingga 1024 H100 di gpulist.ai.
Masih belum jelas apakah gpulist.ai akan membantu mewujudkan era kekuatan komputasi AI yang mudah diakses, atau akan gagal karena kurangnya pasokan dan/atau permintaan. Tampaknya tidak mungkin pusat data mana pun akan membuat cluster GPU khusus untuk gpulist.ai atau layanan serupa, karena imbalannya tampaknya tidak sepadan. Namun, jika pusat data sudah memiliki cluster GPU yang siap digunakan tetapi tidak ada yang menjalankannya karena alasan apa pun, menyewakannya dengan cepat bisa menjadi cara untuk setidaknya menghasilkan uang daripada tidak sama sekali. GPU ultra-mahal ini harus dibayar lunas.