Perangkat lunak baru Phison menggunakan SSD dan DRAM untuk meningkatkan memori efektif untuk pelatihan AI — mendemonstrasikan satu stasiun kerja yang menjalankan model parameter besar-besaran 70 miliar di GTC 2024

Stan Phison di GTC 2024 mengadakan kejutan tak terduga: Perusahaan mendemonstrasikan satu workstation dengan empat GPU menggunakan SSD dan DRAM untuk memperluas ruang memori efektif untuk beban kerja AI, sehingga memungkinkannya menjalankan beban kerja yang biasanya memerlukan VRAM 1,4 TB yang tersebar di 24 H100 GPU. Platform aiDaptiv+ baru dari perusahaan ini dirancang untuk menurunkan hambatan pelatihan AI LLM dengan menggunakan DRAM sistem dan SSD untuk menambah jumlah VRAM GPU yang tersedia untuk pelatihan, yang menurut Phison akan memungkinkan pengguna menyelesaikan beban kerja pelatihan AI generatif yang intens dalam waktu yang lebih singkat. biaya hanya menggunakan GPU standar, meskipun memperdagangkan biaya masuk yang lebih rendah untuk mengurangi kinerja dan dengan demikian waktu pelatihan lebih lama.

Keuntungan bagi bisnis yang menggunakan jenis penerapan ini adalah mereka dapat mengurangi biaya, menghindari kekurangan GPU yang terus mengganggu industri, dan juga menggunakan model sumber terbuka yang mereka latih di lokasi, sehingga memungkinkan mereka menyimpan data pribadi yang sensitif. di dalam rumah. Phison dan mitranya menargetkan platform ini untuk UKM dan pengguna lain yang tidak terlalu peduli dengan waktu pelatihan LLM secara keseluruhan, namun bisa mendapatkan manfaat dari penggunaan model terlatih dan melatih mereka berdasarkan kumpulan data pribadi mereka sendiri.

Demo perusahaan menjadi bukti kuat untuk teknologi ini, menunjukkan satu workstation dengan empat GPU Nvidia RTX 6000 Ada A100 yang menjalankan model parameter 70 miliar. Model AI yang lebih besar lebih akurat dan memberikan hasil yang lebih baik, namun Phison memperkirakan bahwa model sebesar ini biasanya memerlukan sekitar 1,4 TB VRAM yang tersebar di 24 GPU AI yang tersebar di enam server dalam satu rak server — dan semua jaringan pendukung serta perangkat keras diperlukan.

Solusi adDaptiv+ Phison menggunakan pustaka perangkat lunak middleware yang 'memotong' lapisan model AI dari VRAM yang tidak dihitung secara aktif dan mengirimkannya ke DRAM sistem. Data kemudian dapat tetap berada di DRAM jika diperlukan lebih cepat, atau dapat dipindahkan ke SSD jika prioritasnya lebih rendah. Data tersebut kemudian dipanggil kembali dan dipindahkan kembali ke VRAM GPU untuk tugas komputasi sesuai kebutuhan, dengan lapisan yang baru diproses dipindahkan ke DRAM dan SSD untuk memberi ruang bagi pemrosesan lapisan berikutnya.

Phison melakukan demonya dengan stasiun kerja Pro AI baru Maingear. Sistem demo ini dilengkapi dengan prosesor Xeon w7-3445X, memori DDR5-5600 512GB, dan dua SSD Phison khusus 2TB (lebih lanjut tentang itu di bawah). Namun, mereka hadir dalam berbagai varian mulai dari $28.000 dengan satu GPU hingga $60.000 untuk sistem dengan empat GPU. Tentu saja, jumlah tersebut hanya sebagian kecil dari jumlah yang dibutuhkan untuk membangun enam atau delapan server pelatihan GPU dengan semua jaringan yang diperlukan. Selain itu, sistem ini akan berjalan pada satu sirkuit 15A, sedangkan rak server memerlukan infrastruktur listrik yang jauh lebih kuat.

Maingear adalah mitra perangkat keras utama Phison untuk platform baru ini, namun perusahaan juga memiliki banyak mitra lain, termasuk MSI, Gigabyte, ASUS, dan Deep Mentor, yang juga akan menawarkan solusi untuk platform baru tersebut.