Cerebras Systems telah meluncurkan Wafer Scale Engine 3 (WSE-3), sebuah terobosan chip skala wafer AI dengan kinerja dua kali lipat dari pendahulunya, WSE-2. Perangkat baru ini mengemas 4 triliun transistor yang dibuat berdasarkan proses fabrikasi kelas 5nm TSMS; 900.000 inti AI; SRAM dalam chip 44GB; dan memiliki performa puncak 125 FP16 PetaFLOPS. WSE-3 Ceberas akan digunakan untuk melatih beberapa model AI terbesar di industri.
WSE-3 mendukung superkomputer CS-3 Cerebras, yang dapat digunakan untuk melatih model AI dengan hingga 24 triliun parameter – sebuah lompatan signifikan dibandingkan superkomputer yang didukung oleh WSE-2 dan prosesor AI modern lainnya. Superkomputer ini dapat mendukung memori eksternal 1,5TB, 12TB, atau 1,2PB, yang memungkinkannya menyimpan model berukuran besar dalam satu ruang logis tanpa mempartisi atau memfaktorkan ulang — menyederhanakan proses pelatihan dan meningkatkan efisiensi pengembang.
Dalam hal skalabilitas, CS-3 dapat dikonfigurasi dalam cluster hingga 2048 sistem. Skalabilitas ini memungkinkannya menyempurnakan 70 miliar model parameter hanya dalam satu hari dengan pengaturan empat sistem, dan melatih model Llama 70B dari awal dalam jangka waktu yang sama dalam skala penuh.
Kerangka Perangkat Lunak Cerebras terbaru menawarkan dukungan asli untuk PyTorch 2.0 dan juga mendukung ketersebaran yang dinamis dan tidak terstruktur, yang dapat mempercepat pelatihan — hingga delapan kali lebih cepat dibandingkan metode tradisional.
Gambar 1 dari 2
Cerebras menekankan efisiensi daya CS-3 yang unggul dan kemudahan penggunaan. Meski kinerjanya dua kali lipat, CS-3 tetap mempertahankan konsumsi daya yang sama seperti pendahulunya. Hal ini juga menyederhanakan pelatihan model bahasa besar (LLM), yang memerlukan kode hingga 97% lebih sedikit dibandingkan dengan GPU. Misalnya, model berukuran GPT-3 hanya memerlukan 565 baris kode pada platform Cerebras, menurut perusahaan.
Perusahaan ini telah melihat minat yang signifikan terhadap CS-3, dan memiliki banyak sekali pesanan dari berbagai sektor — termasuk perusahaan, pemerintahan, dan cloud internasional. Cerebras juga berkolaborasi dengan institusi seperti Argonne National Laboratory dan Mayo Clinic, menyoroti potensi CS-3 dalam perawatan kesehatan.
Kemitraan strategis antara Cerebras dan G42 juga akan diperluas dengan pembangunan Condor Galaxy 3, sebuah superkomputer AI yang menampilkan 64 sistem CS-3 (mengemas 57.600.000 inti). Bersama-sama, kedua perusahaan telah menciptakan dua superkomputer AI terbesar di dunia: Condor Galaxy 1 (CG-1) dan Condor Galaxy 2 (CG-2), yang berbasis di California dan memiliki kinerja gabungan sebesar 8 ExaFLOP. Kemitraan ini bertujuan untuk menghadirkan puluhan exaFLOP komputasi AI secara global.
“Kemitraan strategis kami dengan Cerebras berperan penting dalam mendorong inovasi di G42, dan akan berkontribusi terhadap percepatan revolusi AI dalam skala global,” kata Kiril Evtimov, Group CTO G42. “Condor Galaxy 3, superkomputer AI kami berikutnya yang memiliki 8 exaFLOP, saat ini sedang dibangun dan akan segera meningkatkan total produksi komputasi AI sistem kami menjadi 16 exaFLOP.”