Outlet berita StorageReview menjalankan chatbot AI pada NAS yang didukung oleh kartu grafis Nvidia RTX A4000, menempatkan kemampuan ChatGPT di server lokal. Pembuat perangkat keras komputer YouTube biasanya menyukai hal-hal yang tidak biasa dan konyol, tetapi StorageReview telah menciptakan solusi yang memadukan keunikan dan kegunaannya.
Seperti yang terlihat dalam video YouTube tersemat di atas, Jordan dari StorageReview telah menyelesaikan tugas ini tanpa terlalu banyak melakukan DIY yang rumit. Basis proyek ini adalah QNAP TS-h1290FX, NAS bawaan dengan 12 slot NVMe, prosesor AMD Epyc, dan RAM 256 GB. Alasan untuk NAS khusus ini ada dua: Memungkinkan penambahan GPU internal, dan mendukung program hypervisor QNAP Stasiun Virtualisasi untuk membuat mesin virtual (VM). Ke dalam shell ini ditambahkan Nvidia RTX A4000, sebuah GPU Ampere yang merupakan kartu grafis slot tunggal paling kuat dari Nvidia.
Dengan NAS yang penuh dengan terabyte data dan perangkat keras RTX yang siap digunakan, Jordan dapat menggunakan program baru “Chat with RTX”, sebuah kreasi Nvidia yang menyiapkan pengalaman ChatGPT pada PC yang ditenagai oleh kartu grafis Anda, yang dapat memanfaatkan file lokal untuk data.
Memiliki NAS dengan AI di dalamnya mungkin tampak tidak praktis, namun bagi dunia yang semakin bergantung pada AI, solusi ini sangat masuk akal. Penggunaan AI di dunia perusahaan mencakup analisis dan optimalisasi data dan kinerja, yang berpotensi terhubung dengan data sensitif yang tidak diinginkan di internet terbuka. Model ChatGPT online melatih dirinya sendiri dalam penggunaannya, yang akan membuat pengguna takut dengan data sensitif agar tidak berpotensi bocor ke database AI. Memiliki chatbot AI lokal, yang terputus dari internet terbuka, namun terhubung ke data Anda untuk solusi ini, berpotensi membawa perubahan besar bagi perusahaan yang berfokus pada keamanan, dan menempatkan alat tersebut di NAS memungkinkan semua orang di jaringan mengakses alat AI.
Proyek ini sangat berguna dalam lingkungan teknologi YouTube yang semakin berfokus pada hal-hal baru. Menambahkan kemampuan ChatGPT ke NAS yang sudah menjadi pembangkit tenaga listrik (drive NVMe 15 TB menjadi lebih umum di pengaturan perusahaan, dan monster QNAP ini cocok untuk 12 di antaranya) adalah hal yang mudah bagi perusahaan yang ingin menggunakan NAS tersebut. kekuatan AI untuk membuat mereka lebih kompetitif di dunia yang berkembang pesat. Beberapa kekhawatiran atau ketakutan moral terkait model bahasa AI juga dihindari di sini: Menggunakan model bahasa yang sepenuhnya off-the-grid membuat Anda aman dari AI yang mencuri respons Anda, dan melatih bot hanya pada data Anda akan memastikan tidak ada pembajakan atau pencurian data model lainnya diabadikan setelah Anda mengunduh model LLM untuk mendukung aplikasi obrolan.
Untuk mengetahui lebih dalam tentang proyek ini dan cara mereplikasinya sendiri, lihat artikel di StorageReview. Untuk bantuan memulai proyek AI NAS Anda sendiri, Anda pasti menginginkan SSD dan HDD terbaik seperti yang kami ulas. Dan jika Anda ingin benar-benar melakukan DIY, pertimbangkan untuk mencetak 3D casing NAS Anda sendiri.