Nvidia adalah yang pertama dari empat raksasa AI teratas yang merilis chatbot gratis yang didedikasikan untuk penggunaan offline lokal. Aplikasi Obrolan dengan RTX baru memungkinkan pengguna menggunakan model bahasa terbuka secara lokal tanpa terhubung ke cloud. Satu-satunya kelemahan “Chat dengan RTX” adalah persyaratan sistemnya yang sangat tinggi dan ukuran unduhan yang besar, terutama jika dibandingkan dengan solusi cloud. Anda memerlukan GPU seri RTX 30 atau lebih baru dengan VRAM minimal 8 GB dan Windows 10 atau 11 untuk menjalankannya.
Mengobrol dengan nilai jual utama RTX adalah kemampuan offline dan kemampuan penyesuaian pengguna. Chatbot Nvidia memungkinkan Anda menentukan file Anda sendiri sehingga chatbot dapat menghasilkan jawaban yang disesuaikan dengan kebutuhan Anda. Anda dapat mengimpor berbagai format file, termasuk dokumen .txt, PDF, Word, dan XML. Video YouTube juga dapat diunduh dan diurai oleh chatbot.
Misalnya, saya memasukkan dua video YouTube ke Obrolan dengan RTX, satu dari MKBHD dan satu lagi dari Formula 1. Saya bertanya kepada chatbot tentang topik spesifik di setiap video, dan chatbot merespons dengan jawaban singkat yang diambil langsung dari setiap video. Setelah Anda memberinya pertanyaan yang berhubungan dengan topik dalam file atau video yang Anda masukkan ke dalam chatbot, ia akan memberi tahu Anda dari file/video mana jawabannya berasal.
Ini adalah aplikasi keren yang memberi Anda kontrol lebih besar daripada solusi online seperti Copilot dan Gemini. Namun, desain lokalnya memiliki kelemahan yaitu tidak dapat mencari jawaban di internet. Tergantung pada kasus penggunaannya, hal ini bisa berdampak positif atau negatif.
Obrolan dengan RTX menggunakan model bahasa sumber terbuka Mistral atau LIama 2 yang dikombinasikan dengan Retrieval-Augmented Generation (RAG) — RAG menjadi mode untuk menyesuaikan respons dengan data Anda sendiri. Untuk menghadirkannya ke desktop, Nvidia menggunakan perangkat lunak TensorRT-LLM untuk memungkinkan aplikasi memanfaatkan inti tensor GPU seri RTX 30 atau RTX 40 dengan lebih baik.
Aplikasi ini sedang dalam tahap demonstrasi, jadi jangan berharap menghasilkan jawaban yang sempurna. Pemilik seri RTX 20 juga kurang beruntung. Tidak sepenuhnya jelas mengapa GPU arsitektur Turing asli tidak didukung, meskipun Nvidia menyatakan bahwa kendala waktu adalah salah satu faktornya dan mungkin akan tersedia untuk kartu seri 20 di masa depan.