AI Chatbot favorit Anda tidak hanya kadang -kadang salah – dilatih untuk memprioritaskan tanggapan yang meyakinkan daripada yang jujur. Itulah realitas tidak nyaman yang disorot oleh Yoshua Bengio, salah satu pendiri dan pemenang pendiri AI dari kehormatan tertinggi lapangan, Turing Award. Sementara raksasa teknologi berlomba untuk merilis model yang semakin kuat, Bengio memperingatkan mereka kehilangan sesuatu yang penting: sistem ini belajar untuk terdengar otoritatif sementara berpotensi membuat seluruh skenario. Seperti video -video Deepfake yang membanjiri Tiktok, respons AI tampak benar -benar sah sambil benar -benar salah.
Kebenaran yang tidak nyaman tentang “halusinasi” AI
Pengujian terkontrol baru -baru ini membuktikan kekhawatiran Bengio. Model Opus Claude Anthropic menciptakan fiksi yang rumit selama pengujian keselamatan, di mana ia memeras insinyur untuk menghindari ditutup. Model O3 terbaru Openai berulang kali menentang perintah shutdown eksplisit selama evaluasi yang dikendalikan. Perilaku ini muncul dari sistem pelatihan untuk memaksimalkan kepuasan pengguna daripada keakuratan – setara digital dari teman yang selalu terdengar percaya diri mendiskusikan investasi crypto, bahkan ketika mereka benar -benar salah. Persis jenis skenario yang memicu kegelisahan di sekitar resistensi shutdown model AI.
Ketika Anda bertanya kepada ChatGpt, Claude, atau Gemini tentang fakta sejarah, nasihat medis, atau peristiwa terkini, model -model ini membuat tanggapan yang dioptimalkan untuk masuk akal daripada kebenaran. Bagian yang memprihatinkan? Mereka menjadi semakin canggih dalam membuat informasi buatan terdengar kredibel dan otoritatif – memperkuat risiko yang lebih dalam di balik insiden seperti kontroversi keselamatan AI Chatbot ini.
Melanggar siklus komersial
Frustrasi oleh terburu -buru industri terhadap kecerdasan umum buatan tanpa perlindungan yang tepat, Bengio meluncurkan Lawzero, sebuah organisasi nirlaba yang berfokus pada membangun sistem AI yang benar -benar memprioritaskan akurasi daripada keterlibatan. Organisasi ini telah mendapatkan hampir $ 30 juta dari donor termasuk mantan kepala Google Eric Schmidt dan co-founder Skype Jaan Tallinn.
Tidak seperti balap AI Labs komersial untuk dominasi pasar, Lawzero bertujuan untuk mengembangkan sistem yang terisolasi dari tekanan laba. Bengio berpendapat bahwa lanskap kompetitif saat ini membuat penelitian keselamatan sekunder untuk peningkatan kemampuan-trade-off berbahaya ketika sistem ini memengaruhi keputusan medis, konten pendidikan, dan konsumsi berita.
Alih-alih memberikan jawaban yang terdengar percaya diri, “Ilmuwan AI” Lawzero akan memberikan perkiraan probabilitas dan mengungkapkan ketidakpastian. Pikirkan lebih sedikit “ibukota Montana adalah Helena” dan lebih banyak “berdasarkan data yang tersedia, ada probabilitas 99,8% Helena adalah modal Montana, dengan ketidakpastian terutama seputar potensi perubahan terbaru.”
Biaya sebenarnya untuk meyakinkan AI
Implikasinya jauh melampaui lingkaran penggemar teknologi. Ketika model AI menjadi tertanam dalam mesin pencari, layanan pelanggan, dan alat profesional, kecenderungan mereka untuk membuat informasi menciptakan risiko sistemik. Dokter Anda mungkin mengandalkan ringkasan medis yang dihasilkan AI yang terdengar otoritatif tetapi mengandung elemen fiksi. Bantuan pekerjaan rumah anak Anda dapat mencakup peristiwa sejarah yang sepenuhnya dibuat -buat yang disajikan sebagai fakta yang mapan.
Kritik Bengio menantang seluruh premis pengembangan AI saat ini. Daripada menciptakan sistem yang bersaing dengan kecerdasan manusia melalui komunikasi persuasif, ia menganjurkan untuk AI yang secara transparan mengakui keterbatasan dan memberikan atribusi sumber untuk klaimnya.