Empat belas LLM bertarung habis-habisan di Street Fighter III — Pertarungan AI mencari tahu model mana yang menjadi petarung jalanan terbaik.

Tolok ukur kecerdasan buatan (AI) baru berdasarkan judul arcade klasik Street Fighter III dirancang pada hackathon Mistral AI di San Francisco minggu lalu. Tolok ukur LLM Colosseum sumber terbuka dikembangkan oleh Stan Girard Dan Otak Quivr. Game ini berjalan di emulator, memungkinkan LLM untuk bertarung dengan cara yang tidak konvensional namun spektakuler.

Penggemar AI, Matthew Berman, memperkenalkan turnamen model bahasa besar (LLM) berbasis beat-em-up baru dalam video yang tersemat di atas. Selain menampilkan aksi perkelahian jalanan, video Berman memandu Anda menginstal proyek sumber terbuka ini di PC rumah atau Mac, sehingga Anda dapat mengujinya sendiri.

Ini bukan tolok ukur LLM pada umumnya. Model yang lebih kecil biasanya memiliki keunggulan latensi dan kecepatan, yang berarti memenangkan lebih banyak pertarungan dalam game ini. Pemain manusia beat-em-up mendapat manfaat dari reaksi cepat terhadap gerakan balasan lawan mereka, dan hal yang sama juga berlaku dalam aksi AI-vs-AI ini.

LLM membuat keputusan real-time mengenai cara mereka bertarung. Sebagai model berbasis teks, mereka telah diarahkan bagaimana bereaksi terhadap aksi permainan setelah terlebih dahulu menganalisis keadaan permainan untuk mengetahui konteksnya dan kemudian mempertimbangkan opsi pergerakan mereka. Opsi pemindahan meliputi; mendekat, menjauh, bola api, megapunch, badai, dan bola api besar.

Dalam video tersebut Anda dapat melihat bahwa pertarungan terlihat lancar, dan para pemain tampak strategis dalam melakukan serangan balik, pemblokiran, dan penggunaan gerakan khusus. Namun, pada saat penulisan proyek ini hanya mengizinkan penggunaan karakter Ken – yang memberikan keseimbangan sempurna, namun mungkin kurang menarik untuk ditonton.