AMD melaporkan bahwa prosesor lamanya, yakni prosesor seri Ryzen mobile 7040 Phoenix dan Ryzen mobile 8040, mengungguli CPU Intel Core Ultra Meteor Lake hingga 79% dalam berbagai model bahasa besar (LLM). Pabrikan CPU meluncurkan sejumlah besar tolok ukur terhadap CPU Intel Core Ultra 7 155H dibandingkan dengan Ryzen 7 8740U. Kedua chip menggunakan Neural Processing Unit (NPU) berbasis perangkat keras.
AMD mengumpulkan beberapa slide yang menampilkan hasil kinerja di Mistral 7b, Llama v2 dan Mistral Instruct 7B dengan dua CPU. Dalam Obrolan Llama v2 yang menggunakan ukuran bit Q4, chip Ryzen mencapai token per detik 14% lebih cepat dibandingkan Core Ultra 7 155H. Dengan ukuran bit yang sama di Mistral Instruct, chip Ryzen mencapai token per detik 17% lebih cepat. Di LLM yang sama, tetapi melihat Time to First Token untuk Sample Prompt, pesaing AMD 79% lebih cepat daripada Core Ultra 7 di Llama v2 dan 41% lebih cepat di Mistral Instruct.
AMD menunjukkan grafik lain dari Llama 2 7B Chat menggunakan sejumlah besar ukuran bit, ukuran blok, dan tingkat kualitas yang berbeda. Rata-rata, Ryzen 7 7840U 55% lebih cepat dibandingkan rekan Intelnya dan hingga 70% lebih cepat pada hasil Q8. Meskipun Q8 menjadi yang tercepat, AMD merekomendasikan kuantisasi KM 4-bit untuk menjalankan LLM untuk penggunaan di dunia nyata dan mengatur KM 5-bit untuk tugas-tugas yang memerlukan akurasi ekstrem, seperti pengkodean.
Kami tidak terkejut jika AMD saat ini memenangkan perang performa AI dengan Intel. Meskipun arsitektur seri Ryzen 7040 memiliki tingkat kinerja (dalam TOPS) yang sama dengan Meteor Lake, akhir tahun lalu kami menemukan bahwa AMD sering mengungguli Meteor Lake dalam beban kerja berbasis AI. Tampaknya ini merupakan masalah pengoptimalan LLM, bukan masalah perangkat keras atau driver. Kami melihat AMD unggul dalam beban kerja AI yang tidak memanfaatkan kerangka kerja OpenVINO Intel, yang dioptimalkan hanya untuk produk Intel. OpenVINO tampaknya penting untuk meningkatkan kinerja Intel AI secara signifikan. Intel A770, misalnya, mendapatkan peningkatan kinerja luar biasa sebesar 54% murni dari optimasi OpenVINO.
Jangan berharap perilaku kinerja ini akan bertahan lama. Bagaimanapun, kami baru berada di awal pengembangan NPU. Jika lebih banyak aplikasi tidak menggunakan OpenVINO, kami berharap Intel akan beralih dan mencoba jalur pengoptimalan yang lebih baik—yang akan diadopsi oleh lebih banyak pengembang. Intel juga bersiap meluncurkan arsitektur CPU seluler Lunar Lake generasi berikutnya pada akhir tahun ini, yang kabarnya akan menampilkan kinerja AI 3x lebih baik dari Meteor Lake (selain peningkatan besar IPC pada inti CPU).
Untuk saat ini, slide AMD menunjukkan bahwa mereka saat ini memiliki keunggulan dalam performa NPU, terutama dengan CPU seri Ryzen 8040, yang memiliki performa NPU lebih tinggi daripada Ryzen 7 7840U. Namun pada akhir tahun ini, keadaan dapat berubah tergantung pada seberapa sukses Intel dengan Lunar Lake dan rencana pengoptimalan AI-nya.