Para pendukung benchmarking Primate Labs pada hari Kamis merilis Geekbench AI 1.0. Aplikasi ini, yang saat ini tersedia di Android, Linux, MacOS, dan Windows, menggunakan tolok ukur Geekbench untuk pembelajaran mesin, pembelajaran mendalam, dan tugas AI lainnya, dengan tujuan mengoptimalkan kinerja di seluruh platform. Ini adalah penerus Geekbench ML (pembelajaran mesin), yang diumumkan pada tahun 2021 dan saat ini berada pada versi 0.6.
“(I)dalam beberapa tahun terakhir, perusahaan-perusahaan telah sepakat menggunakan kata ‘AI’ untuk jenis proyek ini (dan dalam pemasarannya),” kata Primate Labs tentang perubahan nama tersebut. “Untuk memastikan bahwa semua orang, mulai dari insinyur hingga penggemar kinerja, memahami fungsi benchmark ini dan cara kerjanya, kami merasa inilah saatnya untuk melakukan perubahan.”
Awal pekan ini, pengembang ChatGPT OpenAI mengumumkan versi baru dari benchmark AI-nya. SWE-bench Verified adalah penawaran “yang divalidasi oleh masyarakat” yang menggunakan verifikasi manusia untuk memverifikasi efektivitas model dalam memecahkan “masalah dunia nyata”.
