Berapa kali huruf R muncul pada kata “strawberry”? Menurut ancaman AI seperti GPT-4o dan Claude, jawabannya ada dua.
Bahasa-bahasa utama dapat menulis artikel dan menyelesaikan persamaan dalam hitungan detik. Mereka dapat menghasilkan data berukuran terabyte lebih cepat daripada kemampuan manusia membuka buku. Namun, AI yang tampaknya mahatahu terkadang gagal secara spektakuler sehingga masalahnya berubah menjadi meme viral, dan kita semua lega bahwa mungkin masih ada saatnya kita harus tunduk pada penguasa AI baru kita.
Ketidakmampuan sampel bahasa dalam jumlah besar untuk memahami konsep huruf dan suku kata adalah gejala dari kebenaran yang lebih besar yang sering kita lupakan: Benda-benda ini tidak punya otak. Mereka tidak berpikir seperti kita. Mereka bukan manusia, bahkan bukan manusia biasa.
Banyak LLM dibangun di sekitar trafo, suatu bentuk pembelajaran intensif. Model transformator memecah kata menjadi token, yang dapat berupa kata utuh, suku kata, atau huruf, bergantung pada jenisnya.
“LLM mengadopsi arsitektur transformator, yang tidak benar-benar terbaca. Apa yang terjadi saat Anda memasukkan detailnya adalah detailnya diterjemahkan ke dalam pengkodean,” Matthew Guzdial, peneliti AI dan asisten profesor di Universitas Alberta, mengatakan kepada TechCrunch. “Ketika ia melihat kata ‘the’, ia memiliki arti ‘the’, tetapi ia tidak mengetahui tentang ‘T,’ ‘H,’ ‘E.’
Ini karena konverter tidak dapat mengimpor atau mengekspor teks asli dengan benar. Sebaliknya, kata-kata tersebut diubah menjadi angka representatif itu sendiri, yang kemudian dimanipulasi untuk membantu AI menghasilkan jawaban yang logis. Dengan kata lain, AI mungkin mengetahui bahwa simbol “rumput” dan “beri” membentuk “strawberry”, namun ia tidak dapat memahami bahwa “strawberry” terdiri dari huruf “s”, “t”, “r”, “a,” ”w.” ,” “b,” “e,” “r,” “r,” “r,” dan “y,” secara berurutan. Oleh karena itu, ia tidak dapat memberi tahu Anda berapa banyak huruf – apalagi berapa banyak “r” – yang muncul dalam kata “strawberry”.
Ini bukan masalah yang mudah untuk diperbaiki, karena masalah ini tertanam dalam arsitektur yang membuat LLM berfungsi.
Kyle Wiggers dari TechCrunch menggali masalah ini bulan lalu dan berbicara dengan Sheridan Feucht, seorang mahasiswa PhD di Universitas Northeastern yang sedang mempelajari interpretasi untuk LLM.
“Sulit untuk menjawab pertanyaan tentang apa sebenarnya ‘kata-kata’ yang seharusnya ada dalam suatu bahasa, dan bahkan jika kita memiliki manusia yang ahli untuk mencocokkan kata-kata tersebut dengan jelas, model-model tersebut mungkin masih akan merasakan manfaat dari ‘pengelompokan’ tersebut. Lanjutan,” kata Feucht TechCrunch.dll. “Saya kira tidak ada pertanda baik untuk kebodohan semacam ini.”
Masalah ini menjadi lebih sulit ketika LLM mempelajari banyak bahasa. Misalnya, beberapa sistem tanda baca mungkin berasumsi bahwa spasi dalam sebuah kalimat akan mendahului kata baru, namun banyak bahasa seperti Cina, Jepang, Thailand, Laos, Korea, Khmer, dan lainnya tidak menggunakan spasi untuk memisahkan kata. Peneliti AI Google DeepMind Yennie Jun menemukan dalam sebuah penelitian tahun 2023 bahwa beberapa bahasa memerlukan token sepuluh kali lebih banyak daripada bahasa Inggris untuk menyampaikan makna yang sama.
“Mungkin lebih baik membiarkan model melihat langsung karakter tanpa memberi label, tapi saat ini hal itu tidak mungkin dilakukan oleh konverter,” kata Feucht.
Generator gambar seperti Midjourney dan DALL-E tidak menggunakan arsitektur transformator yang sama dengan generator seperti ChatGPT. Sebaliknya, pembuat gambar sering kali menggunakan pencocokan warna, yang merekonstruksi gambar dari noise. File pengelompokan dilatih pada kumpulan data gambar berukuran besar, dan didorong untuk mencoba merekonstruksi apa yang telah mereka pelajari dari data pelatihan.
Asmelash Teka Hadgu, salah satu pendiri Lesan dan rekan di DAIR Institute, mengatakan kepada TechCrunch, “Generator gambar cenderung berfungsi paling baik pada benda-benda lama seperti mobil dan wajah orang, bukan pada benda-benda kecil seperti jari dan teks.”
Ini mungkin karena hal-hal kecil ini tidak terlihat dengan baik dalam penelitian seperti pohon dengan daun hijau. Masalah pada tipe campuran bisa lebih mudah diperbaiki daripada masalah pada transformator. Beberapa generator gambar telah meningkatkan representasi tangan, misalnya dengan mengajarkan lebih banyak gambar tangan manusia yang nyata.
“Bahkan tahun lalu, semua jenis ini sangat buruk, dan masalah dokumennya sama,” kata Guzdial. “Mereka sangat mengenalnya secara lokal, jadi jika Anda melihat tangan dengan enam atau tujuh jari, Anda bisa berkata, ‘Oh, itu terlihat seperti jari.’ Dengan cara yang sama, ini adalah skrip yang dibuat, bisa dibilang, terlihat seperti ‘H’, dan terlihat seperti ‘P’, tetapi sangat buruk dalam memproses semua hal ini. “
Inilah sebabnya, jika Anda meminta pembuat gambar AI untuk membuat menu untuk restoran Meksiko, Anda mungkin menemukan item normal seperti “Taco”, namun Anda mungkin menemukan penawaran seperti “Tamilos”, “Enchidaa”, dan “Burhiltos”. .”
Sementara meme tentang ejaan “strawberry” menyebar di Internet, OpenAI sedang mengerjakan AI jenis baru yang disebut Strawberry, yang seharusnya memiliki kemampuan berpikir yang sangat baik. Pertumbuhan LLM terbatas karena tidak ada cukup pengetahuan di seluruh dunia untuk memastikan keakuratan hal-hal seperti ChatGPT. Namun Strawberry dapat melakukan hal yang benar untuk menjadikan LLM OpenAI menjadi lebih baik. Menurut The Information, Strawberry dapat memecahkan teka-teki kata Connections New York Times, yang membutuhkan pemikiran kritis dan pengenalan pola untuk memecahkannya, dan dapat memecahkan teka-teki matematika yang belum pernah dilihatnya sebelumnya.
Sementara itu, Google DeepMind baru-baru ini meluncurkan AlphaProof dan AlphaGeometry 2, sistem AI yang dirancang untuk penalaran matematis. Google mengatakan kedua sistem tersebut memecahkan empat dari enam soal di Olimpiade Matematika Internasional, yang akan cukup baik untuk mendapatkan medali perak di kompetisi bergengsi tersebut.
Ini sedikit mengingatkan kita pada ketidakmampuan AI untuk mengucapkan “strawberry” pada saat yang bersamaan dengan laporan Strawberry dari OpenAI. Namun CEO OpenAI Sam Altman memanfaatkan kesempatan ini untuk menunjukkan kepada kita bahwa dia memiliki hasil panen yang mengesankan di bidangnya.
