Hipotesis – khususnya kebohongan yang diungkapkan oleh pengembang AI – adalah masalah besar bagi bisnis yang ingin mengintegrasikan teknologi ke dalam operasi mereka.
Karena model tidak memiliki kecerdasan nyata dan hanya memprediksi kata, gambar, ucapan, musik, dan lainnya berdasarkan skema rahasia, terkadang mereka salah. Salah besar. Dalam artikel terbaru di The Wall Street Journal, sebuah sumber menjelaskan saat pengembang AI Microsoft melakukan panggilan konferensi dan mengatakan bahwa panggilan konferensi tersebut adalah tentang topik yang sebenarnya tidak dibahas melalui telepon.
Seperti yang telah saya tulis sebelumnya, halusinasi bisa menjadi masalah yang sulit diselesaikan dengan desain trafo modern. Namun beberapa vendor AI mengatakan demikian dia bisa diselesaikan, kurang lebih, melalui teknik yang disebut retrieval augmented generation, atau RAG.
Begini cara salah satu vendor, Squirro, melakukannya:
Inti dari penawaran ini adalah konsep Retrieval Augmented LLM atau Retrieval Augmented Generation (RAG) yang disertakan dalam solusi… (keluaran AI kami) unik karena janjinya akan nihil paparan. Setiap informasi yang dihasilkan ditelusuri kembali ke sumbernya, sehingga menjamin keandalannya.
Berikut kutipan serupa dari SiftHub:
Menggunakan teknologi RAG dan beragam bahasa yang dioptimalkan dengan baik dengan pelatihan khusus industri, SiftHub memungkinkan perusahaan untuk membuat solusi mereka sendiri tanpa tinjauan ke masa depan. Hal ini memastikan peningkatan transparansi dan pengurangan risiko serta mendorong kepercayaan penuh dalam menggunakan AI untuk semua kebutuhan mereka.
RAG dipelopori oleh ilmuwan data Patrick Lewis, seorang peneliti di Meta dan University College London, dan penulis utama makalah tahun 2020 yang menciptakan istilah tersebut. Saat diterapkan pada model, RAG mengambil dokumen yang mungkin relevan dengan kueri – misalnya, halaman Wikipedia tentang Super Bowl – menggunakan pencarian kata kunci dan kemudian meminta model untuk memberikan jawaban berdasarkan kata kunci tersebut.
“Saat Anda berinteraksi dengan model AI seperti ChatGPT atau Llama dan mengajukan pertanyaan, defaultnya adalah model tersebut merespons dari ‘memori parametrik’ – yaitu dari pengetahuan yang disimpan dalam parameternya sebagai hasil pelatihan pada data online,” David Wadden, ilmuwan peneliti di AI2, divisi nirlaba Allen Institute yang berfokus pada AI, menjelaskan. “Namun, sama seperti Anda dapat memberikan jawaban yang benar jika Anda memiliki teks (seperti buku atau file) di depan Anda, hal yang sama terkadang juga berlaku pada model.”
RAG tidak diragukan lagi berguna – memungkinkan seseorang untuk mengklaim bahwa materi yang dihasilkan suatu merek harus dijaga untuk memastikan keasliannya (dan, sebagai manfaat tambahan, untuk menghindari duplikasi yang dapat melanggar hak cipta). RAG juga mengizinkan bisnis yang tidak ingin dokumennya digunakan untuk melatih model – misalnya, perusahaan di industri yang diatur secara ketat seperti layanan kesehatan dan hukum – untuk memungkinkan model mengunduh dokumen tersebut dengan aman dan sementara.
Tapi RAG tentu saja saya tidak bisa mencegah model digambar. Dan ia memiliki batasan yang diabaikan oleh banyak vendor.
Wadden mengatakan RAG paling berguna dalam situasi “pengetahuan” di mana pengguna ingin menggunakan model untuk memecahkan “pengetahuan” – misalnya, untuk mengetahui siapa yang memenangkan Super Bowl tahun lalu. Dalam kasus ini, dokumen yang menjawab pertanyaan mungkin berisi banyak kata yang mirip dengan pertanyaan tersebut (misalnya, “Super Bowl”, “tahun lalu”), sehingga lebih mudah ditemukan menggunakan kata kunci.
Segalanya menjadi lebih rumit dengan pekerjaan “berkonsep tinggi” seperti matematika dan menulis matematika, di mana sulit untuk mengungkapkan dalam kata kunci ide-ide yang diperlukan untuk menjawab permintaan – tanpa menyadari dokumen mana yang mungkin relevan.
Meskipun merupakan pertanyaan penting, contoh dapat “terganggu” oleh isi teks, terutama pada teks panjang yang jawabannya tidak jelas. Atau mereka mungkin – karena alasan yang masih belum diketahui – mengabaikan isi teks yang dikembalikan, memilih untuk mengandalkan ingatan mereka.
RAG juga mahal dalam hal perangkat keras yang diperlukan untuk menjalankannya dalam skala besar.
Itu karena dokumen yang dihapus, baik di Internet, database internal, atau di tempat lain, harus disimpan di memori – sementara – agar model dapat kembali ke sana. Biaya lain yang digunakan adalah menghitung berapa banyak sampel yang perlu diproses sebelum memberikan jawabannya. Untuk sebuah teknologi yang sudah diketahui besarnya daya komputasi dan listrik yang dibutuhkan bahkan untuk sistem dasar, hal ini sangatlah penting.
Bukan berarti RAG tidak bisa diubah. Wadden mencatat bahwa banyak upaya yang dilakukan untuk mendidik masyarakat tentang cara menggunakan dokumen yang tersedia dari RAG dengan benar.
Beberapa dari upaya ini mencakup model yang dapat “memilih” kapan akan menggunakan catatan tersebut, atau model yang dapat memilih untuk tidak mengembalikannya jika dianggap tidak perlu. Yang lain berfokus pada cara mengindeks dokumen-dokumen penting dengan lebih baik, dan meningkatkan kinerja pencarian dengan menggunakan format dokumen yang lebih baik – representasi yang melampaui kata kunci.
“Kami sangat baik dalam mengambil dokumen berdasarkan kata kunci, namun tidak terlalu baik dalam mengambil dokumen berdasarkan konsep abstrak, seperti pembuktian konsep yang diperlukan untuk memecahkan masalah matematika,” kata Wadden. “Penelitian diperlukan untuk mengembangkan tampilan dokumen dan metode pencarian yang dapat mengidentifikasi dokumen relevan untuk banyak tugas generasi. Saya pikir ini adalah pertanyaan terbuka pada saat ini. “
Jadi RAG dapat membantu mempersempit spektrum model – tetapi RAG bukanlah jawaban untuk semua masalah AI. Waspadalah terhadap penjual mana pun yang mencoba memberi tahu Anda sebaliknya.
