Secara keseluruhan, model AI yang sangat adaptif dulunya merupakan sebuah hal yang populer, dan bisa dibilang sampai sekarang masih demikian. Namun seiring dengan semakin banyaknya vendor cloud, baik besar maupun kecil, yang ikut serta dalam perlombaan AI, kita melihat model-model baru yang menyasar pelanggan berkantong tebal: perusahaan.
Contoh kasus: Snowflake, sebuah perusahaan komputasi, hari ini meluncurkan Arctic LLM, sebuah model AI yang dijuluki “bisnis kelas atas”. Tersedia di bawah lisensi Apache 2.0, Arctic LLM dirancang untuk “aplikasi bisnis”, termasuk pengembangan kode database, kata Snowflake, dan gratis untuk penelitian dan penggunaan komersial.
“Saya pikir ini adalah landasan yang akan memungkinkan kami – Snowflake – dan pelanggan kami untuk membangun produk bisnis dan mulai mewujudkan janji dan nilai AI,” kata CEO Sridhar Ramaswamy dalam siaran pers. “Anda harus menganggap ini sebagai langkah pertama kami, namun besar, dalam dunia AI buatan, dan masih banyak lagi yang akan datang. “
Sebuah model bisnis
Teman saya Devin Coldewey baru-baru ini menulis tentang bagaimana serangan tipe AI tidak akan ada habisnya. Saya sarankan Anda membaca bagiannya, namun intinya adalah ini: Model adalah cara mudah untuk membuat vendor senang dengan penelitian dan pengembangan mereka dan juga berfungsi sebagai cara untuk menciptakan produk alami (misalnya, untuk menampung sampel, untuk meningkatkan kualitas, dan seterusnya. ) .
LLM Arktik tidak berbeda. Contoh klasik Snowflake dalam keluarga model AI yang disebut Arctic, Arctic LLM – yang membutuhkan waktu sekitar tiga bulan, 1.000 GPU, dan $2 juta untuk pelatihan – hadir setelah DBRX dari Databricks, model AI yang didesain ulang dan dipasarkan sebagai model yang dioptimalkan untuk bisnis. ruang angkasa.
Snowflake membuat perbandingan langsung antara Arctic LLM dan DBRX dalam dokumentasinya, menyatakan bahwa Arctic LLM mengungguli DBRX dalam dua tugas pengkodean (Snowflake tidak menentukan bahasa apa) dan pembuatan SQL. Perusahaan mengatakan LLM Arktik juga lebih baik dalam pekerjaannya daripada Llama 2 70B dari Meta (tetapi bukan Llama 3 70B terbaru) dan Mixtral-8x7B dari Mistral.
Snowflake juga mengklaim bahwa LLM Arktik memenuhi “fungsi utama” pada tingkat bahasa yang diakui, MMLU. Saya perhatikan, bagaimanapun, bahwa MMLU ini bertujuan untuk menguji kemampuan model pemodelan melalui masalah mental, ini juga mencakup tes yang dapat diselesaikan dengan menghafal, jadi ambillah peluru dengan sebutir garam.
“LLM Arktik berfokus pada kebutuhan bisnis,” Baris Gultekin, kepala AI di Snowflake, mengatakan kepada TechCrunch dalam sebuah wawancara, “dibandingkan dengan program AI tradisional seperti puisi untuk mengatasi tantangan bisnis, seperti membuat co-pilot SQL dan chatbot tingkat lanjut. ”
Arctic LLM, seperti DBRX dan praktik terbaik Google saat ini, Gemini 1.5 Pro, merupakan perpaduan arsitektur pakar (MoE). Arsitektur Kementerian Lingkungan Hidup pada dasarnya memecah tugas pemrosesan data menjadi bagian-bagian yang lebih kecil dan mendelegasikannya kepada model “ahli” yang lebih kecil. Oleh karena itu, meskipun LLM Arktik memiliki 480 miliar unit, ia hanya mengaktifkan 17 miliar unit sekaligus – cukup untuk menjalankan 128 jenis spesialis yang berbeda. (Parameter menentukan kemampuan model AI untuk memecahkan masalah, seperti menganalisis dan menghasilkan kalimat.)
Snowflake mengklaim bahwa desain inovatif ini memungkinkannya untuk melatih LLM Arktik di situs web sumber terbuka (termasuk RefinedWeb, C4, RedPajama, dan StarCoder) dengan biaya “sekitar seperdelapan biaya model serupa”.
Kecepatan apa pun
Snowflake menawarkan sumber daya seperti templat turnkey dan serangkaian tutorial tentang LLM Arktik untuk memandu pengguna melalui proses penyiapan model dan kemudian mengedit dan menyesuaikannya untuk situasi tertentu. Namun, menyadari bahwa hal ini mungkin mahal dan sulit bagi banyak pengembang (untuk mengkonfigurasi atau menjalankan Arctic LLM dengan benar memerlukan delapan GPU), Snowflake juga berjanji bahwa Arctic LLM akan tersedia di berbagai platform, termasuk Hugging Face, Microsoft Azure. , layanan hosting model Pamodzi AI, dan platform AI generatif perusahaan Lamini.
Namun, inilah tantangannya: LLM Arktik akan tersedia Pertama di Cortex, platform Snowflake untuk membangun aplikasi dan layanan berbasis AI dan pembelajaran mesin. Tidak mengherankan jika perusahaan memposisikannya sebagai cara terbaik untuk mengelola LLM Arktik dengan “keamanan”, “tata kelola”, dan skalabilitas.
“Impian kami saat ini adalah, dalam tahun ini, memiliki API yang dapat digunakan oleh pelanggan kami sehingga pengguna bisnis dapat terhubung langsung dengan datanya,” kata Ramaswamy. “Itu akan menjadi kenyataan. mudah bagi kami untuk berkata, ‘Oh, kami tunggu saja versi terbuka lainnya dan kami akan menggunakannya. Sebaliknya, kami berinvestasi pada startup karena kami pikir (ini akan membantu) pelanggan kami mendapatkan lebih banyak keuntungan. “
Jadi saya bertanya-tanya: Siapa sebenarnya LLM Arktik selain pelanggan Snowflake?
Dalam lingkungan yang penuh dengan model “terbuka” yang dapat berhasil diadaptasi untuk tujuan apa pun, LLM Arktik tidak menonjol sama sekali. Perancangannya dapat membawa manfaat bagi fasilitas lain yang ada. Namun saya tidak yakin mereka akan cukup hebat untuk menjauhkan bisnis dari banyak pencipta bisnis lain yang terkenal dan suportif (seperti GPT-4).
Ada juga satu hal yang tidak boleh diabaikan oleh LLM Arktik: masalah mikronya.
Dalam augmented AI, jendela kognitif mendefinisikan masukan (misalnya kata-kata) yang dipertimbangkan model sebelum menghasilkan keluaran (misalnya lebih banyak kata). Model dengan jendela kecil cenderung melupakan isi percakapan terkini, sedangkan model dengan jendela besar sering kali menghindari jebakan ini.
Artikel LLM Arktik berisi antara ~ ~ 8.000 dan ~ ~ 24.000 kata, bergantung pada metode pengeditan terbaik – model terendah seperti Claude 3 Opus dari Anthropic dan Gemini 1.5 Pro dari Google.
Snow tidak menyebutkannya dalam iklan, tetapi LLM Arktik hampir selalu memiliki kelemahan dan kelemahan yang sama dengan jenis AI lainnya – yaitu imajinasi (misalnya, menanggapi permintaan secara tidak benar). Itu karena Arctic LLM, bersama dengan model AI lainnya di luar sana, adalah mesin komputasi – yang juga memiliki jendela kecil. Ia membuat asumsi berdasarkan banyak contoh yang membuat data menjadi “logis” untuk ditempatkan (seperti kata “pergi” sebelum “pasar” dalam frasa “Saya akan pergi ke pasar”). Ia hanya akan salah menebak – dan itu adalah “meramal”.
Seperti yang ditulis Devin dalam artikelnya, hingga terobosan besar berikutnya, peningkatan bertahap adalah apa yang kita harapkan dalam genre AI. Namun hal ini tidak akan menghentikan penjual seperti Snowflake untuk memimpin mereka jika mereka berhasil, dan menjualnya untuk semua yang mereka miliki.
