Meta, yang mengembangkan salah satu bahasa pemrograman sumber terbuka terbesar, Llama, yakin akan membutuhkan lebih banyak daya komputasi untuk melatih model di masa depan.
Mark Zuckerberg mengatakan pada panggilan pendapatan kuartal kedua Meta pada hari Selasa bahwa pelatihan Llama 4 akan membebani perusahaan 10x lebih besar daripada biaya untuk melatih Llama 3. Namun dia tetap ingin Meta membangun kekuatan model pelatihan daripada tertinggal dari pesaing. .
“Jumlah komputer yang dibutuhkan untuk melatih Llama 4 mungkin sekitar 10 kali lipat dari yang kami gunakan untuk melatih Llama 3, dan model masa depan akan terus berkembang lebih dari itu,” kata Zuckerberg.
“Sulit untuk memprediksi bagaimana hal ini akan terjadi dalam beberapa generasi ke depan. Namun untuk saat ini, saya lebih memilih mengambil risiko mengembangkan keterampilan sebelum dibutuhkan daripada terlambat, karena memiliki waktu yang lama untuk mempersiapkan proyek baru. “
Meta merilis Llama 3 dengan 80 miliar unit pada bulan April. Perusahaan tersebut minggu lalu merilis versi upgrade dari model tersebut, yang disebut Llama 3.1 405B, yang memiliki 405 miliar unit, menjadikannya versi Meta terbesar.
CFO Meta, Susan Li, juga mengatakan bahwa perusahaan sedang mempertimbangkan berbagai aplikasi pusat data dan membangun kapasitas untuk melatih model AI di masa depan. Ia mengatakan, Meta berharap uang tersebut akan menambah jumlah yang dibelanjakan pada tahun 2025.
Mengajarkan contoh bahasa-bahasa utama bisa menjadi bisnis yang mahal. Pendapatan kotor Meta naik hampir 33% menjadi $8,5 miliar pada Q2 2024, dari $6,4 miliar pada tahun sebelumnya, didorong oleh pendapatan dari server, pusat data, dan infrastruktur.
Menurut laporan dari The Information, OpenAI menghabiskan $3 miliar untuk model pelatihan dan $4 miliar untuk menyewa server dengan harga murah dari Microsoft.
“Saat kami mengembangkan kemampuan pelatihan AI untuk memajukan model-model kami, kami akan terus membangun fondasi kami dengan cara yang memberi kami fleksibilitas dalam cara kami menggunakannya dari waktu ke waktu. Hal ini akan memungkinkan kami untuk mengarahkan kemampuan pelatihan ke AI generasi berikutnya atau rekrutmen awal kami dan pendampingan, seperti yang kami harapkan. “sangat penting,” kata Li melalui panggilan telepon.
Pada peluncurannya, Meta juga berbicara tentang penggunaan Meta AI untuk menyasar konsumen dan mengatakan bahwa India adalah pasar terbesar untuk chatting-nya. Namun Li juga mengatakan bahwa perusahaan tidak mengharapkan produk Gen AI memberikan kontribusi pendapatan yang signifikan.
