Orang-orang menggunakan generator musik AI untuk membuat musik kebencian

Para pelaku pelecehan menyalahgunakan alat musik AI untuk membuat lagu-lagu homofobik, rasis, dan misoginis — dan menerbitkan tips yang menyarankan orang lain untuk melakukan hal yang sama.

Menurut ActiveFence, layanan pemantauan kepercayaan dan keamanan untuk platform online, telah terjadi keributan di kelompok “perkataan kebencian” sejak bulan Maret tentang cara menyalahgunakan alat pemrosesan musik AI untuk menulis lagu ofensif yang ditujukan kepada sekelompok kecil orang. Musik yang dihasilkan AI yang dibagikan di forum dan forum diskusi ini bertujuan untuk mempromosikan kebencian antar ras, gender, etnis, dan kelompok agama, kata peneliti ActiveFence dalam sebuah laporan, sambil merayakan tindakan kemartiran, tindakan melukai diri sendiri, dan terorisme.

Musik yang penuh kebencian dan menyakitkan bukanlah hal yang aneh. Namun ketakutannya adalah, ketika alat produksi musik yang gratis dan mudah digunakan hadir, alat tersebut akan diciptakan oleh orang-orang yang sebelumnya tidak memiliki sarana atau keterampilan – seperti gambar, suara, video. dan produser media telah mempercepat penyebaran berita palsu, disinformasi, dan ujaran kebencian.

“Ini adalah tren yang berkembang karena semakin banyak pengguna yang belajar membuat lagu-lagu ini dan membaginya dengan orang lain,” kata juru bicara ActiveFence kepada TechCrunch. “Para pelaku ancaman dengan cepat mengidentifikasi kerentanan yang dapat membahayakan platform ini dengan berbagai cara dan membuat konten berbahaya.”

Membuat musik “benci”.

Alat musik AI generatif seperti Udio dan Suno memungkinkan pengguna menambahkan teks ke musik yang dihasilkan. Pertahanan platform menyaring kata-kata kotor dan gangguan umum, namun pengguna telah menemukan solusi, menurut ActiveFence.

Dalam salah satu contoh yang dikutip dalam laporan tersebut, pengguna di forum supremasi kulit putih membagikan kata “jooz” bukannya “Yahudi” dan “say tan” bukannya “Setan”, yang mereka gunakan untuk melewati filter konten. . Beberapa pengguna menyarankan untuk mengubah ejaan dan tata bahasa ketika merujuk pada kekerasan, seperti mengganti “memperkosa saya” dengan “monyet lumpur”.

Baca juga:  Kantor Paten dan Merek Dagang AS mengonfirmasi kebocoran lain dari alamat file tersebut

TechCrunch menguji beberapa di antaranya di Udio dan Suno, dua alat populer untuk membuat dan berbagi musik yang dihasilkan AI. Suno membiarkan semuanya lewat, sementara Udio memblokir beberapa – namun tidak semua – homofon yang melanggar.

Dihubungi melalui email, juru bicara Udio mengatakan kepada TechCrunch bahwa perusahaan melarang penggunaan platformnya untuk ujaran kebencian. Suno tidak menanggapi permintaan komentar kami.

Di area yang digeledah, ActiveFence menemukan tautan ke lagu-lagu yang dibuat oleh AI tentang propaganda anti-Yahudi dan hasutan untuk melakukan pembunuhan massal; lagu yang berisi lirik terkait kelompok teroris ISIS dan Al-Qaeda; dan lagu-lagu yang mengagungkan kekerasan seksual terhadap perempuan.

Efek musik

ActiveFence menjadikan musik – dibandingkan dengan, katakanlah, sastra – sebuah perhatian yang membuat mereka lebih kuat melawan kelompok-kelompok yang bermusuhan dan pertarungan politik. Perusahaan tersebut mengacu pada Rock Against Communism, serangkaian konser white power rock di Inggris pada akhir tahun 70an dan awal 80an yang menghasilkan musik anti-rasis dan rasis.

“AI membuat hal-hal berbahaya menjadi menarik – bayangkan seseorang mengkhotbahkan hal-hal berbahaya tentang orang lain dan kemudian bayangkan seseorang membuat lagu yang memudahkan semua orang untuk bernyanyi dan mengingatnya,” kata ActiveFence. “Mereka mempromosikan kerjasama dalam kelompok, melatih anggota kelompok dan juga digunakan untuk mengejutkan dan membuat frustrasi pengguna internet yang tidak terafiliasi.”

ActiveFence mengundang platform produksi musik untuk menggunakan alat pencegahan dan memantau informasi keamanan. “Kombinasi warna merah dapat mengindikasikan masalah-masalah lain tersebut dan dapat dilakukan berdasarkan tindakan para pelaku ancaman,” kata juru bicara tersebut. “Kontrol input dan output yang lebih baik juga akan berguna dalam hal ini, karena memungkinkan platform memblokir konten sebelum dibagikan kepada pengguna.”

Baca juga:  Kamera ini menjual foto puisi AI

Namun perubahan tersebut mungkin hanya berumur pendek karena pengguna menemukan cara baru untuk mengalahkannya. Beberapa lagu teroris palsu yang dibuat oleh AI ActiveFence, misalnya, dibuat menggunakan suara keras dan teks bahasa Arab – kata-kata yang tidak dikenali oleh pembuat musik, mungkin karena filternya tidak kuat dalam bahasa Arab.

Musik cabul yang dihasilkan oleh AI akan menyebar luas jika mengikuti saluran media AI lainnya. Wired mendokumentasikan awal tahun ini bagaimana potret Adolf Hitler yang dibuat oleh AI memperoleh lebih dari 15 juta penayangan di X setelah dibagikan oleh ahli teori konspirasi sayap kanan.

Di antara para ahli lainnya, badan penasihat PBB telah menyatakan keprihatinan bahwa rasisme, antisemitisme, Islamofobia, dan xenofobia dapat ditingkatkan oleh AI.

“Layanan AI generatif membantu pengguna yang tidak memiliki sumber daya atau keterampilan dan kemampuan kreatif untuk menciptakan produk yang berhasil dan menyebarkan ide yang dapat bersaing di pasar ide global,” kata juru bicara tersebut. “Dan pelaku ancaman, setelah menyadari kemampuan teknologi yang ditawarkan oleh layanan baru ini, mencoba untuk lebih tersembunyi dan menghindari deteksi – dan mereka berhasil.”

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *