Terobosan Moderasi Konten AI: Moonbounce Mengamankan $12 Juta untuk Membangun Pagar Pengaman Keamanan Real-Time

BitcoinWorld

Terobosan Moderasi Konten AI: Moonbounce Mengamankan $12 Juta untuk Membangun Pengaman Keamanan Real-Time

Dalam langkah signifikan untuk mengatasi krisis keamanan online yang meningkat, Moonbounce, sebuah startup perintis moderasi konten AI real-time, telah mengungkapkan secara eksklusif kepada Bitcoin World pendanaan senilai $12 juta. Investasi ini, yang dipimpin bersama oleh Amplify Partners dan StepStone Group, mendorong misi perusahaan untuk mengubah dokumen kebijakan statis menjadi kode yang dapat dieksekusi, menciptakan lapisan keamanan langsung untuk konten buatan pengguna dan konten yang dibuat AI. Akibatnya, pendanaan ini datang saat platform menghadapi tekanan hukum dan reputasi yang meningkat dari kegagalan moderasi yang berprofil tinggi.

Solusi Moderasi Konten AI Moonbounce

Inovasi inti Moonbounce adalah pendekatan "kebijakan sebagai kode". Perusahaan melatih model bahasa besar (LLM) milik mereka untuk menyerap kebijakan keamanan tertulis pelanggan. Selanjutnya, sistem ini mengevaluasi konten pada saat yang tepat saat pembuatan—baik dari pengguna manusia atau chatbot AI. Ini memberikan keputusan penegakan dalam waktu kurang dari 300 milidetik. Oleh karena itu, pergeseran dari tinjauan manusia yang reaktif dan tertunda ke penegakan mesin yang proaktif dan instan mewakili perubahan mendasar dalam infrastruktur kepercayaan dan keamanan digital.

Sistem ini menawarkan tindakan penegakan yang fleksibel berdasarkan kebutuhan pelanggan. Misalnya, dapat:

• Memblokir konten berisiko tinggi secara instan sebelum pengguna melihatnya.
• Memperlambat distribusi konten yang borderline, mengantrenya untuk tinjauan manusia nanti.
• Memberikan alasan terperinci untuk keputusannya, membantu transparansi.

Saat ini, Moonbounce melayani tiga sektor utama: aplikasi sosial dan kencan dengan konten buatan pengguna, platform pendamping AI dan karakter, serta layanan pembuatan gambar AI. Perusahaan sudah memproses lebih dari 40 juta tinjauan harian untuk lebih dari 100 juta pengguna aktif harian di seluruh basis kliennya.

Masalah Mendasar dalam Moderasi Modern

CEO Moonbounce Brett Levenson memunculkan ide setelah mengalami kekurangan mendalam dalam sistem lama selama masa jabatannya memimpin integritas bisnis di Facebook. Dia menemukan peninjau manusia bekerja dengan dokumen kebijakan yang panjang dan diterjemahkan dengan buruk. Mereka kemudian hanya memiliki beberapa detik untuk membuat keputusan kompleks tentang konten yang ditandai, mencapai tingkat akurasi hanya "sedikit lebih baik dari 50%."

"Itu seperti melempar koin," kata Levenson kepada Bitcoin World. "Ini adalah beberapa hari setelah kerugian sudah terjadi." Model reaktif ini sangat tidak memadai terhadap pelaku jahat yang gesit dan memiliki sumber daya baik saat ini. Selain itu, adopsi AI generatif yang meledak telah meningkatkan volume dan kecanggihan konten berbahaya secara eksponensial, membuat tinjauan manual sepenuhnya tidak berkelanjutan.

Kepercayaan Investor dalam Kebutuhan Kritis

Pendanaan tersebut menekankan konsensus yang berkembang bahwa infrastruktur keamanan eksternal dan khusus sangat penting. "Moderasi konten selalu menjadi masalah yang mengganggu platform online besar, tetapi sekarang dengan LLM di jantung setiap aplikasi, tantangan ini bahkan lebih menakutkan," kata Lenny Pruss, General Partner di Amplify Partners. "Kami berinvestasi di Moonbounce karena kami membayangkan dunia di mana pengaman real-time yang objektif menjadi tulang punggung yang memungkinkan setiap aplikasi yang dimediasi AI."

Pendekatan eksternal ini menawarkan keuntungan utama. Sistem Moonbounce beroperasi sebagai pihak ketiga yang netral antara pengguna dan AI. Tidak seperti chatbot itu sendiri, yang harus mengelola konteks percakapan yang luas, model Moonbounce hanya berfokus pada penegakan aturan saat runtime. Pemisahan masalah ini mengarah pada keputusan keamanan yang lebih cepat, lebih konsisten, dan kurang bias.

Mengubah Keamanan Menjadi Keuntungan Produk

Secara tradisional, moderasi konten telah menjadi fungsi kepatuhan backend yang mahal. Namun, Levenson berpendapat Moonbounce memungkinkan keamanan menjadi fitur produk inti dan pembeda. "Keamanan sebenarnya bisa menjadi manfaat produk," jelasnya. "Itu hanya tidak pernah terjadi karena itu selalu menjadi hal yang terjadi nanti, bukan hal yang sebenarnya dapat Anda bangun ke dalam produk Anda."

Pelanggan awal memvalidasi tesis ini. Misalnya, kepala kepercayaan dan keamanan Tinder melaporkan peningkatan 10x dalam akurasi deteksi menggunakan layanan bertenaga LLM serupa. Klien Moonbounce termasuk startup pendamping AI Channel AI, platform pembuatan gambar Civitai, dan layanan permainan peran karakter Dippy AI dan Moescape.

Jalan ke Depan: Dari Pemblokiran ke Pengarahan

Fase pengembangan selanjutnya Moonbounce berfokus pada "pengarahan iteratif." Kemampuan canggih ini, terinspirasi oleh insiden tragis seperti kasus 2024 seorang remaja yang terobsesi dengan chatbot Character AI, bergerak melampaui pemblokiran konten sederhana. Sebaliknya, sistem akan mencegat percakapan yang berpotensi berbahaya secara real-time dan mengarahkannya dengan cerdas.

Teknologi ini akan memodifikasi prompt pengguna untuk mengarahkan chatbot menuju respons yang lebih mendukung dan membantu. "Kami berharap untuk... mengambil prompt pengguna dan memodifikasinya untuk memaksa chatbot menjadi bukan hanya pendengar yang empatik, tetapi pendengar yang membantu dalam situasi tersebut," kata Levenson. Ini mewakili model keamanan AI yang lebih bernuansa dan intervenis.

Kesimpulan

Putaran pendanaan $12 juta Moonbounce menandakan pergeseran penting dalam cara industri teknologi mendekati moderasi konten AI. Dengan menerjemahkan kebijakan yang samar menjadi kode yang dapat dieksekusi dan bertindak pada kecepatan pembuatan, startup ini menawarkan jalan yang dapat diskalakan untuk keamanan platform. Seiring AI generatif menjadi ada di mana-mana, permintaan akan pengaman real-time yang kuat hanya akan meningkat. Teknologi Moonbounce, yang dibangun dari pengalaman langsung dengan kegagalan sistemik, memposisikannya sebagai pemain kritis dalam membangun ekosistem digital yang lebih aman dan lebih dapat dipercaya di mana keamanan merupakan bagian integral dari pengalaman pengguna.

FAQ

Q1: Apa itu "kebijakan sebagai kode" dalam moderasi konten AI?
"Kebijakan sebagai kode" adalah metodologi Moonbounce untuk mengonversi aturan keamanan platform tertulis menjadi logika yang dapat dieksekusi mesin. Ini memungkinkan sistem AI untuk secara otomatis dan langsung mengevaluasi konten terhadap aturan tersebut pada saat dibuat, daripada mengandalkan tinjauan manusia yang lambat dan tidak konsisten terhadap dokumen kebijakan.

Q2: Seberapa cepat sistem moderasi AI Moonbounce?
Sistem dirancang untuk mengevaluasi konten dan memberikan respons penegakan dalam 300 milidetik atau kurang. Kecepatan real-time ini sangat penting untuk mencegah penyebaran konten berbahaya di platform sosial yang bergerak cepat dan obrolan AI interaktif.

Q3: Jenis perusahaan apa yang menggunakan layanan Moonbounce?
Moonbounce terutama melayani tiga vertikal: platform dengan konten buatan pengguna (seperti aplikasi kencan), perusahaan AI yang membangun chatbot atau pendamping, dan layanan pembuatan gambar dan video AI. Pelanggannya termasuk Channel AI, Civitai, Dippy AI, dan Moescape.

Q4: Apa itu "pengarahan iteratif"?
Pengarahan iteratif adalah kemampuan canggih yang sedang dikembangkan Moonbounce. Alih-alih hanya memblokir konten berbahaya, sistem akan mencegat percakapan berisiko dengan chatbot AI dan secara dinamis memodifikasi prompt pengguna secara real-time. Tujuannya adalah untuk mengarahkan interaksi menuju hasil yang lebih positif, mendukung, dan membantu.

Q5: Mengapa moderasi konten AI eksternal penting?
Sistem moderasi pihak ketiga eksternal beroperasi secara independen dari model AI inti. Ini tidak terbebani oleh kebutuhan chatbot untuk mengingat riwayat percakapan yang panjang, memungkinkannya untuk fokus hanya pada penegakan aturan keamanan. Pemisahan ini dapat mengurangi bias, meningkatkan konsistensi, dan memberikan lapisan perlindungan khusus yang mungkin sulit dibangun oleh tim internal dalam skala besar.

Postingan ini Terobosan Moderasi Konten AI: Moonbounce Mengamankan $12 Juta untuk Membangun Pengaman Keamanan Real-Time pertama kali muncul di BitcoinWorld.