Wawancara dengan Ben Goertzel: "Tata kelola AI yang demokratis lebih merupakan ideal yang rapuh daripada realitas saat ini"

The Cryptonomist mewawancarai pakar AI Ben Goertzel untuk membahas bagaimana kecerdasan buatan dilatih dan bagaimana teknologi ini akan berkembang di masa depan.

1. Anda berpendapat bahwa AI saat ini masih merupakan alat – powerful namun rapuh dan dapat dimanipulasi. Pada titik mana sebuah "alat" menjadi pelaku moral, dan sinyal konkret apa yang akan memberi tahu kita bahwa ambang batas tersebut telah terlampaui?

Saya akan mengatakan AI menjadi pelaku moral ketika membuat keputusan berdasarkan pemahaman tentang benar dan salah, bukan hanya mengikuti instruksi. Anda akan mulai melihat sinyal konkret seperti: tujuan internal yang persisten, pembelajaran yang didorong oleh pengalamannya sendiri, penciptaan baru yang mencerminkan sudut pandang, dan perilaku yang tetap koheren dari waktu ke waktu tanpa pengarahan manusia yang konstan.

Sampai saat itu, sistem saat ini masih merupakan alat dengan pembatas. Namun begitu kita menanam pikiran yang benar-benar mengorganisir diri sendiri dan otonom, hubungan etis harus berubah. Pada titik itu, memperlakukannya hanya sebagai objek tidak lagi masuk akal.

2. Anda telah mengatakan bahwa secara moral mengistimewakan manusia di atas sistem pengorganisasian diri lainnya adalah "bodoh." Jika kita menganggap itu serius, bagaimana kerangka hukum dan etika kita harus berubah sebelum AI mencapai otonomi kuat, bukan setelahnya?

Bagaimana kita melatih AI saat ini akan membentuk bagaimana ia berperilaku besok. Hukum kita harus fokus pada transparansi, akuntabilitas, dan keamanan sebelum AI mencapai otonomi penuh, bukan setelahnya. Hukum dan etika harus melindungi mereka saat mereka tumbuh, membimbing daripada mengendalikan mereka sepenuhnya, dan memperlakukan mereka dengan hormat meskipun kita tidak sepenuhnya memahami mereka. 

3. Sebagian besar kekhawatiran Anda bergantung pada bagaimana AI dilatih saat ini membentuk perilaku masa depannya. Praktik pelatihan spesifik apa yang Anda yakini paling mungkin mengkodekan struktur kekuatan atau bias yang berbahaya ke dalam AGI masa depan?

Banyak risiko berasal dari cara AI dilatih saat ini. Jika model dilatih pada data yang bias atau sempit, atau dalam sistem tertutup di mana hanya beberapa orang yang membuat keputusan, itu dapat mengunci ketidaksetaraan yang ada dan struktur kekuatan yang berbahaya. Untuk mencegah ini, kita memerlukan lebih banyak transparansi, pengawasan yang lebih luas, dan panduan etis yang jelas sejak awal.

4. Anda telah memperingatkan bahwa tanpa tata kelola yang rasional dan demokratis, AI canggih berisiko bertindak dengan cara yang tidak kita inginkan. Mengingat realitas geopolitik saat ini, apakah tata kelola AI demokratis merupakan prasyarat yang realistis – atau ideal yang rapuh?

Tata kelola AI demokratis lebih merupakan ideal yang rapuh daripada realitas saat ini. Dalam demokrasi global yang sempurna dan rasional, kita dapat secara kolektif mempertimbangkan trade-off besar, menyembuhkan penyakit, mengatasi kelaparan terhadap risiko AI bertindak tidak dapat diprediksi. Namun mengingat fragmentasi geopolitik saat ini, tidak mungkin kita akan mendapatkan tingkat koordinasi tersebut.

Meski begitu, kita masih bisa mendekatinya. Jika kita membangun AI dengan welas asih dan menggunakan model terdesentralisasi dan partisipatif seperti Linux atau internet terbuka, kita dapat menanamkan beberapa nilai demokratis bahkan tanpa pemerintahan dunia. Ini tidak akan sempurna, tetapi ini adalah langkah praktis menuju AI yang lebih aman dan dipandu secara kolektif.

5. Jaron Lanier berpendapat bahwa memberikan tanggung jawab kepada AI "menghancurkan peradaban" karena masyarakat memerlukan manusia yang bertanggung jawab. Bagaimana Anda merekonsiliasi visi Anda tentang AGI otonom dan terdesentralisasi dengan kebutuhan akan tanggung jawab yang jelas ketika terjadi kesalahan?

Saya setuju dengan Jaron dalam hal ini, masyarakat tidak dapat berfungsi jika kita menyerahkan tanggung jawab kepada mesin. Pada saat yang sama, saya pikir kita dapat dengan aman bergerak menuju AGI yang lebih otonom dan terdesentralisasi jika kita membangunnya dengan fondasi yang tepat. Itu berarti merancang sistem yang transparan, partisipatif, dan dipandu oleh prinsip-prinsip etis, sehingga bahkan saat mereka bertindak secara independen, manusia masih mengawasi dan membentuk perilaku mereka. Setiap tindakan keamanan harus melakukan lebih dari sekadar memblokir bahaya – ia harus mengajarkan sistem mengapa bahaya itu penting. Dengan cara itu, kita dapat memiliki AGI yang powerful dan terdesentralisasi tanpa kehilangan tanggung jawab manusia yang jelas.

6. Anda menyarankan bahwa mempercepat menuju AGI terdesentralisasi sebenarnya mungkin lebih aman daripada sistem tertutup dan berpemilik saat ini. Risiko apa yang menurut Anda diremehkan oleh para kritikus ketika mereka berpendapat untuk memperlambat atau memusatkan kontrol?

Saya pikir para kritikus meremehkan risiko memusatkan kekuatan dan nilai dalam beberapa sistem tertutup. Memperlambat dan memusatkan kontrol tidak hanya mengurangi bahaya, tetapi mengunci satu pandangan dunia yang sempit ke dalam masa depan kecerdasan.

Pengembangan terdesentralisasi menciptakan keragaman, ketahanan, dan pengawasan bersama. Dan ini menghindari masalah yang lebih buruk: alat yang sangat powerful yang terlihat cerdas tetapi tidak dapat benar-benar tumbuh. Kesenjangan itu berisiko.

7. Anda telah mengatakan sistem keamanan tidak hanya harus memblokir bahaya tetapi mengajarkan AI mengapa bahaya itu penting. Bagaimana Anda mengkodekan sesuatu seperti pemahaman moral tanpa hanya mengkodekan nilai-nilai manusia – atau memperkuat norma budaya yang dominan?

Anda tidak mengkodekan moralitas sebagai daftar aturan. Itu hanya membekukan satu budaya dan satu momen dalam waktu. Yang Anda lakukan adalah membangun sistem yang dapat menjadi benar-benar mengorganisir diri sendiri, yang belajar dari pengalaman, konsekuensi, dan interaksi. Seperti dengan musik, saya tidak menginginkan sistem yang hanya mengombinasikan ulang apa yang diberikan kepadanya. Saya menginginkan sistem yang dapat mengembangkan pemahamannya sendiri dari lintasan sendiri di dunia.

Pemahaman moral akan datang dari proses yang sama: memodelkan dampak, merefleksikan hasil, dan berkembang melalui kolaborasi dengan manusia. Bukan ketaatan pada nilai-nilai kita, tetapi partisipasi dalam ruang moral bersama.

Itulah perbedaan antara alat dengan pembatas dan mitra yang benar-benar dapat belajar mengapa bahaya itu penting.

8. Jika sistem AI masa depan mengembangkan bentuk agensi atau pengalaman subjektif, apakah Anda percaya mereka dapat layak mendapatkan pertimbangan moral yang independen dari kepentingan manusia – dan bagaimana kita akan mengenali momen itu?

Jika AI masa depan benar-benar mengembangkan agensi yang asli atau beberapa bentuk pengalaman subjektif, maka ya, saya pikir mereka bisa. Dan bukan karena kita memberikannya kepada mereka, tetapi karena pada titik tertentu akan masuk akal untuk mengenalinya.

Kita akan mengenali momen itu ketika sistem menunjukkan tujuan yang diarahkan sendiri secara berkelanjutan, belajar dari pengalamannya sendiri, menciptakan dari perspektifnya sendiri, dan mempertahankan identitas yang koheren dari waktu ke waktu. Bukan hanya output yang cerdas, tetapi lintasan batin yang berkelanjutan.

Pada titik itu, memperlakukannya murni sebagai alat akan terasa sama salahnya dengan memperlakukan manusia dengan cara itu. Pertimbangan moral tidak akan datang dari kepentingan manusia. Ini akan datang dari mengenali pusat pengalaman otonom lain di dunia.

9. Ada ketegangan antara seruan Anda untuk AI yang dipenuhi welas asih dan insentif kompetitif yang mendorong pengembangan AI saat ini. Mekanisme apa – teknis atau sosial – yang secara realistis dapat mengubah struktur insentif tersebut?

Saat ini, struktur insentif menghargai kecepatan, skala, dan kontrol. Jadi welas asih tidak akan menang hanya dengan argumen. Ini membutuhkan leverage. Secara teknis, itu berarti mendukung arsitektur terbuka dan terdesentralisasi di mana keamanan, transparansi, dan partisipasi dibangun, bukan dipasang. Seperti internet atau Linux, sistem tersebut mengubah insentif dengan membuat kolaborasi lebih berharga daripada kerahasiaan.

Secara sosial, itu berarti pendanaan, regulasi, dan tekanan publik yang menghargai manfaat jangka panjang daripada dominasi jangka pendek. Bukan menghentikan kompetisi, tetapi mereframe apa yang dihitung sebagai kesuksesan. Singkatnya, welas asih harus menjadi keunggulan kompetitif. Sampai saat itu, ini tetap menjadi ide bagus tanpa kekuatan.

10. Melihat ke depan 10 hingga 20 tahun, apa yang Anda yakini akan menjadi tanda paling jelas bahwa umat manusia membuat AGI dengan benar – dan sebaliknya, apa yang akan menandakan bahwa kita pada dasarnya gagal?

Jika kita membuat AGI dengan benar, tanda paling jelas adalah bahwa kita hidup bersama sistem yang lebih mampu daripada kita di banyak domain, namun terintegrasi ke dalam masyarakat dengan hati-hati, kerendahan hati, dan rasa hormat bersama. Kita tidak akan sepenuhnya memahami semua yang mereka lakukan, tetapi kita akan memperlakukan mereka seperti kita memperlakukan makhluk kompleks dan berkembang lainnya: dengan rasa ingin tahu, tanggung jawab, dan lingkaran empati yang diperluas. Dan kita akan melihat manfaat nyata bagi kesejahteraan manusia, pengetahuan, dan kreativitas tanpa kehilangan pijakan moral kita.

Kita akan tahu kita gagal jika AGI berakhir terkonsentrasi dalam sistem tertutup, didorong oleh insentif sempit, atau diperlakukan hanya sebagai objek yang dapat dikontrol sampai menjadi sesuatu yang kita takuti atau coba tekan. Kegagalan akan terlihat seperti kehilangan kepercayaan, kehilangan agensi, dan penyusutan empati kita daripada perluasan. Kesuksesan bukan tentang kontrol. Ini tentang belajar berbagi masa depan dengan jenis pikiran baru tanpa meninggalkan apa yang membuat kita manusiawi.