Oleh Oluwapelumi BankolePeneliti, Sistem Informasi & Keamanan Siber, University of Nevada, Las Vegas
Setiap pagi, jutaan orang Amerika bangun di rumah yang penuh dengan perangkat terhubung. Termostat tahu kapan Anda pergi. Kamera bel pintu mengawasi jalan Anda. Rumah sakit di ujung jalan menjalankan pompa infus, monitor pasien, dan sistem HVAC yang berkomunikasi melalui kategori jaringan yang sama dengan kulkas pintar Anda. Dan hampir tidak ada perangkat ini yang dilindungi secara memadai.
Kami telah membangun infrastruktur luar biasa dari mesin-mesin terhubung, dan kami mempertahankannya dengan alat yang dirancang untuk era yang berbeda.
Ini bukan masalah kesadaran. Keamanan siber adalah prioritas utama federal. Cybersecurity and Infrastructure Security Agency (CISA) menerbitkan nasihat setiap minggu. Miliaran dolar mengalir ke firewall perusahaan, perlindungan endpoint, dan pusat operasi keamanan. Namun, permukaan serangan terus berkembang. Pada tahun 2024, jaringan listrik AS saja menampung lebih dari 2,3 juta perangkat IoT terhubung, banyak yang menjalankan firmware usang tanpa jadwal patching dan tanpa pemantauan.
Kesenjangannya bukan antara apa yang kita ketahui dan apa yang kita takuti. Kesenjangannya adalah antara sistem keamanan yang telah kita bangun dan lingkungan tempat sistem tersebut sebenarnya perlu beroperasi.
Laboratorium Tidak Terlihat Seperti Dunia Nyata
Sistem deteksi intrusi, perangkat lunak yang dirancang untuk menandai aktivitas berbahaya di jaringan, telah meningkat secara dramatis selama dekade terakhir. Model pembelajaran mesin dan pembelajaran mendalam kini dapat mengidentifikasi pola serangan dengan akurasi luar biasa dalam pengaturan penelitian. Arsitektur transformer yang dipinjam dari pemrosesan bahasa alami, jaringan memori jangka pendek panjang yang dilatih pada data lalu lintas berurutan, model ensemble yang menggabungkan beberapa pengklasifikasi: literatur akademis penuh dengan sistem yang mencapai akurasi 98 atau 99 persen.
Angka-angka tersebut sering menyesatkan.
Angka akurasi biasanya berasal dari dataset laboratorium, dikumpulkan dalam kondisi terkontrol, dengan distribusi lalu lintas yang relatif bersih, dan diuji pada jenis data yang sama dengan yang dilatih model. Jaringan IoT nyata tidak seperti itu. Mereka berantakan, heterogen, dan terus berubah. Perangkat dari selusin produsen mengirim data dalam format berbeda. Pola lalu lintas bergeser ketika seseorang memasang peralatan baru, mengubah rutinitas, atau hanya pergi selama seminggu. Dan yang kritis, serangan aktual adalah peristiwa langka di lautan lalu lintas normal.
Ketika model dilatih pada dataset di mana serangan mencapai 40 persen dari catatan, dan kemudian digunakan pada jaringan di mana serangan mencapai 0,1 persen dari lalu lintas nyata, perilaku model berubah sepenuhnya. Model tidak pernah mempelajari seperti apa kelangkaan sesungguhnya. Hasilnya adalah sistem yang melewatkan ancaman yang seharusnya ditangkap, sambil menghasilkan cukup banyak alarm palsu untuk membuat kewalahan analis yang harus meninjaunya.
Masalah Ketidakseimbangan Kelas Bukan Catatan Kaki
Dalam komunitas penelitian, ketidaksesuaian antara data pelatihan dan kondisi dunia nyata memiliki nama teknis: ketidakseimbangan kelas. Hal ini dipahami dengan baik, dipelajari secara aktif, dan secara konsisten kurang dihargai oleh organisasi yang menerapkan sistem ini.
Inilah masalah intinya. Sistem deteksi intrusi jaringan harus mengklasifikasikan setiap paket atau aliran lalu lintas sebagai normal atau berbahaya. Pada kenyataannya, sebagian besar lalu lintas adalah normal. Lalu lintas serangan adalah kelas minoritas, kadang-kadang mewakili kurang dari satu persen dari semua peristiwa yang diamati. Model pembelajaran mesin standar, dioptimalkan untuk memaksimalkan akurasi keseluruhan, dengan cepat belajar bahwa strategi terbaik adalah hanya mengklasifikasikan hampir semua hal sebagai normal. Strategi itu menghasilkan skor akurasi yang sangat baik. Ini menghasilkan hasil dunia nyata yang bencana.
Sistem yang melewatkan 80 persen serangan karena telah dilatih untuk menyukai kelas mayoritas bukanlah sistem keamanan. Ini adalah kotak centang kepatuhan.
Penelitian tentang teknik seperti Adaptive SMOTE, yang menghasilkan contoh sintetis serangan kelas minoritas untuk membantu model mempelajari seperti apa ancaman langka, telah menunjukkan harapan nyata. Tetapi pendekatan ini perlu diimplementasikan dengan bijaksana, diuji terhadap dataset yang benar-benar mencerminkan kondisi penerapan, dan dievaluasi pada metrik yang tepat. Recall, persentase serangan nyata yang benar-benar ditangkap sistem, jauh lebih penting daripada akurasi keseluruhan ketika konsekuensi dari deteksi yang terlewat adalah infeksi ransomware di rumah sakit atau injeksi data palsu ke sistem kontrol utilitas.
Masalah Multi-Dimensi yang Tidak Ingin Diselesaikan Siapa Pun
Ada masalah terkait yang mendapat perhatian lebih sedikit: bagaimana kita memutuskan apakah sistem deteksi intrusi cukup baik untuk diterapkan.
Sebagian besar evaluasi memilih satu atau dua metrik dan mengoptimalkannya. Akurasi adalah umum. Skor F1 populer dalam makalah akademis. Tetapi penerapan IoT dunia nyata memerlukan pertukaran antara setidaknya empat dimensi yang bersaing secara bersamaan: akurasi deteksi, efisiensi komputasi, tingkat positif palsu, dan kemampuan beradaptasi dengan jenis serangan baru.
Sistem yang mendeteksi 99 persen serangan yang diketahui tetapi mengkonsumsi lebih banyak daya pemrosesan daripada perangkat IoT yang dilindunginya bukanlah sistem yang dapat diterapkan. Sistem yang berjalan secara efisien tetapi menghasilkan sepuluh alarm palsu untuk setiap ancaman nyata menciptakan kelelahan peringatan yang sangat parah sehingga analis berhenti menyelidiki. Sistem yang dioptimalkan untuk taksonomi serangan hari ini yang tidak dapat beradaptasi ketika musuh mengubah taktik adalah sistem dengan tanggal kedaluwarsa yang diketahui.
Ketiadaan kerangka evaluasi multi-dimensi bersama berarti bahwa organisasi yang membeli atau menerapkan sistem deteksi intrusi tidak dapat melakukan perbandingan yang bermakna. Vendor dapat mengklaim tingkat deteksi terkemuka industri sambil diam-diam mengoptimalkan metrik yang terlihat bagus dalam demo dan gagal dalam produksi.
Apa yang Perlu Diubah
Jalan ke depan memerlukan penutupan jarak antara apa yang dibangun peneliti dan apa yang benar-benar diterapkan operator.
Pertama, komunitas penelitian perlu mengevaluasi sistem deteksi intrusi terhadap distribusi lalu lintas realistis, bukan hanya dataset benchmark yang seimbang. Pengujian terhadap CIC-IDS2017 atau NSL-KDD dengan konfigurasi default menghasilkan angka yang pada dasarnya fiktif dibandingkan dengan seperti apa jaringan rumah sakit nyata atau jaringan pintar.
Kedua, organisasi yang menerapkan sistem ini perlu menuntut bukti kinerja multi-dimensi sebelum membeli. Tingkat deteksi saja tidak cukup. Tanyakan tingkat negatif palsu pada kategori serangan langka. Tanyakan data kinerja di bawah anggaran komputasi yang terbatas. Tanyakan bagaimana sistem berkinerja enam bulan setelah penerapan, ketika pola lalu lintas telah bergeser.
Ketiga, dan paling mendesak, agen federal yang bertanggung jawab untuk melindungi infrastruktur penting perlu menetapkan standar evaluasi minimum untuk deteksi intrusi berbasis AI. CISA dan NIST telah menghasilkan kerangka kerja yang sangat baik. Menerjemahkan kerangka kerja tersebut ke dalam kriteria kinerja spesifik yang dapat diuji untuk sistem keamanan IoT adalah langkah berikutnya.
Perangkat yang terhubung tidak akan hilang. Penyerang yang menjelajahi mereka juga tidak akan pergi ke mana pun. Pertanyaannya adalah apakah sistem yang kita bangun untuk melindungi mereka benar-benar dibangun untuk dunia tempat sistem tersebut akan beroperasi, atau dunia yang kita harapkan untuk kita tinggali ketika kita menulis data pelatihan.
Oluwapelumi Bankole adalah peneliti dalam sistem informasi dan keamanan siber di University of Nevada, Las Vegas, di mana karyanya berfokus pada deteksi intrusi berbasis AI untuk jaringan IoT dan cloud. Dia memegang gelar master ganda dalam Sistem Informasi Manajemen dan Keamanan Siber.
