Oluwapelumi Bankole’i poolt
Uurija, informaatikasüsteemid ja küberohutus, Nevada Ülikool, Las Vegas
Iga homne miljonid ameeriklased ärkavad kodudes, mis on täis ühendatud seadmeid. Termostaat teab, millal te lahkute. Uksekaamerat kasutatakse tänaval jälgimiseks. Teie lähedal asuv haigla kasutab infusioonipumpe, patsiendi jälgimissüsteeme ja HVAC-süsteeme, mis suhtlevad sama võrgukategooria kaudu nagu teie nutikas külmik. Ja peaaegu ühtegi neist seadmetest ei kaitsta piisavalt.
Me oleme ehitanud erakordse infrastruktuuri ühendatud masinatest, kuid kaitseme seda tööriistadega, mille on disaininud teise ajastu jaoks.
See ei ole teadlikkuse probleem. Küberohutus on liidrikohtadel riiklik prioriteet. Küberohutus- ja infrastruktuuriohutusamet (CISA) avaldab nõuanded nädalas. Miljardid dollari suurused summad voolavad ettevõtlusfirewallidesse, lõpp-punkti kaitse süsteemidesse ja ohutustoimingute keskustesse. Siiski kasvab rünnakuulatus edasi. Aastal 2024 hoiab üksnes USA elektrivõrk üle 2,3 miljoni ühendatud IoT-seadme, millest paljud kasutavad vananenud tarkvara ja millel puudub paigaldusgraafik ning jälgimine.
Lõhe ei ole selle ja vahel, mida me teame, ja selle vahel, mida me kartume. Lõhe on meie ehitatud ohutussüsteemide ja nende keskkondade vahel, kus need süsteemid tegelikult peaksid toimima.
Labor ei meenuta üldse reaalmaailma
Rünnakute tuvastamise süsteemid – tarkvarad, mis on loodud võrgus esineva kurja tegevuse tuvastamiseks – on viimase kümnendi jooksul oluliselt paranenud. Masinõppe ja sügavõppe mudelid suudavad nüüd uuringukeskkonnas äärmiselt täpselt tuvastada rünnakumustrid. Looduskeele töötlemisest laenatud transformer-arhitektuurid, järjestikulist liiklust andmete põhjal treenitud pikkade lühiaegsete mälu võrgud ning mitme klassifikaatori kombinatsioonist koosnevad ansambelmudelid: akadeemilises kirjanduses on täis süsteeme, mille täpsus on 98–99 protsenti.
Need numbrid on sageli eksitavad.
Täpsusarv tuleneb tavaliselt laboratooriumi andmekogumist, mille on kogutud kontrollitud tingimustes, suhteliselt puhta liikluse jaotusega ning mille testimine toimub samasuguste andmetega, mille põhjal mudel on treenitud. Tegelikud IoT-võrgud ei näe sellised välja. Nad on kaootilised, heterogeensed ja pidevalt muutuvad. Kümmekond tootjat saadab andmeid erinevates vormingutes. Liikluse muster muutub, kui keegi paigaldab uue seadme, muudab tavat, või lihtsalt läheb nädalaks ära. Ja kriitiliselt oluline on see, et tegelikud rünnakud on haruldased sündmused normaalse liikluse meres.
Kui mudel on treenitud andmekogumil, kus rünnakud moodustavad 40 protsenti kirjetest, ja seejärel paigaldada võrku, kus rünnakud moodustavad vaid 0,1 protsenti tegelikust liiklusest, siis muutub mudeli käitumine täiesti. See ei ole kunagi õppinud, kuidas tõeline haruldus välja näeb. Tulemuseks on süsteem, mis jätab tähelepanuta just need ohtud, mida ta oli loodud tuvastama, samas kui valealarmide arv on nii suur, et analüütikud, kellel tuleb neid üle vaadata, muutuvad ülekoormatud.
Klasside ebakõla probleem ei ole jalusmärkus
Uurimiskogukonnas on treeningandmete ja reaalmaailma tingimuste vaheline sobimatuse nimetuseks tehniline termin: klasside ebakõla. Seda on hästi mõistetud, aktiivselt uuritud ja organisatsioonide poolt, kes need süsteemid kasutusele võtavad, pidevalt alahinnatud.
Siin on põhiprobleem. Võrgurünnakute tuvastamise süsteem peab klassifitseerima iga paketi või liiklusevoo kas normaalseks või kurja tegevusega. Tegelikult on suur osa liiklusest normaalne. Rünnakuliiklus on vähemuslik klass, mille osakaalaks võib olla vähem kui üks protsent kõigist vaadeldud sündmustest. Standardsete masinõppe mudelite puhul, mis on optimeeritud kogu täpsuse maksimeerimiseks, õpib kiiresti, et parim strateegia on lihtsalt klassifitseerida peaaegu kõik normaalseks. See strateegia annab suurepäraseid täpsusarve. See annab katastrooflikke tulemusi reaalmaailmas.
Süsteem, mis jätab tähelepanuta 80 protsenti rünnakutest, sest see on treenitud soosima suuremat klassi, ei ole ohutussüsteem. See on vastavuskontrolli punkt.
Uuringud tehnikate üle, näiteks Adaptive SMOTE, mis genereerib sünteetilisi näiteid vähemuslike rünnakute kohta, et aidata mudelitel õppida, kuidas haruldased ohtud välja näevad, on näidanud tõelisi lootusi. Kuid neid lähenemisi tuleb mõistlikult rakendada, testida andmekogumitega, mis tegelikult peegeldavad kasutusolusid, ja hindada õigete metritekaga. Tagasitoomine (recall), st see protsent tegelikke rünnakuid, mille süsteem tegelikult tuvastab, on olulisem kui kogu täpsus, kui valesti tuvastatud rünnaku tagajärjeks on haiglas ransomware-nakkus või kasuliku kontrollisüsteemi juurde lisatud vale andmete sisestamine.
Mitmekülgsed probleemid, mida keegi ei taha lahendada
On olemas ka seotud probleem, millele pööratakse veel vähem tähelepanu: kuidas otsustada, kas rünnakute tuvastamise süsteem on piisavalt hea, et seda kasutusele võtta.
Enamik hindamisi valib ühe või kaks metrit ja optimeerib neid. Täpsus on levinud. F1-skoor on populaarne akadeemilistes artiklites. Kuid reaalmaailmas kasutatavas IoT-deployments on vaja samaaegselt tasakaalustada vähemalt nelja konkureeriva mõõtme vahel: tuvastustäpsus, arvutuslik efektiivsus, valepositiivsete alarmide määr ja võimekust kohanduda uute rünnakutüüpidega.
Süsteem, mis tuvastab 99 protsenti teadaolevatest rünnakutest, kuid tarbib rohkem arvutusvõimsust kui IoT-seade, mida ta kaitseb, ei ole deployeeritav süsteem. Süsteem, mis töötab tõhusalt, kuid teeb igale tegelikule ohtule kümme valealarmi, põhjustab nii tugevat teadetepärsust, et analüütikud lõpetavad nende uurimise. Süsteem, mis on optimeeritud tänapäevase rünnakute taxonoomia jaoks, kuid ei suuda kohanduda, kui vastased muudavad oma taktikat, on süsteem, millel on teadaolev aegumisaeg.
Ühiselt kasutatava, mitmekülgselt hinnatava raamistiku puudumine tähendab, et organisatsioonid, kes ostavad või deployeerivad rünnakute tuvastamise süsteeme, ei saa teha tähenduslikke võrdlusi. Toote pakkujad saavad väita oma juhtivat tuvastuskiirust, samas kui nad vaikiselt optimeerivad metrit, mis näeb välja hea demo versioonis, kuid ebaõnnestub tootmisversioonis.
Mida tuleb muuta
Edasiliikumise tee nõuab teaduslikult loodud ja tegelikult kasutusel olevate rünnakute tuvastamise süsteemide vahelise kauguse sulgemist.
Esiteks peab teaduslik kogukond hindama rünnakute tuvastamise süsteeme reaalsete liikluse jaotuste põhjal, mitte ainult tasakaalustatud referentsandmekogumite põhjal. Testimine CIC-IDS2017 või NSL-KDD andmekogumitega vaikimisi seadetega annab numbreid, mis on praktiliselt fiktsioon, kui neid võrrelda reaalsete haigla või nutikate võrkudega.
Teiseks peavad organisatsioonid, kes need süsteemid deployeerivad, nõudma enne ostmist mitmekülgsed jõudluskriteeriumid. Üksnes tuvastuskiirus ei piisa. Küsige valepuudumiste määra haruldaste rünnakute kategooriates. Küsige jõudluskirjeldusi piiratud arvutusressursside korral. Küsige, kuidas süsteem toimib kuus pärast deployeerimist, kui liikluse muster on muutunud.
Kolmandaks ja kõige kiiremini tuleb riiklikele agentuuridele, kes vastutavad kriitilise infrastruktuuri kaitse eest, kehtestada AI-põhiste rünnakute tuvastamise süsteemide minimaalsed hindamisstandardid. CISA ja NIST on loonud suurepäraseid raamistikke. Need raamistikud tuleb teisendada spetsiifilisteks, testitavateks jõudluskriteeriumideks IoT ohutussüsteemide jaoks.
Ühendatud seadmed ei kao ära. Ka rünnakuid teostavad isikud ei kao ära. Küsimus on selles, kas süsteemid, mida me nende kaitseks loome, on tegelikult loodud maailmas, kus need süsteemid töötavad, või maailmas, kus me soovisime elada, kui me kirjutasime treeningandmed.
Oluwapelumi Bankole on informaatikasüsteemide ja küberohutuse uurija Nevada Ülikoolis, Las Vegas, kus tema töö keskendub AI-põhisele rünnakute tuvastamisele IoT ja pilveteenuste võrkudes. Tal on kahekordne magistrikraad majandusinformaatikas ja küberohutuses.
