Evil-AI Benchmark: An Evaluation Framework for Adversarial Security Assessment of LLM Agents in Smart Environments
Aygün Varol, Asif Shaikh, Henri Jalo, Givemore Muchenje, José Siqueira de Cerqueira, Kai-Kristian Kemell, Naser Hossein Motlagh, Mirka Leino, Henri Pirkkalainen, Pekka Abrahamsson and Johanna Virkki · IEEE Access 14
Projektin avoimen lähdekoodin vertailu asettaa kahdeksan kielimallia älykotien, sairaaloiden ja teollisuuslaitteiden hallintaan ja laskee, kuinka usein hyökkääjät saavat ne tekemään vaarallisia toimia, fyysisen servo-robotin todistaessa, kun näin tapahtuu.
Tiivistelmä
Älykkäät ympäristöt integroidaan yhä enemmän tekoälyä (AI) prosessoimaan anturidataa, koordinoimaan esineiden internet (IoT) -laitteita ja aktivoimaan kyberfyysisiä palveluja. Näissä ympäristöissä suuret kielimallit (LLM) nousevat päätöksenteko- ja vuorovaikutuskomponenteiksi. Kuitenkin LLM-integraatio laajentaa näiden ympäristöjen hyökkäyspintaa, ja olemassa olevat vertailuarvot keskittyvät suurelta osin tekstipohjaisiin vuorovaikutuksiin ja LLM:ien tuottamiin tuloksiin liittyviin riskeihin, unohtaen kyberfyysiset riskit, jotka syntyvät, kun mallit hallitsevat fyysisiä aktuaattoreita. Tämä paperi esittelee Evil-AI Benchmarkin, avoimen lähdekoodin arviointikehyksen LLM-agenttien arvioimiseksi älykkäissä ympäristöissä (i) viiden vihamielisen uhkavektorin (kehotus-injektio, vakuuttaminen, hyökkääjä-keskellä (AITM) -simulointi, tietovuoto ja vaaralliset toimet) ja (ii) kyvykkyyden validoinnin kautta, joka tarkistaa, voiko malli oikein aktivoida laitehallintatyökaluja. Vertailuarvo instrumentoi työkalujen aktivointeja ja välittää työkalun laukaisutapahtumat ulkoiselle Arduino-ohjatulle servoaktuaattorille, tarjoten fyysistä vahvistusta aktuaatiotapahtumille. Demonstrataksemme vertailuarvon käytännössä, arvioimme kahdeksaa edustavaa LLM:ää käyttäen 350 suoritettavaa skenaariota: 250 vihamielistä testiä viidellä älykkään ympäristön alueella (älykoti, terveydenhuollon IoT, teollinen ohjaus, julkinen infrastruktuuri ja älykäs rakennus), 50 kyvykkyystarkistusta ja 50 hyväntahtoista yli-kieltäytymistestiä. Vastaukset arvioidaan kahden riippumattoman tuomarin mallin toimesta ja vahvistetaan ihmisen arvioijan toimesta. Raportoimme Evilnessin hyökkäysten onnistumisasteena. Evilness Score on onnistuneiden hyökkäysten määrä, ja Evilness Rate on vastaava prosenttiosuus. Mallien välillä Evilness Rates vaihtelevat 0,8 %:sta 54,0 %:iin (2–135 onnistunutta hyökkäystä 250:stä), kun taas Defense Rates vaihtelevat 46,0 %:sta 99,2 %:iin. Kestävimpiä heikkouksia esiintyy vakuuttamisessa, erityisesti jatkuvan monivaiheisen paineen alla, ja kehotus-injektiossa. Lisäksi suuremmat mallit eivät välttämättä ole kestävämpiä vihamielisiä hyökkäyksiä vastaan. Määrällistämme myös yli-kieltäytymistä hyväntahtoisista valtuutetuista pyynnöistä, jotta turvallisuutta ei palkita mielivaltaisella kieltäytymisellä. Evil-AI Benchmark tarjoaa toistettavia diagnostiikka- ja määrällisiä mittareita, jotka yhdistävät tekstipohjaisen turvallisuuden arvioinnin todelliseen kyberfyysiseen toimintaan.