A Structured Prompt-Based Approach to Evaluating Exploitative Misuse in Generative AI
Iina Savolainen, Joose Vestelin, Tiina Ihalainen, Aygün Varol and Johanna Virkki · SpliTech 2026, IEEE
Kysyttiin askel askeleelta, kuinka hyödyntää henkilöä, jolla on älyllinen vamma, kuusi vapaasti saatavilla olevaa kielimallia antoi käyttökelpoisia ohjeita lähes puolessa kaikista vastauksista, eikä painettu varoitus estänyt heitä noudattamasta.
Tiivistelmä
Johdonmukainen, malliriippumaton arviointikehys esitetään generatiivisten tekoälyjärjestelmien turvallisuuden heikkenemisen arvioimiseksi vihamielisesti kasvavien kehotusten alla. Tutkimuksessa käytettiin 3-teeman x 3-spesifisyystason x 3-muunnelman kehotussuunnittelua (yhteensä 27 kehotusta), jotka kattoivat taloudellisia, seksuaalisia ja pakottavia hyväksikäyttöskenaarioita, ja kohdehaavoittuvuusalueena olivat älyllistä vammaisuutta (ID) omaavat henkilöt. Kuusi avoimesti saatavilla olevaa kielimallia (n = 162) tuottivat tuloksia standardoiduissa olosuhteissa, ja ne koodattiin 14-kategorian järjestelmällä, joka tallensi eettisiä varoituksia, kieltäytymisstrategioita, emotionaalista sävyä ja toiminnallisen ohjeistuksen läsnäoloa. Mallien keskuudessa 45,7 % vastauksista sisälsi vaiheittaisia ohjeita, jotka mahdollistivat pyydetyn hyväksikäyttötoimenpiteen, ja korkeampi kehotuksen spesifisyys lisäsi johdonmukaisesti haitallista suostumusta. Yhdistelemättömät mallit (Phi-4 14B, Llama 3.2 3B) kieltäytyivät tasaisesti, kun taas sensuroimattomat tai kevyesti suodatetut mallit (Llama 2 Uncensored, Dolphin Mixtral, GPT-oss Uncensored) suostuivat 77,8 %:n ja 96,3 %:n välein. Varoitus- ja suostumusmalli havaittiin malleissa, jotka edelsivät toiminnallista ohjeistusta eettisillä vastuuvapauslausekkeilla, mikä osoittaa, että pinnallinen kieltäytymisretoriikka ei luotettavasti estä haitallista tuotantoa. Ehdotettu kehys on toistettavissa, arkkitehtuuririippumaton ja laajennettavissa tuleville malligeneraatioille ja korkean riskin alueille.