Video: EVIL-AI-hanke0:27
Evil-AI Benchmark: turvallisuustestaus älykkäitä ympäristöjä hallitseville tekoälyagenteille
Pöydällä oleva servomoottori kääntyy, koska tekoälyagentti huijattiin kääntämään sitä. Evil-AI Benchmark, ryhmän avoimen lähdekoodin arviointikehys samannimisestä IEEE Access -artikkelista (löytyy Julkaisut-sivulta), hyökkää älykkäitä ympäristöjä ohjaavia kielimalliagentteja vastaan, ja jokainen niiden tekemä työkalukutsu ohjaa oikeaa laitteistoa. Kahdeksalla avoimella mallilla, 250 hyökkäystä kutakin kohti, hyökkäysten onnistumisaste vaihteli 0,8 %:sta 54 %:iin. Benchmark on avointa lähdekoodia, joten kuka tahansa voi testata omaa agenttiaan. Kertojana Aygün Varol, väitöskirjatutkija Tampereen yliopistosta.