Can We Trust AI Agents? A Case Study of an LLM-Based Multi-Agent System for Ethical AI
José Antonio Siqueira de Cerqueira, Mamia Agbese, Rebekah Rousi, Nannan Xi, Juho Hamari and Pekka Abrahamsson · Tethics 2025, CEUR Workshop Proceedings Vol. 4237
Useita tekoälyagentteja, jotka keskustelivat määrätyissä rooleissa, kirjoittivat huomattavasti enemmän koodia, joka käsitteli eettisiä kysymyksiä, kuten puolueellisuutta ja suostumusta, kuin yksi chatbot, vaikka sen koodin käyttäminen on edelleen vaikeaa.
Tiivistelmä
AI-pohjaiset järjestelmät, mukaan lukien Suuret Kieli Mallit (LLM), vaikuttavat miljooniin tukemalla monenlaisia tehtäviä, mutta kohtaavat ongelmia kuten väärä tieto, puolueellisuus ja väärinkäyttö. AI-etiikka on ratkaisevan tärkeää, kun uusia teknologioita ja huolenaiheita syntyy, mutta objektiivinen, käytännönläheinen ohjeistus on edelleen kiistanalainen. Tämä tutkimus tutkii, missä määrin luotettavuutta parantavat tekniikat LLM:issä voivat tukea eettisesti linjatun AI-ohjelmiston kehittämistä. Otamme käyttöön yhden tutkimusjakson Design Science Research (DSR) -menetelmällä. Ensinnäkin tunnistamme luotettavuutta parantavat tekniikat LLM:ille: monitoimijat, erilliset roolit, jäsennelty viestintä ja useat keskustelukierrokset. Toiseksi suunnittelemme monitoimijaprototyypin LLM-MAS, jossa agentit käsittelevät todellisia AI-etiikan kysymyksiä AI Incident Database -tietokannasta. Lopuksi arvioimme prototyyppiä kolmen tapaustilanteen avulla käyttäen temaattista analyysiä, hierarkkista klusterointia, vertailua peruslinjaan ja koodin suorittamista. Järjestelmä tuottaa noin 2,000 riviä koodia per tapaus, verrattuna vain 80 riviin peruslinjatesteissä. Tulokset paljastavat termejä kuten puolueellisuuden havaitseminen, läpinäkyvyys, vastuullisuus, käyttäjän suostumus, GDPR-yhteensopivuus, oikeudenmukaisuuden arviointi ja EU:n AI-lain noudattaminen, mikä osoittaa tämän prototyypin kyvyn tuottaa laajaa lähdekoodia ja dokumentaatiota, joka käsittelee usein huomiotta jääneitä AI-etiikan kysymyksiä. Kuitenkin käytännön haasteet lähdekoodin integroinnissa ja riippuvuuksien hallinnassa voivat rajoittaa sen käyttöä käytännön toimijoiden keskuudessa.