Plot-and-Ask: Multimodal Local LLMs in Smart Environments for Visual IoT Analytics
Aygün Varol, Asif Shaikh, Naser Hossein Motlagh, Mirka Leino and Johanna Virkki · FedCSIS 2026
Pienet kielimallit, jotka toimivat täysin paikallisella laitteistolla, voivat piirtää kaavion huoneen ilmanlaadusta ja selittää sen yksinkertaisilla sanoilla, jotta kenenkään anturidataa ei tarvitse lähettää ulos rakennuksesta.
Tiivistelmä
Älykkäät ympäristöt tuottavat jatkuvaa heterogeenista anturidataa, joka vaatii reaaliaikaista käsittelyä asukkaiden palveluiden ja päätöksenteon tukemiseksi. Nykyiset lähestymistavat joko vaarantavat datan suvereniteetin pilvipalveluiden riippuvuuden kautta tai käyttävät jäykkiä sääntöperustaisia järjestelmiä, joilta puuttuu luonnollisen kielen vuorovaikutus. Tämä artikkeli esittelee paikallisen multimodaalisen analytiikka-arkkitehtuurin älykkäille sisätiloille, joka yhdistää reunalla toimivat multimodaaliset suuret kielimallit (MLLM) tietopohjaan (KG) perustuvan politiikkakerroksen kanssa. Ehdotettu kaavio- ja kysy-työprosessi yhdistää automaattisen aikarivien visualisoinnin visuaalisesti mahdollistettuun kielitulkintaan, jonka tarkoituksena on antaa ei-asiantunteville käyttäjille mahdollisuus tutkia sisätilojen anturidataa ilman ohjelmointitaitoja. Järjestelmä tukee luonnollisen kielen SQL-kyselyitä, kaavioiden luontia KG:stä johdettujen mukavuusalueiden avulla ja multimodaalista kaaviotulkintaa pitäen kaikki käsittely paikallisella laitteistolla. Arvioimme kehystä kahden viikon sisäilmanlaadun käyttöönotossa toimisto-, käytävä- ja keittiötiloissa neljän paikallisen mallin avulla: Gemma 3 4B, Ministral 3 3B, Qwen 3 4B ja Granite 3 2B. Kaikki neljä saavuttivat 100 % tarkkuuden rakenteisten kyselyjen synteesissä ja kaavioiden luomisessa. Kaaviotulkinnassa Ministral 3 3B ja Gemma 3 4B tasapainottivat parhaiten tarkkuuden ja viiveen, saavuttaen 100 % ja 96,67 % tarkkuuden vastaavasti 5,84 s ja 5,34 s loppupisteestä loppupisteeseen -viiveellä. KG-perusteen ablaatio osoitti suurimman hyödyn Qwen 3 4B:lle (+25,0 pp), viiveen laskiessa 27,98 s:stä 15,21 s:iin, ja lisätty sisätilan turvallisuustarkistus vahvistaa, että samat mallit tukevat suoraa kuvantulkintaa. Yhteenvetona nämä tulokset osoittavat, että kaavioon perustuva tiivistys ja kevyt KG-perustus parantavat paikallista multimodaalista IoT-analytiikkaa reunarajoitusten alla. Kaiken kaikkiaan hybridit KG-MLLM-arkkitehtuurit voivat tukea yksityisyyttä suojaavaa visuaalista IoT-analytiikkaa reunalla, samalla kun ne on suunniteltu interaktiiviseen tutkimiseen ei-asiantunteville käyttäjille.