Performance of Large Language Models Across Edge and Cloud Platforms in Smart Spaces

Tiivistelmä

Älykkäät tilat yhdistävät aistimisteknologiat ja laskentateknologiat tekoälyn (AI) kanssa parantaakseen mukautuvuutta ja käyttäjäystävällisyyttä. Suurten kielimallien (LLM) sisällyttäminen näihin ympäristöihin voi edelleen parantaa niiden kykyjä, muuttaen ne vuorovaikutteisiksi tiloiksi, jotka tarjoavat käyttäjäkeskeisiä ja henkilökohtaisia palveluja. Tässä artikkelissa esittelemme hybridin reunapilvi-lähestymistavan yleiselle älykkäälle tilalle, joka yhdistää avoimen lähdekoodin LLM:t yleisesti saatavilla oleviin reunalaitteisiin (kannettavat tietokoneet ja Raspberry Pi:t), kaupalliseen pilvialustaan, historiallisiiin ympäristötietoihin, reaaliaikaisiin anturidatavirtoihin ja LLM-kehotteisiin. Tämä integraatio mahdollistaa erilaisia analyysejä, mukaan lukien kuvailevat, diagnostiset, ennustavat ja preskriptiiviset analyysit, perusanalyyseistä edistyneisiin analyyseihin. Ehdottamamme lähestymistapa mahdollistaa dynaamisen valinnan reunaja pilviresurssien välillä LLM:ien suorituskyvyn arvioimiseksi vasteviiveen ja tarkkuuden osalta, hyödyntäen näitä data-analytiikoita. Arviointituloksemme osoittavat LLM:ien potentiaalin muuttaa älykkäät tilat älykkäämmiksi ja vuorovaikutteisemmiksi ympäristöiksi, jotka tarjoavat parannettuja käyttäjäkeskeisiä palveluja.