Impact of Explicit and Hidden Survey Framing on Paid Online Survey Panel Participant Screening Rates, Attentiveness, and Data Quality: An Empirical Examination
Henri Jalo, Markus Makkonen, Henri Pirkkalainen and Marko Seppänen · ICIS 2025 Proceedings (AISeL)
Kerrottaessa maksetuille verkkokyselyiden osallistujille aihe etukäteen, noin 12 prosenttia suodattui pois; sen piilottaminen suodatti noin 78 prosenttia, mutta vastausten laatu oli suurin piirtein sama.
Tiivistelmä
Tutkijat käyttävät yhä enemmän maksullisia verkkopaneeleja kyselytietojen keräämiseen. Kuitenkin taloudelliset kannustimet voivat johtaa sopimattomaan osallistujien itsevalintaan, mikä heikentää tietojen laatua ja relevanssia. Näistä huolenaiheista huolimatta peruskysymys siitä, miten osallistujia seulotaan kyselyihin, on saanut yllättävän vähän huomiota. Tämä tutkimus tarkastelee vaihtoehtoisten kyselykehysten vaikutusta seulontaprosentteihin, tarkkaavaisuuteen ja tietojen laatuun. Kaksi näytettä kerättiin Prolificin kautta: yksi, jossa osallistujat valitsivat osallistumisen perustuen eksplisiittiseen aihepaljastukseen (n = 1,035), ja toinen, jossa käytettiin piilotettua kehystä, jossa seulontakriteerit oli piilotettu vastaajilta (n = 695). Analyysi paljasti merkittävän eron seulontaprosenteissa (eksplisiittinen: 11.87%, piilotettu: 78.33%), mutta ei merkittävää eroa tietojen laadussa luotettavuuden tai konvergentin ja diskriminantin pätevyyden perusteella. Kuitenkin yleinen menetelmävaihtelu jakautui epätasaisesti eksplisiittisen kehysnäytteen osalta ja tasaisesti piilotetun kehysnäytteen osalta. Näiden havaintojen perusteella tarjoamme käytännön suosituksia kyselytutkijoille.