Kako da verujemo istraživanjima javnog mnjenja?

Rezultate istraživanja obično prate još samo tri informacije: veličina uzorka, način prikupljanja podataka (putem telefona ili na terenu „licem u lice“), uz dodatak na kraju da je istraživanje – reprezentativno, što predstavlja „magičnu“ potvrdu da građani mogu da im veruju. Međutim, istraživanja javnog mnjenja počivaju na naučnim principima, pri čemu metodologija zauzima centralno i najvažnije mesto u svakom naučnom poduhvatu. Transparentnost je ključni princip koji omogućava kritičko preispitivanje metodologije i donošenje suda o kvalitetu istraživanja, a samim tim otvara prostor za poboljšanje celokupnog istraživačkog procesa.

Odmah na početku treba istaći da ne postoji savršeno istraživanje. Svako istraživanje sadrži grešku. Zato je jedan od glavnih zadataka psihometričara i statističara da procene grešku koju prave. U ovom tipu istraživanja, istraživači najviše mogu da pogreše ukoliko ne naprave: 1) dobar uzorak; 2) dobar upitnik, odnosno dobru procenu stavova.

Zavodljiv uzorak

Istraživanja javnog mnjenja pretežno se sprovode s ciljem da se ispitaju stavovi jednog broja (uzorka) građana koji bi mogli dobro da odslikavaju stavove svih građana u zemlji. Da bi se neki uzorak okarakterisao kao reprezentativan, on mora da bude dovoljno veliki i slučajan (o tome šta čini slučajan uzorak, pisao sam ranije).

U slučaju terenskih istraživanja, znatno je jednostavnije ispuniti uslov slučajnog odabira učesnika u istraživanju, pošto postoji iscrpna lista sa koje je moguće izabrati učesnike u istraživanju. Konkretnije, moguće je koristiti podatke i adrese sa spiska biračkih mesta, i na osnovu njih sprovesti pojedine metode slučajnog uzorkovanja (npr. stratifikovano ili višeetapno uzorkovanje) koje omogućavaju dolaženje do kvalitetnog uzorka.

To, pak, nije moguće kada se u pitanju telefonska istraživanja, pošto ne postoji iscrpna lista svih brojeva telefona u Srbiji i samim tim nemaju svi građani jednaku šansu da budu učesnici u istraživanju i iskažu svoj stav (videti zašto je ovo važno u prethodno okačenom tekstu o slučajnom uzorku). Dodatno, prema podacima RATEL-a, broj domaćinstava koji ima fiksnu telefoniju je 2,4 miliona, i iz godine u godinu se smanjuje ovaj broj. Zato se sve više agencija i istraživača okreće mobilnim telefonima, jer znatno veći broj građana poseduje mobilni telefon. Međutim, i dalje ne postoji spisak svih brojeva mobilnih telefona, a pozivanje za učešće u istraživanje određenih brojeva (recimo naših prijatelja) ne dovodi do nacionalno-reprezentativnog uzorka. Jedini način da se dođe do uzorka građana čiji bi stavovi mogli da verodostojno odslikavaju stavove čitave populacije Srbije je ukoliko bi svaki građanin koji poseduje mobilni telefon imao verovatnoću da će biti pozvan za učešće u istraživanje. To je moguće ukoliko se kreira kombinatorika svih mogućih brojeva mobilnih telefona. Na primer, u Srbiji postoji tri operatera sa ukupno osam ekstenzija, što znači 84 miliona potencijalnih jedinstvenih brojeva telefona. Učesnike istraživanja je naravno potrebno izabrati potpuno slučajno, odnosno tzv. metodom random digit dialing, pri čemu će u ovom procesu biti veliki broj nepostojećih brojeva telefona (kombinacija brojeva koje operateri nisu dodelili korisnicima). Detaljnije objašnjenje ovog procesa nalazi se ovde.

Pojedine agencije koriste kombinovane metode fiksnog i mobilnog telefona, ili mobilnog telefona i online ispitivanja, ili koriste isključivo web platforme. Ovi slučajevi nisu primer slučajnog odabira ispitanika. Takvi uzorci više odgovaraju tzv. kvotnim uzorcima, koji mogu da sadrže niz pristrasnosti i čije su šanse da obezbede reprezentativnost znatno manje.

Na kraju, na to da li će uzorak biti kvalitetan može da utiče i stopa odgovaranja (response rate), koja se odnosi na procenat ljudi koji pristane da učestvuje u istraživanju. Problem može da nastane ukoliko se stavovi ljudi koji ne žele da učestvuju značajno razlikuju od stavova onih ispitanika koji pristanu da odgovaraju na pitanja u upitniku. Na primer, ukoliko ispitujemo stavove prema klimatskim promenama, klimatski skeptici će u većoj meri odbijati da učestvuju u istraživanju, samim tim će uzorak biti pristrasan jer neće uključivati stavove ove grupe. Treba istaći da je stopa odgovaranja po pravilu niža kod telefonskih istraživanja nego prilikom sprovođenja terenskih istraživanja.

Šta građani stvarno misle

Dok je za kreiranje kvalitetnog i reprezentativnog uzorka neophodno dobro znanje statistike, za dobru procenu stavova ljudi potrebno je znanje i iskustvo u merenju stavova, odnosno psihološkoj proceni i psihometriji.

Pre svega, cilj istraživača je da dođu do validnih odgovora. Da bi odgovori mogli da se smatraju validnim, neophodno je za početak da učesnici istraživanja odgovaraju iskreno na postavljena pitanja. Zamislite situaciju u kojoj ispitujete stavove srednjoškolaca, pri čemu testiranje obavljate u njihovim učionicama i na licu mesta vidite da neki đaci ne shvataju ozbiljno popunjavanje upitnika i nasumično zaokružuju odgovore, bez čitanja. Ista situacija moguća je i kada se sprovodi telefonsko ili terensko istraživanje, a pogotovo online, ukoliko ispitanici nisu motivisani da iskreno odgovaraju. Zato je bitan deo istraživačkog procesa donošenje odluke u svakom pojedinačnom slučaju o validnosti samih odgovora. Odgovore koji nisu iskreni ne treba uzimati u ozbir.

Takođe je potrebno da sama pitanja uspevaju da dobro procene to što im je cilj da mere. Na primer, ukoliko se procenjuje stav prema korupciji u društvu, potrebno je voditi računa da pitanja budu postavljena na takav način da zaista mogu da procene mišljenje građana o toj temi, npr. da ne budu postavljena tako da navode ispitanike na jedan odgovor ili tako da je društveno poželjno odgovoriti na određeni način (na šta sve treba voditi računa prilikom postavljanja pitanja odlično je prikazano u ovoj knjizi).

Kako bi se obezbedila validnost odgovora, ključna je obučenost anketara, u slučaju sprovođenja terenskih istraživanja, odnosno obučenost operatera ukoliko je u pitanju telefonsko istraživanje. Naime, operateri su u direktnoj komunikaciji sa ispitanicima i ovaj deo istraživačkog procesa je ujedno i najbitniji. Čak i ako su se prethodne faze postavljene kako treba, neadekvatno intervjuisanje ispitanika pružiće loše podatke.

Na kraju, upitnik treba da bude jedna smislena celina sličnih pitanja i da „dobro teče“. Odgovaranje na pitanja o stavovima, iskazivanje kompleksnih mišljenja i sl. nije tako jednostavno poput pružanja demografskih podataka (kog ste pola, obrazovanja ili gde živite). Ukoliko upitnik sadrži prevelik broj različitih tema, to može da naruši misaoni proces ispitanika i da dovede do pada motivacija i samim tim nevalidnih odgovora. Ovaj problem imaju tzv. omnibus istraživanja koja sprovode istraživačke agencije, zato je važno imati uvid u to kako je izgledao celokupni upitnik jednog istraživanja.

Predizborne žmurke

U predizbornoj atmosferi kvanitet istraživanja promovisanih u javnosti se povećava, iako njihov kvalitet ostaje upitan. Posebna pažnja pridaje se rezultatima javnog mnjenja kada su u pitanju rejtinzi političkih stranaka i namera za glasanjem na izborima. Međutim, prethodna iskustva pokazuju da razlika između rejtinga stranaka na osnovu različitih istraživanja i konačnih rezultata izbora može da bude velika.

Tipično pitanje koje se postavlja je „Za koga ćete glasati na predstojećim izborima?“. Potencijalni problemi uključuju da jedan deo ispitanika neće želeti iskreno da odgovori na ovo pitanje ili uopšte neće želeti da odgovori. Uprkos tome, istraživači ponekad ne prikazuju informaciju o tome koliko ispitanika nije odgovorilo na pitanje, već računaju procente u odnosu na broj ispitanika koji je odgovorio. Veliki deo informacije se time gubi. Ako, na primer, trećina građana ne odgovori na pitanje za koga će glasati, postavlja se pitanje preciznosti preostalih odgovora. Naime, ovakvi rezultati mogu da budu pristrasni zbog toga što se može očekivati da će ljudi koji ne žele da daju odgovor po nekim karakteristikama biti drugačiji od onih koji odgovaraju na ovo pitanje.

Dodatni faktori koji mogu da utiču na preciznost rezultata je trenutak kada se postavlja pitanje, da li je to mesec dana pred izbore ili nekoliko dana pred izbore, kao i ti da li ispitanici biraju odgovor sa spiska ponuđenih kandidata ili je pitanje tzv. otvorenog tipa.

Imajući u vidu sve potencijalne izvore grešaka prilikom sprovođenja jednog istraživanja, kao i činjenicu da agencije i istraživači ne poštuju osnovna načela izveštavanja rezultata istraživanja javnog mnjenja, ne treba da čudi da javnost nema poverenja u rezultate.

Dva smera za istraživače

Kao što smo već utvrdili, ne postoji savršeno istraživanje. Ukoliko, na primer, istraživači transparentno ukažu da je uzorak blago pristrasan, to je znatno korisnija informacija od zamagljivanja mana istraživanja i navođenja da je ono savršeno reprezentativno i tačno. Iako transparentnost podrazumeva izlaganje kritici, ona takođe donosi potencijal za unapređenje istraživanja, a potencijalno i veće poverenje kod javnosti jer bi im to pružilo mogućnost da ocene kvalitet istraživanja uzimajući u obzir sve važne aspekte.

Zato je na istraživačima da se odluče da li će se približiti naučnim standardima za sprovođenje istraživanja i izveštavanje rezultata, ili će dozvoliti da istraživanja budu instrument političke borbe i time rizikovati još veće nepoverenje građana.

Ka većoj transparentnosti i poverenju

Na kraju, u nastavku ću izlistati predlog toga kako bi moglo da izgleda detaljno izveštavanje o metodologiji i nalazima istraživanja ukoliko bi se istraživači opredelili za pravac transparentnosti i poštovanja naučnih normi.

Uloge. Ko je naručilac, a ko sprovodi istraživanje.

Metod prikupljanja podataka. Da li su podaci prikupljani na terenu, online ili putem telefona (i kojim tipom).

Anketari / operateri. Opis iskustva anketara ili operatera, da li se time bave prvi put ili imaju iskustvo u anketiranju ili intervjuisanju građana putem telefona.

Period sprovođenja istraživanja. U kom periodu je sprovedeno istraživanje.

Uzorak. Pored veličine uzorka, detaljno opisan način kreiranja uzorka brojeva za pozivanje, ukoliko je istraživanje sprovedeno putem telefona, ili način odabira adresa ukoliko je u pitanju terensko istraživanje. Dodatno, procena uzoračke greške.

Upitnik. Kako je izgledao upitnik i koliko je u proseku trajalo popunjavanje upitnika.

Stopa odgovaranja. Detaljno prikazana statistika pristanaka i odbijanja učešća u istraživanju, kao i stopa odgovaranja.

Opis uzorka. Detaljan opis uzorka po stratumima i, što je veoma važno, transparentno prikazane neponderisane vrednosti uz vrednosti nakon ponderisanja i podataka koji su procena Republičkog zavoda za statistiku. Na ovaj način, jasno se može videti koliko uzorak odstupa od procenjene populacije, kao i koliko su izvorno dobijeni podaci morali da budu statistički korigovani.

Ponderisanje. Koji tip ponderisanja je korišćen, minimalne i maksimalne vrednosti pondera, kao i varijable koje su korišćene za poststratifikaciju.

Autor je master psiholog i istraživač Crte

Naslovna fotografija: Canva