Aby zrozumieć politykę, warto myśleć jak naukowiec.
Kampania na temat nadchodzących wyborów prezydenckich jest wszędzie, a różne sondaże pokazują tego lub innego kandydata na szczycie. Istnieją krajowe oceny zatwierdzenia, lokalne oceny zatwierdzenia, ankiety na temat głównych kandydatów, ankiety na temat problemów, ankiety na temat elektryczności. Wszystkie te liczby składają się na kakofonię informacji, których zdobycie może być trudne. W ten sposób naukowcy twierdzą, że są bardzo podobne do danych, które może zebrać badacz: pojedyncze ankiety w większości nie są zbyt przydatne same w sobie, bez kontekstu. Ale zebrane razem i przemyślane, ankiety mogą uzupełnić informacje, które naukowiec uznałby za przydatne.
„Istnieje wiele solidnych metodologicznie sondaży politycznych, które bardzo przypominają metody stosowane w kontekstach naukowych, ale istnieją też dość słabo zaprojektowane - i / lub celowo tendencyjne - ankiety polityczne”, powiedziała Sara Burke, psycholog badawczy i ekspert międzygrupowy uprzedzenia na Uniwersytecie Syracuse. „Najlepsi z najlepszych w ankiecie politycznej wykonują dobrą robotę, korzystając z dostępnych narzędzi i utrzymują - i próbują się komunikować - jasne zrozumienie ograniczeń, które wciąż istnieją w ich metodach”.
Innymi słowy, to, czy ankieta jest cenna czy interesująca, zależy w dużej mierze od tego, jak została przeprowadzona i jak jest prezentowana.
Jillian Scudder, astrofizyk badający galaktyki w Oberlin College w Ohio, często przedstawia te sondaże jako „Oto niektóre wartości procentowe”. „Więc możesz zrobić ankietę polityczną, możesz powiedzieć:„ Przeprowadziliśmy ankietę w tym stanie i otrzymaliśmy te liczby ”, i możesz podać to w wiadomościach. Kiedy robię statystyki, a ja ustalam procent, ten procent pochodzi z wielu innych liczb ”, powiedział Scudder Live Live.
Powiedziała, że praca Scuddera obejmuje testy statystyczne, które przypominają ankietę. Może zebrać miliony punktów danych o zachowaniu galaktyk, aby dowiedzieć się, jak się zachowują. Ale byłoby stratą czasu, aby przejść przez każdy z osobna. Dlatego pobierze mniejsze próbki swoich danych i przestudiuje je, używając metod statystycznych podobnych do tych, których używają ankieterzy, aby wyciągnąć wnioski na temat całej populacji galaktyk.
Ale żeby te badania zadziałały i aby miały jakikolwiek sens dla innych naukowców, liczby muszą pochodzić z danych, które dają im kontekst, powiedziała.
„Czy to była próbka 100? Czy to próbka 1000? Czy to próbka 1 milion? Jak bardzo zmiany wielkości próby zmieniają wynik? Jeśli przejdę z 1000 do 10 000, czy zmienią się wartości procentowe, czy też są dość solidny? Takie rzeczy - powiedział Scudder.
Podobnie ankiety są znacznie bardziej przydatne, gdy wiesz, ile osób pobrano próbki, jak spójne są wyniki z innymi ankietami i jak dokładnie przeprowadzono ankiety, powiedział Chris Schatschneider, psycholog edukacyjny i ekspert w dziedzinie statystyki i projektowania badań na Florydzie Uniwersytet stanowy.
Powiedział, że we własnych badaniach Schatschneidera wykorzystuje statystyki do oddzielenia „sygnału” od „szumu” - w celu ustalenia, czy wynik eksperymentu prawdopodobnie mówi coś znaczącego o tym, jak działa świat, czy może jest wynikiem losowej szansy. Zastanawia się również dokładnie, na jakie pytania może odpowiedzieć dany zestaw danych, a na jakie pytania nie może.
Powiedział, że te metody statystyczne różnią się od tych, z których korzystają ankieterzy. Ale ważne jest, aby zadawać podobne pytania, słysząc dane z ankiet: „Jak duży był rozmiar próbki? Kogo dokładnie pobrano? Jakie pytania zadali dokładnie ankieterzy? Cały ten kontekst może ci powiedzieć, czy ankieta jest znacząca w sposób, w jaki kilka liczb zmiennoprzecinkowych obok, powiedzmy, nazwiska kandydata nie może.
Powiedział także, że ważne jest zrozumienie metod stosowanych przez ankietera.
Na przykład wiele sondaży obejmuje „próbkowanie warstwowe”. Oznacza to, że jeśli określona grupa - na przykład studenci - jest niedostatecznie reprezentowana w próbie ankietowej w porównaniu z populacją ogólną, ankieterzy poprawią liczby, aby studenci college'u stali się ważniejsi. Schatschneider powiedział, że może to być w zasadzie uzasadniona technika. Ale może również zniekształcać wyniki, gdy niewielka grupa ankietowanych ludzi staje za tysiącami. Podał przykład: „The New York Times” podał w 2016 r., Że jeden 19-letni Murzyn, który poparł Donalda Trumpa w wyborach tego roku, szalenie wypaczył wyniki ankiety z powodu tego rodzaju masowania danych, prowadząc do wiadomości, które sugerują, że Trump był znacznie bardziej popularny wśród czarnych wyborców niż miało to miejsce.
Rzeczywistość, powiedział Schatschneider, jest taka, że chyba że nie jest to praca na pełen etat, prawdopodobnie nie masz czasu na indywidualne ocenianie ankiet w ten sposób, aby ustalić, które z nich są naukowe, a które mniej. Powiedział, że większości ludzi lepiej nie zwracać zbytniej uwagi na wiadomości o poszczególnych sondażach, które mogą być mylące, i zamiast tego powinny spojrzeć na średnie z ostatnich sondaży, takich jak te publikowane przez RealClearPolitics.
Naukowcy robią coś podobnego z danymi badawczymi, kiedy uśredniają dane z wielu artykułów w większych artykułach zwanych „metaanalizami”, powiedział Schatschneider. W ogóle, powiedział, średnia ankiet jest bardziej wiarygodna, ponieważ ankiety wydają się być publikowane niezależnie od tego, czy są interesujące. Jednak artykuły naukowe są tendencyjne do uzyskania bardziej interesujących wyników, ponieważ według Schatschneider nadal są łatwiejsze do opublikowania.
Scudder powiedział, że prognozy wyborcze oparte na ogromnych grupach sondaży mogą być również interesujące i przydatne, ale w przeciwieństwie do badań naukowych, w których publikowane są metody i liczby surowe, ankieterzy nie pokazują swojej pracy - utrzymując wszystko w zastrzeżonej czarnej skrzynce.
Ogólnie rzecz biorąc, powiedział Scudder, uznałaby grupę sondaży za godną zaufania i interesującą, gdyby wszystkie wskazywały w tym samym kierunku, a mniej znaczące, gdyby były wszędzie, sugerując problemy w gromadzeniu danych.
To, że odkrycia pasują do trendu, nie czyni ich dokładnymi. Scudder powiedział, że przy każdym dostępnym zestawie danych musisz także wiedzieć, jak interpretować wyniki.
„Musisz być ostrożny, że test statystyczny, którego używasz, odpowiada na pytanie, na które chcesz odpowiedzieć” - powiedziała.
W nauce może to oznaczać ustalenie, czy zbiór danych całkowicie wyklucza pomysł - powiedzmy, że wszystkie gwiazdy są zrobione z sera - lub po prostu tego nie dowodzi - powiedzmy, że wszystkie gwiazdy wciąż mogą być zrobione z sera, ale my nie jeszcze nie widziałem sera.
Jeśli chodzi o ankiety polityczne, pytania są różne. Ale zrozumienie, co mają na myśli, jest równie ważne. Ocena zatwierdzenia nie jest miarą tego, jak ludzie planują głosować. Zapytanie ludzi, których lubią podczas szkoły podstawowej, niekoniecznie mówi ci, jak się czują podczas wyborów powszechnych. Zapytany, na kogo zamierzają głosować w lutym, nie przewiduje, jak będą głosować w listopadzie, powiedział Schatschneider.
W ten sposób, powiedział Schatschneider, sondowanie jest bardzo podobne do pomiaru temperatury pacjenta. To doskonale naukowe przedsięwzięcie, powiedział. Ale ważne jest, aby osoby biorące udział w ankietach miały jasność, co dokładnie oznaczają.
