Czy przyszłość badań społecznych to „ludzie”, którzy nie istnieją?

Wyobraź sobie raport z badania na 10 tysięcy osób, gdzie każda z nich jest cyfrowym awatarem, stworzonym przez sztuczną inteligencję. To już rzeczywistość, która budzi pytania o przyszłość badań opinii publicznej i ich wiarygodność. Czy możemy ufać danym generowanym przez AI, gdy stawką są realne decyzje oparte na zachowaniach ludzi?

Syntetyczni respondenci AI: Innowacja czy zagrożenie dla wiarygodności?

Tradycyjne badania społeczne opierają się na próbkach prawdziwych ludzi, co nieodłącznie wiąże się z marginesami błędu, odchyleniami standardowymi i innymi statystycznymi „niespodziankami”. Cała ta statystyczna kuchnia ma jeden cel: oszacować, jak bardzo możemy się mylić, dając nam jednocześnie narzędzia do minimalizowania tych błędów.

Jednak co, jeśli do tego dochodzi nowa zmienna: sztucznie wygenerowana próbka, gdzie respondenci to zaawansowane modele językowe AI? Te „cyfrowe bliźniaki” potrafią udawać 32-letnią, konserwatywną nauczycielkę z Francji, która lubi pasztet z kota, odpowiadając na pytania sondażowe z zaskakującą precyzją – a przynajmniej tak mogłoby się wydawać.

Badanie Verasight: alarmujące różnice między AI a ludźmi

Firma Verasight wraz z naukowcami przeprowadziła pionierskie badanie, porównując odpowiedzi prawdziwych respondentów z tymi generowanymi przez AI. Wyniki są alarmujące i rzucają cień na wiarygodność syntetycznych danych:

• Ogromne rozbieżności: Różnice między syntetycznymi a prawdziwymi danymi sięgały nawet 23 punktów procentowych w kluczowych pytaniach, np. o poparcie dla Donalda Trumpa. To kolosalny błąd, który dyskwalifikuje takie dane do poważnej analizy.
• AI nie zna „nie wiem”: Modele AI niemal nigdy nie odpowiadały „nie wiem”, podczas gdy w prawdziwych ankietach taką opcję wybiera około 3% ludzi. Eliminacja niepewności to fundamentalne zniekształcenie ludzkiego sposobu myślenia.
• Błędy w mniejszych grupach: Największe błędy (nawet do 30 punktów procentowych) pojawiały się w mniejszych i mniej reprezentowanych grupach, np. wśród mniejszości etnicznych. To szczególnie niebezpieczne, gdyż badania często mają na celu zrozumienie perspektyw właśnie tych grup.
• Fałszowanie opinii: W pytaniach wykraczających poza dane treningowe AI (np. o nowe reformy budowlane), modele AI nie tylko błędnie szacowały poparcie, ale nawet błędnie wskazywały, która opcja ma większość. Przewidywania dotyczące nieznanych kwestii politycznych kompletnie się rozpadły.

Zastosowania AI w badaniach: Gdzie syntetyczne dane mają sens?

Powyższe wyniki nie oznaczają, że syntetyczne dane są bezwartościowe. Mogą być przydatne w ograniczonych kontekstach:

• Testowanie narzędzi: AI może pomóc w weryfikacji pytań ankietowych, testowaniu interfejsów czy symulowaniu przepływów ankietowych, zanim zostaną one przedstawione prawdziwym ludziom.
• Eksploracja i wstępne hipotezy: Generowanie wstępnych pomysłów, burz mózgów i hipotez roboczych, które później wymagają weryfikacji na prawdziwych danych.
• Rekodowanie odpowiedzi otwartych: AI jest fantastycznym narzędziem do analizy i kategoryzowania długich, otwartych odpowiedzi respondentów, co wcześniej wymagało żmudnej pracy.

Jednak jeśli na podstawie tych danych mamy podejmować strategiczne decyzje dotyczące ludzkich zachowań, rozwoju edukacji, kampanii społecznych czy komunikacji, musimy być świadomi granic i ograniczeń. Użycie AI do zastępowania ludzkich respondentów w badaniach opinii publicznej jest obecnie nieakceptowalne i prowadzi do poważnych błędów.

Biznesowa perspektywa: Jak uniknąć pułapek syntetycznych danych

Dla organizacji, które polegają na danych o zachowaniach ludzi do podejmowania decyzji, lekcja jest jasna: nie ma substytutu dla prawdziwych ludzkich opinii. W świecie, gdzie koszty badań rosną, a wskaźniki odpowiedzi maleją, kuszące jest szukanie szybkich, tanich rozwiązań opartych na AI.

Jednak, jak pokazuje badanie Verasight, syntetyczne próbki mogą prowadzić do katastrofalnych błędów w analizach. Decyzje oparte na takich danych mogą skutkować:

• Niewłaściwymi strategiami marketingowymi: Zrozumienie preferencji grup docelowych to podstawa sukcesu. Jeśli AI myli się o 30% w mniejszościach, to kampania do nich skierowana może być kompletną porażką.
• Błędnymi inwestycjami: Brak trafnego obrazu opinii publicznej może prowadzić do nieefektywnych inwestycji w produkty, usługi czy inicjatywy społeczne.
• Utraconą reputacją: Publikowanie badań opartych na zniekształconych danych może podważyć wiarygodność organizacji i jej ekspertyzy.

Zamiast rezygnować z prawdziwych badań, warto szukać innowacyjnych rozwiązań, które zachowują ludzki element. Można na przykład korzystać z reprezentatywnych paneli online, angażować trudno dostępne grupy docelowe do wielokrotnych ankiet, czy tworzyć konsorcja badawcze, dzieląc się kosztami i danymi. To właśnie te rozwiązania, łączące precyzję z demokratycznym ideałem równości głosu, są drogą naprzód.

Przyszłość badań: Ludzie czy algorytmy?

Pytanie brzmi: czy AI kiedyś będzie w stanie niemal idealnie odwzorowywać ludzkie zachowania, łącznie z niuansami, wątpliwościami i zmieniającymi się opiniami? Na razie jesteśmy daleko od tego. AI jest trenowane, by przewidywać następne słowo w sekwencji, a nie by symulować złożoną psychikę ludzkiego mózgu.

Prawdziwe badanie opinii publicznej, badania marketingowe z wszystkimi swoimi niedoskonałościami, oddają coś fundamentalnego: autentyczny głos ludzi, ich zachowania i opinie. To oni zmagają się z wyborami mającymi wpływ na ich życie. Zastępowanie tych głosów syntetycznymi aproksymacjami nie tylko prowadzi do błędów statystycznych, ale także pozbawia nas ludzkiego elementu.

Czy naprawdę chcemy, aby przyszłość polegała na podejmowaniu decyzji za nas, przez maszyny, które nie rozumieją prawdziwej niepewności i złożoności ludzkich przekonań?

Kierunek, w którym idziemy, zależy od nas. Warto inwestować w rzetelne badania oparte na naukowych podstawach, by podejmować najlepsze decyzje dla ludzi i organizacji.

Fantastycznego dnia

Kamil Godawski

Bibliografia

• Rosenzweig, M. (2024, May 15). AI Polls are a Terrible Idea. The Washington Post.
• Verasight. (2024). Assessing the Accuracy of LLM-Generated Synthetic Samples.