W połowie zbierania ankiet do pracy magisterskiej poprawiasz ustawienie formularza. W Excelu widzisz puste pola przy pytaniu o wynik rezerwacji online. W zapisanej wcześniej wersji formularza odkrywasz, że osoby próbujące zarezerwować online w ogóle nie dostały tego pytania. Możesz zachować ich ważne odpowiedzi na wcześniejsze pytania i opisać wynik rezerwacji dla osób, które go podały. Zacznij od zestawienia dwóch wersji formularza i przypisz do nich wiersze na podstawie zachowanego śladu zmiany.
Przelicz każde pytanie, którego dotyczyła zmiana. Zapisz, kto miał je dostać, komu formularz je wyświetlał i kto odpowiedział. Jeden błąd w przejściu między sekcjami może ograniczyć wynik jednego pytania, podczas gdy wcześniejsze odpowiedzi tych samych osób nadal są przydatne.
Sprawdź, co widzieli uczestnicy
- Zachowaj dowody. Zapisz oryginalny eksport, obie wersje formularza i dostępne informacje o momencie zmiany. Zrzut obecnych ustawień pokazuje, jak ankieta działa teraz. Wcześniejszą regułę potwierdź np. zapisaną kopią albo zrzutem ustawień sprzed poprawki.
- Rozpisz drogę po każdej odpowiedzi. Pytanie filtrujące kieruje uczestnika do kolejnej sekcji. W obu wersjach prześledź każdą odpowiedź na filtrze aż do następnego wspólnego pytania. Zapisz dokładne brzmienie pytań, warianty odpowiedzi i kolejność. Poradnik Urzędu Statystycznego w Poznaniu pokazuje, jak zaplanować i sprawdzić powiązania między pytaniami.
- Przypisz wersję tylko tam, gdzie możesz ją ustalić. Pomocny jest kod wersji w eksporcie lub osobny formularz z własnym plikiem odpowiedzi. Gdy edytowano ten sam formularz, sama godzina wysłania może mylić: część osób mogła otworzyć starszą wersję przed zmianą. Wiersze bez potwierdzenia oznacz jako „wersja nieustalona”. Puste pole samo w sobie nie dowodzi, którą wersję ktoś widział.
Jeśli wiersz zawiera odpowiedź na pytanie, które według zapisanej reguły miało być ukryte, sprawdź, czy przypisano mu właściwą wersję i czy kolumny odpowiadają właściwym pytaniom. Gdy sprzeczność pozostaje, oznacz ten przypadek jako niewyjaśniony w analizie danego pytania i zachowaj oryginalny zapis. Amerykański urząd spisowy (U.S. Census Bureau) wymienia kontrolę przejść i sprzecznych odpowiedzi w standardzie sprawdzania danych ankietowych.
Jedna usterka i dwa wyniki w Excelu
W fikcyjnym badaniu studenci opisują ostatnią próbę rezerwacji terminu w uczelnianym studiu nagrań w ciągu poprzednich 30 dni. W pierwszym pytaniu można wybrać „online”, „na miejscu” albo „nie było próby”. Następnie formularz pyta „Czy ta próba zakończyła się rezerwacją wybranego terminu?”. Można zaznaczyć „tak” lub „nie” albo zostawić pole puste. Osoby, które nie podejmowały próby, powinny ominąć pytanie drugie.
Przez błędne przejście w formularzu A pytanie drugie omijały także osoby, które wybrały „online”. Po wykryciu usterki uruchomiono osobny formularz B z poprawioną regułą, ale z tym samym brzmieniem pytań i odpowiedzi. W obu formularzach po części o rezerwacji każda ścieżka prowadziła do tego samego obowiązkowego pytania. Zliczono tylko przesłane ankiety, a oba eksporty się zachowały. Każdy student odpowiedział raz, a kanał rekrutacji i sposób zbierania odpowiedzi były takie same dla obu wersji.
Rozpisz liczebności dla obu wersji
- Formularz A, 24 osoby. Online próbowało zarezerwować 8 osób. Żadnej nie wyświetlono pytania drugiego. Na miejscu próbowało 10 osób. Osiem odpowiedziało „tak”, dwie „nie”. Pozostałe 6 osób nie podejmowało próby.
- Formularz B, 26 osób. Online próbowało zarezerwować 12 osób. Dziewięć odpowiedziało „tak”, dwie „nie”, jedna zostawiła puste pole. Na miejscu próbowało 8 osób. Pięć odpowiedziało „tak”, dwie „nie”, jedna zostawiła puste pole. Pozostałe 6 osób nie podejmowało próby.
W kopii arkusza zachowaj odpowiedzi z obu pytań. Dodaj osobne kolumny „Wersja” i „Status pytania 2”. Przy ośmiu pustych polach z formularza A dla prób online wpisz status „nie wyświetlono z powodu błędu”. Dwa puste pola z formularza B wśród osób podejmujących próbę oznacz jako „wyświetlono, brak odpowiedzi”. Dla 12 osób bez próby użyj statusu „prawidłowe pominięcie”. Faktyczne odpowiedzi „tak” i „nie” otrzymują status „odpowiedziano”.
Policz osobno sposób i wynik rezerwacji
- Sposób ostatniej próby w całej badanej grupie. Obie wersje zawierały identyczne pierwsze pytanie przed błędnym przejściem. Online próbowało zarezerwować 20 z 50 uczestników, czyli 40%. Jeżeli chcesz opisać wyłącznie osoby, które podjęły próbę, podstawą jest 38 osób, a wynik wynosi 20 z 38 (52,6%).
- Wynik próby online. W formularzu B odfiltruj „online” i policz 9 odpowiedzi „tak” oraz 2 „nie”. To 9 z 11 osób, które odpowiedziały (81,8%). Spośród 20 osób próbujących online 8 nie dostało pytania, a 1 go nie uzupełniła. Podzielenie 9 przez 20 pokazałoby udział zapisanych odpowiedzi „tak” w grupie, w której wynik części osób jest nieznany. Jako odsetek udanych rezerwacji byłoby to mylące.
- Wynik próby na miejscu. Pytanie działało identycznie w obu wersjach dla tej ścieżki. Można opisać łącznie 13 odpowiedzi „tak” na 17 osób, które odpowiedziały (76,5%). Jedna z 18 osób próbujących na miejscu zostawiła pole puste.
Jeśli porównujesz sposoby rezerwacji, użyj wyłącznie formularza B dla obu grup. Wynik to 9 z 11 (81,8%) dla prób online i 5 z 7 (71,4%) dla prób na miejscu. Tak zestawiasz dwa wyniki uzyskane w okresie, w którym obie grupy dostawały to samo pytanie. Studenci sami wybierali sposób rezerwacji, a grupy są małe. Te odsetki opisują odpowiedzi w przykładzie, bez rozstrzygania, który sposób działa lepiej.
Sprawdź, czy zmieniło się też znaczenie pytania
W tym przykładzie poprawka zmieniła wyłącznie to, komu zadano pytanie. Gdyby w formularzu B zamiast „wybranego terminu” pytano o „dowolny termin”, odpowiedź „tak” miałaby inne znaczenie. Ktoś mógł przecież zarezerwować termin zastępczy. Pokaż wtedy wyniki pytania osobno dla obu wersji, nawet jeśli mają tak samo nazwane kolumny. W raporcie o wyjazdach wypoczynkowych CBOS wskazuje podobny problem porównywalności po zmianie zakresu pytań oraz czasu objętego pomiarem.
Przy korekcie literówki sprawdź, czy zachowano znaczenie pytania, odpowiedzi, kolejność i grupę uczestników, do której było kierowane. Jeżeli zmienił się zakres odpowiedzi lub okres, którego dotyczy pytanie, zapisz tę różnicę przed liczeniem. Gdy żadna wersja nie daje potrzebnego wyniku dla całej badanej grupy, ogranicz zakres opisu i ustal z promotorem, czy potrzebne jest uzupełnienie badania.
Zapisz zmianę w metodzie, a liczebności przy wyniku
Metoda. Po stwierdzeniu błędu w przejściu od pytania o sposób rezerwacji do pytania o wynik próby uruchomiono formularz B. W formularzu A osoby próbujące rezerwować online nie otrzymały pytania o wynik. Sposób rezerwacji opisano łącznie dla obu wersji. Odsetek udanych prób online obliczono wśród osób, które odpowiedziały na pytanie w formularzu B.
Wynik. Próbę rezerwacji online zadeklarowało 20 z 50 uczestników. W formularzu B 9 z 11 osób, które podały wynik próby online, zadeklarowało rezerwację wybranego terminu (81,8%). Spośród 20 osób próbujących online 8 nie otrzymało pytania z powodu błędu, a 1 pozostawiła je bez odpowiedzi. Wynik opisuje 11 osób, które odpowiedziały w formularzu B.
Na koniec porównaj liczebności w metodzie, wynikach, podpisach wykresów i wnioskach. Jeśli pod wykresem widnieje „n = 50”, a pokazujesz wynik 11 osób z formularza B, popraw podpis. W załączniku pokaż obie wersje lub dokładnie wskaż zmienioną regułę i pytania, których dotyczyła. Zobacz też poradnik Jak opisać narzędzie badawcze w pracy dyplomowej? Kwestionariusz autorski i gotowa skala.
Pytania o błąd i ograniczenia badania
Czy błąd w obliczeniach można opisać jako ograniczenie badania?
Błąd możliwy do poprawienia trzeba najpierw naprawić i sprawdzić jego wpływ na pozostałe wyniki. Akapit o ograniczeniach nie zastępuje korekty mianownika, kodowania czy wzoru. Jeśli danych nie można odtworzyć, należy opisać brak oraz konsekwencje bez dopisywania wartości.
Jak połączyć ograniczenie badania z jego wpływem na wnioski?
Nazwij konkretną cechę procedury, wskaż wynik lub twierdzenie, którego dotyczy, i wyjaśnij konsekwencję. Następnie opisz rzeczywiście podjęte działania oraz to, czego mimo nich nie można stwierdzić. Nie zastępuj tego listą ogólnych haseł o małej próbie i braku czasu.
Źródła
- Urząd Statystyczny w Poznaniu (2024). Jak przygotować i przeprowadzić badanie ankietowe? Poznań, s. 1-2.
- Badora, B. (2013). Wyjazdy wypoczynkowe Polaków. Fundacja Centrum Badania Opinii Społecznej, komunikat z badań BS/15/2013, s. 1.
- U.S. Census Bureau (2021). Statistical Quality Standard C2: Editing and Imputing Data, wymagania C2-3.1 i C2-4.
Omów wyniki po zmianie formularza
Przygotuj wersje ankiety, zanonimizowany eksport i pytania badawcze. Wskaż, co zmieniono i w którym miejscu w rozdziale pojawia się problem. Ustalimy zakres sprawdzenia danych, obliczeń i opisu wyników.
