Z ankiety wynika, że studenci częściej poleciliby warsztat B. Gdy jednak osobno sprawdzasz odpowiedzi osób ze studiów stacjonarnych i niestacjonarnych, w obu grupach wyższy wynik ma A. Jeśli piszesz pracę dyplomową, zacznij od sprawdzenia, ile osób kryje się za każdym procentem. To wystarczy, żeby odtworzyć wynik i wyjaśnić go czytelnikowi.
Co się tu odwróciło? A ma przewagę w obu grupach, a B po połączeniu ich odpowiedzi. Tę zmianę kierunku nazywamy paradoksem Simpsona. Każdy odsetek może być poprawny, bo wyniki zbiorcze uwzględniają różny skład uczestników obu warsztatów.
Policz, ile osób poleciłoby każdy warsztat
Wyobraź sobie pracę o warsztatach bibliotecznych na polskiej uczelni. W tym fikcyjnym badaniu każda osoba wzięła udział w jednym wariancie, A lub B. Po zajęciach wszyscy podali formę studiów i odpowiedzieli na pytanie „Czy poleciłbyś te warsztaty?”. Aby dostać odsetek dla wybranej grupy, podziel liczbę odpowiedzi „tak” przez liczbę wszystkich odpowiedzi w tej grupie.
- Studia stacjonarne. A poleciłoby 9 z 10 osób (90%), a B 32 z 40 (80%). A jest wyżej o 10 punktów procentowych.
- Studia niestacjonarne. A poleciłyby 24 z 40 osób (60%), a B 5 z 10 (50%). A ponownie jest wyżej o 10 punktów procentowych.
- Wszyscy uczestnicy. W A jest 9 + 24 odpowiedzi „tak”, czyli 33 na 50 (66%). W B jest ich 32 + 5, czyli 37 na 50 (74%). Ogółem B ma przewagę 8 punktów procentowych.
Spójrz, kto wypełnił ankietę. W obu wariantach częściej odpowiadały „tak” osoby ze studiów stacjonarnych. W A stanowiły 20% uczestników, a w B aż 80%. Dlatego w A wynik ogółem jest bliższy 60%, czyli wynikowi liczniejszej grupy niestacjonarnej. W B jest bliższy 80%, czyli wynikowi liczniejszej grupy stacjonarnej. Taką rolę liczebności w wyniku łącznym opisują Smoluk i Szmigiel w rozdziale o paradoksie Simpsona.
Łatwo tu o skrót, który daje inną liczbę. Średnia z 90% i 60% wynosi 75%. Taki wynik otrzymasz w wariancie A przy równym udziale obu form studiów. W ankiecie grupy liczyły 10 i 40 osób, więc do odsetka ogółem dodaj najpierw odpowiedzi „tak”, potem liczebności i podziel 33 przez 50.
Odtwórz porównanie we własnym arkuszu
- Sprawdź, kogo liczysz. W tym przykładzie jeden wiersz oznacza jedną osobę, a trzy potrzebne kolumny to wariant, forma studiów i odpowiedź. Odfiltruj jeden wariant i jedną formę, policz wszystkie ważne odpowiedzi oraz same „tak”, a potem powtórz to dla pozostałych grup. Sprawdź duplikaty i upewnij się, że pytanie oraz zasady liczenia są takie same dla A i B.
- Zapisz, co robisz z brakami. Pusta odpowiedź wymaga osobnego oznaczenia. Jeśli ktoś odpowiedział na pytanie o polecenie, ale pominął formę studiów, może znaleźć się w podsumowaniu ogólnym. Oblicz też wynik ogółem na tym samym zestawie osób, którego używasz w podgrupach. W pracy podaj, ile odpowiedzi ubyło i z jakiego powodu.
- Uzasadnij, dlaczego dzielisz próbę. Forma studiów istniała przed warsztatem i może mieć związek z jego terminem oraz oceną dostępności. Sprawdź, czy oba warianty są reprezentowane w każdej podgrupie. Przy 10 osobach zmiana jednej odpowiedzi przesuwa wynik o 10 punktów procentowych. Zapisz też, czy podział zaplanowano, czy pojawił się podczas przeglądu ankiet.
Wybierz wynik, od którego zaczniesz rozdział
Jeśli pytanie brzmi „Który warsztat częściej polecali jego uczestnicy?”, zacznij od 66% i 74%. Jeśli interesuje Cię porównanie wśród studentów tej samej formy studiów, zacznij od obu par odsetków w podgrupach. Gdy wyniki prowadzą w różnych kierunkach, pokaż oba spojrzenia i dopisz, kto znalazł się w każdym mianowniku.
Znaczenie podziału widać też w badaniu Bickela i współautorów. Gdy przyjrzeli się rekrutacji na studia w Berkeley na poziomie poszczególnych jednostek, okazało się, że kandydatki częściej aplikowały do jednostek o niższych wskaźnikach przyjęć. Własny podział uzasadnij przebiegiem badania. Na przykład zadowolenie zmierzone po zajęciach może już wynikać z wariantu warsztatu, więc podział według zadowolenia ma inną interpretację niż podział według formy studiów.
W warsztatowym przykładzie uczestników nie przydzielano losowo. Różnice mogą zależeć również od tego, kto się zapisał, o której godzinie odbyły się zajęcia i kto je prowadził. Podział według formy studiów pozwala porównać odpowiedzi w dwóch bardziej jednorodnych grupach. Ocena wpływu samego wariantu wymagałaby projektu, który pozwala odróżnić go od tych okoliczności.
Jak zapisać wynik w pracy
W badanej próbie warsztat A poleciłyby 33 z 50 osób (66%), a warsztat B 37 z 50 osób (74%). Wśród studentów stacjonarnych odsetek poleceń był wyższy dla A (90%, 9/10) niż dla B (80%, 32/40). Tak samo było wśród studentów niestacjonarnych (60%, 24/40 dla A i 50%, 5/10 dla B). Wyższy odsetek poleceń ogółem dla B wiązał się z większym udziałem studentów stacjonarnych w tym wariancie (80% wobec 20% w A). Porównanie dotyczy deklaracji badanych uczestników.
W metodologii opisz, jak przypisywano uczestników do wariantów i jak postępowano z brakami. W wynikach podaj liczebności, a w dyskusji omów ograniczenia doboru grup. Jeśli po drodze poprawisz mianownik, przelicz także wykresy i zestawienia oparte na tej samej próbie. Przy pracy z arkuszem przyda Ci się poradnik „Jak opracować wyniki ankiety w pracy dyplomowej? Excel i przykłady”.
Przeczytaj swój opis przed oddaniem
- Zobacz, czy w obu wariantach liczysz odpowiedzi na to samo pytanie, z tego samego okresu i według tej samej reguły dotyczącej braków.
- Podaj liczbę odpowiedzi „tak” i wszystkich ważnych odpowiedzi przy każdym odsetku, zwłaszcza w małej grupie.
- Wskaż, która grupa ma większy udział w każdym wariancie i co to zmienia w wyniku ogółem.
- Wskaż, co opisuje próbę, a co wymagałoby osobnego badania wpływu formatu.
Pytania o prezentację i interpretację wyników
Czy przy każdym wykresie potrzebny jest opis?
Wynik powinien zostać omówiony w tekście, ale komentarz nie musi powtarzać wszystkich wartości. Wskaż istotny rezultat i jego związek z problemem badawczym. Unikaj pozostawiania serii wykresów bez wyjaśnienia, po co zostały pokazane.
Jak połączyć ograniczenie badania z jego wpływem na wnioski?
Nazwij konkretną cechę procedury, wskaż wynik lub twierdzenie, którego dotyczy, i wyjaśnij konsekwencję. Następnie opisz rzeczywiście podjęte działania oraz to, czego mimo nich nie można stwierdzić. Nie zastępuj tego listą ogólnych haseł o małej próbie i braku czasu.
Bibliografia
- Simpson, E. H. (1951). The Interpretation of Interaction in Contingency Tables. Journal of the Royal Statistical Society: Series B (Methodological), 13(2), 238-241. DOI 10.1111/j.2517-6161.1951.tb00088.x.
- Bickel, P. J., Hammel, E. A., & O’Connell, J. W. (1975). Sex Bias in Graduate Admissions: Data from Berkeley. Science, 187(4175), 398-404. DOI 10.1126/science.187.4175.398.
- Smoluk, A., & Szmigiel, C. (2022). Objaśnienie i uogólnienie paradoksu Simpsona. W A. Smoluk (red.), Ianua scientiae (s. 18-22). Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu. DOI tomu 10.15611/2022.07.7.
Porozmawiajmy o Twoim porównaniu
Napisz, jakie grupy porównujesz i na którym etapie jesteś. Możemy sprawdzić obliczenia, pomóc w redakcji rozdziału wyników lub połączyć oba etapy.
