Masz przed sobą raport z analizy do pracy z psychologii. Test został wykonany, ale przy przyjętym progu wynik jest nieistotny statystycznie. Promotor prosi o dwa osobne akapity: jeden do wyników, drugi do dyskusji. Co w nich napisać, żeby ani nie ukryć rezultatu, ani nie ogłosić, że badanego efektu w ogóle nie ma?
W wynikach podaj, jakie porównanie wykonano, na ilu obserwacjach, jaka była oszacowana wielkość i kierunek efektu oraz jak niepewne jest oszacowanie. W dyskusji powiedz, czy analiza dostarczyła wsparcia dla przewidywania, jakie interpretacje nadal wchodzą w grę i co ogranicza wniosek. Sama informacja, że p przekroczyło próg, nie wystarcza do żadnego z tych akapitów.
To przewodnik po ostatnim etapie analizy w dziedzinie „Psychologia”. Jeśli dopiero przygotowujesz bazę albo sprawdzasz punktację skal, zacznij od poradnika Analiza statystyczna w pracy magisterskiej z psychologii – co zrobić z zebranymi danymi?. Tutaj obliczenia są już wykonane, a zadaniem jest napisanie uczciwego opisu.
Z raportu wybierz efekt, nie samą wartość p
Wróć do pytania badawczego i hipotezy w wersji sprzed obejrzenia wyników. Zapisz w jednym zdaniu, co jest porównywane i w którą stronę liczysz różnicę. Przy pomiarach tej samej osoby możesz mieć „po minus przed”, przy niezależnych grupach „grupa A minus grupa B”, a przy korelacji interesuje Cię oszacowanie związku między dwiema zmiennymi. Zmiana znaku przy przepisywaniu odwraca sens zdania, nawet gdy dwustronna wartość p się nie zmienia.
- Materiał analizy. Zapisz liczbę obserwacji użytych w tym teście. Przy porównaniu przed i po chodzi o liczbę kompletnych par, nie o sumę pomiarów.
- Wielkość efektu. Wybierz właściwą miarę i podaj jednostkę. Różnica 1,8 punktu skali jest wynikiem w jednostkach pomiaru. Standaryzowana miara efektu odpowiada na inne pytanie i, gdy jest wymagana, powinna mieć nazwaną definicję.
- Niepewność i test. Zapisz poziom i granice przedziału ufności, nazwę testu, statystykę, stopnie swobody, jeśli mają zastosowanie, oraz wartość p. Podaj wcześniej przyjęty próg i sprawdź, czy raport dotyczy testu jedno- czy dwustronnego.
Jeżeli testu w ogóle nie można było wykonać, np. brakuje drugiego pomiaru dla wszystkich osób, opisz, co uniemożliwiło sprawdzenie hipotezy. Taka sytuacja różni się od wykonanego testu, który dał wynik powyżej przyjętego progu. APA JARS-Quant to pomocna lista kontrolna raportowania. Układ i sposób zapisu dopasuj do wytycznych uczelni i promotora.
Przykład: stres przed rutyną przygotowania i po niej
Przykład jest fikcyjny. Dwadzieścia cztery osoby wypełniły tę samą skalę samoopisową stresu na początku i po dwóch tygodniach stosowania krótkiej rutyny przygotowania do nauki. Wynik skali przeliczono na zakres od 0 do 40 punktów z możliwością wartości ułamkowych. Wyższy wynik oznacza większy deklarowany stres. Przewidywano niższy średni wynik w drugim pomiarze. W planie przyjęto dwustronny test t dla prób zależnych i α = 0,05. Nie było grupy porównawczej.
Liczby do prześledzenia. Dla każdej osoby policzono wynik po dwóch tygodniach minus wynik początkowy. Średnia różnica wyniosła -1,80 punktu, a odchylenie standardowe różnic 5,40. Błąd standardowy wyniósł około 1,10. Przy 24 parach niezależnych między uczestnikami daje to t(23) = -1,63, dwustronne p = 0,116 i 95% przedział ufności dla średniej zmiany od -4,08 do 0,48 punktu. W przykładzie przyjmujemy niezależność obserwacji między uczestnikami i w przybliżeniu normalny rozkład różnic wewnątrz par. W swoim badaniu oceń te warunki na podstawie schematu i danych.
Gotowy akapit do wyników
Zmianę deklarowanego stresu między pierwszym i drugim pomiarem sprawdzono dwustronnym testem t dla prób zależnych w 24 kompletnych parach. Średnia różnica (drugi minus pierwszy pomiar) wyniosła -1,80 punktu, 95% PU [-4,08; 0,48], t(23) = -1,63, p = 0,116. Przy α = 0,05 wynik nie był istotny statystycznie.
Kierunek i jednostka są widoczne przed wartością p. Jeżeli masz już zestawienie liczebności i statystyk opisowych dla obu pomiarów, odwołaj się do niego w rozdziale zgodnie z wymaganiami uczelni. Przykład pokazuje jedno porównanie. W swojej pracy uwzględnij pozostałe zaplanowane testy i ewentualne korekty za wielokrotne porównania, jeśli dotyczą Twojego planu.
W dyskusji rozdziel trzy wnioski
- Kierunek w zebranej próbie. Średnia zmiana wyniosła -1,80 punktu, więc w próbie drugi wynik był przeciętnie niższy. To opis uzyskanego oszacowania.
- Precyzja wnioskowania. Przedział obejmuje zero, średnie spadki do około 4,08 punktu oraz niewielki wzrost do około 0,48 punktu. Przy zastosowanej metodzie i jej założeniach analiza nie pozwala odróżnić tych wartości wystarczająco precyzyjnie. O granicach mów jako o wartościach zgodnych z danymi w ramach modelu. 95% odnosi się do długookresowej własności procedury wyznaczania przedziałów.
- Granica projektu badania. Ponieważ nie było grupy porównawczej, ewentualnej zmiany nie można przypisać rutynie. Obciążenie zajęciami, termin pomiaru czy inne doświadczenia w ciągu dwóch tygodni mogły się zmienić. W przykładzie nie sprawdzano tych wyjaśnień, więc pozostają możliwościami do zbadania.
Gotowy akapit do dyskusji
Analiza nie dostarczyła wystarczającego wsparcia dla przewidywania niższego średniego poziomu stresu w drugim pomiarze. Oszacowanie wskazywało na spadek w badanej próbie, lecz zakres niepewności dopuszczał zarówno brak średniej zmiany, jak i spadek o kilka punktów. Dwa pomiary bez grupy porównawczej nie pozwalają ustalić, czy ewentualna zmiana wiązała się z rutyną, czy z innymi zmianami w tym okresie.
Gdy porównujesz swój wynik z literaturą, zestawiaj to, co naprawdę zmierzono. Badanie z grupą kontrolną może szacować różnicę zmian między grupami, a Twój projekt bez kontroli tylko zmianę w jednej grupie. Porównaj też populację, czas między pomiarami, narzędzie oraz wielkość i precyzję efektów. Dwie różne etykiety istotności same nie dowodzą różnicy efektów. Szerszy układ rozdziału znajdziesz w poradniku Jak napisać dyskusję wyników w pracy licencjackiej i magisterskiej?.
Kiedy można mówić o praktycznie małej różnicy?
Znaczenie punktu zależy od narzędzia i pytania badawczego. Jeżeli chcesz uzasadnić, że efekt mieści się w zakresie uznanym za praktycznie pomijalny, potrzebujesz jawnego uzasadnienia granic i metody dobranej do takiego pytania, np. dwóch jednostronnych testów równoważności (TOST). Granice warto zaplanować przed obejrzeniem wyniku na podstawie teorii, wcześniejszych danych albo sensu pomiarowego. Samo przekroczenie progu w zwykłym teście różnicy nie daje tego wniosku. W fikcyjnym przykładzie nie ustalono granic i nie przeprowadzono testu równoważności.
ASA zwraca uwagę, że wartość p nie mierzy rozmiaru efektu ani prawdopodobieństwa prawdziwości hipotezy. Zdanie „p = 0,116 oznacza 11,6% szans, że nie ma efektu” błędnie przypisuje tej wartości interpretację. Gdy opisujesz możliwe znaczenie praktyczne, oprzyj się na oszacowaniu, jednostkach, precyzji i jakości projektu.
Jeżeli po analizie zauważysz błąd
Sprawdzenie pomyłki jest zasadne. Jeśli odkryjesz np. błędne sparowanie identyfikatorów albo nieprawidłowe odwrócenie pozycji skali, zachowaj wcześniejszy raport, popraw konkretny błąd, przelicz analizę i udokumentuj zmianę. Wyjaśnij, co uległo zmianie i dlaczego. Uzasadniona analiza wrażliwości także może pomóc, jeśli jasno podasz jej cel i pokażesz ją obok analizy głównej.
Nie zmieniaj progu, kierunku testu, kryteriów wykluczenia ani definicji wyniku po to, by uzyskać mniejsze p. Pytanie, które pojawiło się po obejrzeniu danych, możesz sprawdzić i oznaczyć jako eksploracyjne. Oryginalny test pozostaje w rozdziale. W ten sposób czytelnik wie, co było zaplanowane, a które pomysły powstały później.
Sprawdź akapit przed oddaniem
- Czy nazwa testu, liczba obserwacji i znak oszacowania zgadzają się z raportem?
- Czy przedział dotyczy tej samej miary co oszacowanie i podajesz jej jednostkę?
- Czy dyskusja pokazuje granicę wniosku zamiast powtarzać wszystkie statystyki?
- Czy zachowano główną analizę i jasno oznaczono analizy dodatkowe?
Pytania o hipotezę, przedział ufności i dyskusję
Co jeśli wyniki nie potwierdzają hipotezy?
Opisuję to zgodnie z analizą. Brak wsparcia dla hipotezy jest wynikiem badania, a nie powodem do zmiany odpowiedzi respondentów.
Nie oznacza też automatycznie niezrealizowania celu: celem mogło być właśnie sprawdzenie określonej zależności. Wyjaśniam, co wynika z danych i jakie ograniczenia trzeba uwzględnić. Brak wsparcia dla hipotezy nie dowodzi sam w sobie, że dana zależność na pewno nie istnieje.
Jak opisać przedział ufności w pracy magisterskiej?
Podaj poziom ufności, oszacowany parametr i granice przedziału, np. różnica średnich wyniosła 4 punkty, a jej 95% przedział ufności od 1,33 do 6,67 punktu. Zachowaj jednostkę pomiaru i napisz, dla jakiego porównania obliczono przedział.
W interpretacji częstościowej poziom 95% odnosi się do procedury: w wielokrotnie powtarzanych badaniach spełniających założenia około 95% tak wyznaczonych przedziałów obejmowałoby prawdziwy parametr. Nie oznacza to, że 95% uczestników uzyskało wynik między podanymi granicami. Szeroki przedział wskazuje na mniejszą precyzję oszacowania.
Jakie materiały przesłać do redakcji dyskusji w pracy z psychologii?
Prześlij cel pracy, pytania i hipotezy, rozdział z wynikami, opis metodologii oraz wykorzystaną literaturę. Dołącz istniejącą dyskusję i uwagi promotora, jeśli je masz. Te materiały pozwalają odnieść interpretację do rzeczywistych wyników i wcześniejszych badań.
Czym opracowanie rozdziału badawczego różni się od analizy statystycznej?
Rozdział badawczy łączy opis rzeczywistego badania, prezentację wyników, interpretację i odpowiedzi na pytania pracy. Analiza statystyczna dotyczy doboru metod oraz obliczeń na danych ilościowych. Można zamówić oba zakresy łącznie, ale nowe testy i weryfikację obliczeń ustalam osobno po obejrzeniu materiału.
Bibliografia
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. DOI: https://doi.org/10.1080/00031305.2016.1154108
- Lakens, D. (2017). Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, 8(4), 355-362. DOI: https://doi.org/10.1177/1948550617697177
- Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3-25. DOI: https://doi.org/10.1037/amp0000191
Ustalmy, jakiego wsparcia potrzebujesz
Napisz, co już masz: dane, raport z analizy czy szkic rozdziału. Do pierwszej wiadomości wystarczy wynik zbiorczy. Podaj wytyczne uczelni i zaznacz, czy potrzebujesz sprawdzenia obliczeń, opisu wyników czy dopracowania dyskusji.
