Jak porównać wyniki dwóch grup, które na początku badania się różniły?

„Porównuję dwie grupy w pracy z psychologii. Każda osoba wypełniła tę samą skalę przed warsztatem i po nim. Grupa warsztatowa miała wyższy wynik na starcie. Czy mam porównać wynik końcowy, odjąć wynik początkowy od końcowego, czy uwzględnić go w modelu?”

Pierwszy krok. Zapisz, jak uczestnicy trafili do każdej grupy. Następnie przygotuj po jednym wierszu na osobę z kodem uczestnika, grupą, wynikiem przed i wynikiem po. Podaj osobno dla obu grup liczbę osób na starcie, liczbę kompletnych par i średnie z obu pomiarów dla tych samych osób. Z takim zestawieniem możesz zdecydować, jakie porównanie odpowiada na Twoje pytanie i jak daleko sięga jego interpretacja.

Jeśli interesuje Cię poziom wyniku po warsztacie, zacznij od średnich końcowych. Jeśli pytasz o zaobserwowaną zmianę w obu grupach, oblicz różnicę przed i po dla każdej osoby, a potem porównaj średnie tych różnic. Jeśli pytasz o różnicę końcową przy takim samym poziomie wyjściowym, możesz zastosować model regresji z grupą i wynikiem początkowym. Ten model nazywa się analizą kowariancji, w skrócie ANCOVA. W badaniu z losowym przydziałem i wynikiem początkowym, który pomaga przewidywać wynik końcowy, to częsty wybór analizy głównej. Przy samodzielnym zapisie na warsztat taki sam model daje porównanie skorygowane o wynik wyjściowy. Zakres wniosków zależy od sposobu przydziału, jakości pomiaru i innych różnic między grupami.

Co musisz ustalić, zanim policzysz różnicę

Zapisz, kto podjął decyzję o przydziale

W metodzie potrzebujesz zdania, które opisze rzeczywisty przydział uczestników. „Uczestników przydzielono losowo do dwóch grup po pomiarze wyjściowym” ma sens wtedy, gdy losowanie rzeczywiście decydowało o przydziale. Podaj, co losowano, kiedy i jak zapisano przydział. Z kolei „uczestnicy sami zapisywali się na dogodny termin” opisuje wybór związany choćby z dostępnością, a być może też z motywacją albo nasileniem trudności. „Jedna grupa zajęciowa uczestniczyła w warsztacie, druga otrzymała materiały” mówi o grupach istniejących przed badaniem.

Losowy dobór osób do próby i losowy przydział do warunku to osobne decyzje. Możesz zrekrutować ochotników z jednego kierunku, a następnie wylosować, kto z nich trafi do warsztatu. Taki przydział pomaga porównać warunki wśród zrekrutowanych uczestników. Żeby uogólnić wynik na studentów innych kierunków lub uczelni, trzeba jeszcze uzasadnić, na ile badana grupa i warunki przypominają tę szerszą populację. Możesz też wylosować osoby do ankiety, a później pozwolić im samodzielnie wybrać warsztat. Wtedy pytanie o wpływ warsztatu nadal napotyka problem nielosowego przydziału.

Zapisz również moment pierwszego pomiaru względem zapisów i zajęć. Jeżeli jedna grupa otrzymała instrukcję do ćwiczeń przed pierwszą ankietą, punkt wyjścia w tej grupie mógł już odzwierciedlać część oddziaływania. Gdy osoby znają swój przydział przed pomiarem, same oczekiwania mogą wpłynąć na sposób odpowiedzi. W miarę możliwości rozdziel datę rekrutacji, pomiaru, przydziału i rozpoczęcia zajęć. Dzięki temu osoba czytająca metodę może odtworzyć kolejność zdarzeń.

Sprawdź, czy przed i po oznaczają to samo

Wynik początkowy (pretest) to pierwsza wartość, wynik końcowy (posttest) to wartość mierzona po ustalonym czasie. Porównanie w punktach skali wymaga wspólnego znaczenia tych punktów. Sprawdź, czy oba pomiary wykorzystują tę samą skalę albo wersje o uzasadnionej porównywalności, zgodny klucz oraz ten sam kierunek interpretacji. Jeśli większa liczba oznacza większe napięcie, spadek wyniku oznacza spadek zgłaszanego napięcia. Zmiana z 22 do 19 daje -3 punkty przy definicji „po minus przed”.

Otwórz instrukcję punktowania. Zobacz, czy w obu terminach te same pozycje wymagają odwrócenia punktacji i według tej samej reguły traktowano brak odpowiedzi. Czasem w jednym pliku jest suma pozycji, w drugim średnia, a ich nagłówki wyglądają podobnie. Sprawdź również, czego dotyczył formularz. Pytanie o napięcie „w tej chwili” oraz pytanie o napięcie „w ciągu ostatniego tygodnia” mogą dać dwie liczby z tego samego zakresu, które odnoszą się do innych ram czasowych. W takim przypadku najpierw ustal, czy oba wyniki można sensownie traktować jako pomiary tego samego zjawiska.

Ustal, ile osób rzeczywiście bierze udział w każdym porównaniu

Para to dwie obserwacje tej samej osoby. Kod uczestnika w Twoim zestawieniu powinien odsyłać do zweryfikowanego powiązania, a każda osoba powinna mieć przypisany jeden wynik na dany termin zgodnie z zasadami badania. Policz osobno pełne pary, wyniki tylko z pierwszego pomiaru i wyniki tylko z drugiego pomiaru. Zapisz, ile obserwacji wykorzystasz w analizie głównej. Gdy powtarza się kod, najpierw wyjaśnij pochodzenie rekordu. Szczegóły organizacyjne, np. powtórne wypełnienie skali po przerwaniu formularza, mogą zmienić regułę wyboru zapisu.

Wśród osób, które ukończyły warsztat i odpowiedziały dwa razy, średnia przed warsztatem może być inna niż wśród wszystkich zrekrutowanych. Gdy od średniej końcowej z jednej podgrupy odejmiesz średnią początkową z innej, wynik będzie obejmował zmianę składu uczestników. Średnia indywidualnych zmian równa się różnicy średnich przed i po wtedy, gdy liczysz obie średnie dla dokładnie tych samych osób i każdej przypisujesz taką samą wagę.

Jeżeli chcesz prześledzić, dlaczego trzy metody dają inne liczby, porównaj je najpierw na tym samym zbiorze pełnych par. To kontrola rachunku. W rzeczywistym badaniu wybór osób do analizy głównej zależy od projektu i braków w danych. Porównanie wszystkich dostępnych wyników końcowych może objąć więcej osób niż prosta analiza zmiany lub podstawowa ANCOVA, do których potrzebne są dwie wartości. Podaj różnicę liczebności w raporcie, żeby czytelnik mógł ocenić, czy rozbieżność dotyczy sposobu liczenia, składu próby czy obu tych rzeczy.

Trzy porównania, które możesz wykonać w arkuszu i w modelu

Wynik końcowy pokazuje, gdzie grupy były po zajęciach

W pierwszym podejściu obliczasz średnią wyniku końcowego w każdej grupie. Następnie od średniej w grupie warsztatowej odejmujesz średnią w grupie porównawczej. Wynik jest różnicą w punktach skali w ustalonym terminie. To przydatne, gdy np. pytanie dotyczy średniego poziomu napięcia pod koniec cyklu. Możesz wtedy jasno powiedzieć, która grupa zgłaszała większe napięcie i o ile punktów różniły się średnie.

Jeśli grupy startowały z różnych miejsc, wynik końcowy może zachować różnicę istniejącą przed badaniem. Grupa z wyższym napięciem na starcie może wyraźnie obniżyć wynik i nadal zakończyć badanie z wyższą średnią niż druga grupa. Grupa o niższej średniej końcowej może też mieć taki wynik częściowo dlatego, że wcześniej miała niższą średnią. Do opisania końca wystarczą wyniki z tego terminu. Do wyjaśnienia, jak grupy do niego doszły, potrzebne są informacje o pierwszym pomiarze i o tym, co działo się między terminami.

Jeżeli celem jest wnioskowanie o różnicy średnich w dwóch niezależnych grupach na podstawie samego pomiaru końcowego, metoda wnioskowania powinna odpowiadać rozrzutowi danych i układowi próby. Osoby z jednego zespołu warsztatowego mogą mieć wyniki podobne z powodów wspólnych dla zespołu. Wtedy samo oznaczenie dwóch warunków w arkuszu nie wystarczy, by potraktować każdego uczestnika jako w pełni niezależne powtórzenie. Z kolei pojedynczy test porównujący wyniki końcowe odpowie tylko na pytanie, które mu postawisz. Do porównania zaobserwowanych zmian musisz dostarczyć zmiany lub odpowiednio zbudować model dla dwóch pomiarów.

Średnia zmiana opisuje, co zaobserwowano u osób z parą pomiarów

Dodaj kolumnę „zmiana” i wpisz w każdym wierszu wynik końcowy minus wynik początkowy. Ustal kolejność odejmowania raz. W skali napięcia ujemna wartość oznacza spadek, dodatnia wzrost. Podaj średnią zmianę w każdej grupie i oblicz różnicę tych średnich w uzgodnionym kierunku, np. warsztat minus grupa porównawcza. Jeśli w grupie warsztatowej średnia zmiana wynosi -3, a w porównawczej 0, różnica średnich zmian wynosi -3 punkty.

Dwa testy „przed i po” przeprowadzone osobno w każdej grupie odpowiadają na dwa pytania o zmianę wewnątrz grup. Jeden z nich może dać małą wartość p, a drugi dużą, gdy grupy mają podobne średnie zmiany i różną liczebność albo różny rozrzut. Wniosek o tym, czy zmiany różnią się między grupami, oprzyj na oszacowaniu tej różnicy i jej niepewności. W układzie z dwiema niezależnymi grupami oznacza to bezpośrednie porównanie zmian uczestników między grupami lub odczytanie odpowiedniego kontrastu z modelu uwzględniającego oba terminy. Sam fakt sparowania dotyczy wyników w obrębie osoby.

Proste odejmowanie nadaje wynikowi początkowemu określoną rolę. Przy porównaniu zmiany odejmujesz od różnicy końcowej całą różnicę wyjściową. Za chwilę zobaczysz przykład, w którym różnica wyjściowa wynosi 4 punkty, a różnica końcowa 1 punkt. Różnica zmian wynosi więc 1 – 4, czyli -3 punkty. Do wykonania tego rachunku wystarcza definicja zmiany. Interpretacja jako skutku warsztatu wymaga dodatkowych informacji o tym, jak średnie zmieniłyby się bez warsztatu.

Analiza kowariancji porównuje przewidywane wyniki przy wspólnym poziomie wyjściowym

W podstawowym modelu ANCOVA zmienną objaśnianą jest wynik końcowy. Model uwzględnia grupę i wynik początkowy jako predyktory, czyli informacje użyte do przewidywania wyniku. Wynik początkowy pełni tu funkcję kowariaty, dodatkowej zmiennej uwzględnionej w porównaniu. W modelu liniowym ze wspólnym nachyleniem związek wyniku początkowego z końcowym opisuje jedna liczba dla obu grup. Można to sobie wyobrazić jako dwie równoległe proste z osobną wysokością dla każdej grupy.

Zapisz grupę warsztatową jako 1, a porównawczą jako 0. Możesz też od wyniku początkowego odjąć wartość odniesienia, np. 20 punktów. Przy takim zapisie stała modelu jest przewidywaną średnią w grupie porównawczej dla osoby zaczynającej od 20 punktów. Współczynnik grupy jest oszacowaną różnicą przewidywanych średnich „warsztat minus porównanie” przy wspólnym wyniku startowym. W modelu z równoległymi prostymi ta różnica jest taka sama przy każdym wyniku startowym. Zakres interpretacji warto jednak ograniczyć do poziomów, dla których masz dane z obu grup.

Współczynnik wyniku początkowego mówi, o ile w modelu różni się przewidywany wynik końcowy przy różnicy jednego punktu na starcie, w obrębie tej samej grupy. W przykładzie współczynnik wynosi 0,5. Dwie osoby z jednej grupy różniące się na starcie o 2 punkty mają zatem przewidywane wyniki końcowe odległe o 1 punkt. W rzeczywistej pracy tę liczbę oszacujesz na podstawie danych. Pomaga ona rozłożyć różnicę końcową na część związaną z rozkładem wyników na starcie i pozostałą różnicę przewidywaną przez model dla wspólnego poziomu startowego.

Przykład z psychologii. Warsztat przed wystąpieniem

Wyobraź sobie projekt z psychologii, w którym sprawdzasz napięcie odczuwane przed prezentacją. Grupa A uczestniczy w krótkim warsztacie, grupa B otrzymuje materiały do samodzielnego przeczytania. Przed rozpoczęciem obu warunków i po tygodniu każda osoba wypełnia tę samą skalę. Na potrzeby przykładu przyjmujemy umowny zakres 0-40, w którym wyższy wynik oznacza większe zgłaszane napięcie. Poniższe liczby są wymyślone do przećwiczenia rachunku. Skala, uczestnicy i zajęcia są elementami przykładu.

Przepisz dane do arkusza w układzie „kod, grupa, przed, po”. Nawias przy kodzie oznacza kolejno wynik przed i po.

• Grupa A (warsztat). A1 (18, 18), A2 (20, 16), A3 (22, 21), A4 (24, 18), A5 (26, 22).
• Grupa B (materiały). B1 (14, 15), B2 (16, 19), B3 (18, 16), B4 (20, 21), B5 (22, 19).

Każda grupa ma pięć pełnych par. Wszystkie różnice między grupami liczymy jako A minus B. Dzięki temu znak dodatni przy wyniku końcowym oznacza wyższe napięcie w A, a znak ujemny przy różnicy zmian oznacza, że wynik w A obniżył się bardziej niż w B albo wzrósł mniej.

Krok 1. Porównaj oba terminy w tych samych grupach

Średni wynik początkowy w A to (18 + 20 + 22 + 24 + 26) / 5 = 22. W B to (14 + 16 + 18 + 20 + 22) / 5 = 18. Różnica wyjściowa A minus B wynosi 4 punkty.

Średni wynik końcowy w A to (18 + 16 + 21 + 18 + 22) / 5 = 19. W B to (15 + 19 + 16 + 21 + 19) / 5 = 18. Różnica końcowa A minus B wynosi 1 punkt. Po tygodniu osoby z grupy warsztatowej miały w tym przykładzie średnio o punkt wyższy wynik niż osoby, które otrzymały materiały. Dwa wyniki grupowe pokazują także, że odstęp między średnimi zmniejszył się z 4 do 1 punktu.

Krok 2. Oblicz zmianę w każdym wierszu

Dla A1 zmiana to 18 – 18 = 0. Dla A2 to 16 – 20 = -4. Oblicz tak każdą parę.

• Grupa A. 0, -4, -1, -6, -4. Suma wynosi -15, a średnia -15 / 5 = -3 punkty.
• Grupa B. +1, +3, -2, +1, -3. Suma wynosi 0, a średnia 0 / 5 = 0 punktów.

Po odjęciu średniej zmiany w B od średniej zmiany w A dostajesz -3 – 0 = -3 punkty. W danych przykładowych średni spadek w A był o 3 punkty większy niż w B. Wynik B równy 0 opisuje średnią. B2 zgłosił wzrost o 3 punkty, B5 spadek o 3 punkty. Te dwie zmiany się równoważą, chociaż każda z nich ma inny kierunek.

Możesz sprawdzić rachunek na średnich. Obliczenie (19 – 22) – (18 – 18) daje -3. To także różnica końcowa 1 minus różnica początkowa 4. W badaniu z brakami zacznij od sprawdzenia, czy w średnich występują te same osoby. Jeśli zbiór jest inny, kontrola w tej postaci przestaje być porównaniem średnich indywidualnych zmian.

Krok 3. Wyznacz różnicę przy wspólnym wyniku startowym

Załóżmy w ćwiczeniu model liniowy z osobną stałą dla każdej grupy i wspólnym nachyleniem. Wspólny zakres wyników startowych to 18-22 punkty. Wynik 20 wystąpił w obu grupach, więc wybieramy go jako punkt odniesienia. W analizie wszystkich dziesięciu obserwacji współczynnik przy wyniku początkowym wynosi 0,5.

Możesz to odtworzyć ręcznie. W obrębie każdej grupy odejmij jej własną średnią początkową od wartości początkowych i jej własną średnią końcową od wartości końcowych. W obu grupach otrzymasz te same odchylenia od średniej początkowej, kolejno -4, -2, 0, +2 i +4. Suma ich kwadratów wynosi 40 w A i 40 w B.

• W A odchylenia wyniku końcowego od średniej 19 wynoszą -1, -3, +2, -1 i +3. Suma iloczynów z odpowiadającymi im odchyleniami wyniku początkowego wynosi 4 + 6 + 0 – 2 + 12 = 20.
• W B odchylenia wyniku końcowego od średniej 18 wynoszą -3, +1, -2, +3 i +1. Suma analogicznych iloczynów wynosi 12 – 2 + 0 + 6 + 4 = 20.

Nachylenie to suma iloczynów podzielona przez sumę kwadratów odchyleń wyniku początkowego. Z tych danych otrzymujesz (20 + 20) / (40 + 40) = 0,5. Liczymy odchylenia od własnych średnich grup, ponieważ chcemy oszacować związek wyniku przed i po w obrębie grup. Gdybyś obliczył związek pomiarów w połączonych danych bez informacji o grupie, odstęp między średnimi grup też miałby wpływ na tę liczbę.

Przy wyniku początkowym 20 grupa A zaczyna o 2 punkty poniżej własnej średniej startowej. Jej przewidywana średnia końcowa to 19 + 0,5 × (20 – 22) = 18. Grupa B przy wyniku 20 zaczyna o 2 punkty powyżej swojej średniej, więc jej przewidywana średnia końcowa to 18 + 0,5 × (20 – 18) = 19. Skorygowana różnica A minus B wynosi 18 – 19 = -1 punkt. Ten sam wynik daje rachunek 1 – 0,5 × 4 = -1. W tym modelu od różnicy końcowej odejmujesz 0,5 punktu za każdy punkt różnicy wyjściowej, czyli łącznie 2 punkty.

Krok 4. Przeczytaj wyniki w punktach skali

• +1 punkt w pomiarze końcowym. W obserwowanej próbie A ma wyższą średnią końcową niż B.
• -3 punkty w różnicy zmian. W obserwowanej próbie średnia w A obniżyła się o 3 punkty więcej niż średnia w B.
• -1 punkt w modelu z pomiarem wyjściowym. Przy wspólnym wyniku startowym 20 punktów model przewiduje dla A wynik końcowy o 1 punkt niższy niż dla B.

Współczynnik 0,5 dotyczy tego zbioru i tego modelu. W innych danych może być bliższy 0 albo 1, może przekraczać 1, a czasem wspólne nachylenie jest złym opisem. W podstawowym modelu dla tych samych osób porównanie samego wyniku końcowego odpowiada użyciu w korekcie wagi 0 dla punktu wyjścia. Porównanie średniej zmiany używa wagi 1. ANCOVA szacuje wagę z danych. Przy średnich startowych równych w analizowanej próbie różnica początkowa wynosi 0, więc wszystkie trzy oszacowania punktowe się pokrywają w tak określonym układzie. Ich błędy standardowe nadal mogą być różne, ponieważ do oszacowania niepewności wykorzystują inne informacje.

Mały zbiór pozwala przeliczyć każdy krok i odtworzyć wynik. Przy pięciu osobach na grupę jeden nietypowy zapis może istotnie zmienić średnią albo położenie prostej. Na podstawie ćwiczenia można opisać wynik obliczeń, lecz ocena działania warsztatu wymaga projektu badania, miary niepewności i rozważenia znaczenia różnicy na skali. Przykładowy 1 punkt nie ma z góry ustalonego znaczenia praktycznego.

Dlaczego sposób przydziału ma znaczenie dla interpretacji

Losowanie pozwala traktować różnicę startową jako możliwą konsekwencję przypadku

Załóżmy najpierw, że wszystkie dziesięć osób zgłosiło się do tego samego badania, wypełniło pomiar początkowy, a potem losowo przydzielono je do A lub B. Jedno losowanie może dać grupę A ze średnią 22 i B ze średnią 18. Gdybyś powtarzał poprawnie zaplanowany, równy przydział na tych samych uczestnikach, przypadkowe różnice przyjmowałyby różne wartości. W takim układzie oczekiwana różnica startowa między grupami wynosi zero. Pojedyncze losowanie może dać odstęp 4 punktów albo inny.

Jeśli wynik startowy pomaga przewidzieć końcowy, ujęcie go w zaplanowanym modelu może poprawić precyzję oszacowania różnicy między warunkami (Vickers i Altman, 2001). Zmniejsza się wtedy część rozrzutu pozostająca do wyjaśnienia po uwzględnieniu poziomu startowego. W badaniu randomizowanym warto ustalić główną metodę przed poznaniem wyników końcowych, uwzględniając schemat losowania, punkt końcowy i ważne predyktory. Wybór analizy oparty na tym, które porównanie daje najmniejsze p, utrudnia uczciwą interpretację otrzymanej wartości p i przedziału ufności.

Test istotności różnicy startowej nie zastępuje opisu przydziału. Małe p w poprawnie randomizowanym badaniu może powstać przypadkiem. Duże p w grupach utworzonych samodzielnie może wynikać z małej próby, szerokiego rozrzutu lub podobnych średnich przy różnym rozkładzie wyników. Zapisz średnie, liczebności i rozrzut na starcie. Gdy różnica wydaje się zaskakująca, skontroluj kody grup, kolejność pomiarów i zgodność z procedurą losowania. Wybór zaplanowanej analizy oprzyj na pytaniu i projekcie.

Zadbaj też o to, co dzieje się po losowaniu. Jeśli część wylosowanych do A nie przyszła na zajęcia, podział według faktycznego uczestnictwa może utracić zaletę przydziału losowego. Zastanów się, czy pytasz o efekt przydzielenia do warsztatu, czy o efekt udziału w nim. Pierwsze pytanie co do zasady odpowiada analizie według pierwotnego przydziału, z odpowiednim postępowaniem z brakującymi danymi. Drugie może wymagać dodatkowych metod i założeń, bo osoby uczestniczące różnią się od osób, które zrezygnowały. W raporcie podaj, ile osób wylosowano, ile faktycznie uczestniczyło i ilu uczestników dostarczyło wynik końcowy.

Przy samodzielnym zapisie rozważ, co różniło grupy poza punktacją

W drugim wariancie te same liczby pochodzą z projektu, w którym uczestnicy sami zapisywali się na warsztat lub wybierali materiały. Osoby silniej odczuwające napięcie mogły częściej wybrać warsztat. Mogły też aktywniej ćwiczyć, korzystać z dodatkowego wsparcia albo mieć terminy prezentacji bliższe dacie pierwszej ankiety. Model z wynikiem początkowym uwzględnia punktację, którą masz w arkuszu. Pozostałe różnice mogą dalej mieć związek z tym, co zaobserwowano po tygodniu.

Podobna trudność występuje, gdy A i B to gotowe grupy zajęciowe. Jedna grupa może mieć zajęcia przed wystąpieniami, druga po nich. Mogą różnić się nauczycielem, liczebnością lub rozkładem roku studiów. Jeśli każdemu warunkowi odpowiada tylko jedna grupa zajęciowa, warunek i grupa są ze sobą splecione. Większa liczba studentów w tych dwóch grupach nie tworzy kolejnych niezależnych powtórzeń przydziału warunku. W takim przypadku opisz zaobserwowane porównanie dwóch grup wraz z okolicznościami zajęć. Aby oceniać oddziaływanie na poziomie grup, projekt badania musi dać podstawę do oddzielenia warunku od cech konkretnych grup.

Warto osobno potraktować przydział zależny od wyniku początkowego. Przykładowo osoba może zostać skierowana na warsztat po przekroczeniu progu napięcia. W niektórych schematach uwzględnienie zmiennej użytej do przydziału jest kluczowe dla poprawnego modelu. Przy sztywnym progu uczestnicy o tym samym wyniku wyjściowym mogą mieć dostęp tylko do jednego warunku. Zwykłe porównanie z modelu opiera się wtedy mocno na założeniu o przebiegu prostej poza zakresem wspólnych danych. Zapisz regułę przydziału, sprawdź wykres i ogranicz wniosek do tego, co uzasadnia projekt. Oszacowanie skutku przy przydziale według progu może wymagać specjalnego projektu i analizy wokół progu, z własnymi warunkami.

Zastanów się, jak zmieniłyby się grupy w porównywalnych warunkach

W badaniu nielosowym prosta różnica zmian bywa używana jako opis tego, jak grupy przesunęły się między pomiarami. Aby zinterpretować ją jako skutek warsztatu, trzeba uzasadnić, że bez warsztatu grupy miałyby tę samą średnią zmianę w analizowanym okresie. Jeden pomiar przed zajęciami mówi, gdzie grupy były na starcie. Nie pokazuje ich wcześniejszych trendów. Nawet podobne trendy przed zajęciami są tylko częścią uzasadnienia, bo później może wystąpić zdarzenie wpływające na jedną z grup.

W modelu z wynikiem początkowym istotne jest z kolei pytanie, czy osoby z obu grup o porównywalnym wyniku startowym byłyby podobne pod względem oczekiwanego wyniku końcowego w tym samym warunku. Jeżeli różnią się np. przygotowaniem do prezentacji, a tego nie zmierzono, korekta o napięcie na starcie może pozostawić ważną różnicę. Przy tej interpretacji liczą się również porównywalność pomiaru, dostęp do obu warunków dla porównywalnych osób oraz sposób postępowania z brakami.

Van Breukelen (2006) i Senn (2006) pokazują, jak założenia o przydziale i o wynikach bez oddziaływania zmieniają ocenę obu metod. W analizowanych przez Van Breukelena grupach istniejących przed badaniem istotną rolę odgrywały wcześniejsze różnice między populacjami i sposób rekrutacji. Senn zwraca uwagę, że sama nierówność średnich wyjściowych nie rozstrzyga, czy korekta daje obciążone oszacowanie. Dla pracy z samodzielnym zapisem praktyczny wniosek jest taki, że oba obliczenia możesz opisać jako porównania statystyczne, a siłę twierdzenia o przyczynie trzeba uzasadnić niezależnie od tego, która liczba lepiej pasuje do hipotezy.

Jak sprawdzić, czy model pasuje do Twoich danych

Zacznij od wykresu obu pomiarów

Na osi poziomej umieść wynik przed, na pionowej wynik po. Każdy punkt odpowiada jednej osobie. Oznacz grupy odmiennymi kolorami lub symbolami. Obejrzyj najpierw wspólny zakres punktacji, a potem kształt zależności wewnątrz każdej grupy. Przykład daje wspólne wartości 18, 20 i 22. Jeśli jedna grupa zaczyna między 10 a 20, a druga między 25 a 35, różnicę „przy tym samym wyniku” wyznaczysz głównie dzięki założeniom modelu. Dorysowanie prostej między pustymi zakresami może być poprawnym działaniem programu, lecz nie dostarcza nowych obserwacji.

Jeśli prosta dla jednej grupy rośnie znacznie szybciej, różnica między przewidywanymi wynikami może zależeć od wyniku początkowego. W modelu uwzględnia się wtedy interakcję grupy i wyniku startowego. Interakcja pozwala oszacować różnicę przy wybranych poziomach startowych w zakresie wspólnym, np. 18 i 22 punktach, oraz podać niepewność obu oszacowań. Przy małej próbie przedział dla interakcji może być bardzo szeroki. Oprzyj decyzję również na wiedzy o skali, wykresie i celu analizy. Duże p w teście interakcji nie wystarcza, żeby potwierdzić równe nachylenia.

Sprawdź też reszty, czyli różnice między wynikiem obserwowanym i przewidywanym przez model. Systematyczne odchylenie w jedną stronę przy niskich i wysokich wynikach może sugerować krzywoliniowy związek. Większy rozrzut reszt w jednej grupie ma znaczenie dla obliczania niepewności. Jeżeli pojedyncza obserwacja silnie zmienia oszacowanie, sprawdź jej źródło i prawidłowość punktacji. Wiarygodny nietypowy wynik zachowaj zgodnie z przyjętymi zasadami i w razie potrzeby pokaż, jak wpływa na analizę. Istotna jest też niezależność obserwacji na poziomie przydziału i zbierania danych.

Uwzględnij granice skali i regresję do średniej

Osoba, która zaczyna od 39 punktów na skali do 40, może wzrosnąć maksymalnie o 1 punkt. Osoba zaczynająca od 2 punktów może spaść najwyżej o 2. Gdy w jednej grupie wiele osób zaczyna blisko granicy skali, dostępna przestrzeń do zmiany różni się między grupami. Zobacz, ile osób ma wartości przy minimum i maksimum w obu terminach. Porównaj też znaczenie punktów w różnych częściach skali według dokumentacji narzędzia. Przy silnym spiętrzeniu wyników na granicy lub przy skali z kilkoma uporządkowanymi kategoriami model liniowy może słabo opisywać dane.

Regresja do średniej jest osobnym zjawiskiem. Wynik pojedynczej osoby zależy częściowo od chwilowych okoliczności i błędu pomiaru. Jeżeli do warsztatu wybierzesz osoby z wyjątkowo wysokimi wynikami, część z nich uzyska później wartości mniej skrajne nawet przy stabilnym przeciętnym poziomie napięcia. Bąbel (2008) omawia to ryzyko na przykładzie doboru osób według nasilenia objawów. Brzeziński (1989) zwraca również uwagę, że sam pretest może uwrażliwić osoby badane i zmienić ich reakcję na kolejne etapy eksperymentu. W projekcie o napięciu przed prezentacją pierwsze pytania mogą skierować uwagę uczestników na konkretne reakcje, które później oceniają ponownie.

Zobacz, kto nie dostarczył pomiaru końcowego

Zestaw osoby z pełnymi parami i osoby z udokumentowanym brakiem pomiaru końcowego. Sprawdź, ile ich było w obu warunkach i czy różniły się wynikiem wyjściowym. Załóżmy, że w A brak odpowiedzi dotyczy głównie osób o wysokim napięciu na starcie. Średnia końcowa wśród osób z pełną parą może wtedy opisywać podgrupę o innym składzie niż wszyscy przydzieleni. Warto odnotować znane przyczyny, np. kolizję terminu lub rezygnację po pierwszym spotkaniu. Zera mają sens jako zaobserwowane wartości skali. Pusta komórka powinna zachować informację o braku obserwacji.

Przy większych brakach wybór analizy zależy od tego, jakie dane zachowano i jakie założenia dotyczące nieobecnych wyników można uzasadnić. Model powtarzanych pomiarów lub odpowiednio przeprowadzona imputacja wielokrotna mogą wykorzystać część informacji pomijanych przez analizę pełnych par. Imputacja wielokrotna polega na tworzeniu kilku uzupełnionych wersji danych i połączeniu wniosków z uwzględnieniem niepewności uzupełnienia. Przy powiązaniu braków z nieobserwowanymi wynikami mogą być potrzebne dodatkowe założenia i analiza wrażliwości. Jeśli projekt pozwala tylko na opis pełnych par, wskaż ten zakres w metodzie, wynikach i dyskusji.

Jak zapisać metodę, wynik i ograniczenia

Metoda w przykładowym badaniu z losowym przydziałem. „Po pomiarze wyjściowym uczestników losowo przydzielono do grupy warsztatowej albo do grupy otrzymującej materiały. Napięcie przed wystąpieniem zmierzono ponownie po tygodniu. W analizie głównej wynik końcowy modelowano jako funkcję przydziału i wyniku początkowego. Różnicę wyrażono jako przewidywany wynik w grupie warsztatowej minus przewidywany wynik w grupie otrzymującej materiały przy wspólnym poziomie wyjściowym”. Do własnej metody dopisz sposób losowania i postępowanie z brakami, jeżeli dotyczy.

Wynik dla danych przykładowych. „W analizie znalazło się po pięć pełnych par z każdej grupy. Średni wynik w grupie A zmienił się z 22 do 19 punktów, a w B wyniósł 18 punktów w obu terminach. W modelu liniowym przy poziomie wyjściowym 20 punktów przewidywane wyniki końcowe wyniosły 18 punktów w A i 19 w B. Skorygowana różnica A minus B wyniosła -1 punkt”. W rzeczywistej pracy dodaj miarę rozrzutu oraz przedział ufności dla głównej różnicy. Gdy raportujesz p, podaj je przy właściwym porównaniu. Szerszy przedział oznacza, że dane i model zostawiają miejsce na większy zakres różnic. Jeżeli obejmuje wartości o różnych praktycznych konsekwencjach, zaznacz tę niepewność.

Ograniczenie przy samodzielnym zapisie. „Uczestnicy sami wybierali warunek. Model uwzględniał początkowy poziom napięcia. Na końcową różnicę mogły mieć wpływ także wcześniejsze doświadczenie z wystąpieniami i termin prezentacji, których nie uwzględniono w analizie. Oszacowanie interpretujemy jako porównanie skorygowane o wynik początkowy”. Dostosuj listę możliwych wyjaśnień do rekrutacji i informacji, które rzeczywiście zebrano.

Przed oddaniem rozdziału sprawdź, czy w metodzie, opisie i podpisie wykresu grupa odniesienia jest ta sama. Podaj kolejność odejmowania, termin końcowy i liczbę osób w analizie. Przy równoległych prostych wskaż wspólny punkt wyjścia służący do przedstawienia przewidywanych średnich. Jeśli włączyłeś interakcję, podaj konkretne wartości wyjściowe, których dotyczą raportowane różnice. Jeżeli oprócz głównej analizy pokazujesz porównanie zmian, opisz je przy jego własnej wartości i przedziale. Przy rozbieżności między metodami wróć do wspólnego zakresu danych, przydziału, braków i założeń, które prowadzą od obliczenia do wniosku.

Bibliografia

• Bąbel, P. (2008). Efekt placebo: fakt czy artefakt? Roczniki Psychologiczne, 11(1), 59-76. Regresja do średniej, s. 66-67.
• Brzeziński, J. (1989). Eksperymentalne badanie zmian – metodologiczne problemy stosowania pretestu zmiennej zależnej. Przegląd Socjologiczny, 37, 113-139.
• Senn, S. (2006). Change from baseline and analysis of covariance revisited. Statistics in Medicine, 25(24), 4334-4344. DOI 10.1002/sim.2682.
• Van Breukelen, G. J. P. (2006). ANCOVA versus change from baseline: more power in randomized studies, more bias in nonrandomized studies. Journal of Clinical Epidemiology, 59(9), 920-925. DOI 10.1016/j.jclinepi.2006.02.007. PMID 16895814.
• Vickers, A. J., i Altman, D. G. (2001). Analysing controlled trials with baseline and follow up measurements. BMJ, 323(7321), 1123-1124. DOI 10.1136/bmj.323.7321.1123. PMCID PMC1121605.