Na tym samym nagraniu jedna osoba zaznacza, że uczestnik poprosił o wyjaśnienie polecenia. Druga ogląda ten sam fragment i wpisuje zero. Jeśli w pracy z pedagogiki korzystasz z obserwacji, sprawdź, jak często zdarzają się takie rozbieżności. Na przykładzie 40 fragmentów zobaczysz, jak zestawić oceny, policzyć procent zgodności i kappę Cohena oraz opisać je w pracy.
Najpierw sparuj oceny. Przygotuj obu osobom listę tych samych fragmentów. Niech zapiszą decyzje oddzielnie i oddadzą arkusze przed rozmową o rozbieżnościach. Do obliczeń użyjesz ich pierwszych ocen. Uzgodnione później kody możesz zachować w osobnej kolumnie.
Ustal, co oznacza jedna ocena
Załóżmy, że w fikcyjnej pracy z pedagogiki badasz warsztaty dla dorosłych na polskiej uczelni. Dwoje obserwatorów ogląda te same 40 odcinków po 30 sekund, po pięć z każdych z ośmiu zajęć. Kod 1 oznacza, że w odcinku padła co najmniej jedna słowna prośba o doprecyzowanie instrukcji zadania. Kod 0 oznacza, że dało się ocenić odcinek i taka prośba nie padła. Jeśli prowadzący sam powtórzy instrukcję, dalej jest to 0. Jeśli padną dwie prośby, w tej samej rubryce nadal pojawi się jedna jedynka.
W arkuszu zapisz numer zajęć, identyfikator fragmentu, jego początek i koniec oraz wersję instrukcji. Połącz zapisy obu osób po identyfikatorze, tak aby w jednym wierszu znalazły się dwie oceny tego samego odcinka. Sprawdź, czy żaden identyfikator się nie powtarza. Jeśli nagrania nie słychać i jedna osoba nie może ocenić fragmentu, odnotuj brak oceny osobno. Ustal wcześniej, jak potraktujesz takie pary. Podaj osobno liczbę wszystkich fragmentów i tych z dwiema ważnymi ocenami. Tutaj kompletne są wszystkie 40 par.
Przetestuj instrukcję na materiale, który zostawisz poza właściwym badaniem zgodności. Załóżmy, że po pytaniu „Jak?” jedna osoba wpisuje 1, a druga 0. Doprecyzuj w instrukcji, że taka wypowiedź liczy się, gdy z kontekstu wiadomo, że chodzi o sposób wykonania zadania. Ustal ostateczne zasady po próbie i daj tę samą wersję obojgu obserwatorom. Przy pisaniu metodologii możesz skorzystać z poradnika „Jak opisać narzędzie badawcze w pracy dyplomowej? Kwestionariusz autorski i gotowa skala”.
Policz, ile razy obserwatorzy się zgodzili
Oznacz obserwatorów literami A i B. W każdej parze czytaj najpierw kod A, potem kod B. Po przejrzeniu 40 wierszy otrzymasz cztery liczby.
- 1 i 1. Oboje usłyszeli prośbę w 8 fragmentach.
- 1 i 0. Tylko A zaznaczył prośbę w 2 fragmentach.
- 0 i 1. Tylko B zaznaczył prośbę w 3 fragmentach.
- 0 i 0. Oboje zapisali brak prośby w 27 fragmentach.
Dodaj 8 i 27. Oceny zgadzają się w 35 z 40 par. To 0,875, czyli 87,5%. Udział par o takich samych ocenach oznacza się jako po. Z czterech liczb wyczytasz też, jak często każda osoba wybierała dany kod. Kod 1 pojawił się u A w 10 odcinkach, a u B w 11. Kod 0 odpowiednio w 30 i 29.
Kappa wykorzystuje te proporcje, żeby wyznaczyć punkt odniesienia. Wyobraź sobie, że dwie osoby przypisują kody niezależnie, z taką samą częstością, z jaką faktycznie ich używały. Udział oczekiwanych wspólnych jedynek to (10/40) × (11/40), a wspólnych zer (30/40) × (29/40). Po dodaniu otrzymasz pe = 0,6125. Ta liczba opisuje model, który pozwala odnieść rzeczywiste zbieżności do częstości używania kodów.
Nieważona kappa Cohena. Odejmij oczekiwaną zgodność od zaobserwowanej. Podziel wynik przez różnicę między pełną a oczekiwaną zgodnością. κ = (0,875 – 0,6125)/(1 – 0,6125) ≈ 0,68. W wynikach podaj współczynnik 0,68 i osobno procent zgodności 87,5%.
Zobacz, skąd biorą się zgodne oceny
W pierwszym zestawie obie osoby rozpoznały prośbę w tych samych ośmiu odcinkach. Porównaj to z drugim, też fikcyjnym zestawem. W 38 z 40 fragmentów obie osoby wpisały zero. Każda wpisała jedynkę raz, w innym fragmencie. Zgodność wynosi 95%, a kappa około -0,03. To pokazuje, że niemal pełna zgodność w rozpoznawaniu braku zdarzenia może dać wysoki procent mimo braku wspólnych wskazań samego zdarzenia. Tę zależność kappy od częstości kategorii omawia po polsku Jarosz-Nowak.
Jeśli wszędzie oboje wpiszą 0, zgodność wyniesie 100%. Z modelu wyjdzie wtedy pe = 1, czyli w mianowniku kappy pojawi się zero i współczynnik będzie nieokreślony. W pracy podaj ten powód oraz liczby par. Przy bardzo małej liczbie jedynek zakres oceny instrukcji dla tej kategorii jest ograniczony.
W pierwszym zestawie wróć do pięciu rozbieżnych fragmentów. Sprawdź na przykład, czy w kilku miejscach padało krótkie „Jak?” bez dalszego dopowiedzenia. Zgodność mówi o tym, na ile podobnie stosowano instrukcję. Trafność wymaga osobnego uzasadnienia. Gdy chcesz badać trudność zadania, zastanów się, czy ustna prośba o wyjaśnienie obejmuje także sytuację osoby, która miała problem i nic nie powiedziała.
Pięć odcinków z tych samych zajęć może być bardziej do siebie podobnych niż odcinki z różnych spotkań. Podane obliczenia opisują 40 wybranych fragmentów. Jeśli w pracy potrzebujesz przedziału ufności, dobierz metodę uwzględniającą powiązania w obrębie zajęć. Jeśli chcesz uogólniać wynik na inne zajęcia, wyjaśnij także, jak dobrano materiał.
Jak zapisać zgodność w pracy
Dwoje obserwatorów niezależnie oceniło 40 fragmentów po 30 sekund z ośmiu zajęć warsztatowych. Kod 1 oznaczał wystąpienie co najmniej jednej ustnej prośby o doprecyzowanie instrukcji zadania. Kod 0 oznaczał brak prośby w odcinku, który dało się ocenić. Wszystkie pary były kompletne. Obie osoby wpisały 1 w ośmiu odcinkach i 0 w 27. W pięciu odcinkach ich oceny się różniły (dwie pary 1 i 0 oraz trzy pary 0 i 1). Zgodność wyniosła 87,5% (35/40), a nieważona kappa Cohena κ = 0,68 dla analizowanych fragmentów.
Co powinien znaleźć czytelnik Twojej pracy?
- W metodologii opisz, skąd pochodzą fragmenty, co oznaczają kody i z której wersji instrukcji korzystali obserwatorzy.
- Wyjaśnij, jak każda osoba zapisała ocenę niezależnie, ile było pełnych par i jak potraktowano braki.
- W wynikach podaj cztery liczby par, procent zgodności i nieważoną kappę. W przypadku niemożności obliczenia współczynnika podaj przyczynę.
- W dyskusji opisz, czego uczą Cię rozbieżne przypadki i do jakiego materiału odnosi się obliczenie.
Pytania o opis narzędzia i ograniczenia badania
Co powinien zawierać opis narzędzia badawczego w pracy dyplomowej?
Podaj nazwę i pochodzenie narzędzia, cel zastosowania, wersję językową, budowę, sposób udzielania odpowiedzi oraz zasady obliczania wyników. Wyjaśnij warunki wykorzystania, wykonane sprawdzenia i ograniczenia. Opis powinien odnosić się do faktycznie zastosowanego kwestionariusza, a nie późniejszej poprawionej wersji.
Jak połączyć ograniczenie badania z jego wpływem na wnioski?
Nazwij konkretną cechę procedury, wskaż wynik lub twierdzenie, którego dotyczy, i wyjaśnij konsekwencję. Następnie opisz rzeczywiście podjęte działania oraz to, czego mimo nich nie można stwierdzić. Nie zastępuj tego listą ogólnych haseł o małej próbie i braku czasu.
Bibliografia
- Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37-46. DOI 10.1177/001316446002000104.
- Hallgren, K. A. (2012). Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23-34. DOI 10.20982/tqmp.08.1.p023.
- Hallgren, K. A. (2013). Erratum to Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 9(2), 95. DOI 10.20982/tqmp.09.2.p095.
- Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543-549. DOI 10.1016/0895-4356(90)90158-L.
- Jarosz-Nowak, J. (2007). Modele oceny stopnia zgody pomiędzy dwoma ekspertami z wykorzystaniem współczynników kappa. Matematyka Stosowana, 8, 126-154. DOI 10.14708/ma.v35i49.08.1391.
Dopracuj instrukcję albo prześlij zakodowane oceny
Napisz, na którym etapie jesteś. Przed obserwacją możemy pomóc opracować instrukcję i jej opis. Gdy masz już dwa zestawy ocen, możemy sprawdzić ich zgodność i omówić zapis wyniku.
