Masz wyniki stu uczniów z czterech klas. Dwie klasy uczyły się z mapą pojęć, dwie z listą przykładów. Arkusz pokazuje po 50 uczniów w każdej metodzie. Zanim wybierzesz test, dopisz do każdego wyniku identyfikator klasy i odpowiedz na jedno pytanie: kto mógł dostać inną metodę niezależnie od pozostałych? Jeżeli metodę przydzielano całym klasom, decyzja dotyczyła czterech klas. Wyniki stu uczniów nadal pomagają opisać, co wydarzyło się w każdej z nich. Nie oznaczają jednak stu odrębnych przydziałów metody.
W pracy na kierunku „Pedagogika” najpierw ustal, na jakim poziomie zebrano wynik, na jakim ustalono warunek i do jakiej grupy chcesz odnieść wniosek. Na jednym fikcyjnym przykładzie policzysz średnie dla uczniów i średnie dla klas. Zobaczysz, dlaczego ich kolejność może być różna, jak ująć cztery oddziały w rozdziale z wynikami i czym różni się sytuacja, w której zadania faktycznie przydzielono poszczególnym uczniom wewnątrz klas.
Rozpoznaj jednostkę pomiaru, przydziału i wniosku
Jednostka pomiaru mówi, do kogo lub czego należy obserwacja. W arkuszu z indywidualnym testem to uczeń. Jednostka przydziału określa, komu przypisano metodę, materiał lub inny warunek. Może nią być uczeń, oddział, nauczyciel albo szkoła. Wniosek wskazuje, do kogo chcesz odnieść wynik. Możesz opisywać cztery konkretne klasy albo próbować oszacować, jaka różnica wystąpiłaby w szerszej populacji. Przed otwarciem menu z testami zapisz wszystkie trzy odpowiedzi prostymi zdaniami.
Jak ustalić, na którym poziomie przydzielano metodę?
Wróć do harmonogramu zajęć lub notatki z planowania. Jeśli na początku ustalono, że w oddziale A1 wszyscy uczniowie pracują z mapą pojęć, a w oddziale B1 wszyscy z listą przykładów, jednostką decyzji jest oddział. Jeśli nauczyciel miał korzystać z jednej metody we wszystkich swoich oddziałach, przydział nastąpił na poziomie nauczyciela. Jeśli dyrekcja wybrała jedną metodę dla całej szkoły, zbierasz dane na poziomie uczniów, lecz wybór metody odbywa się na poziomie szkoły. Liczba klas nie rozstrzyga wtedy, ile razy wybrano metodę niezależnie.
Poproś osobę prowadzącą projekt o odtworzenie kolejności, jeśli widzisz tylko końcowy arkusz. „W klasie A1 wszyscy mają metodę A” opisuje stan w danych. Nie mówi, czy klasa została przydzielona jako całość, czy uczniów losowano indywidualnie i tak się złożyło, albo czy oddział utworzono już po przydziale. To są różne projekty. Zapisz, czy zastosowano losowanie, decyzję szkolną, harmonogram czy wybór uczestników. Gdy szczegółu nie da się odzyskać, opisz to jako ograniczenie i oprzyj analizę na informacjach, które potrafisz potwierdzić.
Skąd się bierze zależność wyników z tej samej klasy?
Uczniowie z jednej klasy często mają wspólnego nauczyciela, godziny zajęć, instrukcję i warunki rozwiązywania testu. Takie doświadczenia mogą sprzyjać podobieństwu ich wyników. W analizie mówimy wtedy o grupowaniu obserwacji, a klasę nazywamy klastrem. Uczeń jest osobnym uczestnikiem i ma własny wynik. Jednocześnie część warunków pomiaru i nauki dzieli ze swoimi kolegami. Rozpoznanie tej zależności wpływa na to, jak oceniasz precyzję różnicy między metodami.
Wybierz dowolną klasę w swoim zbiorze i zastanów się, co mogło wpłynąć na wszystkich jej uczniów naraz. Jeżeli jeden oddział rozwiązywał test zaraz po przerwie, a drugi przed końcem długiego dnia, to cecha wspólna na poziomie oddziału. U uczniów z tej samej klasy często wspólna jest też informacja o metodzie. Wpisanie tej samej etykiety przy kolejnych 25 uczniach pozwala połączyć wyniki z planem, ale obserwowanie większej liczby osób korzystających z jednej decyzji nie zwiększa liczby niezależnych decyzji o przydziale.
Czy losowanie klas do próby oznacza losowanie metody?
Polski raport ICCS 2022 Instytutu Badań Edukacyjnych pokazuje dwustopniowy dobór próby: najpierw losowano szkoły, a później oddziały w szkołach, w których było ich więcej. W zależności od liczby ósmoklasistów w wielu szkołach do badania włączano jeden lub dwa oddziały. Rozdział o uwarunkowaniach wyników pokazuje też zastosowanie analizy wielopoziomowej, która rozdziela zróżnicowanie między szkołami i między uczniami wewnątrz szkół. To przykład zbierania danych o uczniach w grupach i analizowania ich struktury. Losowanie do udziału nie stanowiło przydziału metody nauczania.
Losowanie do próby i losowanie do metody odpowiadają na różne pytania. Pierwsze dotyczy tego, kto trafi do badania i pod jakimi warunkami wyniki mogą opisywać większą populację. Drugie dotyczy porównania osób lub grup, którym przypisano odmienne warunki. Nawet przy losowym przydziale czterech klas w jednej szkole zasięg wniosku o innych szkołach zależy od sposobu doboru i sytuacji w tych szkołach. W podręczniku CKE Badając egzaminy Jakubowski i Pokropek (2009) opisują, jak w badaniach edukacyjnych rozdzielać pytania i wnioski na poziomie szkół i uczniów. Możesz wykorzystać tę zasadę, sprawdzając, czy odpowiadasz za pomocą tych danych dokładnie na pytanie, które postawiłeś w pracy.
Policzenie wyników z czterech klas krok po kroku
Przyjmijmy, że cztery oddziały z jednej szkoły przez dwa tygodnie ćwiczyły porządkowanie treści z krótkich tekstów. Fikcyjna metoda A to „Mapa pojęć”, a fikcyjna metoda B to „Lista przykładów”. Szkoła przydzieliła metody całym oddziałom na podstawie harmonogramu, bez losowania. Uczniowie w każdym oddziale napisali ten sam sprawdzian od 0 do 20 punktów. W tym ćwiczeniu są wyniki dla wszystkich 100 uczniów. Kody oddziałów i liczby są fikcyjne. Celem jest rozpoznanie, co można powiedzieć o uzyskanych wynikach i jak sposób liczenia zmienia odpowiedź.
Zapisz liczebności i wyniki, zanim połączysz klasy
- A1, „Mapa pojęć”. 30 uczniów. Po 6 uczniów otrzymało po 14, 15, 16, 17 i 18 punktów. Suma to
6 × (14 + 15 + 16 + 17 + 18) = 480, średnia480 / 30 = 16. - A2, „Mapa pojęć”. 20 uczniów. Po 4 uczniów otrzymało po 8, 9, 10, 11 i 12 punktów. Suma to
4 × (8 + 9 + 10 + 11 + 12) = 200, średnia200 / 20 = 10. - B1, „Lista przykładów”. 20 uczniów. Po 4 uczniów otrzymało po 13, 14, 15, 16 i 17 punktów. Suma to
4 × (13 + 14 + 15 + 16 + 17) = 300, średnia300 / 20 = 15. - B2, „Lista przykładów”. 30 uczniów. Po 6 uczniów otrzymało po 10, 11, 12, 13 i 14 punktów. Suma to
6 × (10 + 11 + 12 + 13 + 14) = 360, średnia360 / 30 = 12.
Takie cztery zapisy pozwalają zachować więcej informacji niż dwie średnie. W metodzie A średnie klas różnią się o 6 punktów, w metodzie B o 3. Obie klasy metody B lokują się między dwiema klasami metody A. Warto sprawdzić, czy po pominięciu oznaczeń klas ten układ byłby widoczny. Jeżeli w pracy masz również wyniki sprzed zajęć, dodaj je obok tych średnich osobno dla każdej klasy. W naszym przykładzie podano wyniki tylko po zajęciach, więc nie obliczamy przyrostu umiejętności.
Wynik dla przeciętnego ucznia w obserwowanych oddziałach
Jeśli interesuje Cię średni wynik ucznia w metodzie, zsumuj punkty w obu klasach i podziel przez liczbę uczniów w tych klasach. Dla A otrzymasz (480 + 200) / 50 = 13,6. Dla B otrzymasz (300 + 360) / 50 = 13,2. W tym opisie średnia A jest o 0,4 punktu wyższa. Każdy wynik ucznia ma taką samą wagę, więc wyższa średnia z A1 liczącej 30 osób wnosi więcej do średniej A niż niższa średnia z A2 liczącej 20 osób. Dla B liczniejsza jest klasa B2 z niższą średnią, co obniża wynik połączony.
Jeżeli w rozdziale użyjesz słów „średnio 13,6 punktu uzyskali uczniowie stosujący mapę pojęć”, czytelnik otrzyma informację zgodną z tym obliczeniem. Dodaj obok „50 uczniów z dwóch oddziałów”, żeby było jasne, jak powstała kategoria. Gdyby pojawił się brak wyniku, zmieniłaby się liczba uczniów w mianowniku. Wtedy oddziel liczbę osób objętych projektem od liczby napisanych sprawdzianów i wskaż, w których klasach wyników zabrakło.
Wynik dla przeciętnej klasy w obserwowanych oddziałach
Jeśli pytasz o przeciętny wynik klasy i dajesz każdej klasie taką samą wagę, najpierw liczysz cztery średnie, a następnie średnią klas według metody. Dla A jest to (16 + 10) / 2 = 13, dla B (15 + 12) / 2 = 13,5. Średnia klas w metodzie A jest zatem o 0,5 punktu niższa. Zmienił się poziom opisu i rozkład wag. W poprzednim rachunku największą wagę w każdej metodzie miała klasa z 30 uczniami. W tym rachunku obie klasy w danej metodzie mają po połowie wagi. Żaden wynik się nie zmienił. Zmieniło się pytanie, na które odpowiada średnia.
Przed opracowaniem danych zapisz, czy priorytetem jest średnia osoby, czy średnia oddziału. Gdy wynik ma pomóc kierownikowi zespołu opisać całe oddziały i każdy oddział ma być traktowany jednakowo, naturalne będzie drugie podejście. Gdy celem jest opis wszystkich uczestników, odpowiada temu pierwsze. Możesz zaprezentować oba wyniki i wyjaśnić ich wagi. Rozbieżność znaków w ćwiczeniu jest powodem, by pokazać wszystkie cztery klasy. Wniosek sformułowany tylko na podstawie wygodniejszej średniej zasłoniłby istotną część obrazu.
Czy zamiana punktów na dwie kategorie pomaga wybrać test?
W ćwiczeniu ustalmy przed przeliczeniem próg opisowy 14 punktów, aby policzyć, ilu uczniów osiągnęło tę wartość lub wyższą. W A1 osiągnęło ją 30 z 30 osób, w A2 zero z 20, w B1 16 z 20, a w B2 6 z 30. Po połączeniu uczniów dla metody A to 30 / 50 = 60%, a dla metody B 22 / 50 = 44%. Po uśrednieniu odsetków z jednakową wagą klas jest inaczej: (100% + 0%) / 2 = 50% oraz (80% + 20%) / 2 = 50%. Prosta zamiana punktacji na dwie kategorie pozostawia tę samą strukturę przydziału i uwidacznia, że opis połączonych uczniów zależy od liczebności klas.
Jeśli wstępnie wybierasz test chi-kwadrat, poradnik z przykładem obliczenia dla dwóch kategorii pokazuje, jak przygotować klasyczne zestawienie i zinterpretować wynik przy odpowiednich założeniach. W przypadku czterech oddziałów najpierw wróć do pytania o niezależność. Liczebności w prostym zestawieniu mogą wystarczyć, aby program wykonał rachunek. Uznanie każdego ucznia za niezależne powtórzenie przydziału w tym przykładzie nie wynika z projektu. Dotyczy to też zastąpienia testu klasycznego testem dokładnym lub rangowym. Zmiana testu nie zmienia wspólnych warunków w klasach.
Sprawdź, jakie wnioskowanie dopuszcza liczba klas
Średnia pozwala pokazać wynik w zaobserwowanych danych. Test lub przedział ufności próbuje powiedzieć coś o niepewności różnicy w określonym projekcie. Te dwa kroki wymagają różnych informacji. W czterech klasach można mieć wszystkie indywidualne wyniki, a jednocześnie bardzo ograniczoną podstawę do określenia, czego oczekiwać w innych klasach. Jeśli metoda była przydzielana klasom, podstawą porównania między metodami są kontrasty między przypisanymi klasami. W obrębie klasy więcej wyników pomaga oszacować jej średnią. O tym, jak różnią się klasy pod tą samą metodą, dowiadujesz się dzięki obserwacji kolejnych klas.
Co zmienia jedna klasa na metodę?
Wyobraź sobie, że w ćwiczeniu zostały jedynie A1 i B2. Obie mają po 30 uczniów. Ich średnie wynoszą 16 i 12 punktów. Możesz opisać różnicę czterech punktów między nimi. Każdy uczeń z wynikiem 17 czy 18 daje więcej informacji o rozkładzie w A1. Żaden dodatkowy uczeń w A1 nie pokazuje, jaki wynik uzyskałaby druga klasa pracująca z mapą pojęć. Dla tych danych oddział i metoda rozdzielają uczniów identycznie. Różnica może wynikać z metody, z właściwości tych oddziałów, z prowadzenia zajęć lub ze współwystępowania tych rzeczy. Materiał nie pozwala ich od siebie odróżnić.
Podręcznik amerykańskiego What Works Clearinghouse dotyczący badań edukacyjnych pokazuje podobny problem, gdy w jednym warunku pojawia się jedyna klasa, szkoła lub jedyny nauczyciel. Przykład służy do rozpoznania nakładania się cechy jednostki i warunku. W polskiej pracy dyplomowej warto opisać ten mechanizm własnymi słowami i odnieść go do Twojego projektu. Zapis „każdą metodę zastosowano w jednym oddziale, więc różnicę przedstawiono między tymi oddziałami” jest konkretniejszy niż ogólny dopisek „mała próba”. Jeśli dany nauczyciel uczył wszystkich klas w jednym warunku i żadnej w drugim, dodanie kolejnego oddziału tego nauczyciela pozostawi jego pracę powiązaną wyłącznie z jednym warunkiem.
Co zyskujesz, mając po dwie klasy na metodę?
Przy dwóch klasach na warunek możesz pokazać, na ile wyniki klas były zgodne w obrębie metody. W przykładzie średnie 16 i 10 daje się zestawić z 15 i 12. Wiesz, że kolejność klas nie tworzy dwóch odrębnych bloków według metody. Wiesz też, że wynik połączonych uczniów zależy od tego, gdzie było więcej osób. Liczba dwóch klas w warunku daje jednak niewiele informacji o naturalnym zróżnicowaniu klas, a harmonogram może łączyć metodę z porą zajęć lub składem grup. Dlatego w wynikach najpierw przedstaw wszystkie cztery klasy. W dyskusji wyjaśnij, na jakiej podstawie przydzielono metody i czy możesz oddzielić warunek od właściwości oddziałów.
Gdyby cztery klasy rzeczywiście losowano bez dodatkowych ograniczeń, a na każdą metodę przypadały dwie, istniałoby tylko sześć możliwych zestawów dwóch klas dla metody A. Metodę B otrzymałyby w każdym zestawie pozostałe dwie. Liczba zestawów nie zwiększyłaby się po zebraniu dodatkowych arkuszy z tych samych klas. To pokazuje, skąd przy tak małej liczbie jednostek bierze się ograniczona dokładność porównania opartego na procedurze losowej. W naszym fikcyjnym projekcie metody przydzielono według harmonogramu. Takiego zestawu losowań nie da się wykorzystać jako podstawy testu dla jego danych.
Czy współczynnik podobieństwa uczniów daje gotową odpowiedź?
W analizie zgrupowanych danych spotkasz współczynnik korelacji wewnątrzklasowej, w skrócie ICC. W prostym modelu z klasą jako jednym poziomem opisuje, jaka część zróżnicowania wyników przypada na różnice między klasami. Dwie osoby z tej samej klasy dzielą tę samą składową klasową. Większe ICC zwykle oznacza, że wyniki z jednej klasy wnoszą mniej niezależnej informacji o porównaniu na pewnych poziomach niż wskazuje sama liczba uczniów. Wysokość współczynnika zależy od wyniku, sposobu jego pomiaru, próby i modelu. W dokumentacji zawsze zaznacz, do czego odnosi się przytoczona wartość.
W planowaniu prostego badania można zilustrować to na klasach jednakowej wielkości i wspólnym ICC. Dla 25 osób w każdej klasie oraz założonego ICC 0,10 prosty współczynnik efektu schematu ma postać 1 + (25 – 1) × 0,10 = 3,4. Jest to ilustracja tego, jak grupowanie może zwiększać wariancję w porównaniu z odpowiednim odniesieniem zakładającym niezależność obserwacji. To obliczenie ma własne założenia, a przykład czterech klas ma nierówne liczebności i brak losowania. Nie używaj 3,4 do przeliczania jego wyników. Nawet znany z innych badań współczynnik nie zwiększa liczby klas. Korelacja oszacowana z zaledwie kilku klas może być bardzo niedokładna. Wynik bliski zera nie zmienia sposobu przydziału metody.
Gdzie przydają się modele wielopoziomowe i analiza na poziomie klasy?
Przy odpowiednim projekcie i liczbie klas możesz rozważyć analizę średnich klasowych, model opisujący dane na poziomie ucznia i klasy albo metody pozwalające dostosować niepewność do grupowania. W analizie klasowej pracujesz z jednym podsumowaniem na klasę. Jeśli klasy są różnej wielkości, zdecyduj, co mają oznaczać wagi, zanim obliczysz kontrast. W modelu wielopoziomowym nadal korzystasz z indywidualnych wyników, a model opisuje również zróżnicowanie związane z klasą. Przy większej strukturze może wchodzić w grę kolejny poziom, np. szkoła. Żeby dobrać metodę, potrzebujesz wiedzieć, kto otrzymał metodę i jakie jednostki dzieliły warunki.
W badaniu metodologicznym Leyrat i współautorzy (2018) pokazali na symulacjach, że przy niewielkiej liczbie grup wyniki testów zależą od wybranej metody i założeń projektu. Ich praca dotyczyła badań z losowaniem grup. Wskazuje, dlaczego przy małej liczbie klas nie warto przyjmować, że standardowy wynik programu automatycznie ma właściwą precyzję. Jeśli masz cztery klasy z nielosowym przydziałem i nie znasz pomiaru początkowego, przejrzysty opis jest w tym przykładzie adekwatniejszy do pytania niż test traktujący stu uczniów jako niezależne przydziały. W badaniu z większą liczbą oddziałów dobór modelu, ewentualną korektę dla małej liczby klas i założenia ustala się w odniesieniu do konkretnego planu.
Nie próbuj użyć jednocześnie odrębnej dowolnej poprawki dla każdej klasy i odczytać wpływu metody, gdy metoda w ogóle nie różni się wewnątrz klas. Przy wskaźnikach dla wszystkich klas oznaczenie metody da się odtworzyć z samych oznaczeń klas, więc w takim modelu nie uzyskasz osobnego współczynnika dla metody. To inna sytuacja niż klasy, w których obie metody występują równolegle. Jeżeli zamiast wskaźników dla konkretnych klas stosujesz model z efektami losowymi klas, oszacowanie wykorzystuje założenia modelu i porównania pomiędzy klasami. Przy niewielu klasach nie można zakładać, że sam wybór tego modelu rozwiązał problem projektu.
Sprawdź inny projekt – przydział zadań wewnątrz każdej klasy
Zachowajmy te same fikcyjne nazwy metod i cztery klasy o liczebnościach 30, 20, 20 i 30. W nowym wariancie każdy oddział dostał oba rodzaje materiału w tej samej lekcji. W obrębie każdej klasy wylosowano połowę uczniów do „Mapy pojęć”, a połowę do „Listy przykładów”. Różni się sposób przydziału. Średnie poprzednich klas nie pochodzą z tego wariantu. Poniższe sumy są nowymi, fikcyjnymi wynikami sprawdzianu w tym samym zakresie od 0 do 20 punktów. Sprawdź, co zmienia się w samym rachunku, kiedy obie metody są reprezentowane w każdej klasie.
Policz różnicę przy tym samym kontekście oddziału
- Klasa 1: po 15 uczniów na metodę. Suma punktów wynosi 225 dla A i 210 dla B. Średnie to 15 i 14, czyli różnica A minus B wynosi 1 punkt.
- Klasa 2: po 10 uczniów na metodę. Sumy 110 i 120 dają średnie 11 i 12, czyli minus 1 punkt.
- Klasa 3: po 10 uczniów na metodę. Sumy 140 i 130 dają średnie 14 i 13, czyli 1 punkt.
- Klasa 4: po 15 uczniów na metodę. Sumy 195 i 180 dają średnie 13 i 12, czyli 1 punkt.
Przy równych wagach klas średnia różnica wynosi (1 – 1 + 1 + 1) / 4 = 0,5 punktu. Jeśli każdy uczeń ma równą wagę, w tym przykładzie średnia dla A to (225 + 110 + 140 + 195) / 50 = 13,4, a dla B (210 + 120 + 130 + 180) / 50 = 12,8. Różnica wynosi 0,6 punktu. Przydział po połowie w obrębie każdej klasy zapewnia, że w obu średnich połączonych uczniów ta sama klasa ma tę samą wagę. W związku z tym różnicę 0,6 można także uzyskać, ważąc klasowe różnice proporcjonalnie do liczby uczniów w każdej klasie: (30 × 1 + 20 × (-1) + 20 × 1 + 30 × 1) / 100 = 0,6.
Ten projekt daje porównania metody A i B w tych samych klasach. W klasie 2 można porównać dwie dziesięcioosobowe grupy, które dzieliły kontekst oddziału. Na etapie analizy warto wykorzystać to, że przydział był dokonywany osobno w obrębie klas. Jeśli stosujesz procedurę losowania albo model uwzględniający klasy, sprawdź zgodność z faktycznym podziałem po połowie. W tym ćwiczeniu dysponujemy tylko fikcyjnymi sumami. Do obliczenia niepewności z wyników indywidualnych potrzebne byłyby wyniki poszczególnych uczniów lub właściwe dodatkowe statystyki, zgodnie z wybranym sposobem analizy.
Czy uczniowie z jednej klasy mogli wpływać na siebie?
Jeśli badanie dotyczyło uczenia się z własnej kartki, sposób pracy z dwoma materiałami w jednej sali może być możliwy. Jeżeli metoda opierała się na wspólnej dyskusji klasowej, uczniowie mogli słyszeć objaśnienia albo wymieniać się materiałami. Wtedy odmienne przydziały nie muszą odpowiadać odmiennym doświadczeniom. Zapytaj, jak faktycznie przebiegały zajęcia, i opisz sytuację tam, gdzie dotyczy zakresu wyniku. Zapis z planu „uczniowie pracują samodzielnie” mówi o założeniu. Obserwacja, opis prowadzącego lub dokumentacja wykonania może potwierdzić, czy w praktyce warunki pozostały rozdzielone.
Jeśli każdy uczeń wykonał oba zadania, powstaje jeszcze inna struktura. Dwa wyniki należą wtedy do tej samej osoby, a sens może mieć porównanie wyników w parach. Istotne staje się to, która metoda była pierwsza, czy zadania miały tę samą trudność i czy wcześniejsza praca wpłynęła na kolejną. Sam zapis dwóch wierszy nie tworzy dwóch uczniów. Najpierw zidentyfikuj osobę, klasę i kolejność zadań. Następnie określ, czy pytanie dotyczy różnicy w tej samej osobie, czy porównania osób przydzielonych do różnych zadań.
Co można odczytać z opisu przydziału w rzeczywistym badaniu?
W raporcie ewaluacyjnym programu ReflectED Motteram i współautorzy (2016) opisują losowanie na poziomie klas w obrębie szkół. W części poświęconej metodzie wyjaśniają ten wybór m.in. tym, że program był przeznaczony do pracy z całą klasą. Ten fragment pokazuje, dlaczego to, co da się przydzielić, zależy od sposobu prowadzenia zajęć. W Twojej pracy podobne wyjaśnienie może zajmować jedno konkretne zdanie. „Każdy oddział wykonywał jedno wspólne zadanie” uzasadnia ustalenie warunku całemu oddziałowi. „Każdy otrzymywał indywidualny materiał, a podział na warianty przeprowadzono oddzielnie w każdej klasie” opisuje drugi układ. W obu zdaniach istotna pozostaje informacja, czy i jak zastosowano losowanie.
Jeśli projekt jest dopiero przed Tobą, naszkicuj krok przydziału i krok pomiaru na jednej stronie. Rozrysuj, które klasy mogą dostać każdą metodę i kto ją poprowadzi. Sprawdź, czy pora zajęć, nauczyciel albo szkoła nie są z góry związane tylko z jednym warunkiem. Gdy liczba klas jest mała, zastanów się wraz z promotorem, czy realnym celem jest opis kilku oddziałów, ocena wykonalności badania czy oszacowanie efektu z określoną precyzją. Te cele mogą wymagać innych danych. Ustalenie celu przed przydziałem ułatwia uzasadnienie liczby klas i wybór odpowiedniego wyniku.
Opisz badanie tak, żeby czytelnik widział, skąd pochodzi wniosek
Zacznij od zdania o jednostce w trzech miejscach pracy. W metodologii wpisz, komu przypisano metodę. W wynikach podaj liczby klas i uczniów. W dyskusji pokaż, dlaczego właśnie te dane pozwalają na określony wniosek. Rozszerzenie CONSORT opracowane dla badań losowanych na poziomie grup wskazuje na potrzebę raportowania liczby grup i uczestników w analizie oraz sposobu uwzględnienia grupowania. W pracy studenckiej przydaje się z tego prosta zasada: czytelnik powinien móc zobaczyć oba poziomy, także wtedy, gdy wcale nie było randomizacji albo gdy opisujesz tylko wybrane klasy.
Co zapisać w metodologii i w słowniku danych?
W pliku lub opisie danych zachowaj osobno oznaczenie ucznia, oddział, metodę i wynik. Jeśli klasy pochodzą z kilku szkół, dodaj oznaczenie szkoły. Sama nazwa „8A” może wystąpić w dwóch placówkach. W dokumentacji odnotuj, kiedy zbierano dane, jak przydzielono warunek i ile klas miało rzeczywiście pracować według każdej metody. Przy dwóch pomiarach zanotuj, czy pary wyników należą do tych samych uczniów i jak je połączono. W arkuszu można mieć tysiąc wierszy z wieloma zadaniami, lecz dopiero słownik pokaże liczbę osób, klas i niezależnych decyzji o warunku.
Do porównania opisowego włączono cztery oddziały jednej szkoły. Dwa korzystały z „Mapy pojęć”, a dwa z „Listy przykładów”. Metodę ustalono dla całego oddziału według harmonogramu, bez losowania. Wynik sprawdzianu od 0 do 20 punktów zarejestrowano dla 100 uczniów. Dla każdego oddziału policzono jego średnią. Dodatkowo obliczono średnie wszystkich uczniów z każdej metody oraz średnie oddziałów z jednakową wagą klas.
To opis pierwszego przykładu. Przy własnych danych wpisz liczbę klas włączonych i klas faktycznie uwzględnionych w każdym obliczeniu. Jeśli w jednej klasie nie przeprowadzono sprawdzianu, problem dotyczy całej jednostki grupowania. Jeśli pojedyncze osoby nie przyszły na sprawdzian, opisz liczbę dostępnych wyników z poszczególnych klas. Dla porównania pomiarów początkowych i końcowych zaznacz, czy średnie dotyczą tych samych uczniów. Przy pustych komórkach nie zmieniaj skali wyniku i nie przypisuj im zera bez podstawy w zasadach pomiaru.
Jak podać obie średnie, żeby nie wyglądały na sprzeczne?
W dwóch oddziałach pracujących z „Mapą pojęć” średnie wyniosły 16 i 10 punktów, a w dwóch oddziałach korzystających z „Listy przykładów” 15 i 12 punktów. Średnie po połączeniu uczniów wyniosły odpowiednio 13,6 i 13,2 punktu, przy liczebności 50 osób na metodę. Średnie oddziałów z jednakową wagą każdej klasy wyniosły odpowiednio 13,0 i 13,5 punktu, przy dwóch oddziałach na metodę. Klasy różniły się liczebnością, dlatego oba sposoby podsumowania nadają ich wynikom odmienne wagi.
Przy pierwszej liczbie czytelnik widzi, że chodzi o wynik wszystkich uczniów. Przy drugiej widzi, że każda klasa występuje raz. Choć oba rachunki są poprawne, opisują różne pytania. Jeśli promotor prosi o jeden główny wynik, wskaż wybór na podstawie celu pracy i zachowaj drugi jako uzupełnienie, o ile pomaga zrozumieć rozkład. W przykładzie ogólny wniosek opisowy może koncentrować się na różnicach między czterema oddziałami. Możesz pokazać je jako cztery karty z liczebnościami, wynikami i metodą, aby czytelnik łatwo odczytał cały układ.
Co napisać w dyskusji, jeśli celem miała być skuteczność?
Porównanie objęło po dwa oddziały na metodę. Przydział wynikał z harmonogramu, a wynik zmierzono tylko po zajęciach. Nie można ustalić, czy klasy różniły się już na początku ani oddzielić różnicy wyników od innych uwarunkowań w oddziałach. Uzyskane średnie opisują badane grupy i pokazują wrażliwość podsumowania na sposób ważenia klas. Weryfikacja wpływu metody wymagałaby projektu dającego podstawę do porównania metod przy uwzględnieniu różnic między oddziałami.
Jeżeli w swoim projekcie masz pomiar sprzed zajęć, możesz przedstawić różnice wejściowe dla każdej klasy. Nawet znając je, sprawdź, czy obie grupy miały porównywalny przebieg pomiaru, podobną liczbę obserwacji i czy zmiana może być związana z innymi zdarzeniami. Jeśli nie masz pomiaru sprzed zajęć, używaj słowa „wynik po zajęciach”. Zdanie „uczniowie poprawili wyniki” wymaga odniesienia do wcześniejszego wyniku. Jasna nazwa punktu odniesienia pomaga sformułować odpowiedź, która rzeczywiście wynika z danych.
Co sprawdzić przed oddaniem rozdziału?
- Policz uczniów, klasy, szkoły i nauczycieli w każdym warunku. Wskaż, na którym poziomie podejmowano decyzję o metodzie i czy jakąś jednostkę przypisano wyłącznie do jednego warunku.
- Zestaw liczebności zaplanowane i zrealizowane. Sprawdź, czy utrata dotyczy pojedynczych uczniów czy całych klas i jak wpłynęła na mianowniki.
- Podaj jednostkę i sposób ważenia każdej średniej lub proporcji. Odtwórz dowolną z liczb na podstawie kart oddziałów.
- Sprawdź protokół, zasady przydziału i kolejność pomiarów. Dopasuj do nich pytanie, sposób obliczenia niepewności i język wniosków.
- Jeżeli rozważasz nową analizę, zachowaj informację o tym, kiedy wybrano metodę i dlaczego. Zapisz, czy potrzebny jest dodatkowy pomiar lub większa liczba klas do odpowiedzi na pierwotne pytanie.
Pytania o wyniki klas i analizę statystyczną
Ile osób potrzeba do analizy statystycznej w pracy magisterskiej?
Nie ma jednej liczby odpowiedniej dla każdej pracy. Znaczenie mają planowany test, liczba i wielkość grup, oczekiwana wielkość efektu oraz wymagana moc i precyzja analizy. Mała próba ogranicza wnioskowanie. Najlepiej omówić liczebność przed rozpoczęciem zbierania danych.
Czy każda ankieta lub praca wymaga testów statystycznych?
Nie. Zakres analizy wynika z celu pracy i pytań badawczych. Czasem wystarczą liczebności, procenty i statystyki opisowe. Jeśli badanie dotyczy różnic lub zależności, sprawdzam, jakie metody są odpowiednie dla danych i czy spełnione są warunki ich zastosowania.
Praca oparta na interpretacji przepisów, przeglądzie literatury, analizie jakościowej wywiadów lub indywidualnym studium przypadku może nie wymagać testowania hipotez statystycznych. W badaniu jakościowym analiza może koncentrować się na znaczeniu wypowiedzi. Wtedy właściwą pomocą może być metodologia, analiza materiału lub redakcja tekstu. Nie dodaję obliczeń tylko po to, żeby praca wyglądała bardziej naukowo lub była bardziej zaawansowana.
Czym różni się zakres pracy od ograniczeń badania?
Zakres określa świadomie wybrany problem, materiał, grupę i okres. Ograniczenia wyjaśniają, jak cechy projektu lub napotkane trudności zawężają interpretację. Nie każdy brakujący temat jest wadą; ważne jest, czy wnioski pozostają zgodne z przyjętym zakresem.
Jak połączyć ograniczenie badania z jego wpływem na wnioski?
Nazwij konkretną cechę procedury, wskaż wynik lub twierdzenie, którego dotyczy, i wyjaśnij konsekwencję. Następnie opisz rzeczywiście podjęte działania oraz to, czego mimo nich nie można stwierdzić. Nie zastępuj tego listą ogólnych haseł o małej próbie i braku czasu.
Ile kosztuje analiza statystyczna do pracy dyplomowej?
Wycenę przygotuję po zapoznaniu się z bazą i pytaniami badawczymi. Koszt zależy od porządkowania danych, liczby i złożoności analiz, zakresu tabel i opisu oraz terminu. Nie wyceniam usługi wyłącznie na podstawie liczby stron pracy.
Co otrzymam po wykonaniu analizy statystycznej?
Zakres ustalam przed rozpoczęciem. Może obejmować przygotowaną bazę, statystyki opisowe, wyniki testów, tabele, wykresy, opis metod oraz interpretację w odniesieniu do pytań badawczych. Formę edytowalnych plików i ewentualnych materiałów z programu ustalam przy wycenie.
Źródła
- Wasilewska, O. (red.). (2023). Młodzi w demokracji. Wyniki Międzynarodowego Badania Kompetencji Obywatelskich ICCS 2022. Instytut Badań Edukacyjnych. DOI
10.24131/9788367385534. - Jakubowski, M., Pokropek, A. (2009). Badając egzaminy. Podejście ilościowe w badaniach edukacyjnych. Centralna Komisja Egzaminacyjna. ISBN
978-83-7400-265-3.https://www.ptde.org/pluginfile.php/1433/mod_page/content/5/Badaj%C4%85c%20egzaminy.pdf - What Works Clearinghouse (2022). What Works Clearinghouse Procedures and Standards Handbook, Version 5.0. U.S. Department of Education, Institute of Education Sciences.
https://ies.ed.gov/ncee/wwc/Docs/referenceresources/Final_WWC-HandbookVer5_0-0-508.pdf - Campbell, M. K., Piaggio, G., Elbourne, D. R., Altman, D. G., CONSORT Group (2012). CONSORT 2010 statement: extension to cluster randomised trials. BMJ, 345, e5661. DOI
10.1136/bmj.e5661. - Leyrat, C., Morgan, K. E., Leurent, B., Kahan, B. C. (2018). Cluster randomized trials with a small number of clusters: which analyses should be used? International Journal of Epidemiology, 47(1), 321-331. DOI
10.1093/ije/dyx169. Sprostowanie: DOI10.1093/ije/dyy057. - Motteram, G., Choudry, S., Kalambouka, A., Hutcheson, G., Barton, A. (2016). ReflectED. Evaluation report and executive summary. Education Endowment Foundation.
https://d2tic4wvo1iusb.cloudfront.net/production/documents/projects/EEF_Project_Report_ReflectED.pdf
Chcesz dobrać analizę do rzeczywistego układu klas?
Prześlij temat pracy, pytania badawcze, opis przydziału, liczebności klas oraz zanonimizowany fragment danych. Jeśli masz pomiar przed i po zajęciach albo gotowy test, dołącz informacje o powiązaniu wyników i o tym, z jakich jednostek korzystało wcześniejsze obliczenie. Wskaż również, czy potrzebujesz porównania opisowego, sprawdzenia założeń czy ponownej analizy.
Skontaktuj się ze StudentSupport


