Одна людина переглядає запис і відмічає, що учасник попросив уточнити завдання. Інша дивиться той самий фрагмент і ставить нуль. Якщо використовуєш спостереження в дипломній роботі з педагогіки, перевір, як часто трапляються такі розбіжності. На прикладі з 40 фрагментами розберемо, як зіставити оцінки, обчислити відсоток збігів і каппу Коена та описати обидва показники в роботі.
Спочатку зістав оцінки. Дай обом спостерігачам список тих самих фрагментів. Попроси їх записувати рішення окремо й передати свої записи до обговорення розбіжностей. Для розрахунку використай первинні оцінки. Коди, які вони погодять згодом, можеш зберегти в окремій колонці.
Визнач, що означає одна оцінка
Уявімо вигадану роботу з педагогіки про заняття для дорослих у польському університеті. Двоє спостерігачів переглядають ті самі 40 фрагментів по 30 секунд, по п’ять із кожного з восьми занять. Код 1 означає, що у фрагменті пролунало принаймні одне усне прохання уточнити інструкцію до завдання. Код 0 означає, що фрагмент можна було оцінити й такого прохання в ньому не було. Якщо ведучий повторив інструкцію з власної ініціативи, оцінка залишається 0. Два прохання в одному фрагменті все одно дають одну оцінку 1.
Запиши номер заняття, ідентифікатор фрагмента, час початку й завершення та версію інструкції. Зістав записи за ідентифікатором, щоб в одному рядку були дві оцінки того самого фрагмента. Переконайся, що ідентифікатори не дублюються. Якщо хтось не може оцінити фрагмент через нерозбірливий звук, окремо познач відсутність оцінки. Заздалегідь виріши, як враховуватимеш такі пари. Наведи загальну кількість фрагментів і кількість тих, для яких є дві дійсні оцінки. У прикладі всі 40 пар повні.
Випробуй інструкцію на матеріалі, який залишиться поза основним аналізом узгодженості. Припустімо, що коротке «Як?» один спостерігач позначає кодом 1, а інший кодом 0. Уточни в інструкції, що таке запитання враховують, коли з контексту зрозуміло, що йдеться про спосіб виконання завдання. Після проби зафіксуй остаточні правила й передай обом спостерігачам ту саму версію. Для розділу методології стане в пригоді порадник «Як описати дослідницький інструмент у дипломній роботі: авторська анкета й готова шкала».
Полічи, скільки разів оцінки збіглися
Познач спостерігачів літерами A і B. У кожній парі спочатку читай код A, а далі код B. За 40 рядками отримаєш чотири числа.
- 1 і 1. Обидва спостерігачі почули прохання у 8 фрагментах.
- 1 і 0. Лише A позначив прохання у 2 фрагментах.
- 0 і 1. Лише B позначив прохання у 3 фрагментах.
- 0 і 0. Обидва спостерігачі записали відсутність прохання у 27 фрагментах.
Додай 8 і 27. Маєш 35 збігів із 40 пар. Це 0,875, тобто 87,5%. Частку пар, у яких оцінки збіглися, позначають po. Чотири підраховані числа також показують, як часто кожен спостерігач ставив певний код. A поставив 1 у 10 фрагментах і 0 у 30, а B поставив 1 в 11 фрагментах і 0 у 29.
Каппа враховує ці частки, щоб визначити точку відліку. Уяви, що спостерігачі присвоюють коди незалежно, кожен із тією самою частотою, що й у дослідженні. Очікувана частка пар з одиницями дорівнює (10/40) × (11/40), а пар з нулями (30/40) × (29/40). Додай їх і отримаєш pe = 0,6125. Ця модель дає змогу оцінити фактичні збіги з урахуванням частоти кожного коду.
Незважена каппа Коена. Від фактичної частки збігів відніми очікувану. Поділи отримане число на різницю між повною та очікуваною узгодженістю. κ = (0,875 – 0,6125)/(1 – 0,6125) ≈ 0,68. У результатах наведи коефіцієнт 0,68 і окремо відсоток збігів 87,5%.
Подивися, які оцінки дали збіг
У першому наборі обидва спостерігачі розпізнали прохання у тих самих восьми фрагментах. Порівняй це з другим, також вигаданим набором. У 38 із 40 фрагментів обидва ставлять нуль. Кожен ставить одиницю один раз, у різних фрагментах. Відсоток збігів становить 95%, а каппа приблизно -0,03. Майже повний збіг у визначенні відсутності події може давати високий відсоток, хоча спостерігачі жодного разу не позначили саму подію в тому самому фрагменті. Залежність каппи від частоти категорій пояснює Ярош-Новак у польськомовній статті.
Якщо обидва спостерігачі всюди ставлять нулі, відсоток збігів дорівнює 100%. За моделлю pe = 1, тому в знаменнику каппи буде нуль і коефіцієнт не визначений. У роботі поясни причину й наведи кількість пар. Дуже мала кількість одиниць обмежує те, що можна дізнатися про застосування інструкції до цієї категорії.
У першому наборі повернися до п’яти фрагментів із різними оцінками. Наприклад, перевір, чи в кількох випадках пролунало коротке «Як?» без уточнення. Узгодженість показує, наскільки подібно спостерігачі застосовували інструкцію. Валідність потребує окремого обґрунтування. Якщо досліджуєш складність завдання, подумай, чи усне прохання про уточнення охоплює ситуацію учасника, якому було складно й який нічого не сказав.
П’ять фрагментів з одного заняття можуть бути схожими між собою більше, ніж уривки з різних занять. Показані обчислення описують 40 вибраних фрагментів. Якщо в роботі потрібен довірчий інтервал, обери метод, який враховує зв’язок між фрагментами одного заняття. Якщо хочеш поширити результат на інші заняття, також поясни, як добирали матеріал.
Як описати узгодженість у дипломній роботі
Двоє спостерігачів незалежно оцінили 40 фрагментів по 30 секунд із восьми занять. Код 1 означав, що принаймні одна людина вголос попросила уточнити інструкцію до завдання. Код 0 означав, що фрагмент можна було оцінити й такого прохання не було. Усі пари оцінок були повними. Обидва спостерігачі поставили 1 у восьми фрагментах і 0 у 27. У п’яти фрагментах оцінки відрізнялися (дві пари 1 і 0 та три пари 0 і 1). Для проаналізованих фрагментів відсоток збігів становив 87,5% (35/40), а незважена каппа Коена κ = 0,68.
Що читач має знайти у твоїй роботі?
- У розділі методології поясни, звідки взято фрагменти, що означають коди і якою версією інструкції користувалися спостерігачі.
- Поясни, як кожен спостерігач працював незалежно, скільки було повних пар і як враховували пропуски.
- У результатах наведи кількість пар усіх чотирьох типів, відсоток збігів і незважену каппу. Якщо каппа не визначена, зазнач причину.
- В обговоренні напиши, що показують випадки розбіжностей і якого матеріалу стосуються обчислення.
Запитання про опис інструмента й обмеження дослідження
Що має містити опис дослідницького інструмента в дипломній роботі?
Зазначте назву й походження інструмента, мету застосування, мовну версію, будову, варіанти відповідей та правила обчислення показників. Поясніть умови використання, проведені перевірки й обмеження. Описуйте фактично застосовану анкету, а не пізнішу виправлену версію.
Як пов'язати обмеження дослідження з його впливом на висновки?
Назвіть конкретну властивість процедури, результат або твердження, якого вона стосується, та поясніть наслідок. Далі опишіть справді виконані дії і те, чого все одно не можна встановити. Загального переліку малої вибірки та браку часу недостатньо.
Література
- Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37-46. DOI 10.1177/001316446002000104.
- Hallgren, K. A. (2012). Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23-34. DOI 10.20982/tqmp.08.1.p023.
- Hallgren, K. A. (2013). Erratum to Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 9(2), 95. DOI 10.20982/tqmp.09.2.p095.
- Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543-549. DOI 10.1016/0895-4356(90)90158-L.
- Jarosz-Nowak, J. (2007). Modele oceny stopnia zgody pomiędzy dwoma ekspertami z wykorzystaniem współczynników kappa. Matematyka Stosowana, 8, 126-154. DOI 10.14708/ma.v35i49.08.1391.
Уточни інструкцію або надішли оцінки
Напиши, на якому етапі ти працюєш. Перед спостереженням можемо допомогти розробити інструкцію та описати її в роботі. Якщо вже маєш два набори оцінок, можемо перевірити їхню узгодженість та обговорити, як подати результат.
