Перед тобою звіт зі статистичного аналізу для дипломної роботи з психології. Тест проведено, але за обраного порога результат статистично незначущий. Науковий керівник просить два окремі абзаци: один до результатів, другий до обговорення. Як подати результат і водночас не зробити надто сильного висновку про відсутність ефекту?
У результатах зазнач, що саме порівнювали, скільки спостережень увійшло в аналіз, якими були оцінка ефекту, її напрям і точність. В обговоренні поясни, чи підтримує аналіз прогноз, які тлумачення залишаються можливими та що обмежує висновок. Самої інформації про те, що p перевищило поріг, замало для обох абзаців.
Цей посібник присвячений завершальному етапу аналізу в галузі «Психологія». Якщо ти ще готуєш базу або перевіряєш, як обчислювати бали за шкалами, почни з матеріалу Статистичний аналіз у магістерській роботі з психології – що робити із зібраними даними?. Тут розрахунки вже зроблено, і завдання полягає в тому, щоб точно їх описати.
Знайди у звіті оцінку ефекту
Повернися до дослідницького запитання та гіпотези в тому вигляді, в якому їх сформульовано до перегляду результатів. Одним реченням назви порівняння й порядок віднімання. Для вимірювань у тих самих людей це може бути «після мінус до», для незалежних груп – «група А мінус група Б». Для кореляції подай оцінку зв’язку між двома змінними. Зміна знака змінює зміст речення, навіть якщо двобічне значення p залишається тим самим.
- Спостереження в аналізі. Запиши кількість спостережень саме для цього тесту. У порівнянні до і після рахуй повні пари. Загальна кількість вимірювань відповідає на інше запитання.
- Розмір ефекту. Обери доречну оцінку й зазнач одиниці. Різниця в 1,8 бала шкали подана у вихідних одиницях. Стандартизована міра ефекту відповідає на інше запитання. Якщо вона потрібна у твоєму звіті, уточни її визначення.
- Невизначеність і тест. Запиши рівень довіри та межі інтервалу, назву тесту, його статистику, ступені свободи, якщо вони застосовні, і значення p. Зазнач заздалегідь установлений поріг і перевір, чи був тест однобічним, чи двобічним.
Якщо тест провести не вдалося, наприклад, для жодного учасника немає другого вимірювання, поясни, що завадило перевірити гіпотезу. Це інша ситуація, ніж проведений тест із результатом вище порога. APA JARS-Quant дає корисний перелік елементів звіту. Порядок викладу й позначення узгодь із науковим керівником і вимогами свого університету в Польщі.
Приклад: стрес до і після двох тижнів підготовчих дій
Цей приклад вигаданий. Двадцять чотири людини заповнили ту саму шкалу самооцінки стресу на початку й через два тижні застосування короткої послідовності дій для підготовки до навчання. Бали перерахували в діапазон від 0 до 40, допускаючи дробові значення. Вищий бал означає вищий рівень стресу за самооцінкою. Прогнозували нижчий середній бал у другому вимірюванні. За планом застосували двобічний парний t-тест і α = 0,05. Групи порівняння не було.
Як отримано числа. Для кожної людини від бала через два тижні відняли початковий бал. Середня різниця становила -1,80 бала, а стандартне відхилення різниць – 5,40. Стандартна похибка становила близько 1,10. За 24 пар, незалежних між учасниками, це дає t(23) = -1,63, двобічне p = 0,116 і 95% довірчий інтервал для середньої зміни від -4,08 до 0,48 бала. У прикладі припускаємо незалежність спостережень різних учасників і приблизно нормальний розподіл різниць усередині пар. У своїй роботі оціни ці умови за дизайном і даними.
Зразок абзацу до результатів
Зміну рівня стресу за самооцінкою між першим і другим вимірюваннями оцінили двобічним парним t-тестом за 24 повними парами. Середня різниця (друге вимірювання мінус перше) становила -1,80 бала, 95% ДІ [-4,08; 0,48], t(23) = -1,63, p = 0,116. За α = 0,05 результат був статистично незначущим.
Напрям і одиниці вимірювання наведено перед значенням p. Якщо вже маєш зведення обсягів вибірки й описової статистики для обох вимірювань, посилайся на нього в розділі відповідно до вимог університету. Приклад показує одне порівняння. У своїй роботі подай решту запланованих тестів і поправки на множинні порівняння, якщо вони стосуються плану аналізу.
Розділи три висновки в обговоренні
- Напрям у вибірці. Оцінена середня зміна становила -1,80 бала. У цій вибірці середній бал другого вимірювання був нижчим.
- Точність висновку. Інтервал охоплює нуль, середнє зниження до приблизно 4,08 бала і невелике зростання до 0,48 бала. За застосованого методу та його припущень оцінка надто неточна, щоб чітко розрізнити ці значення. Описуй їх як значення, сумісні з даними в межах моделі. Рівень 95% стосується довгострокових властивостей процедури побудови інтервалів.
- Межі дизайну. За відсутності групи порівняння можливу зміну не можна приписати послідовності підготовчих дій. Навчальне навантаження, час вимірювання чи інші обставини могли змінитися протягом двох тижнів. У прикладі ці пояснення не перевіряли, тому вони залишаються можливими напрямами подальшого дослідження.
Зразок абзацу до обговорення
Аналіз не дав достатньої підтримки прогнозу нижчого середнього рівня стресу в другому вимірюванні. Оцінка вказувала на зниження у вибірці, але з урахуванням невизначеності дані сумісні і з відсутністю середньої зміни, і зі зниженням на кілька балів. Два вимірювання без групи порівняння не дають змоги встановити, чи пов’язана можлива зміна з підготовчими діями, чи з іншими обставинами цього періоду.
Зіставляючи свій результат із літературою, порівнюй те, що насправді вимірювали. Дослідження з контрольною групою може оцінювати різницю змін між групами. Дизайн без контролю оцінює зміну в одній групі. Порівняй також учасників, проміжок між вимірюваннями, інструмент, розмір і точність ефектів. Різні позначки статистичної значущості самі по собі не доводять, що ефекти різні. Загальну структуру розділу показано в матеріалі Як написати обговорення результатів у бакалаврській чи магістерській роботі?.
Коли різницю можна назвати практично малою?
Значення одного бала залежить від інструмента й дослідницького запитання. Щоб обґрунтувати, що ефект лежить у практично несуттєвому діапазоні, потрібні аргументовані межі та відповідний метод, наприклад два однобічні тести еквівалентності (TOST). Межі бажано визначити до перегляду результату, спираючись на теорію, попередні дані або зміст шкали. Перевищення порога у звичайному тесті різниці такого висновку не дає. У вигаданому дослідженні межі не визначали й тест еквівалентності не проводили.
ASA наголошує, що значення p не вимірює ні розміру ефекту, ні ймовірності того, що гіпотеза істинна. Твердження «p = 0,116 означає 11,6% імовірності відсутності ефекту» приписує статистиці хибне значення. Обговорюючи практичну важливість, спирайся на оцінку, одиниці вимірювання, точність і якість дизайну дослідження.
Що робити, якщо після аналізу виявилася помилка?
Можливу помилку варто перевірити. Якщо виявиш неправильно зіставлені ідентифікатори учасників або помилку у зворотному кодуванні пункту шкали, збережи попередній звіт, виправ конкретну помилку, повтори аналіз і задокументуй зміну. Поясни, що змінилося й чому. Обґрунтований аналіз чутливості теж може допомогти, якщо вкажеш його мету і подаси поруч із головним аналізом.
Не змінюй поріг, вибір між однобічним і двобічним тестом, правила виключення чи визначення результату заради меншого p. Запитання, що виникло після перегляду даних, можна дослідити та позначити як пошукове. Залиш початковий тест у розділі, щоб читач міг відрізнити запланований аналіз від пізніших ідей.
Перевір абзац перед поданням
- Чи збігаються назва тесту, кількість спостережень і знак оцінки зі звітом?
- Чи стосується інтервал тієї самої величини, що й оцінка, та чи вказано одиниці?
- Чи пояснює обговорення межу висновку замість повторення всіх чисел?
- Чи збережено головний аналіз і чітко позначено додаткові?
Запитання про гіпотези, довірчі інтервали й обговорення
Що робити, якщо результати не підтверджують гіпотезу?
Я описую це відповідно до аналізу. Відсутність підтримки гіпотези є результатом дослідження, а не причиною змінювати відповіді респондентів.
Це також не означає автоматично, що мети не досягнуто: метою могла бути саме перевірка певної залежності. Я пояснюю, що випливає з даних і які обмеження слід враховувати. Відсутність підтвердження гіпотези сама по собі не доводить, що така залежність точно не існує.
Як описати довірчий інтервал у магістерській роботі?
Укажіть довірчий рівень, оцінений параметр і межі інтервалу, наприклад: різниця середніх становила 4 бали, а її 95% довірчий інтервал – від 1,33 до 6,67 бала. Зберігайте одиницю вимірювання та зазначте, для якого порівняння обчислено інтервал.
У частотній інтерпретації рівень 95% стосується процедури: у багаторазово проведених дослідженнях, що відповідають припущенням, приблизно 95% таких інтервалів містило б справжній параметр. Це не означає, що 95% учасників отримали результат між заданими межами. Широкий інтервал свідчить про меншу точність оцінки.
Які матеріали надіслати для редагування обговорення результатів у роботі з психології?
Надішліть мету роботи, питання та гіпотези, розділ із результатами, опис методології та використану літературу. Додайте наявний текст обговорення результатів і зауваження наукового керівника, якщо вони є. Ці матеріали дозволяють пов'язати інтерпретацію з реальними результатами та попередніми дослідженнями.
Чим підготовка дослідницького розділу відрізняється від статистичного аналізу?
Дослідницький розділ поєднує опис фактичного дослідження, представлення результатів, інтерпретацію та відповіді на питання роботи. Статистичний аналіз стосується вибору методів та обчислень на кількісних даних. Можна замовити обидва види допомоги разом, але нові тести та перевірку обчислень я узгоджую окремо після перегляду матеріалу.
Джерела
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. DOI: https://doi.org/10.1080/00031305.2016.1154108
- Lakens, D. (2017). Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, 8(4), 355-362. DOI: https://doi.org/10.1177/1948550617697177
- Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal Article Reporting Standards for Quantitative Research in Psychology: The APA Publications and Communications Board Task Force Report. American Psychologist, 73(1), 3-25. DOI: https://doi.org/10.1037/amp0000191
Визначмо, яка підтримка потрібна
Напиши, що вже готове: дані, звіт з обчисленнями чи чернетки абзаців. Для першого повідомлення достатньо узагальнених результатів. Додай вимоги університету й зазнач, чи потрібно перевірити аналіз, описати результати або доопрацювати обговорення.
