Ти збираєш відповіді для магістерської роботи й посеред опитування виправляєш налаштування форми. У файлі Excel ти бачиш порожні клітинки в запитанні про результат бронювання онлайн. Збережена копія форми показує, що в попередній версії учасники, які намагалися забронювати час онлайн, узагалі не бачили цього запитання. Їхні придатні для аналізу відповіді на попередні запитання можна зберегти. Результат бронювання опиши для тих, хто його зазначив. Спочатку порівняй обидві версії форми й за збереженими записами встанови, до якої версії належить кожен рядок.
Перевір кожне запитання, якого торкнулася зміна. Запиши, хто мав його побачити, кому форма його показала й хто відповів. Помилка переходу між розділами може обмежити результат одного запитання. Попередні відповіді тих самих учасників можуть залишатися придатними для аналізу.
Перевір, що бачили учасники
- Збережи матеріали для перевірки. Залиши початковий файл із відповідями, обидві версії форми та наявні відомості про час зміни. Знімок поточних налаштувань показує, як анкета працює зараз. Попереднє правило можна підтвердити, наприклад, збереженою копією форми або знімком налаштувань до виправлення.
- Простеж шлях після кожної відповіді. Запитання-фільтр визначає, до якого розділу переходить учасник. В обох версіях простеж, куди веде кожен варіант, аж до наступного спільного запитання. Запиши точні формулювання, варіанти відповідей і порядок запитань. Посібник Статистичного управління в Познані пояснює, як планувати й перевіряти такі зв’язки між запитаннями.
- Познач версію там, де є підтвердження. Допоможе код версії у файлі або окрема форма з власним файлом відповідей. Якщо редагували ту саму форму, час надсилання може ввести в оману. Дехто міг відкрити попередню форму ще до зміни. Якщо версію встановити неможливо, так і познач рядок. За самою порожньою клітинкою не визначиш, яку версію бачив учасник.
Якщо в рядку є відповідь на запитання, яке за збереженим правилом мало бути прихованим, перевір, чи правильно визначено версію та чи відповідають стовпці потрібним запитанням. Якщо суперечність лишається, познач її в аналізі цього запитання та збережи початковий запис. Стандарт Бюро перепису населення США передбачає перевірку переходів між запитаннями й пошук суперечливих відповідей.
Приклад в Excel з однією помилкою і двома результатами
У вигаданому дослідженні студенти описують останню спробу забронювати час в університетській студії звукозапису за попередні 30 днів. У першому запитанні можна вибрати «онлайн», «на місці» або «спроби не було». Далі форма запитує «Чи вдалося під час цієї спроби забронювати бажаний час?» Можна відповісти «так», «ні» або залишити поле порожнім. Ті, хто не намагався забронювати час, мають пропустити друге запитання.
Через помилку переходу у формі A друге запитання також пропускали учасники, які вибрали «онлайн». Коли помилку виявили, запустили окрему форму B з виправленим правилом і тими самими формулюваннями та варіантами відповідей. Після блоку про бронювання всі шляхи в обох формах вели до спільного обов’язкового запитання. До розрахунку взяли лише надіслані анкети й зберегли обидва файли з відповідями. Кожен студент відповів один раз. В обох версіях спосіб залучення учасників і збору відповідей був однаковим.
Порахуй відповіді в кожній версії
- Форма A, 24 учасники. Вісім намагалися забронювати час онлайн. Ніхто з них не бачив другого запитання. Десятеро намагалися забронювати на місці. Вісім відповіли «так», двоє – «ні». Решта шестеро не намагалися бронювати.
- Форма B, 26 учасників. Дванадцятеро намагалися забронювати онлайн. Дев’ятеро відповіли «так», двоє – «ні», ще одна людина залишила поле порожнім. Восьмеро намагалися забронювати на місці. П’ятеро відповіли «так», двоє – «ні», ще одна людина залишила поле порожнім. Решта шестеро не намагалися бронювати.
У робочій копії аркуша збережи відповіді на обидва запитання. Додай стовпці «Версія» і «Статус запитання 2». Вісім порожніх полів для спроб онлайн у формі A познач як «не показано через помилку». Два порожні поля у формі B серед тих, хто намагався забронювати час, познач як «показано, відповіді немає». Для 12 учасників, які не намагалися бронювати, зазнач «пропущено за правилами анкети». Відповіді «так» і «ні» познач як «відповідь отримано».
Порахуй окремо спосіб і результат бронювання
- Спосіб останньої спроби в усій групі. Перше запитання було однаковим в обох версіях і стояло перед помилковим переходом. Онлайн намагалися забронювати 20 із 50 учасників (40%). Якщо описуєш лише тих, хто намагався забронювати час, відлік іде від 38 осіб. Серед них 20 із 38 пробували онлайн (52,6%).
- Результат спроб онлайн. Відфільтруй у формі B варіант «онлайн». Є дев’ять відповідей «так» і дві «ні». Отже, дев’ятеро з 11 учасників, які відповіли, забронювали бажаний час (81,8%). Із 20 учасників, які пробували онлайн, вісім не побачили запитання, а ще одна людина залишила його без відповіді. Якщо поділити 9 на 20, вийде частка учасників із записаною відповіддю «так» у групі, що включає й людей із невідомим результатом. Такий відсоток може ввести в оману, якщо назвати його часткою успішних бронювань.
- Результат спроб на місці. На цьому шляху обидві форми однаково показували запитання. Разом отримано 13 відповідей «так» від 17 учасників, які відповіли (76,5%). Одна з 18 осіб, які намагалися забронювати на місці, залишила поле порожнім.
Для порівняння способів бронювання візьми обидві групи тільки з форми B. Для спроб онлайн отримано 9 із 11 (81,8%), а для спроб на місці – 5 із 7 (71,4%). Обидві групи бачили те саме запитання в той самий період. Групи малі, а спосіб бронювання студенти вибирали самі. Ці частки описують отримані відповіді. За ними не можна визначити, який спосіб працює краще.
Перевір, чи змінився зміст запитання
У прикладі виправлення змінило тільки те, хто бачив запитання. Якби у формі B замість «бажаного часу» запитували про «будь-який доступний час», відповідь «так» означала б дещо інше. Хтось міг забронювати інший час. Тоді результати цього запитання варто показати окремо для кожної версії, навіть якщо стовпці мають однакові назви. У звіті про поїздки на відпочинок CBOS описує схожу проблему порівнянності після зміни обсягу запитань і періоду, якого вони стосувалися.
Після виправлення друкарської помилки перевір, чи збереглися зміст, варіанти відповідей, порядок запитань і група, якій їх показували. Якщо змінився набір відповідей або період, про який запитували, зафіксуй цю різницю перед розрахунками. Якщо жодна версія не дає потрібного результату для всієї групи, звузь опис і обговори з науковим керівником, чи потрібно зібрати додаткові дані.
Опиши зміну в методиці, а кількість учасників зазнач біля результатів
Методика. Після виявлення помилки переходу між запитаннями про спосіб і результат бронювання запустили форму B. У формі A учасники, які намагалися забронювати онлайн, не бачили запитання про результат спроби. Спосіб бронювання описано спільно для обох версій. Відсоток успішних спроб онлайн обчислено серед тих, хто відповів на запитання у формі B.
Результат. Спробу забронювати онлайн зазначили 20 із 50 учасників. У формі B дев’ятеро з 11 учасників, які вказали результат спроби онлайн, повідомили, що забронювали бажаний час (81,8%). Із 20 учасників, які пробували онлайн, вісім через помилку не побачили запитання, а ще одна людина не відповіла. Результат стосується 11 учасників, які відповіли у формі B.
Зістав кількість учасників у методиці, результатах, підписах до діаграм і висновках. Якщо під діаграмою стоїть «n = 50», а вона показує результат 11 учасників із форми B, виправ підпис. У додатку покажи обидві версії або точно вкажи правило, яке змінили, і відповідні запитання. Дивись також посібник Як описати дослідницький інструмент у дипломній роботі: авторська анкета й готова шкала.
Запитання про помилки та обмеження дослідження
Чи можна назвати помилку в розрахунках обмеженням дослідження?
Помилку, яку можна виправити, спочатку виправте й перевірте її вплив на інші результати. Абзац про обмеження не замінює корекції знаменника, кодування чи формули. Якщо дані неможливо відновити, опишіть пропуск і наслідки, не вигадуючи значень.
Як пов'язати обмеження дослідження з його впливом на висновки?
Назвіть конкретну властивість процедури, результат або твердження, якого вона стосується, та поясніть наслідок. Далі опишіть справді виконані дії і те, чого все одно не можна встановити. Загального переліку малої вибірки та браку часу недостатньо.
Джерела
- Urząd Statystyczny w Poznaniu (2024). Jak przygotować i przeprowadzić badanie ankietowe? Poznań, с. 1-2.
- Badora, B. (2013). Wyjazdy wypoczynkowe Polaków. Fundacja Centrum Badania Opinii Społecznej, звіт BS/15/2013, с. 1.
- U.S. Census Bureau (2021). Statistical Quality Standard C2: Editing and Imputing Data, вимоги C2-3.1 і C2-4.
Обговори результати після зміни форми
Підготуй версії анкети, знеособлений файл із відповідями та дослідницькі запитання. Укажи, що змінилося й у якому місці розділу виникла проблема. Узгодимо, які дані, розрахунки та частини опису результатів потрібно перевірити.
