Рейтинг партій на виборах до Верховної Ради: порівняння результатів телефонного опитування і опитуванням методом особистих (“face-to-face”) інтерв’ю

У першій половині грудня 2020 року Київський міжнародний інститут соціології спільно з Фондом «Демократичні ініціативи» провели експеримент з порівняння рейтингів партій, отриманих методом особистих інтерв’ю (дослідження, проведене КМІС на замовлення Фонду) і методом телефонних інтерв’ю (власне дослідження КМІС, Омнібус). Обидва опитування були однаковими за обсягом вибірки (по 2000 респондентів), використовували однакове формулювання запитання і однаковий список партій. В обох випадках запитання йшло першим в анкеті, тобто виключався вплив інших запитань, а також опитування проводилися практично в той самий період: опитування методом особистих інтерв’ю було проведене 5-13 грудня, опитування методом телефонних інтерв’ю – 4-8 грудня. Єдина відмінність: опитування для Фонду «Демократичних ініціатив» проводилося методом особистих інтерв’ю на основі випадкової вибірки на перших ступенях відбору з квотним відбором на останньому ступені. Опитування КМІС – на основні вибірки випадкової генерації мобільних номерів (тобто випадково генеруються мобільні номери, а не відбираються з певної бази) без додаткових квот, з лише опитуванням осіб, що досягли 18 років і старше і проживають на території України.

У Луганській і Донецькій областях опитування проводилося тільки на території, що контролюється українською владою.

Статистична похибка вибірки (з імовірністю 0,95 і за дизайн–ефекту 1,5) не перевищує: 3,3% для показників близьких до 50%, 2,8% — для показників близьких до 25%, 2,0% — для показників близьких до 10%, 1,4% — для показників близьких до 5%.

Ми отримали такі результати (для кожного з методів спочатку йдуть відсотки по відношенню до всіх, а потім по відношенню до тих, хто планує прийти на вибори і визначився з вибором – саме ці дані є найближчими до можливих результатів виборів).

Результати опитування показують, що лідерами партійних рейтингів є три партії – ОПЗЖ, Слуга народу і Європейська солідарність.   В залежності від метода дослідження ОПЗЖ і Слуга народу займають перше чи друге місце, а Європейська солідарність від них трохи відстає (але різниця незначуща).  У додатку 1 ми детально розглядаємо з чим може бути пов’язана різниця у результатах, отриманих різними методами.

У 5 та 6 колонці наведені результати при об’єднанні  даних, отриманих двома методи (округлені до цілих), остання 6-та колонка показує, яким міг би бути результат виборів, якщо б вони відбувалися на початку грудня.  У парламент впевнено пройшли б чотири партії – ОПЗЖ, Слуга народу, Європейська солідарність і Батьківщина, є непогані шанси у партії «Сила і Честь», а також «За майбутнє».

            Додаток 1. З чим пов’язана різниця в методах опитування і які результати є більш надійними.

У 2020 році Україна і світ зіштовхнулися з пандемією COVID-19. Пандемія позначилася, крім іншого, і на сфері проведення соціологічних досліджень. Це, зокрема, проявляється у зростанні кількості опитувань, проведених методом телефонних інтерв’ю (т.зв. «computer-assisted telephone interviews» або САТІ), які є безпечними для інтерв’юєрів / респондентів порівняно з більш «знайомими» опитуваннями, проведеними методом особистих (т.зв. «face-to-face») інтерв’ю.

Соціологічна спільнота регулярно зіштовхується зі звинуваченнями через розбіжності в результатах щодо суспільно чутливих питань, особливо з питань щодо політичних рейтингів, хоча у випадку авторитетних організацій виявлені розбіжності, зазвичай, пояснюються методичними факторами (тобто розбіжностями в методології проведених досліджень), а не свідомою маніпуляцією чи фальсифікацією. Поява результатів опитувань, проведених методом телефонних інтерв’ю, додала «різноманіттю» результатів, що посилило суперечки щодо різних результатів. При цьому, частина журналістів, експертів, політиків, простих громадян некритично аналізують інформацію, зокрема, порівнюючи рейтинги, не враховують при цьому різну методологію досліджень, і, як наслідок, роблять хибні висновки.

Існує ряд методичних факторів, які можуть вплинути на результати опитування. Серед важливих можна звернути увагу на (не претендуючи на вичерпність переліку):

• Метод дослідження: особисті інтерв’ю, телефонні інтерв’ю, онлайн інтерв’ю тощо. Наприклад, особисті інтерв’ю теоретично охоплюють усе населення, але фактично з них виключаються ті, хто перебуває в інституційних умовах (лікарні, в’язниці, військові частини тощо). Телефонні інтерв’ю здатні охопити і ці категорії населення, але не охоплюють приблизно 4% респондентів, які не мають телефонів. Онлайн інтерв’ю можуть охопити лише Інтернет-користувачів. Крім цього, при особистих інтерв’ю для визначення рейтингу партій, зазвичай, респонденту показується картка-бюлетень. У телефонних інтерв’ю список партій зачитується і респондент має обрати одну з партій, про яку він почув. Відрізняються і демографічні профілі респондентів. Існують і інші особливості кожного методу, які потенційно можуть впливати на результати.
• Формулювання запитання і альтернатив: в контексті запитань про політичні рейтинги особливо важливими є список партій / кандидатів. Поки немає остаточного списку зареєстрованих партій / кандидатів, кожний список є гіпотетично можливим і можливо вивчати уподобання населення за цим списком. Водночас наявність чи відсутність певних кандидатів може істотно впливати на вибір респондента. Також впливає «супутня» інформація: наприклад, чи зазначається біля назви партії її лідер чи респонденту пропонується лише перелік політичних сил; чи зазначається для кандидатів партія-висуванець, елементи біографії тощо.
• Порядок запитань в опитувальнику: попередні запитання створюють певний контекст для респондента і це може позначатися, яку партію чи кандидата вибере респондент. Причому, вплив може мати навіть порядок – про що ми спочатку запитуємо - про вибори до парламенту чи про вибори Президента. У випадку істотно «лідерських» партій, якщо спочатку йде запитання про вибори Президента, це може «підтягувати» рейтинг партій у наступному запитанні.
• Методика розрахунку рейтингу: є різні рейтинги, наприклад, % серед усіх опитаних респондентів, % серед тих, хто визначився тощо. Часто, рейтинг розраховується на базі одного запитання, за яку партію чи кандидата голосує респондент. Утім, деякі дослідники можуть використовувати декілька запитань для розрахунку рейтингів: наприклад, спочатку запитують респондентів чи збираються вони голосувати, а потім рейтинги розраховують лише серед тих, хто планує голосувати.
• Статистична інформація для визначення параметрів вибірки: останній Перепис проводився 2001 році, тому значною мірою соціологи мають працювати «наосліп». Частина організацій використовують дані Державної служби статистики, частина – Центральної виборчої комісії. Наприклад, регіональна структура за цими джерелами трохи відрізняється. Крім цього, зазвичай, соціологи контролюють структуру вибірки за такими  параметрами, як регіон, тип населеного пункту, стать і вік, але, на жаль, не мають надійної інформації щодо інших важливих даних (наприклад, освіта).

Перш ніж порівняти, власне, рейтинги партій, нижче порівнюється демографічний профіль респондентів обох вибірок. Для вибірки опитування методом особистих інтерв’ю наперед визначалося завдання для кожної області, міського / сільського населення, статі і віку. Вибірка телефонного опитування була повністю випадковою, і після отримання результатів регіон / тип населеного пункту / стать і вік приводилися у відповідність до статистики шляхом статистичного зважування. Тому за такими параметрами, як регіон, тип населеного пункту, стать і вік респондентів обидві вибірки є дуже близькими. Водночас, більш важливими є відмінності щодо інших характеристик, як освіта і достаток.

Як можна бачити, респонденти, які беруть участь в телефонних опитуваннях, більш освічені (44.5% мають вищу освіту проти 34% у випадку респондентів, які взяли участь в опитуванні методом особистих інтерв’ю) і більш заможні. Ці фактори пов’язані з політичним вибором, тому ці відмінності у вибірці позначають на рейтингу.

Таблиця 1

Порівняння профілів респондентів опитувань, проведених методом особистих і телефонних інтерв’ю

Оскільки немає надійної статистичної інформації щодо, наприклад, освіти респондентів, неможливо визначити, дані якого методу є більш точними. Вочевидь, телефонні опитування перебільшують частку населення з вищою освітою, але, скоріше за все, опитування методом особистих інтерв’ю, навпаки, перебільшує частку населення без вищої освіти. Тому ми не здійснюємо зважування а цим параметром.   НАВРЯД ЧИ ОСВІТА ШВИДКО ЗМІНЮЄТЬСЯ, МОЖЕ ТРЕБА РЕМОНТУВАТИ ЗА РІВНЕМ ОСВІТІ, ЯКИЙ БУВ У 2019 В ОСОБИСТИХ ДОСЛІДЖЕННЯХ?

У 2019 році КМІС проводив перед виборами опитування обома методами, і тоді, з одного боку, обидва методи доволі надійно «прогнозували» результати виборів. З іншого боку, більш точним виявився метод особистих інтерв’ю. Утім, у 2020 році через пандемію COVID-19 якість методу особистих інтерв’ю могла погіршитися – відсоток тих, хто відмовляється від інтерв»ю, може залежати від ситуації в цьому населеному пункті, а рішення респондента погодитися впустити інтерв»юера до своєї квартири може залежати від його чи ії обережності чи, наприклад, довіри до влади і інформації міністерства охорони здоров»я. Тому зараз неможливо оцінити, який метод працює краще.

В Таблиці 2 нижче порівнюються партійні рейтинги. Якщо аналізувати змістовно, то обидва методи демонструють узгоджені результати, адже, фактично, показують 3 партії лідери з досить близькою підтримкою. Утім, для методу особистих інтерв’ю простежується тенденція (якщо говорити про топ-партії) до вищої підтримки «ОПЗЖ» і «Батьківщини» та до меншої – «Слуги народу» і «Європейської солідарності». Враховуючи, що серед виборців «ОПЗЖ» і партії «Батьківщина» більше незаможних людей і менше людей з вищою освітою, такі відмінності в результатах є очікуваними.

Таблиця 2

Рейтинг партій на виборах до Верховної Ради України

*) різниця значуща на рівні 5%

Таким чином, при порівнянні рейтингів різних центрів слід приймати до уваги такі фактори, які можуть вплинути на результати:

1. Метод опитування  (що і довів наш експеримент)
2. Список партій чи кандидатів
3. Формулювання запитання та альтернатив. (наприклад, чи зазначається біля назви партії її лідер, чи зазначається для кандидатів партія-висуванець, тощо).
4. Порядок запитань в опитувальнику

      Якщо рейтинг не на початку анкети попередні   запитання створюють певний контекст для респондента. Вплив може мати також те, про що ми спочатку запитуємо - про вибори до парламенту чи про вибори Президента.

5. Методика розрахунку рейтингу

 % серед усіх опитаних респондентів, % серед тих, хто визначився тощо.  Якщо є і ті й ті дані, то найбільш коректно порівнювати відсотки до всіх, бо саме для них розраховуються похибки (похибки для тих, хто визначився, набагато вищі).  

Прес-реліз підготовлений заступником директора КМІС А.Грушецьким і гендиректором КМІС В.Паніотто

Додаток 2. Формулювання запитань з анкети і регіональний розріз

Уявіть, будь ласка, що зараз відбуваються вибори до Верховної Ради, в яких беруть участь такі партії [У ТЕЛЕФОННОМУ ОПИТУВАННІ ПАРТІЇ ЗАЧИТУВАЛИСЯ У ВИПАДКОВОМУ ПОРЯДКУ, В ОПИТУВАННІ МЕТОДОМ ОСОБИСТИХ ІНТЕРВ’Ю – ПОКАЗУВАЛАСЯ КАРТКА]. Ви б узяли чи ні участь у виборах? ЯКЩО «ТАК»: За яку партію Ви б проголосували? 

% серед усіх респондентів

% серед респондентів, які визначилися з вибором