Якість вибірки оцінити дуже важко. Головна складність у тому, що можливості перевірки якості обмежені опосередкованими, тобто непрямими, засобами. Справді, якби було можливо порівняти суттєво важливі параметри вибіркової та генеральної сукупностей, не виникало б і самої проблеми дослідження. На практиці соціологові здебільшого невідомі основні пізнавальне важливі параметри генеральної сукупності, йому доводиться зосереджуватися на пошукові показників, які б забезпечували якість та надійність вибіркової сукупності.
Оцінюючи якість вибірки, спеціалісти часто звертаються до таких понять, як «спроможність», «ефективність» або «нез-суваність» вибіркової сукупності. Однак інтерпретація змісту цих понять обмежується статистичними показниками, оскільки проблемами формування та обґрунтування якості вибірки займалися здебільшого математики, для яких статистичні показники значно привабливіші, ніж соціальне орієнтовані критерії. Зосередившись на цифрових показниках, фахівці математичного профілю або зовсім обминали, або відводили другорядну роль змістовим та смисловим обґрунтуванням.
Одним з них є визначення необхідного та достатнього обсягу вибірки. Прагнучи забезпечити рівноправне представництво генеральної сукупності, кількість респондентів слід розраховувати за формулою:
N = 1\Д2 + 1\N
де N — кількість осіб генеральної сукупності;
Д — припустима помилка.
За умови, що Д = 0,05, тобто допустима помилка становить 5%, обсяг вибіркової сукупності дорівнюватиме:
Чисельність генеральної
сукупності 1000 2000 3000 4000 5000 Безкінечна
Обсяг вибірки 286 333 350 360 370 408
За такого суто формального підходу до визначення обсягу вибіркової сукупності неминучі суттєві відхилення від оптимальних показників якості та надійності. Навіть нефахівцю зрозуміло, що 408 респондентів зовсім недостатньо для проведення дослідження на рівні навіть області або регіону, не кажучи вже про дослідження на рівні держави. Однак для дослідження у спеціалізованому колективі не обов'язково залучати до вибіркової сукупності 286 або 333 працівники.
Отже, при визначенні обсягів вибірки слід не тільки спиратися на суто формалізовані розрахунки, а й зважати на репрезентованість у вибірці різних верств чи груп за фахом, віком, освітою, кваліфікацією та іншими показниками, які відповідали б основній меті та завданням дослідження. Кількісні показники визначають з урахуванням багатьох обставин, на практиці вони обмежуються 10—30% генеральної сукупності.
До найпоширеніших статистичних методів непрямої оцінки належать: а) метод точкової оцінки; б) метод інтервальної оцінки; в) метод перевірки статистичних гіпотез.
Точкові оцінки, які можуть бути представлені модою (величина ознаки, яка найчастіше спостерігається у сукупності або варіаційному ряді), медіаною (величина ознаки, що ділить варіаційний ряд на дві рівні частини), середнім арифметичним, дисперсією (подрібненням), виражених одним числом, розглядають як оцінки відповідних генеральних параметрів. Інтервальні оцінки використовують, коли замість точкової оцінки визначають певний інтервал значень, одна із точок якого і є величиною параметра, що його належить установити. До перевірки статистичних гіпотез вдаються за необхідності оцінити значущість статистичних показників (наприклад, гіпотези про нормальний розподіл генеральної сукупності за віком; гіпотези, що середній вік у вибірці та генеральній сукупності однаковий та ін.). Оцінка здійснюється завдяки розрахунку або так званій довірливій імовірності (Р), яка виражає ймовірність прийняття правильного рішення, або здебільшого завдяки розрахункам рівня значимості — а, Що виявляє ймовірність неправильного рішення (а=1— р).
Враховуючи певну формалізацію оцінки якості вибірки, Дослідники стали розрізняти формальні (здебільшого кількісні) та змістові (якісні) критерії репрезентативності .
вибіркової сукупності. Найчастіше вдаються до статистичних, ресурсо-економічних та аналітичних критеріїв. Статистичні критерії є скоріше допоміжним засобом контролю, ефективність якого зумовлена ґрунтовністю змістово-смислових параметрів досліджуваних ознак. Покладена в основу статистичних методів логіка припускає лише дві градації — «так» чи «ні». Однак соціальні об'єкти багатогранні та складноде-терміновані, логіка їх дії значно перевищує можливості формалізованої статистики. Тому використання статистичних методів як критеріїв оцінки якості вибірки може бути ефективним, якщо порівнюваність вибіркової та генеральної сукупностей здійснюється паралельно за всіма ознаками.
До ресурсно-економічних критеріїв належать оцінки кадрового забезпечення, вартості робіт, витрат часу та ін. Згідно з цим вибіркове дослідження повинно бути ефективнішим (оперативнішим, дешевшим) за суцільне. Якщо ж витрати сил і засобів на розрахунки та обґрунтування вибірки перевищують витрати на суцільне обстеження, тоді формування вибірки недоцільне.
З допомогою аналітичних критеріїв оцінки якості вибіркової сукупності з'ясовують змістову ґрунтовність та якісну спроможність самої вибірки. Для забезпечення надійності результатів дослідження різниця величин, які повторюються, не повинна порушувати принципу репрезентації. Якщо дослідник, аналізуючи, наприклад, розподіл певної ознаки у двох різних групах, хоче бути впевненим, що відмінність їх становить хоча б 10%, то обсяг вибірки в кожній з груп повинен бути не меншим 200 одиниць спостереження.
Більш ґрунтовна оцінка якості вибірки є досить складним, трудомістким і тривалим процесом. Важливою її складовою є параметрична змістовність критеріїв якості вибірки, яка часто змінюється залежно від виду та рівня дослідження. При оцінюванні якості вибірки нерідко припускаються порушення принципу репрезентації. Найчастіше це виявляється у відхиленні вибіркової частки та вибіркової середньої від частки і середньої генеральної сукупності. Систематичні помилки часто ототожнюють з помилками відхилень. Хоча здебільшого їх спричиняють методично, логічно та організаційно хибні підходи до проведення самого дослідження і формування вибіркової сукупності. Найпоширеніші причини систематичних помилок репрезентації:
а) навмисне чи неусвідомлене відхилення від принципів випадкового відбору при формуванні вибіркової сукупності;
б) заміна одиниць спостереження іншими одиницями, що не потрапили до вибірки;
в) неповне охоплення опитуванням одиниць вибіркової сукупності;
г) об'єктивні та суб'єктивні труднощі, які не дають змоги абсолютно точно реалізувати початковий план вибірки (відмова від опитувань, міграція, смертність та ін.).
Імовірні помилки зумовлені декількома факторами, серед яких значну роль відіграють кваліфікація виконавців, надійність засобів технічної обробки інформації та ін. Деякі систематичні та ймовірні помилки можуть бути виправлені під час дослідження і обробки інформації. Одним із таких засобів є ремонт вибірки. Для цього потрібно знати, в яких ланках її реалізації допущені збої та деформації. Суть ремонту вибірки зводиться до пошуку надійних компенсаторів та механізмів збереження моделі генеральної сукупності. Так, після відповідного доопрацювання можуть бути повернені деякі з опитувальних листів або деякі категорії респондентів можуть бути виключені з числа одиниць вибіркової сукупності.