Как организовать исследовательский проект - Вадим Радаев

Получив столь неадекватную реакцию, после семинара автор обратился ко мне с вопросом: «Что же было сделано не так?» А ответ был на самом деле предельно прост. Если мы входим в аудиторию, где сидят профессиональные социологи, а с некоторых пор «продвинутые» микроэкономисты и другие социальные исследователи, и упоминаем результаты какого-нибудь эмпирического обследования, у нас нет никаких шансов уйти от вопроса о выборке. Если мы не скажем об этом сами, нас все равно спросят, и с пристрастием. И если выяснится, что выборка строилась кое-как, а точнее никак, или, того хуже, мы не знаем, кто, собственно, был опрошен, то люди могут «отключиться», перестать нас слушать. И правильно сделают. Ибо мы лишаем их возможности нормально интерпретировать предлагаемые данные. Посему при подготовке полевого исследования мы вынуждены обращать особое внимание на выборку.

Многие скажут: «Ну, это Вы говорите о количественных исследованиях, крупных опросах, где есть претензии на репрезентативность. А у нас небольшая серия качественных интервью или несколько кейсов, мы на репрезентативность все равно не претендуем. Да и не нужно нам никакой репрезентативности, у нас „другие методы“». Здесь кроются страшные заблуждения, которым мы хотели бы противопоставить четыре простых суждения.

· Абсолютная репрезентативность практически невозможна, как бы тщательно мы ни строили выборку, но это не означает, что к ней не надо стремиться. По крайней мере, должен быть задан порог репрезентативности.

· Большинство выборок в эмпирических обследованиях(особенно качественных) заведомо нерепрезентативны (т.е. не представляют в должной мере генеральную совокупность, и даже стандартную ошибку выборки оценить невозможно), но это не означает, что можно игнорировать саму проблему выборки.

· Чем меньше выборка, тем более тщательно она должна быть сделана. Чем менее случаен отбор единиц обследования(людей, документов), тем большего обоснования требует наша выборка. Это суждение менее очевидно, чем два предыдущих, и на него хотелось бы обратить особое внимание.

· Выборка для качественного исследования – вопрос в известной степени даже более важный, чем для количественного(это напрямую вытекает из третьего суждения).

Резюмируем эти суждения в следующем правиле.

Правило 14. Чем менее случайны условия отбора единиц наблюдения и чем меньше объем предполагаемой выборки, тем большего обоснования требуют принципы отбора.

Как выглядит идеальная ситуация, многократно описанная в учебниках по социологии и теории вероятностей? Генеральная совокупность, которую мы собираемся обследовать, представлена в виде разноцветных шаров. Вся эта совокупность собрана в одну большую корзину и тщательно перемешана. Не глядя, случайным образом мы достаем шары, один за другим, а затем пересчитываем. Минимальное количество шаров, которое необходимо для подсчетов, определяется стандартной формулой. О построении выборки см., например: Батыгин Г.С. Лекции по методологии социологических исследований. С. 145–189; Девятко И.Ф. Методы социологического исследования. С. 135–157; Основы прикладной социологии. С. 31–38; Ядов В.А. Социологическое исследование. С. 69–76.

Однако в реальной жизни идеальных условий мы, конечно, не встретим. Полных данных о генеральной совокупности в нашем распоряжении нет и не будет, и нас утешает лишь то, что они отсутствуют в принципе. Единицы наблюдения обладают разной доступностью, а некоторые оказываются недоступными вовсе. Принцип случайного отбора соблюсти не удается, а масштабы обследования часто слишком малы, чтобы претендовать хотя бы на какую-то репрезентативность в статистическом смысле слова.

И что греха таить, практикующие исследователи (в том числе грамотные и все понимающие) начинают заменять книжные принципы отбора другим мощным принципом – принципом удобства, или повышенной доступности. Если нас интересуют руководители предприятий, то опрашиваем представителей деловой ассоциации, на которую у нас есть хороший выход. Понадобились школьники – идем в школу, где у нас есть знакомые учителя. А то и просто набираем знакомых или через знакомых, а потом, для пущей учености, называем это принципом снежного кома.

Что ж, многим из нас приходится поступать именно так. К тому же существуют труднодоступные объекты (например, бандитские авторитеты), на которых без специальной и очень личной рекомендации вообще не выйдешь. Допустим, мы не можем порою построить нормальную выборку, пусть будет так. Но давайте не будем превращать нужду в добродетель и говорить с гордым или отрешенным видом, что вопросы выборки нас не касаются.

Если уж мы отобрали кого-то полухаотичным перекатыванием снежного кома от знакомых к друзьям этих знакомых, то давайте хотя бы задним числом попытаемся выявить, по каким закономерностям происходил отбор, представители каких групп попали в наше исследование и к какому объекту относятся полученные нами результаты. Но лучше, конечно, продумать некие принципы отбора заранее, чтобы потом не было мучительно больно за бесцельно потраченные силы.

Требования к заведомо нерепрезентативной выборке

Каковы же минимальные требования нестатистического характера, которые желательно соблюсти в любом, сколь угодно малом обследовании? Первое требование – собрать максимальное количество данных о генеральной совокупности: статистику (если есть), существующие профессиональные описания объекта. Второе требование – отобрать наиболее важные группы или кластеры, которые будут помещены в фокус нашего исследования и из которых мы отберем единицы наблюдения. Каждая группа должна представлять особый тип объекта, а все вместе они должны покрывать предметное поле нашего исследования в той мере, в какой мы это себе можем позволить (полностью покрыть это поле, как правило, никому не удается).

Третье требование – обеспечить наличие и качественное представительство каждой отобранной группы во всей выборке. Как обеспечить наличие, довольно ясно – представители всех этих групп должны быть охвачены нашим обследованием. Менее понятно, что значит «обеспечить представительство», ибо здесь неумолимо встает вопрос о количестве единиц обследования. Достаточно ли взять по одному случаю на каждый тип объекта? Строить свои суждения на основе одного кейса как-то неловко, поскольку не оставляет мысль: «А вдруг второй респондент станет говорить нечто совершенно противоположное». Берем два, три – все равно мало. Или достаточно? Есть ли какие-то счастливые формулы, которые можно вычитать из учебника и с успехом применять на микровыборках? Увы, таких правил и формул быть не может, ибо мы оказываемся вне поля статистических расчетов. Сколько мы возьмем интервью – 10, 20 или 50 – с точки зрения статистики никакой роли не играет: все это не достигает пределов статистического анализа. Иные специалисты скажут нам, что статистически разница между 100 и 200 тоже не существенна. Она существенна только для нас, ибо в этих случаях серьезно различаются затраты нашего собственного труда.

Как же быть, чтобы не растерять весь энтузиазм на полевых работах и добраться живым до анализа полученных данных, не растратив попусту и без того небольшие деньги? Сначала мы должны рассчитать свои силы и отпущенное нам время. И здесь следует учесть нехитрое правило.

Правило 15. Полевые обследования всегда занимают больше времени, чем мы рассчитываем, пусть даже со всеми припусками и допусками.

Затем мы должны еще раз просмотреть список основных критериев, по которым выделяются группы и подгруппы изучаемых нами объектов. Чем они более детальны, тем больше единиц наблюдения требуется для того, чтобы после завершения обследования мы спали спокойно. Не исключено, что здесь придется умерить амбиции и отказаться от какого-то не столь важного для нас аналитического аспекта, уменьшить количество выделенных типов, привести задачу в соответствие нашим возможностям.

Наконец, мы берем каждую группу (подгруппу) и начинаем опрашивать ее представителей. Когда мы вправе остановиться? Или мы обязаны подчиняться принципу «чем больше – тем лучше» и «трясти» объект, пока не кончатся время и силы? Правило таково.

Правило 16. Нужно продолжать обследование, пока не появится уверенность в том, что основные формы, в которых являет нам себя данная группа (подгруппа), исчерпаны, когда принципиальные признаки начинают упорно повторяться и не возникает каких-то качественно новых вариантов.

Можем ли мы знать это наверняка (тем более, определить магическое число заранее, до выхода в поле)? Нет, не можем, и никакой учебник по качественным методам нам в этом отношении не поможет. Потому что, как ни прискорбно это признавать, речь идет о тонком вопросе исследовательской интуиции. И в качестве доказательства полноты охвата мы можем предложить лишь нашу уверенность в том, что мы не упустили что-то очень существенное, – в надежде, что симпатизирующие нам коллеги и бесстрастные эксперты нам поверят. Впрочем, мы в состоянии помочь себе и другим способом – предоставив впоследствии добросовестное описание нашего исследовательского пути.