Кевин Мосшоулдер (Kewin W. Mossholder 2011) [18] выделяет две стратегии применения открытых вопросов в методике социолога: 1) снижение разочарования респондента, который получает возможность объяснить свои ответы; демонстрация и подчеркивание количественных результатов; 2) поиск фокусных, связанных конструкций; предоставление основы для обоснованной теории (Grounded Theory, GT). Стоит отметить, что в GT важно как можно меньшее влияние на респондента как со стороны интервьюера, так и других внешних факторов [4, c. 5], поэтому (построенная на открытых вопросах анкета для самозаполнения кроме паспортички, которая удобнее и проще в закрытом состоянии) согласуется с этой теорией получения «чистых» данных. Адекватность применения самозаполняемых анкет в случае открытых вопросов показана Климовой С.Г. [3, с. 10]. Неудобство и нецелесообразность открытых вопросов при чтении их интервьюером респонденту доказывает Рогозин Д.М. [10]. Впрочем, Роберт Гровер описывает несколько организаций, практикующих открытые вопросы при социологических исследованиях, причем, одни требуют от интервьюера как можно более близкой записи ответа респондента, другие –классифицировать ответ респондента на множество категорий прямо «в поле» [20, p. 311].
Первую крайне позитивистскую стратегию подтверждают данные портала университета штата Северной Каролины, готовящего бакалавров и магистров социологии, где обсуждаются достоинства и недостатки открытых и закрытых вопросов. Согласно их представлениям, роль открытых вопросов – это лишь дополнение, которое можно включить в структурированный опросник для получения «непредвиденных» ответов, причем, если есть ресурсы для анализа таких ответов [19].
На портале, посвященном методам социального исследования, (также) в разделе: «Types Of Questions» вообще нет ни одного намека на открытый вопрос как возможный тип получения знания [15]. Единственная роль, которую определяют открытым вопросам – как вводные вопросы, которые позволят «зацепить» и заинтересовать респондента [16].
Одним из самых острых вопросов за рубежом по поводу исследований, основанных на открытых вопросах, является процедура кодировки полученных данных. Эта проблема была поднята еще в 1977 оксфордским профессором Эндрю Монтгомери и др. в статье «Улучшение надежности кодирования открытых вопросов» [17]. Отношение к надежности качественных исследований, в том числе, и основанных на открытых вопросах, выделил Дэниэль Хруска (Daniel J. Hruschka 2004) [14, p. 308]:
1. Качественные исследования, несмотря на различные парадигмы, не могут оперировать критерием «надежности», которая является производной от количественной методологии – это крайне позитивистская позиция, относящаяся к открытым вопросам как к дополнению, методу получения вспомогательных, «непредвиденных ответов» или чему-то второстепенному.
2. Другие выражают скептицизм по поводу предмета качественного анализа, который состоит в кодировании полученных данных и отнесением каждого сегмента текста к репрезентативному (на взгляд кодировщика) коду. Так, предполагая, что получение надежных кодировок текста невозможно, или в лучшем случае имеет второстепенное значение, проявляется в самоуправлении и бессистемной и неясной отчетности среди кодеров.
3. В отличие от этих взглядов, третью позицию занимают исследователи, которые, основываясь на теории принятия решений и когнитивной психологии, предлагают методы повышения надежности кодирования для команды кодировщиков. Так, при принятии решений на основе сложных данных, человек использует интуитивно понятые закономерности, которые могут вносить систематические ошибки или случайные ошибки. Хагелин доказал [13], что неизбежно большое количество необходимых для классификации ответов на открытые вопросы могут привести к изначально низкой согласованности между классификациями кодеров.
Даниэль Хруска (Daniel J. Hruschka) в статье «Надежность в кодировании открытых вопросов: уроки, извлеченные из исследования ВИЧ» [14] предлагает для повышения надежности классификаций между двумя кодерами сравнивать классификации с помощью критерия каппы Коэна, при условии получения коэффициента >0,8 считать классификацию надежной. Впрочем, аналогичного можно добиться и с одним кодером, при условии кодирования двух подвыборок (даже пересекающихся), однако, объективность результатов получится все же ниже.
Заславский А.А. и Пригарина Т.А. предложили модификацию каппа-статистики [2] для анализа согласованности субъективных классификаций, которую можно применять в случае, если классы заданы заранее (вопросы закрыты) для категориальных, порядковых шкал. Учитывая опыт проведения исследования, основанного на открытых вопросах в марте 2011 года, а также разработанный классификатор адекватный для той, социально-демографической группы, среди которой планируется проведение опроса в рамках проекта, использование этого метода может быть приемлемым.
Методологическим преимуществом открытых вопросов является не навязывание респонденту конструктов и теории исследователя, что особенно важно в исследованиях, посвященным мотивации и взглядам человека [11, c. 251]. Согласно исследованиям Масловой О.М. [5] данные, получаемые на аналогичные закрытые и открытые вопросы, не совпадают, причем полузакрытые вопросы никакой практической ценности в этом случае не несут, так как конструкт исследователя уже навязан. Мельников А.Н., проводя вторичный анализ данных полученных при выявлении электоральных предпочтений на 1999 год, также обнаружил значимое несовпадение ответов [6, с. 122]. Такую ситуацию он объясняет тем, что в сознании респондентов существует сразу несколько объектов (кандидатов в президенты или ценностей), каждый из которых занимает свою позицию согласно внутреннего рейтинга. Чем выше рейтинг лидера, тем устойчивее выбор и он менее подвержен внешнему влиянию, который может налагать на себя процедура опроса, анкетер, другие ответы в анкете и еще большое количество факторов. В открытом же вопросе чаще всего ввиду экономии умственных ресурсов будет названа именно лидер ранжировки [6, с. 125].
Группа британских ученых, специализирующихся в криминологии и психологии Стефан Фэрралл (Stephen Farrall), Джон Бэнистер (Jon Bannister), Джейсон Дайттон (Jason Ditton) и Элизабет Гилчрист (Elizabeth Gilchrist), исследуя проблему роста страха преступности, который фиксировали опросы, основанные на «закрытых» вопросах (58% респондентов-жителей Шотландии обеспокоены возможностью стать жертвой преступления, 36% чувствовали себя неуютно или совсем небезопасно, возвращаясь домой поздно вечером в своем районе), провели исследование в рамках количественно-качественной методологии, чтобы определить природу этого явления (N=64) [12].
Уровень страха преступления также значимо различается при проведении количественного и качественного исследования, при этом были выделены три степени несоответствия: «катастрофический», «серьезный» и «мягкий» [12]. Наибольшее несоответствие было получено по формам «закрытой» и «открытой» формам вопросов (n=46, 40%).
Проводя одно из самых обстоятельных исследований сравнения открытых и закрытых вопросов, когда опрос завершался качественным методом (интервью), Белсон обнаружил, что отвечая на закрытые вопросы, респонденты на 20% увеличивают показатели, чем на самом деле (в данном случае опрашивался уровень потребления шоколада респондентом за предыдущую неделю). Далее, Белсон приходит к выводу, что качественные методы ближе к истине [12].
Поэтому именно в «тонких» сферах человеческой деятельности открытые вопросы активно применяются: для измерения эмоций в контексте организационных изменений [18], толерантности [9], жизненных ценностей [1] и др. Например, известны более 50 исследований, проведенных на базе открытых вопросов Г.И. Саганенко [7, 8], посвященные ценностям, здоровью, отношениям в семье и школе и др., обосновывая иную методологию обработки данных, чем ту, которая принята в рамках позитивистской парадигмы. Другие исследователи [12, 14, 18] ставят не только своей целью получить релевантные реальной ситуации данные, но и обработать и применить статистические методы.
Список источников
1. Гегер А.Э. Выявление индивидуальных и групповых ценностей в группе молодежи. Релевантные методические решения // Социологические исследования. – 2010. – №1. – С. 132– 141.
2. Заславский А.А., Пригарина Т.А. Оценка согласованности субъективных классификаций при заданных классах // Социология: 4М. 1994. № 3-4. С. 84-109.
3. Климова С.Г. Область применения и трудность кодификации открытых вопросов // Социология 4М: 2006. – № 23. – С. 5-25.
4. Клюшкина-Савинская О.Б. Построение теории на основе качественных данных (из истории развития методологического направления) // Социологические исследования. – 2000. – № 10. – C. 1-24.
5. Маслова О.М. Познавательные возможности открытых и закрытых вопросов // Социологические исследования. – 1984. - № 2.
6. Мельников А.Н. Влияние формы вопроса в контексте изучения электорального поведения // Социология: 4М. – 2000. - № 12. – С. 113-128.
7. Многообразие возможностей социологического изучения сферы образования. Часть II. Прикладные технологии в социологическом изучении сферы образования / Под научной ред. Г. И. Саганенко. – СПб.: ГНУ ИОВ РАО. – 2005. – С. 157.
8. Саганенко Г.И. Многообразие возможностей социологического изучения сферы образования. Часть I. Обоснование и технологии социологических исследований, базированных на текстах. СПб.: ГНУ ИОВ РАО. – 2004. – С. 204.
9. Пашкевич А.В. Опыт использования закрытых и открытых вопросов при изучении толерантности // Социология: 4М. – 2010. – С. 131-150.
10. Рогозин Д.М. Когнитивный анализ опросного инструмента. – М.: Институт Фонда «Общественное мнение». – 2002
11. Ядов В.А. Стратегия социологического исследования. – М.: Добросвет. – 1998.
12. Farrall, S.; Bannister, J.; Ditton, J.; Gilchrist, E. 1997. Open and Closed Question // Social Research Update. – Issue 17. – Режим доступа:http://sru.soc.surrey.ac.uk/SRU17.html
13. Hagelin, E. 1999. Coding data from child health records: The relationship between interrateragreement and interpretive burden // Journal of Pediatric Nursing. Vol. 14. – No 3. – p13–21.
14. Hruschka D.J. Reliability in Coding Open-Ended Data: Lessons Learned from HIV Behavioral Research // Field Methods. – August 2004. – Vol. 16. – No. 3. – p307–331. – Режим доступа: http://www.analytictech.com/mb870/Readings/hruschka.pdf
15. http://www.socialresearchmethods.net/kb/questype.php
16. http://www.socialresearchmethods.net/kb/quesword.php
17. Montgomery, A.C.; Crittenden, K.S. Improving Coding Reliability for Open-Ended Questions // Public Opinion Quarterly. – Summer 1977. – Vol. 41. – Issue 2. – p235-243.
18. Mossholder K.W. Measuring emotion in open-ended survey responses: an application of textual data analysis - Research Methods & Analysis // Journal of Management. – 11 Sep, 2011. – Режим доступа: http://findarticles.com/p/articles/mi_m4256/is_n2_v21/ai_16877327/
19. North Carolina State University at Raleigh. What are the pros and cons of using open-ended items? Режим доступа:http://faculty.chass.ncsu.edu/garson/PA765/survey.htm
20. Robert M. Groves, Floyd J. Fowler, Mick P. Couper, James M. Lepkowski, Eleanor Singer. Survey methodology / Wiley Series in Survay Methodology. – Second edition. – July 2009. – p. 488.
