Оценка качества данных исследования
•Download as PPTX, PDF•
0 likes•650 views
Как оценить качество данных, полученных в результате проведения интервью с экспертами? В презентации - ответ на этот вопрос: специальный алгоритм оценки качества данных экспертного опроса, продемонстрированный на примере исследования неформальных практик участников рынка ювелирных изделий.
Recommended
More Related Content
Similar to Оценка качества данных исследования
Similar to Оценка качества данных исследования (20)
Оценка качества данных исследования
- 1. Данные об авторе: Овчинникова Марина Владимировна Исследовательская компания SALT, Вице-Президент Европейской Инвестиционно-Финансовой Группы (ЕИФГ), Член Экспертной Комиссии по Импортозамещению ГосДумы РФ. Тел. +7 903 247 40 60 e-mail.: mo@salt-research.com Алгоритм оценки качества данных экспертного опроса: на примере исследования неформальных практик участников рынка ювелирных изделий © Москва 2015
- 2. Алгоритм оценки качества данных качественного исследования: экспертный опрос 2 1 Предыстория проблемы оценки качества данных экспертного опроса
- 3. Алгоритм оценки качества данных качественного исследования: экспертный опрос 3 Применяются в социологических исследованиях, маркетинге и журналистике Становятся базой исследований и основой выводов «Эксперты –Универсалы», участвующие в обсуждении полярных тем Эксперты дают интервью, не всегда подкрепленные знаниями из практики Индустриализация метода приводит к сомнительным результатам ПРЕДЫСТОРИЯ
- 4. Алгоритм оценки качества данных качественного исследования: экспертный опрос 4 ПРОБЛЕМА КАК ОЦЕНИТЬ КАЧЕСТВО ДАННЫХ, ПОЛУЧЕННЫХ В РЕЗУЛЬТАТЕ ПРОВЕДЕНИЯ ИНТЕРВЬЮ С ЭКСПЕРТАМИ?
- 5. Алгоритм оценки качества данных качественного исследования: экспертный опрос 5 2 Алгоритм оценки качества данных исследования: экспертный опрос
- 6. Алгоритм оценки качества данных качественного исследования: экспертный опрос 6 АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА Концентрация на выстраивании методологии вторична относительно результатов, ожидаемых на выходе ВАЖЕН НЕ МЕТОД, А РЕЗУЛЬТАТ
- 7. Алгоритм оценки качества данных качественного исследования: экспертный опрос 7 ДВЕ СТУПЕНИ АЛГОРИТМА ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТНОГО ИССЛЕДОВАНИЯ АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА 1. СТРАТЕГИЯ Каждый этап исследования отвечает на вопросы, поставленные на старте Получаемые данные релевантны исследовательским задачам 2. ТАКТИКА Отсутствие Капитана Очевидность: высокая информативность Взвешивание данных в теоретических парадигмах Анализ вместо описания. Рефлексия исследователя
- 8. Алгоритм оценки качества данных качественного исследования: экспертный опрос 8 ДВА СРЕДСТВА СЛЕДОВАНИЯ АЛГОРИТМУ В РАСПОРЯЖЕНИИ ИССЛЕДОВАТЕЛЯ 1. «УПОРСТВО» Готовность к изменению сроков реализации Готовность к увеличению прилагаемых усилий 2. «ГИБКОСТЬ» Готовность к адаптации методологии в процессе проведения исследования Чувствительность к получаемым результатам в процессе сбора данных, а не на этапе отчета АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА
- 9. Алгоритм оценки качества данных качественного исследования: экспертный опрос 9 3 Пример эффективности применения алгоритма на практике: Как определяли экспертов для проведения «Исследования неформальных практик участников рынка ювелирных изделий»?
- 10. Алгоритм оценки качества данных качественного исследования: экспертный опрос 10 ПРИМЕР ЭФФЕКТИВНОСТИ «Исследование неформальных практик участников рынка ювелирных изделий» СТАРТ ИССЛЕДОВАНИЯ Кто как не сами участники рынка могут обладать экспертным знанием о неформальных практиках, присутствующих на рынке? Первоначальная гипотеза: участники рынка как никто другой высоко осведомлены о проблемах в бизнесе, возникающих из-за несовершенства законов и о том, какие неформальные практики возникают в ответ.
- 11. Алгоритм оценки качества данных качественного исследования: экспертный опрос 11 ПРИМЕР ЭФФЕКТИВНОСТИ «Исследование неформальных практик участников рынка ювелирных изделий» ФИАСКО ПЕРВЫХ РЕЗУЛЬТАТОВ Но! Первые интервью с участниками рынка не подтвердили гипотезу. Вместо неформальных практик, возникающих в ответ на законодательные нормы рынка, эксперты рассказали о проблемах бизнеса. Связи между проблемами бизнеса и законодательными нормами рынка в первых интервью обнаружено не было.
- 12. Алгоритм оценки качества данных качественного исследования: экспертный опрос 12 ПРИМЕР ЭФФЕКТИВНОСТИ «Исследование неформальных практик участников рынка ювелирных изделий» Целью исследования было выделить те неформальные практики, которые четко связаны с законом. Оттолкнулись от обратного: с новым вопросом обратились к участникам законотворчества и отраслевых ассоциаций: какие законодательные изменения и инициативы они считают самыми важными в течении последних трех лет? Определили три ключевых направления законотворчества: • Регулирование процедуры проведения аффинажа. • Таможенно-налоговые нормы импорта ювелирных изделий и сырья в отрасли. • Требования, устанавливаемые в отношении порядка транспортировки ювелирных изделий.
- 13. Алгоритм оценки качества данных качественного исследования: экспертный опрос 13 ПРИМЕР ЭФФЕКТИВНОСТИ «Исследование неформальных практик участников рынка ювелирных изделий» КОНЕЧНЫЙ РЕЗУЛЬТАТ Выделенные ключевые направления законотворчества позволили сформировать точную выборку экспертов – практиков, и сформулировать для них концентрированные вопросы, посвященные деятельности компаний по конкретным направлениям (выбор сырья, импорт оборудования и ювелирных изделий, транспортировка ювелирных изделий). Во всех трех направлениях были найдены более чем нетривиальные модели поведения участников, на основании которых была составлена логичная карта неформальных практик.
- 14. Алгоритм оценки качества данных качественного исследования: экспертный опрос 14 Moscow 1st Truzhenikov lane, 14 b. 1 www.salt-research.com +7 495 987 21 61 Марина Овчинникова, Директор по развитию E-mail: mo@salt-research.com Mobile: +7 926 528 96 12 КОНТАКТЫ Salt © Essential ingredient in your marketing kitchen! www.salt-research.com
Editor's Notes
- Экспертные опросы повсеместно применяются в современных практиках маркетинговых и социологических исследований. Ссылки на экспертов можно встретить как в статьях журналистов, так и в масштабных социологических исследованиях. В результате «универсализации» экспертного интервью как метода, сформирован пул «универсальных солдатов» – экспертов, системно дающих интервью на темы, не во всех случаях основанные на бэкграунде (складывается ситуация, аналогичная пулу профессиональных респондентов). Индустриализация метода приводит к постепенному снижению качества получаемых результатов.
- Логика применима для любого качественного исследования. В методологиях с экспертной частью логика принимает особую значимость.
- СТРАТЕГИЯ Каждый этап исследования отвечает на вопросы, поставленные на страте (стратегия) Получаемые данные релевантны исследовательским задачам (решение исследовательской проблемы) ОТКАЗ ОТ КАПИТАНА ОЧЕВИДНОСТЬ Информативность получаемых от экспертов ответов выше Капитана Очевидность. Взвешивание получаемых данных в существующих теоретических парадигмах. Анализ, вместо описания. Рефлексия исследователя. (Завершенность исследования. Эксплоративное vs каузальное. Выход на уровень выше слов респондентов. Смыслы и материи, вместо количества упоминаний) исследование не способно ответить на вопрос, поставленный на страте незавершенное исследование, то есть, когда ответ на вопрос получен, но качество полученного ответа либо сравнимо с качеством капитана очевидность. Собраны данные низкого качества, которые не помогают решать поставленных исследовательские задачи несоответствие теоретической базы исследования и выводов, которые сделаны по результатам исследования. или вообще полное отсутствие теоретическрй парадигмы (изобратение с нуля?) Очень базовое описательное исследование, которое не обладает собственной ценностью, только копирует слова респондентов… Отсутствие рефлексии исследователя, воспитанного в количесвтенной парадигме, и обращающего внимание на количество упоминаний определенного слова, нежели на смыслы и материи
- Два важных навыка для проведения успешности исследования: 1. навык возможности «дожать» проект, - то есть, вести исследования так долго, пока результат не станет реально решать поставленный в начале вопрос. 2. навык адаптации и файн-тьюнинга методологии в процессе проведения исследования – то есть четкая чувствительность исследователя в процессе проведения проекта к тому, на сколько выбранный метод отвечает поставленным вопросам.
- ПОВТОРНОЕ СООТНЕСЕНИЕ ЗАДАЧ ИССЛЕДОВАНИЯ И КРИТЕРИЕВ ОТБОРА ЭКСПЕРТОВ Оттолкнуться от обратного. Цель исследования заключалась именно в том, что мы не просто изучали неформальные практики, а стремились выделить те, которые связаны с законодательными изменениями После повторного соотнесения задач исследования и выдвинутых критериев отбора экспертов, обратились к представителям закона и ассоциаций, включенных в процесс законотворчества в отрасли (хотя, казалось бы, они могут рассказать о неформальной составляющей?) Изменили и вопросы гайда экспертного интервью: вместо обсуждения законодательных сложностей и неформальных практик как таковых, включили вопросы о том, какие законодательные изменения и инициативы они считают самыми важными из тех, которые принимались/ обсуждаются на в течении последних трех лет? Что дали нам эти эксперты? Позволили сформулировать хронологию изменений в законодательстве, регулирующем рынок производства ювелирных изделий в России. На основании хронологии, совместно с новыми экспертами, удалось вычленить Кейс № 1: Регулирование процедуры проведения аффинажа. Отсутствие четкого запрета на использование «давальческих схем» в законодательстве - прямое сообщение участникам рынка о возможностях действовать «в рамках закона» и «вне закона» одновременно. Кейс №2: Таможенно-налоговые нормы импорта ювелирных изделий, производственного оборудования и сырья. налоги, устанавливаемые государством на ввоз сырья и производственного оборудования в разы превышают тарифы, устанавливаемые в ряде других стран (Индия, Турция, Китай). Государство, фактически, сообщает участникам рынка непрямую директиву использовать исключительно локальное сырье, что, в свою очередь, обеспечивает спрос на продукцию добывающих предприятий (как уже отмечалось выше, речь идет о предприятиях с государственной формой собственности). Кейс № 3: Требования, устанавливаемые в отношении порядка транспортировки драгоценных металлов и драгоценных камней, а также продукции из них. В данном случае, речь идет о закреплении обязательного сопровождения вооруженной охраной транспортируемых по территории РФ ювелирных изделий. Обязательные требования устанавливаются и в отношении транспорта (специально оборудованный).