Сравнение автоматических систем мониторинга социальных медиа. Часть 2. В расширенном исследовании приняли участие системы Babkee, Brandoscope, Buzzlook, Iqbuzz, SemanticForce, YouScan.

1. МОНИТОРИНГА СОЦИАЛЬНЫХ МЕДИА
ТЕСТ-ДРАЙВ АВТОМАТИЧЕСКИХ СИСТЕМ
ЧАСТЬ 2

2. ЗАДАЧА:
оценить и сравнить возможности
автоматических систем мониторинга социальных
медиа для поиска и анализа отзывов
потребителей в социальных сетях.
найти и проанализировать отзывы клиентов
банка «Русский стандарт» о его работе
ТЕСТОВОЕ ЗАДАНИЕ:
УЧАСТНИКИ:

3. УСЛОВИЯ ТЕСТА:
ПЕРИОД МОНИТОРИНГА: 12.12-18.12.2011
КЛЮЧЕВЫЕ СЛОВА: Русский стандарт, Руский
стандарт, русскийстандарт, Брс, рсб, Rsb ru, rsbank,
Банк в кармане
МИНУС-СЛОВА: Водка, vodka, Зеленая марка,
алкоголь, бутылка, водочный, вакансии, Gancia,
разбавят, винный
КРИТЕРИИ РЕЛЕВАНТНОСТИ СООБЩЕНИЙ:
СЛЕДУЮЩИЕ СООБЩЕНИЯ БЫЛИ ОТСЕЯНЫ:
-сообщения со словами «банк», «русский» и
«стандарт», не относящиеся к банку Русский
стандарт;
-упоминания водки Русский Стандарт;
-пресс-релизы банка, распространяемые в сети
Интернет;
-сообщения сотрудников банка ;
-спам, предлагающий взять кредит на выгодных
условиях
Настройка темы проходила с помощью служб
техподдержки тестируемых систем

4. 1) Качество мониторинга отзывов о банке:
А) Количество найденных релевантных
упоминаний
Б) Количество найденных релевантных
упоминаний по ключевым источникам
В)Соотношение позитивных и негативных
отзывов о работе банка Русский стандарт
после ручного определения тональности
2) Удобство пользования системой:
А) Удобство интерфейса
Б) Удобство исключения источников
В) Удобство исключения авторов
Г) Удобство проставления тональности
Д) Экспорт отчетов в Excel/Word
Е) Скорость реагирования системы
Ж) Работа техподдержки
3) Цена:
А) Минимальная стоимость системы в месяц
КРИТЕРИИ ОЦЕНКИ:

5. 0
10
20
30
40
50
60
70
Babkee
Brandoscope
Buzzlook
IQBuzz
Semantic Force
YouScan
КОЛИЧЕСТВО РЕЛЕВАНТНЫХ
УПОМИНАНИЙ:
12.12.2011 13.12.2011 14.12.2011 15.12.2011 16.12.2011 17.12.2011 18.12.2011 ВСЕГО
Babkee* 15 9 14 15 20 17 17 107
Brandoscope 31 27 39 29 47 26 29 228
Buzzlook 28 24 15 1 0 1 37 106
IQBuzz 66 63 34 46 29 27 16 281
Semantic Force 39 14 45 40 52 25 12 227
YouScan 30 17 30 35 51 27 24 214
*в тестовом аккаунте системы Babkee RSS-лента banki.ru отсутствовала

6. 0
10
20
30
40
50
60
70
80
90
100
banki.ru twitter.com livejournal.com vkontakte.ru mail.ru
Babkee
Brandoscope
Buzzlook
IQBuzz
Semantic Force
YouScan
УПОМИНАНИЯ ПО
КЛЮЧЕВЫМ ИСТОЧНИКАМ:
*в тестовом аккаунте системы Babkee сбор c RSS-ленты banki.ru не осуществлялся

7. СООТНОШЕНИЕ ПОЗИТИВНЫХ
И НЕГАТИВНЫХ УПОМИНАНИЙ:
0%
10%
20%
30%
40%
50%
60%
70%
Babkee Buzzlook IQBuzz YouScan
позитивная
негативная
нейтральная
*в SemanticForce и Brandoscope разметку тональности в системе произвести так и не удалось

8. Babkee Brandoscope Buzzlook IQBuzz SemanticForce YouScan
УДОБСТВО ИНТЕРФЕЙСА 5 2 4 5 4 5
УДОБСТВО ИСКЛЮЧЕНИЯ
ИСТОЧНИКОВ
4 1 5 4 5 5
УДОБСТВО ИСКЛЮЧЕНИЯ
АВТОРОВ
4 5 1 4 5 5
УДОБСТВО ПРОСТАВЛЕНИЯ
ТОНАЛЬНОСТИ
5 5 4 5 1 4
СКОРОСТЬ РЕАГИРОВАНИЯ
СИСТЕМЫ
4 3 5 5 2 4
ЭКСПОРТ ОТЧЕТОВ В
EXCEL/WORD
3 3 1 5 3 5
РАБОТА ТЕХПОДДЕРЖКИ 5 5 5 5 5 5
ИТОГО: 30 24 25 33 25 33
ОЦЕНКА УДОБСТВА
ПОЛЬЗОВАНИЯ СИСТЕМОЙ:
 1 БАЛЛ (ОЧЕНЬ ПЛОХО) 5 БАЛЛОВ (ОТЛИЧНО)

9. Babkee YouScan Semantic Force IQBuzz Buzzlook Brandoscope
7900* 5314,95** 8012,5** 3500 2145 9000
*Базовый тариф в данной системе стоит 1790 рублей, однако в нем нет возможности
отслеживания RSS-лент. Для полноценного мониторинга в банковской сфере будет
необходимо подключение rss-ленты портала banki.ru
**Стоимость рассчитана по курсу USD на 21.12.2012 (1$=32,05 рублей)
МИНИМАЛЬНАЯ СТОИМОСТЬ
СИСТЕМЫ В МЕСЯЦ, РУБ.:

10. «Babkee знают все» - так написано в рекламе
данной системы, только их надо хорошо
попросить, чтобы рассказали, надо добавить к
слогану. В целом работать с системой приятно,
очень внимательная техподдержка – подробно и
пошагово проконсультируют по каждому вопросу.
Можно разобраться в системе и самостоятельно,
но все же лучше воспользоваться помощью –
качество мониторинга от этого только выиграет, а
время, потраченное на него, значительно
сократится. Жаль, что на тестовом аккаунте не
было предусмотрено подключения RSS-лент (для
данного мониторинга было важно получить
информацию с форума портала banki.ru), также
отсутствует ретроспективный сбор информации с
RSS-лент, и это, пожалуй, основной минус данной
системы.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

11. Очень противоречивая система. С одной стороны,
собирает довольно много сообщений, хорошо
реализован механизм исключения авторов и
простановки тональности, но, с другой стороны,
воспользоваться всем этим в полной мере не
получается из-за неудобств интерфейса. Самое
неудобное – это то, что нельзя отфильтровать
сообщения за определенный период времени и
работать только с ними. То же самое с
формированием отчета: есть только
предустановленные периоды - день, неделя,
месяц, полгода, задать пользовательский
интервал, который и был нужен, нельзя. Экспорт
отчета и сообщений в Excel есть, но, опять же за
неподходящий период времени. В итоге
пришлось работать с базой сообщений уже
непосредственно в Excel и там же строить
диаграммы.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

12. Хотя бета-тестирование системы и было
официально закончено, разработчикам предстоит
с ней еще много работы. Сбор сообщений уже
осуществляется, но пока еще до конца не отлажен.
После исключения большого числа источников и
авторов система практически перестала находить
сообщения, хотя Яндекс. Блоги показывал их
наличие. Спасибо техподдержке, которая
оперативно сработала и в итоге была создана
новая тема с точно такими же настройками, в
которой и собрались сообщения. Но пока число
найденных релевантных сообщений уступает
другим системам. Была также замечена
фактическая ошибка в отчете: на двух графиках
тональности были найдены расхождения в общем
числе сообщений, при попытке скачать
найденные сообщения в Excel выдало также
ошибку , не хватает экcпорта диаграмм с
расшифровкой в Excel или Word. Тем не менее,
интерфейс системы очень хорошо проработан, ей
удобно пользоваться, привлекательная цена.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

13. Упоминаний находит очень много, причем
релевантных. Удобный экспорт отчетов в Word,
сами отчеты достаточно информативны. При
исключении источников или авторов необходимо
перезаполнение рубрики, что занимает
дополнительное время. Однако это
компенсируется легкостью и удобством простого
удаления нерелевантных сообщений. Есть
автоматическое определение тональности, но все
же лучше просмотреть все документы и
скорректировать ее вручную – интерфейс системы
сделан таким образом, что много времени это не
займет.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

14. Система для терпеливых, но сообщения собирает
очень хорошо (сообщений много, нерелевантные
успешно отсеиваются минус-словами). Лучший
сбор сообщений из Facebook, очень удобное
исключение источников. Основной минус -
медленно работает: после каждого клика мышью
нужно некоторое время подождать. Особенно это
проявляется при разметке тональности:
определив тональность на странице нужно минут
15 ждать пока все сохранится.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

15. Очень удобный интерфейс, лучший экспорт
отчетов в Excel –можно как вставить в отчет
готовые диаграммы, так и провести при
необходимости дополнительное исследование
среди найденных сообщений. Из неудобств:
небольшая задержка по времени при
выставлении тональности, иногда надо было 2
раза кликать, чтобы разметить тональность.
ВПЕЧАТЛЕНИЯ ОТ СИСТЕМЫ:

16. Наш сайт:
www.sky-promo.ru
Наша почта:
sales@sky-promo.ru
Наш телефон:
+7 (985) 222-95-26