1. Александр Сидоров
Руководитель сервиса Безопасный Поиск
APIшник в Киеве, 27 апреля 2013
API Безопасного
Поиска Яндекса
как подключиться и защитить своих
пользователей

2. 2
Содержание
• пара слов о Безопасном Поиске
• Safe Browsing API
• Lookup API
• Check Adult API
• страница с деталями заражения
• Яндекс.DNS как API
• опасные документы Яндекс.XML
• API Яндекс.Вебмастера
• идеи продуктов с защитой пользователей

3. В чём опасность, как и зачем
Яндекс делает безопаснее

4. 4
Веб-угрозы
• Распространение вредоносного кода
– drive-by-download атаки
открыл страницу – заразился через уязвимости браузеров и плагинов
– социальная инженерия: заражённый софт
«отключите антивирус на время установки», мобильные редиректы, «обновите Оперу»…
• Мошеннические сайты
подделка, подмена, блокировка известных сайтов
смс-мошенничество
кража учётных записей
кража платёжных реквизитов
продажа несуществующего или бесплатного
смс-архивы
сайты с несуществующими услугами или контентом
• Чёрное SEO
…
На практике все они тесно связаны друг с другом

5. 5
• сайты заражают и
обманывают
пользователей
• это подрывает доверие к
интернету и электронным
платежам
• меньше круг решаемых в
интернете задач
• вредит интернет-отрасли
в целом

6. 6
Как это работает

7. 7
Статистика работы системы
• 23m страниц проверяется в сутки
• более 210k заражённых хостов в базе
• точность информации о том, что хост
заражён, не менее 99,5%
• среднее время перепроверки сайтов
не более суток
• Safe Browsing API подключаются в сутки
более 10m браузеров

8. Кому и зачем
подключаться

9. 9
Кому и зачем
• браузеры, почтовые и IM-клиенты
– защищать пользователей
• форумы, порталы, сокращатели ссылок, соц.
сети, рекламные сети
– проверять UGC и ссылки рекламодателей
• средства мониторинга и фильтрации трафика
– источник данных для категоризации сайтов
• мобильным операторам и интернет-
провайдерам
– предоставлять защиту как услугу
• антивирусам
– обмениваться данными и семплами

10. Как подключаться

11. 11
Safe Browsing API Яндекса
• проверка, известен ли нам URL как
вредоносный или фишинговый
• ежедневно используется более чем в 10m
браузеров
• Web of Trust проверяет более 45m хостов
в сутки
• бесплатно для некоммерческого
использования

12. 12
Область применения SB API
• для высоконагруженных приложений,
веб-сайтов и фильтров трафика, стоящих
«в разрыв»
• 99,5% случаев – проверка без обращения
к серверам SB API
• 99,1% оставшихся случаев серверы
обрабатывают запрос быстрее 50 мс,
uptime 100%

13. 13
Как работает Safe Browsing API
Клиент
ключи, документация, готовые библиотеки: safe.yandex.ru

14. 14
Lookup API, Check Adult API
• очень простые
• можно использовать из curl, легко
встраивать куда угодно
• скорость ответа, надёжность, условия
использования – как у Safe Browsing API

15. 15
Как работает Lookup API
https://sba.yandex.net/lookup?pver
=3.5&client=api&apikey=<ваш_ключ>&
url=<проверяемый_URL>
ответ:
• phishing, статус 200, если фишинг
• malware, статус 200, если malware
• пустой, статус 204 – если страница
не представляет опасности
• ключи: safe.yandex.ru

16. 16
Как работает Check Adult API
http://sba.yandex.net/cp?pver=4.0&c
lient=api&url=<проверяемый_URL>
ответ:
• adult, если страница только для взрослых;
• ok – если и для детей тоже.

17. 17
HTTP-заголовок
«за компьютером ребёнок»
X-Yandex-Family-Search:yes
• переводит Поиск и Картинки Яндекса в
режим «для всей семьи»
• используйте на своём сайте и в
приложениях для детей!

18. 18
Безопасный Яндекс.DNS
• 77.88.8.88
− фильтрация сайтов с вирусами и
фишингом
− резолвит такие домены в 93.158.134.250
• 77.88.8.7
− фильтрация сайтов с вирусами, с
фишингом и для взрослых
− резолвит такие домены в 93.158.134.250
• dns.yandex.ru

19. 19
Страница с деталями заражения
http://yandex.ru/infected?l10n=ru&
url=<проверяемый_URL>

20. 20
В результатах поиска Яндекс.XML
• если найденный документ – опасный, у
тега <doc> появляется не пустой атрибут
malicious
• например, в ответе на запрос
http://xmlsearch.yandex.ru/xmlsearch?text=w
mconvirus.narod.ru есть
<doc id="49–13-7-ZD7CD13E4BDFDB7D3"
malicious="sophos">
• ключи и документация xml.yandex.ru

21. 21
В API Яндекс.Вебмастера
• для хостингов
• в XML-списке хостов есть тег «virused»,
например
<hostlist><host href="...">
...
<virused>true</virused>
...
</host>...</hostlist>
• см. http://api.yandex.ru/webmaster/doc/dg/refe
rence/hosts.xml
• вся документация api.yandex.ru/webmaster

22. 22
Опции для антивирусных партнёров
• 4,2k новых заражённых хостов в сутки
• примерно столько же – переставших
распространять вредоносный код
• 350 MB в сутки наиболее актуальных
вредоносных бинарных семплов
• только равноценный обмен
• пишите на safesearch@yandex-team.ru

23. Кто уже подключен

24. 24
Кто уже подключен
• Я.Браузер, Mozilla Firefox с
Яндекс.Элементами, Опера, PlayFree
Браузер
• virustotal.com, 2ip.ru, sucuri.net
• Web of Trust, Surfingbird
• несколько антивирусных партнёров

25. Идеи

26. 26
Например, можно было бы сделать
• проверка ссылок, присылаемых в Миранде
– заразить компьютер, разослать заражённые ссылки по контактам
ICQ, снова заразить, снова разослать и т.д. – классический сценарий
эпидемии
• браузер для маленьких пользователей
– CheckAdult + X-Yandex-Family-Search:yes
• предупреждения о заражённых страницах в SQUID
– в дополнение к ClamAV :)
• проверка внешних ссылок в Joomla, Drupal, phpBB
– защитите пользователей вашего сайта
• антивирус
– пара SDK для файловой проверки + SB API + CheckAdult = антивирус
с защитой интернет-соединения и родительским контролем

27. 27
Мы делаем интернет
безопаснее.
Подключайтесь!

28. Александр Сидоров
Руководитель
Безопасного Поиска
sidorov@yandex-team.ru
http://safesearch.ya.ru/
Спасибо!
Вопросы?