По материалам конференции .NET разработчков http://dotnetconf.ru/materialy/korovan

1. Как грабить корованы
Александр Козько и Руслан Сафин
ByndyuSoft
12-я конференция .NET разработчиков
15 мая 2016
dotnetconf.ru

2. 2
BIG DATA
• Volume (Объем)
• Velocity (Скорость)
• Variety (многообразие)

3. 3
Грабеж корована
• Найти данные
• Получить
• Обработать
• …
• Повторить

4. 4
Данные бывают
Структурированные
Неструктурированные
Полуструктурированные

5. 5
Информация содержит
• Тексты
• Имена
• Факты
• все остальное
• Изображения
• Числа
• Связи

6. 6
Доступ к информации
Официально
Полуофициально
Неофициально

7. 7
Официальное использование
Дампы и архивы данных
• Базы данных ФИАС, Wikipedia, Rutracker

8. 8
Официальное использование
Публичные API
• Социальные сети
• Некоторые СМИ (New York Times, …)
• Другие источники (ЦБ РФ, 500px, …)
8

9. 9
Официальное использование
Ссылки на данные
• RSS
• Sitemap
9

10. 10
Полуофициальный доступ
HTML
• Ручная обработка каждого сайта
через XPath (AgilityPack, AngleSharp)
• Умные алгоритмы анализирующие
структуру страниц (NReadability)

11. 11
Примеры – XPath
//*[@id="firstHeading"]
//*[@id="layout"]/div[3]/div[3]/div[2]/div[4]/div[2]
//*[@class='companies_items']/*[@class='company_item']

12. 12
Примеры – NReadability

13. 13
Сложности
Краулинг = (D)DoS
Сайты не хотят делиться информацией
=> Сайты защищаются

14. 14
Обход защиты
Прикидываемся Google bot:
• User-agent
Прикидываемся пользователем
• Ограничение одновременных запросов
• User-agent и Headers
• Cookie
Прокси

15. 15
Тяжелый случай
Эмуляция браузера, когда ничего
другого не помогает:
• Selenium
• PhantomJS
• Awesomeum
15

16. 16
Совсем неофициально
Ревес-инжиниринг Internal API
• Анализ верстки и JS
• Traffic sniffing (Fiddler2, Web Developer Tools)
• Декомпиляция приложений
Обход ограничений
• Rucaptcha.com
• Программный прием SMS
• Одноразовые email

17. 17
Как запустить в продакшн
Асинхронные запросы
Очереди

18. 18
Истории успеха
http://mediametric.com
http://zakupki360.ru

19. 19
Спасибо за внимание
Александр Козько и Руслан Сафин
alkozko@yandex.ru iruslansafin@gmail.com
@alkozko @razonrus