Как грабить корованы
•Download as PPTX, PDF•
0 likes•278 views
#dotnetconf 15 мая 2016 http://dotnetconf.ru/materialy/korovan В то время, когда наши космические корабли бороздят просторы Вселенной, а проекты с модным словом BigData растут как на дрожжах, остро встает вопрос — откуда и как эту самую BigData брать? В нашем докладе мы расскажем о способах парсинга/краулинга/среза и прочего получения дейстивтельно большого количества информации из интернета. Рассмотрим различные способы решения ситуаций, когда сайты ограничивают или блокируют автоматический краулинг. Ведь без данных, и BigData — не BigData.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Как грабить корованы
Как грабить корованы
- 1. Как грабить корованы Александр Козько и Руслан Сафин ByndyuSoft @alkozko @razonrus 12-я конференция .NET разработчиков 15 мая 2016 dotnetconf.ru
- 2. 2 BIG DATA • Volume (Объем) • Velocity (Скорость) • Variety (многообразие)
- 3. 3
- 4. 4 Грабеж корована • Найти данные • Получить • Обработать • … • Повторить
- 6. 6 Информация содержит • Тексты • Имена • Факты • все остальное • Изображения • Числа • Связи
- 7. 7 Доступ к информации Официальный Неофициальный Совсем неофициально
- 8. 8 Официальное использование Дампы и архивы данных • Базы данных ФИАС, Wikipedia, Rutracker
- 9. 9 Официальное использование Публичные API • Социальные сети • Некоторые СМИ (New York Times, …) • Другие источники (ЦБ РФ, 500px, …) 9
- 10. 10 Официальное использование Ссылки на данные • RSS • Sitemap 10
- 11. 11 Неофициальный доступ HTML • Ручная обработка каждого сайта через XPath (AgilityPack, AngleSharp) • Умные алгоритмы анализирующие структуру страниц (NReadability)
- 14. 14 Сложности Краулинг = (D)DoS Сайты не хотят делиться информацией Сайты защищаются
- 15. 15 Обход защиты Прикидываемся Google bot: • User-agent Прикидываемся пользователем • Ограничение одновременных запросов • User-agent и Headers • Cookie Прокси
- 16. 16 Тяжелый случай Эмуляция браузера, когда ничего другого не помогает: • Selenium • PhantomJS • Awesomeum 16
- 17. 17 Совсем неофициально Ревес-инжиниринг Internal API • Анализ верстки и JS • Traffic sniffing (Fiddler2, Web Developer Tools) • Декомпиляция приложений Обход ограничений • Rucaptcha.com • Виртуальные номера для СМС • Одноразовые email
- 18. 18 Как запустить в продакшн Асинхронные запросы Очереди
- 20. 20 Спасибо за внимание Александр Козько и Руслан Сафин alkozko@yandex.ru iruslansafin@gmail.com @alkozko @razonrus
Editor's Notes
- В качестве определяющих характеристик для больших данных отмечают «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (англ. velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных)[5][6]. Полнота (все источники), Актуальность -> необходиомсть качать много и постоянно и быстро
- The Surface Web (also called the Visible Web, Clearnet, Indexed Web, Indexable Web or Lightnet,[1]) is that portion of the World Wide Web that is readily available to the general public and searchable with standard web search engines. It is the opposite of the deep web.[2] Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных[2].
- Нельзя считать информацию статичной – она не только растет вширь, но и движется, видоизменяется (сайты пополняют контент, обновляют изменяют существующие страницы, даже если контент не меняется – может изменяться мета-информация, связанная с контентом – количество цитирований, упоминаний, лайков, твитов, шейров данного контента). Сплошной бесконечный караван…
- Это очень хорошо и удобно Используйте это если вам хватает Недостатки дампов как правило большой объем и если вам нужна небольшая часть, топриходится качать много больше необходимого, Непонятно как обновлять, если у вас развернут один дамп, как накатить новую версию, а что если они не совмесимы? Плюсы Полная доступность всей информации сразу и официально
- Это очень хорошо и удобно Используйте это если вам хватает Недостатки апи Ограниченность - по доступным данным, по количеству запросов (можно обойти) Ваше приложение зависит от других людей (пример с инстаграмом) Плюсы Документированность Стабильность
- Sitemap предоставляет только ссылки Получаем актуальную инфу о содержании сайта Не весь сайт может быть покрыт Sitemap Получаем информацию о обновлении страницы В RSS как правило для статей и есть ещё и допинформация о статьях Последние 10 (N) статей, надо постоянно проверять Множество форматов RSS\Atom Никто эти форматы не соблюдает, надо парсить полувручную
- Много невалидного хтмл Умные эвристики
- Полное соответствие действиям пользователя, по сути единственный способ получить страницы SPA Очень медленно, нестабильно и ресурсозатратно Надо сводить к минимуму
- Disqus, 74.ру, livejournal Instagram ATI.SU АВИТО Google --Интернет-голосования Про капчу сказать что с браузером приходится делать скрин