Документ обсуждает концепцию crawling (ползучести) с акцентом на ее применение и аспекты, такие как использование библиотеки Scrapy и решение технических проблем. Описываются сценарии использования, архитектура проекта, а также практические примеры запуска процесса ползания. В заключение подчеркивается, что crawler является полезным инструментом как для бизнеса, так и в других областях.

2. MIKHAIL KAVALIOU
January, 2020
Crawling healthy

3. 1
Mikhail Kavaliou
Senior Java Developer
6+ years in Java
3+ years in EPAM

4. 1
• SEO
• Crawling
• Scrapy
• Cloud Crawling

5. 1

6. 1
Что такое crawling?

7. 1
Для чего не стоит использовать crawling?

8. 1
Для чего нужен crawling?

9. 1
Предсказание результата

10. 1
Построение графа (карты) сайта
Граф minuteforshop.com

11. 1
Решение технических проблем

12. 1
Выбор лучшей библиотеки

13. 1
Как устроен Scrapy?

14. 1
Гибкость настройки и кастомизации

15. 1
Запуск crawling процесса
crawl my-spider
-a domains="["example.com"]"
-a urls="["http://example.com/sitemap.xml"]"
-s ROBOTSTXT_OBEY=True

16. 1
Архитектура crawling проекта

17. 1
Очереди и состояние

18. 1
Рендеринг JavaScript

19. 1
Scrapyhub и облачный crawling

20. ИТОГ
Crawler – инструмент для бизнеса
и не только, имеющий множество
применений.

21. USED RESOURCES
• https://ru.wikipedia.org/wiki/Поисковая_оптимизация
• https://ru.wikipedia.org/wiki/Поисковый_робот
• https://docs.scrapy.org/en/latest/
• https://scrapinghub.com

22. • https://github.com/MikhailKavaliou/CrawlingHealthy