Downloaded 15 times
![Парсинг по взрослому
grab - http://grablib.org/
scrapy - http://scrapy.org/
8
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls = ['http://blog.scrapinghub.com']
def parse(self, response):
for url in response.css('ul li a::attr("href")').re(r'.*/dddd/dd/$'):
yield scrapy.Request(response.urljoin(url), self.parse_titles)
def parse_titles(self, response):
for post_title in response.css('div.entries > ul > li
a::text').extract():
yield {'title': post_title}
$ scrapy runspider myspider.py](https://image.slidesharecdn.com/python-160306113157/85/Python-8-320.jpg)
Uploaded byPyNSK
Python инструменты решения типичных задач
Документ представляет собой руководство по использованию языка программирования Python для решения типичных задач, включая парсинг HTML/XML, генерацию отчетов и создание утилит. Приведены примеры кода и библиотеки, такие как scrapy для парсинга и xlsxwriter для работы с Excel. Также обсуждаются сильные и слабые стороны Python в контексте различных типов приложений.
Python инструменты решения типичных задач
- 1.
- 2. В начале был...Гвидо! В феврале 1991 года опубликован код языка 2
- 3. Популярность сейчас 6 место 6место 4 место 1 место 60k+ модулей на pypi.python.org 3
- 4. ➔Скриптинг приложений (Blender, Inkscape) ➔Сетевыеприложения (ABC bittorrent client) ➔Для “склейки” компонентов ➔Web-проекты ➔Игры ➔Системные утилиты ➔GUI-программы Где Python хорош? 4
- 5. Python не подходитдля Задач где: - нужен максимально быстрый отклик - требуется крайне низкое потребление RAM - надо быстро масштабировать решение 5
- 6. Типичные задачи - Парсеры -Генерация отчетов - CMS, простые сайты - SRM, CRM - Моделирование (Наука) - Обработка данных - Утилиты c GUI - Утилиты консольные 6
- 7. Парсинг 7 stdlib: HTMLParser (2),html.parser (3) LXML, Beautiful Soup from html.parser import HTMLParser class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs): print("Encountered a start tag:", tag) def handle_endtag(self, tag): print("Encountered an end tag :", tag) def handle_data(self, data): print("Encountered some data :", data) parser = MyHTMLParser() parser.feed('<html><head><title>Test</title></head>' '<body><h1>Parse me!</h1></body></html>') (2) - Python 2.* (3) - Python 3.* 2. Парсим HTML/XML с помощью 1. Делаем запросы с помощью urlib, requests
- 8. Парсинг по взрослому grab- http://grablib.org/ scrapy - http://scrapy.org/ 8 import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['http://blog.scrapinghub.com'] def parse(self, response): for url in response.css('ul li a::attr("href")').re(r'.*/dddd/dd/$'): yield scrapy.Request(response.urljoin(url), self.parse_titles) def parse_titles(self, response): for post_title in response.css('div.entries > ul > li a::text').extract(): yield {'title': post_title} $ scrapy runspider myspider.py
- 9.
- 10.
- 11. Генерация отчетов 11 PDF - xhtml2pdf -pdfkit - PDFMiner - PyPDF2 - reportlab import pdfkit pdfkit.from_url('http://google.com', 'out.pdf') pdfkit.from_file('test.html', 'out.pdf') pdfkit.from_string('Hello!', 'out.pdf')
- 12. Генерация отчетов 12 Excel - xlrd(read) - xlwt (write) - xlutils - XlsxWriter - openpyxl import xlsxwriter workbook = xlsxwriter.Workbook('demo.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) bold = workbook.add_format({'bold': True}) worksheet.write('A1', 'Hello') worksheet.write('A2', 'World', bold) worksheet.write(2, 0, 123) worksheet.write(3, 0, 123.456) worksheet.insert_image('B5', 'logo.png') workbook.close()
- 13. Генерация отчетов 13 Отчет График PDFExcel - xhtml2pdf - pdfkit - PDFMiner - PyPDF2 - reportlab - matplotlib - xlrd (read) - xlwt (write) - xlutils - XlsxWriter - openpyxl
- 14. Web - CRM - SRM -CMS - Web-store - Sites 14
- 15. Наука и обработкаданных 15
- 16.
- 17. Консольные утилиты - argparse -optparse - Clint - Click - docopt - Cli - Plac - Cliff 17 import click @click.command() @click.option('--count', default=1, help='Number of greetings.') @click.option('--name', prompt='Your name', help='The person to greet.') def hello(count, name): for x in range(count): click.echo('Hello %s!' % name) if __name__ == '__main__': hello() $ python hello.py --count=3 Your name: John Hello John! Hello John! Hello John!
- 18. 18 sapronov.alexander92@gmail.com @sapronovalex92 pynsk.nsk@gmail.com vk.com/pynsk facebook.com/PyNskCom @py_nsk PyNSK контакты: Моиконтакты: ru.linkedin.com/in/alexsapronov Питоны кончились… Вопросы?