Charla hecha en el Meetup de Python Montevideo en 17 de agosto de 2016. Video disponible en: https://www.youtube.com/watch?v=4yHwSJCQL70 Versión interactiva (en HTML) dos slides: http://turicas.info/slides/rows/meetup-mvd/ Descripción: La información disponible en la Web es distribuida y no tiene un patrón específico. Quien necesita de estos datos usualmente necesita bajar, convertir y normalizar antes de hacer lo que realmente interesa: análisis. Muchos de estos datos se encuentran en formatos de tablas: CSV, HTML (con <table>), XLS, XLSX, ODS y otros. En esta charla será presentado el proyecto rows: una librería que unifica el acceso y conversión de datos tabulares, independiente del formato. La librería fue desarrollada por Álvaro y es software libre (GPLv3).

1. Datos Tabulares:
La Manera Pythónica
Turicas aka Álvaro Justen
Meetup de Python Montevideo
17 de agosto de 2016 - Montevideo, Uruguay

2. bit.ly/rows-mvd

3. Turicas, un gusto! =)
¡Síganme los buenos!
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info

4. Nómada Digital

5. cursodearduino.com.br

6. pythonic.cafe

7. generonumero.media

8. escoladedados.org

10. Software Libre
Desde 2003-2004

11. Python
Desde 2005

12. Arduino
Desde 2009

13. Organización de Conferencia

14. Organización de Conferencia
pythonquito.tk

15. AgendaDatos tabulares: que es?
Librerías en Python
Lalibreríarows
LaCLI de rows

16. Datos Tabulares?
Columnas: nombre ytipo (int, oat, str etc.)
Filas: valores paracadacolumna
Formatos:
CSV, TSV
JSON(arrayde objects)
XLS
XLSX
ODS
HTML (con table)
SQLite yotros bancos de datos
Parquet(de Spark)
...

17. Librerías en Python
CSV, TSV: csvo unicodecsv
JSON: json
XLS: xlrdyxlwt
XLSX: openpyxl
ODS: odfpyo zipylxml
HTML: lxml
SQLite: sqlite3o SQLAlchemy
Parquet: parquet

18. CSV - Codigo
importcsv
filename='examples/data/tesouro-direto.csv'
reader=csv.DictReader(open(filename))
forrowinreader:
print(row)

19. CSV - Resultado
{
'preco_compra':'7261.57',
'preco_venda':'7246.25',
'taxa_compra':'0%',
'taxa_venda':'0.04%',
'timestamp':'2015-11-06T17:43:00',
'titulo':'TesouroSelic2021(LFT)',
'vencimento':'2021-03-01'
}

20. CSV - Cómo deberia ser
{
'preco_compra':7261.57,
'preco_venda':7246.25,
'taxa_compra':0.0,
'taxa_venda':0.0004,
'timestamp':datetime.datetime(2015,11,6,17,43),
'titulo':'TesouroSelic2021(LFT)',
'vencimento':datetime.date(2021,3,1)
}

21. (ver )
CSV - Conversiones
defconvert_row(row):
row['preco_compra']=_convert_float(row['preco_compra'])
row['preco_venda']=_convert_float(row['preco_venda'])
row['taxa_compra']=_convert_percent(row['taxa_compra'])
row['taxa_venda']=_convert_percent(row['taxa_venda'])
row['vencimento']=_convert_date(row['vencimento'])
row['timestamp']=_convert_datetime(row['timestamp'])
forrowinreader:
convert_row(row)
print(row)
#TODO:crear_convert_float
#TODO:crear_convert_percent
#TODO:crear_convert_date
#TODO:crear_convert_datetime
02_csv.py

22. Conversiones

23. XLS - Codigo
importxlrd
def_convert_row(row):
return[cell.valueforcellinrow]
defmy_xls_reader(filename):
workbook=xlrd.open_workbook(filename)
sheet=workbook.sheet_by_index(0)
header=_convert_row(sheet.row(0))
forrow_numberinrange(1,sheet.nrows):
data=_convert_row(sheet.row(row_number))
yielddict(zip(header,data))
filename='examples/data/tesouro-direto.xls'
forrowinmy_xls_reader(filename):
print(row)

24. XLS - Resultado
{
u'preco_compra':7261.57, #bueno!
u'preco_venda':7246.25, #bueno!
u'taxa_compra':0.0, #bueno!
u'taxa_venda':0.0004, #bueno!
u'timestamp':42314.73819444444, #???
u'titulo':u'TesouroSelic2021(LFT)', #bueno!
u'vencimento':44256.0 #???
}

25. WTF?
u'timestamp':42314.73819444444,
u'vencimento':44256.0

26. (ver )
XLS - Conversiones
def_convert_date(data,sheet):
time_tuple=xlrd.xldate_as_tuple(data,sheet.book.datemode)
date=datetime.datetime(*time_tuple)
returndatetime.date(date.year,date.month,date.day)
def_convert_datetime(data,sheet):
time_tuple=xlrd.xldate_as_tuple(data,sheet.book.datemode)
returndatetime.datetime(*time_tuple)
defmy_xls_reader(filename):
(...)
data=_convert_row(sheet.row(row_number))
row=dict(zip(header,data))
row['vencimento']=_convert_date(row['vencimento'],sheet)
row['timestamp']=_convert_datetime(row['timestamp'],sheet)
yieldrow
04_xls.py

27. HTML - Codigo
fromlxml.htmlimportdocument_fromstring
def_convert_row(row):
values=row.xpath('.//th/text()')+
row.xpath('.//td/text()')
return[text.strip()fortextinvalues]
defmy_html_reader(filename):
withopen(filename)asfobj:
tree=document_fromstring(fobj.read())
tables=tree.xpath('//table')
table=tables[0]
rows=table.xpath('.//tr')
header=_convert_row(rows[0])
forrowinrows[1:]:
yielddict(zip(header,_convert_row(row)))
filename='examples/data/tesouro-direto.html'

28. XPath

29. HTML - Resultado
{
'preco_compra':'7261.57', #TODO:convertir
'preco_venda':'7246.25', #TODO:convertir
'taxa_compra':'0.00%', #TODO:convertir
'taxa_venda':'0.04%', #TODO:convertir
'timestamp':'2015-11-06T17:43:00', #TODO:convertir
'titulo':'TesouroSelic2021(LFT)',
'vencimento':'2021-03-01' #TODO:convertir
}

30. Problemas
Nitodos os formatos tienen información de tipos
Conversión puede tener muchos errores
APIs son muydiferentes

31. rows to the rescue!
pip install rows # Python Package Index
apt-get install rows # Debian
dnf install rows # Fedora
github.com/turicas/rows

32. CSV con rows - Codigo
importrows
filename='examples/data/tesouro-direto.csv'
table1=rows.import_from_csv(filename)
forrowintable1:
print(row)

33. CSV con rows - Resultado
Row(timestamp=datetime.datetime(2015,11,6,17,43),
titulo=u'TesouroIPCA+comJurosSemestrais2017(NTNB)',
vencimento=datetime.date(2017,5,15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
#namedtuple#FTWo/

34. XLS con rows - Codigo
importrows
filename='examples/data/tesouro-direto.xls'
table2=rows.import_from_xls(filename)
forrowintable2:
print(row)

35. XLS con rows - Resultado
Row(timestamp=datetime.datetime(2015,11,6,17,43),
titulo=u'TesouroIPCA+comJurosSemestrais2017(NTNB)',
vencimento=datetime.date(2017,5,15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
#namedtuple#FTWo/

36. HTML con rows - Codigo
importrows
filename='examples/data/tesouro-direto.html'
table3=rows.import_from_html(filename)
forrowintable3:
print(row)

37. HTML con rows - Resultado
Row(timestamp=datetime.datetime(2015,11,6,17,43),
titulo=u'TesouroIPCA+comJurosSemestrais2017(NTNB)',
vencimento=datetime.date(2017,5,15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
#namedtuple#FTWo/

38. rows
Interfaz única(independiente de formato)
Escrebir es tan facilcuanto leer
Muchos plugins
Command-line interface!o/
Conversión automática de datos
Yohehecolas pruebas

39. rows - Plugins
CSV
JSON
HTML (+ XPath)
TXT
XLS
XLSX
SQLite
ODS
Parquet(de Spark)
(yotros en desarrolo)

40. Command-Line Interface
print
convert
sum
join
query(sí, SQL!)

41. Live coding (CLI)

42. github.com/turicas/rows

43. pythonbrasil.org.br
13 a18 de outubro
Florianópolis/SC

44. ?

45. Gracias! (:
Turicas aka Álvaro Justen
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info
bit.ly/rows-mvd