Kafkadb

KafkaDB NaN·tic ` ` Angel Alvarez Serra 31 de Mayo de 2012` `Angel Alvarez Serra — KafkaDB 1/16

´ Indice Introducciń o Objetivos B´squeda y Desarrollo. u Como Funciona Instalaciń y Puesta en Marcha o Como Migrar un M´dulo. o Estado y P´gina del proyecto. a Preguntas y Contacto.` Àngel Alvarez Serra — KafkaDB 2/16

Introducciń o La idea de KafkaDB Nace en el momento que OpenERP SA anunci´ que las herramientas de migraciń no formar´ parte o o ıan del software libre y p´blico. u Herramienta para la migraciń de datos. o Basada en Kettle Adaptaciń Para OpenERP. o` Àngel Alvarez Serra — KafkaDB 3/16

Objetivos Modular y re-utilizable Rapidez Vers´til a F´cil de utilizar y Compartir. a` `Angel Alvarez Serra — KafkaDB 4/16

B´squeda y Desarrollo u C´mo nace KafkaDB. o Prueba de Concepto. Python y openetl ETL creado por OpenERP SA) https://launchpad.net/openetl Segundo Intento. Brewery. Tercer Intento. Buscar Opciones etl JAVA y XML como Scriptella. ´ Cuarto y Ultimo Intento. Kettle.` `Angel Alvarez Serra — KafkaDB 5/16

Como Funciona (Introducciń) o KafkaDB Se basa en 2 pequeãs aplicaciones y los ficheros de n configuraciń o kafkadb.py Ayuda a la generaciń de ficheros de configuraciń o o Ejecuta el proceso de migraciń. o kafkadb.jar Lee los ficheros de configuraciń. o Crea las transformaciones de volcado. Las ejecuta teniendo en cuenta las dependencias. Fichero de configuraciń y Transformadas o` Àngel Alvarez Serra — KafkaDB 6/16

Como Funciona (Introducci´n 2) o Transformada Inicial (Abstract) Herencia. Deferred Contraints (Postgresql 9.1)` `Angel Alvarez Serra — KafkaDB 7/16

Como Funciona: (Kafkadb.py) Aplicaciń de l´ o ıneas de comando que: Facilita la generaciń de ficheros de configuraciń o o Consulta de a que m´dulos pertenece una tabla o campo o Ejecuta el proceso de migraciń. o` Àngel Alvarez Serra — KafkaDB 8/16

Como Funciona: Configuraciń (1) o { ”res request”: { ” comment ” : ”CHECK 2012−04−21” , ” on ” : ” b o t h ” , ” target ” : [ ” state ” , ”priority” ], ” migrate ” : true , ” source ” : [ ”priority” , ” state ” ], ” depends ” : f a l s e , ” transformation ” : null , ” delete ” : true }, }` Àngel Alvarez Serra — KafkaDB 9/16

Como Funciona: Configuraciń (2) o ”res partner address”: { ” comment ” : ”CHECK 2012−04−21” , ” on ” : ” b o t h ” , ” target ” : [ ” color ” , ” company id ” , ”title”, ” function ” , ” type ” ], ” migrate ” : true , ” source ” : [ ” function ” , ”title”, ” type ” ], ” depends ” : [ ” r e s p a r t n e r t i t l e ” , ” r e s c o u n t r y ” , ” r e s c o u n t r y s t a t e ” ] , ” transformation ” : [ ” model−k t r / v6 . 1 / b a s e / r e s p a r t n e r a d d r e s s . k t r ” ], ” delete ” : true },` Àngel Alvarez Serra — KafkaDB 10/16

Instalaciń y Configuraciń o o El proyecto est´ alojado en Bitbucket, simplemente a descargarse el repositorio. P´gina del proyecto:https://bitbucket.org/angelnan/kafkadb/ a Ficheros a configurar: config.py Base de datos (origen y destino) , directorio de transfomaciones ... .kettle/kettle.properties Variables de entorno de las transformaciones .kettle/shared.xml Configuraciń de la base de datos de o las transformaciones` Àngel Alvarez Serra — KafkaDB 11/16

Migrar M´dulo: Producto o Migrar m´dulo producto, paso a paso. o Generar el fichero de migraciń para el m´dulo Producto. o o ./kafkadb.py –migrate-module=product Creamos un directorio para el nuevo m´dulo. o Movemos el fichero de configuraciń al directorio. o Seleccionar las tablas que queremos migrar. Hacemos las transformaciones necesarias.` Àngel Alvarez Serra — KafkaDB 12/16

Migrar M´dulo: Producto o Migrar m´dulo producto, paso a paso. o product pricelist product pricelist` `Angel Alvarez Serra — KafkaDB 13/16

Migrar M´dulo: Producto o Migrar m´dulo producto, paso a paso. o Generar el fichero de migraciń. o ./kafkadb.py –make-config=migration.json Ejecutar la migraciń o ./kafkadb.py –migrate=migration.json` Àngel Alvarez Serra — KafkaDB 14/16

KafkaDB: Hoja de Ruta Hacer parametrizable las diferentes opciones como base datos, directorios.. para facilitar la utilizaciń del o framework. Tener solo un fichero de configuraciń o Migrar los m´dulos restantes. o Aãdir en los ficheros de configuraciń la posibilidad de n o renombrar campos y aãdir constantes. n` Àngel Alvarez Serra — KafkaDB 15/16

Preguntas y cr´ ıticas ¡Muchas gracias por vuestra atenci´n! o NaN·tic ` ` Angel Alvarez i Serra angel@nan-tic.com @aasnan Esta obra est´ sujeta a la licencia Creative Commons a Reconocimiento-NoComercial-SinObraDerivada 3.0 Unported License. Para ver una copia de esta licencia, visite creativecommons.org/licenses/by-nc-nd/3.0/ o envie una carta a Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA.` `Angel Alvarez Serra — KafkaDB 16/16

http://www.openerp2tryton.com	706
http://www.nan-tic.com	115
http://translate.googleusercontent.com	2
http://localhost	2

Kafkadb

by NaN·tic on Jun 04, 2012

Accessibility

Categories

Upload Details

Usage Rights

4 Embeds 825

Statistics

Kafkadb Presentation Transcript