Carbura tusql sesion3_slideshare

317 views
255 views

Published on

Introducción a SSIS y a los exámenes de certificación de SQL Server 2012/2014. Sesión presencial en ITPros-dc

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
317
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Carbura tusql sesion3_slideshare

  1. 1. • Ingeniero de Diseño & Automatización Electrónica • Especialista en Gerencia y Tecnologías de Información • MCT-MCSA-MCITP-MCTS en SQL SERVER • Synergy TPC SAS como consultor especializado en bases de datos SQL Server Julián Castiblanco Andrés Useche • Ingeniero de Sistemas • Especialista en Teleinformática • MCP SQL SERVER 2012 • Terpel como ingeniero de infraestructura IT - DBA
  2. 2. Agenda General Dev Optimización de consultas Admin Optimización de Servidores SSIS Optimización de paquetes ETLs
  3. 3. https://www.microsoft.com/learning/en-us/mcsa-sql-certification.aspx
  4. 4. http://www.microsoftvirtualacademy.com/colleges/mcsa-sql
  5. 5. Para pasar el examen…. http://www.amazon.com/Training-Kit-Exam-70-461-Microsoft/dp/0735666059/ref=sr_1_1?ie=UTF8&qid=1406662496&sr=8-1&keywords=70-461 http://www.amazon.com/Training-Kit-Exam-70-462-Administering/dp/0735666075/ref=sr_1_1?ie=UTF8&qid=1406662577&sr=8-1&keywords=70-462 http://www.amazon.com/Training-Kit-Exam-70-463-Implementing/dp/0735666091/ref=sr_1_1?ie=UTF8&qid=1406662601&sr=8-1&keywords=70-463
  6. 6. Trabajo si hay!!!!
  7. 7. Agenda • Introducción a SSIS en Azure • SQL Server Data Tools • SSIS Catalog • Data Profiler
  8. 8. En el principio la vida era simple…
  9. 9. pero…
  10. 10. Nuestra información necesitaba…
  11. 11. Seguir creciendo. (The Spider web) SOURCE: William H. Inmon
  12. 12. Cuadro comparativo de Bases de datos Bodegas de datos Sistemas transaccionales Orientadas a objetivo Orientada a transacciones Grandes (cientos de GB a varios TB) Medianas (MB a varios GB) Información histórica Datos actuales Estructura no normalizada (pocas tablas, muchas columnas por tabla) Estructura normalizada Actualización en batch Actualización por transacción Usualmente consultas complejas Consultas simples y complejas
  13. 13. Diferencias en diseño Star Schema Bodegas de datosSistemas transaccionales ER Diagram
  14. 14. Data Warehouses, Data Marts, and Operational Data Stores • Data Warehouse – base de consulta de la organización. Compuesta de la unión de varios data marts. • Data Mart – subconjunto lógico de la bodega. Ofrece vistas de ciertos procesos de negocio (finanzas, crédito, productividad) o de varios procesos que le interesan a un grupo de la compañía. • Almacén de datos operacional (ODS) – bases de datos que soportan el negocio a nivel transaccional. (reservas, inventarios, mantenimientos en aerolineas). SOURCE: Ralph Kimball
  15. 15. Construyendo una bodega • analisis • diseño • Importar información • Instalar herramientas de exploración • Probar y desplegar Ciclo de vida de las bodegas de datos
  16. 16. Analisis • Identificar: • Preguntas claves • Necesidades de información • Línea de tiempo • granularidad • Crear un diccionario de datos • Analisis dimensional • Identificar tablas de hechos y dimensiones
  17. 17. diseño • Modelo estrella, bola de nieve • Transformación de datos • agrupaciones • Valores precalculados • Arquitectura de HW/SW Dimensional Modeling
  18. 18. Modelamiento dimensional • Tabla de hechos– tabla principal del modelo contiene las medidas que interesan al negocio. • Dimensiones– es un conjunto de tablas que da sentido a la tabla de hechos. La mayoria contiene atributos de texto que definen el dominio que fue medido en la tabla de hechos. SOURCE: Ralph Kimball
  19. 19. Importación de datos • Identificar orígen de datos • Extraer información de sistemas operacionales a tablas de staging • Transformar y limpiar datos • Resolver conflictos de tipos de dats • Resolver problemas de nombres y llaves • Remover, corregir o alertar información sucia • Crear dimensiones • Cargar información en la bodega de datos
  20. 20. Importar datos OLTP 1 OLTP 2 OLTP 3 Data Staging Area Data Warehouse Operational Systems (source systems)
  21. 21. Importar datos 2 • Ejemplo de carga de e-commerce • Multiples filtors (usando “joins” de información), grabando registros errados,antes de agrupar y guardar. Invoice line items Split Date- time Filter invalid Join Filter invalid Invalid dates/times Invalid items Item records Filter non - match Invalid customers Group by customer Customer balance Customer records
  22. 22. Herramientas de Usuarios • Reporting Services • Excel • Herramientas de mineria • GIS • Etc.
  23. 23. Pruebas y despliegue • Pruebas de uso • Instalación de software • Entrenamiento a usuarios • Ejecución de pruebas de carga
  24. 24. Pruebas y despliegue
  25. 25. SQL Server 2012 BI Platform  Data acquisition from source systems and integration  Data transformation and synthesis  Data enrichment, with business logic, hierarchical views  Data discovery via data mining  Data presentation and distribution  Data access for the masses Integrate Analyze Report MS SQL Server Integration Services 2012 MS SQL Server Analysis Services 2012 MS SQL Server Reporting Services 2012
  26. 26. SQL SERVER DATA TOOLS
  27. 27. CONTROL FLOW • Ejemplos de los procesos que pueden realizarse: • File System and FTP access • External Processes • SQL Server Administration operations • Operating system inspection • Send Mail • SQL Server Analysis Services Processing • Data profiling • Data mining queries
  28. 28. CONNECTION MANAGERS • Los administradores de conexión son utilizados por los flujo de datos, que extraen y cargan datos en diferentes tipos de almacenes de datos, y por los proveedores de registro que escriben registros en un servidor, tabla o archivo de SQL Server. Tipo Descripción ADO Se conecta a los objetos de Objetos de datos ActiveX (ADO). ADO.NET Se conecta a un origen de datos mediante un proveedor .NET. DQS Conecta a un servidor de Data Quality Services y una base de datos de Data Quality Services en el servidor. EXCEL Se conecta a un archivo de libro de Excel. FILE Se conecta a un archivo o carpeta. FLATFILE Se conecta a los datos en un solo archivo plano. FTP Se conecta a un servidor FTP. HTTP Se conecta a un servidor web. OLEDB Se conecta a un origen de datos mediante un proveedor OLE DB. ODBC Se conecta a un origen de datos mediante ODBC. SMTP Se conecta a un servidor de correo SMTP.
  29. 29. CONTROL FLOW TASKS AND CONTAINERS • El flujo de control define las operaciones y las relaciones entre ellas, estableciendo el orden y las condiciones de su ejecución. Las operaciones de un flujo de control están representados por las tareas de control de flujo.
  30. 30. Planning a Complex Data Movement • Algunos datos requieren transformaciones especiales, SSIS soporta algunas como:
  31. 31. Data Flow Tasks Database Tasks File and Internet Tasks • Data Flow • Data Profiling • Bulk Insert • Execute SQL • Execute T-SQL • CDC Control • File System • FTP • XML • Web Service • Send Mail Process Execution Tasks WMI Tasks Custom Logic Tasks • Execute Package • Execute Process • WMI Data Reader • WMI Event Watcher • Script • Custom Tasks Database Transfer Tasks Analysis Services Tasks SQL Server Maintenance Tasks • Transfer Database • Transfer Error Messages • Transfer Jobs • Transfer Logins • Transfer Master Stored Procedures • Transfer SQL Server Objects • Analysis Services Execute DDL • Analysis Services Processing • Data Mining Query • Back Up Database • Check Database Integrity • History Cleanup • Maintenance Cleanup • Notify Operator • Rebuild Index • Reorganize Index • Shrink Database • Update Statistics
  32. 32. Tareas de Script • Modelos de programación como Visual C# 2010 o Visual Basic 2010
  33. 33. RESTRICCIONES DE PRECEDENCIA • Las tareas que deben ser ejecutadas de forma secuencial, deben conectarse con una o más restricciones de precedencia.
  34. 34. Precedence Constraints • Three control flow conditions • Success • Failure • Completion • Multiple constraints • Logical AND • Logical OR Task 1 Task 2 Task 3 Task 4 Task 5 Task 10 Task 6 Task 7 Success (AND) Failure (AND) Completion (AND) Success (OR) Failure (OR) Completion (OR) Task 9 Task 8
  35. 35. DEMOSTRACIÓN
  36. 36. • Correo: Juliancastiblancop@gmail.com • Skype: Julian.castiblancop • Correo corporativo: jcastiblanco@synergytpc.com • Blog y Sitio de comunidad: http://azurecloud.la/ http://julycastiblanco.blogspot.com Julián Castiblanco Gracias !!!

×