Introduccion a las Bodegas de Datos
•Download as PPTX, PDF•
2 likes•1,157 views
Sabes que es un almacén de datos? Por qué utilizarlo? Como crearlo? Que modelo utilizar, si normalizado o dimensional? Cual metodología, Kimball o Inmon? Que modelo de tablas? Almacén de datos o Data Mart. Infraestructura de Hardware. Big Data, la nueva moda empresarial. Durante esta sesión les explicare todas estas inquietudes.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Introduccion a las Bodegas de Datos
Similar to Introduccion a las Bodegas de Datos (20)
More from Joseph Lopez
More from Joseph Lopez (18)
Recently uploaded
Recently uploaded (10)
Introduccion a las Bodegas de Datos
- 1. Microsoft Data Platform Avanet Jose Redondo Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ redondoj@gmail.com | @redondoj | redondoj.wordpress.com
- 10. Acceso a datos con solo dos operaciones: “Carga inicial de datos” y “Acceso a datos”
- 11. Almacén de Datos vs. Bases de Datos Operaciones
- 12. OLTP OLAP USUARIOS Empleado de oficina, Profesional IT Analista de decisiones FUNCIÓN Operaciones de día a día Soporte de decisiones DISEÑO DE BASE DE DATOS Orientado a la aplicación Orientado a temas DATOS Actual, A la fecha Detallado, Completamente relacional Aislado Histórico Resumido, Multidimensional Integrado, Consolidado USO Repetitivo AD HOC ACCESO Lectura y Escritura; Índice / Hash en clave primaria Cantidades de exploraciones / escaneos GRUPO DE TRABAJO Corto, Transacciones sencillas / simple Consultas complejas No. DE REGISTROS ACCESADOS Decenas Millones No. DE USUARIOS Miles Cientos TAMAÑO DE LA BASE DE DATOS 100 MB-GB 100GB-TB METRICA Rendimiento de transacciones Rendimiento de las consultas, Respuestas OLTP vs. OLAP
- 13. Porqué mantener separado el Almacén de Datos
- 16. Desde Tablas y Hojas de cálculos hasta Cubos de datos
- 17. Cubo: Una estructura de Cuboides All Tiempo Producto Ciudad Proveedor Tiempo, Producto Tiempo, Ciudad Tiempo, Proveedor Producto, Ciudad Producto, Proveedor Ciudad, Proveedor Tiempo, Producto, Ciudad Tiempo, Producto, Proveedor Tiempo, Ciudad, Proveedor Tiempo, Ciudad, Proveedor Tiempo, Producto, Ciudad, Proveedor 0-D (Apices) cuboide 1-D cuboides 2-D cuboides 3-D cuboides 4-D (Base) cuboides
- 18. Modelado conceptual de Almacén de Datos
- 19. ESQUEMA ESTRELLA Esquemas de datos multidimensionales
- 20. ESQUEMA COPO DE NIEVE Esquemas de datos multidimensionales
- 21. CONJUNTO DE HECHOS Esquemas de datos multidimensionales
- 22. LENGUAJE DE CONSULTA DE MINERIA DE DATOS - DMQL Escenario de Análisis de datos (Minería de Datos) • Cube Definition (Fact Table) define cube <cube_name> [<dimension_list>]: <measure_list> • Dimension Definition ( Dimension Table ) define dimension <dimension_name> as (<attribute_or_subdimension_list>) • Special Case (Shared Dimension Tables) o First time as “cube definition” o define dimension <dimension_name> as <dimension_name_first_time> in cube <cube_name_first_time>
- 23. DEFINIENDO UN ESQUEMA ESTRELLA EN DMQL Escenario de Análisis de datos (Minería de Datos) define cube sales_star [time, item, branch, location]: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier_type) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city, province_or_state, country)
- 24. DEFINIENDO UN ESQUEMA COPO DE NIEVE EN DMQL Escenario de Análisis de datos (Minería de Datos) define cube sales_snowflake [time, item, branch, location]: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier(supplier_key, supplier_type)) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city(city_key, province_or_state, country))
- 25. DEFINIENDO UN CONJUNTO DE HECHOS EN DMQL Escenario de Análisis de datos (Minería de Datos) define cube sales [time, item, branch, location]: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier_type) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city, province_or_state, country) define cube shipping [time, item, shipper, from_location, to_location]: dollar_cost = sum(cost_in_dollars), unit_shipped = count(*) define dimension time as time in cube sales define dimension item as item in cube sales define dimension shipper as (shipper_key, shipper_name, location as location in cube sales, shipper_type) define dimension from_location as location in cube sales define dimension to_location as location in cube sales
- 27. CONCEPTO DE JERARQUÍAS: DIMENSIONES (LOCALIZACIÓN) Componentes All Europa Norte America MéxicoCanadáEspañaAlemania Vancouver DowntownNorth East ... ...... ... ... ... All Región Oficina País TorontoFrankfurtCiudad
- 28. VISTA DE UN ALMACÉN DE DATOS Y JERARQUÍAS Componentes Especificación de Jerarquías Esquema Jerarquía day < {month < quarter; week} < year Jerarquía Set_grouping {1..10} < inexpensive
- 29. DATOS MULTIDIMENSIONALES Modelo de datos
- 30. EJEMPLO DE CUBO DE DATOS Modelo de datos
- 31. NIVELES DE NAVEGACIÓN EN EL CUBO Modelo de datos All Productos Tiempo País Productos, Tiempo Productos, País Tiempo, País Productos, Tiempo, País 0-D (Ápice) Cuboides 1-D cuboides 2-D cuboides 3-D (Base) cuboide
- 32. VISUALIZACIÓN DE DATOS EN UN CUBO Modelo de datos
- 33. TÍPICAS OPERACIONES OLAP Modelo de datos
- 34. EJEMPLO DE MODELO DE CONSULTA ESQUEMA ESTRELLA Modelo de datos Método de envío AIR-EXPRESS CAMIONES ORDEN DE COMPRA Pedidos CONTRATOS Clientes Productos GRUPO DE PRODUCTO LINEA DE PRODUCTO ARTÍCULO VENDEDOR ÁREA DIVISIÓN OrganizaciónPromoción CIUDAD PAÍS REGIÓN Ubicación DIARIO TRIMESTRALANUAL Tiempo Cadacirculoesdenominadoun“Footprint”
- 35. DEMO “Creación del contexto de un Almacén de Datos”
- 41. TRES MODELOS DE ALMACENES DE DATOS
- 42. Define un Alto nivel corporativo de Modelos de Datos Data Mart Data Mart Data Marts Distribuidos Almacén de Datos Multi-Tier Almacén de Datos Empresarial Modelo de Refinamiento Modelo de refinamiento
- 44. DEMO “Creación del un proyecto de migración de datos a un Almacén de Datos”
- 48. (Producto) (Ciudad) () (Año) (Ciudad, Producto) (Ciudad, Año) (Producto, Año) (Ciudad, Producto, Año)
- 50. La presente exposición no se encuentra en ningún libro en el mercado actualmente, el texto proviene de un trabajo de investigación por parte de estudiantes del MIT (Massachusetts Institute of Technology)
- 51. A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64636261 48474645 a1a0 c3 c2 c1 c0 b3 b2 b1 b0 a2 a3 C B 44 28 56 40 24 52 36 20 60 ¿Cuál es el mejor orden de escaneo para hacer la agregación “Multiway"?
- 52. A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64636261 48474645 a1a0 c3 c2 c1 c0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B
- 53. A B 29 30 31 32 1 2 3 4 5 9 13 14 15 16 64636261 48474645 a1a0 c3 c2 c1 c0 b3 b2 b1 b0 a2 a3 C 44 28 56 40 24 52 36 20 60 B
- 54. CLIENTE REGIÓN TIPO C1 ASIA VENTA DETALLADA C2 EUROPA DISTRIBUIDOR C3 ASIA DISTRIBUIDOR C4 AMERICA VENTA DETALLADA C5 EUROPA DISTRIBUIDOR REGID ASIA EUROPA AMERICA 1 1 0 0 2 0 1 0 3 1 0 0 4 0 0 1 5 0 1 0 REGID VENTA DETALLADA DISTRIBUIDOR 1 1 0 2 0 1 3 0 1 4 1 0 5 0 1 TABLA BASE ÍNDICE EN REGIÓN ÍNDICE EN TIPO
- 59. DEMO “Creación del un proyecto de análisis de datos a un Almacén de Datos”
- 66. CREATE CUBE Ventas_Argentina AS SELECT Mes, Ciudad, Clientes, AVG(Valor), COUNT(*) FROM Ventas_Generales CUBE BY Mes, Ciudad, Clientes HAVING AVG(Valor) >= 800 AND COUNT(*) >= 50
- 67. CREATE CUBE Ventas_Argentina AS SELECT Mes, Ciudad, Clientes, AVG(Valor), COUNT(*) FROM Ventas_Generales CUBE BY Mes, Ciudad, Clientes HAVING AVG(Valor) >= 800 AND COUNT(*) >= 50 MES CIUDAD CLIENTES PRODUCTOS VALOR NETO VALOR BRUTO Jan Toronto Edu Printer 500 485 Jan Toronto Hld TV 800 1200 Jan Toronto Edu Camera 1160 1280 Feb Montreal Bus Laptop 1500 2500 Mar Vancouver Edu HD 540 520 … … … … … …
- 68. 50 MES CIUDAD CLIENTES PRODUCTOS VALOR NETO VALOR BRUTO … … … … … …
- 69. 50
- 70. Range Sum Count Over 800 28000 20 600~800 10600 15 400~600 15200 30 … … … Top 50 Aproximado AVG50()= (28000+10600+600*15)/50=952 Se supondría que (*, Vancouver, *) nosotros tendríamos MES CIUDAD CLIENTES PRODUCTOS VALOR NETO VALOR BRUTO … … … … … … La celda puede ejecutar el comando HAVING
- 71. Aproximado AVG50() Anti Monotonico, puede ser computado eficientemente Real AVG50() Anti Monotonico, pero computadamente costoso AVG() No Anti Monotonico strongestweakest
- 73. MES CIUDAD CLIENTES PRODUCTOS VR. NETO VR. BRUTO Jan Toronto Edu Printer 500 485 Jan Toronto Hhd TV 800 1200 Jan Toronto Edu Camera 1160 1280 Feb Montreal Bus Laptop 1500 2500 Mar Vancouver Edu HD 540 520 … … … … … … Root Edu Hhd Bus Jan Mar Jan Feb Toronto Vancouver Toronto Montreal Q.I.Q.I. Q.I.Quant-Info Sum: 1765 Cuenta: 2 Contendores Attr. Val. Quant-Info Side-link Edu Sum:2285 … Hhd … Bus … … … Jan … Feb … … … Toronto … Vancouver … Montreal … … … EncabezadodeTabla
- 75. Root Edu Hhd Bus Jan Mar Jan Feb Toronto Vancouver Toronto Montreal Q.I.Q.I. Q.I. Quant-Info Sum: 1765 Cnt: 2 Contenedores Attr. Val. Quant-Info Side-link Edu Sum:2285 … Hhd … Bus … … … Jan … Feb … … … Tor … Van … Mon … … … Attr. Val. Q.I. Side-link Edu … Hhd … Bus … … … Jan … Feb … … … EncabezadodeTabla HTor Desde (*, *, Toronto) hasta (*, Jan, Toronto)
- 76. Root Edu. Hhd. Bus. Jan. Mar. Jan. Feb. Toronto Vancouver Toronto Montreal Q.I.Q.I. Q.I. Attr. Val. Quant-Info Side-link Edu. Sum:2285 … Hhd. … Bus. … … … Jan. … Feb. … Mar. … … … Tor. … Van. … Mont. … … … 1. Roll-Up Quant-Info 2. Computando celdas involucrando Fechas PERO no Ciudades Q.I. Asignación correcta Top-K: Si Q.I. en la inferior tupla promedio Top-K accede, igual que su superior inmediato. No es necesario un intervalo!
- 77. Root edu hhd bus Jan Mar Jan Feb Toronto Vancouver Toronto Montreal Q.I.Q.I. Q.I. Attr. Val. Quant-Info Side-link Edu Sum:2285 … Hhd … Bus … … … Jan … Feb … Mar … … … Tor … Van … Mon … … … Comprueba el encabezado de la tabla directamente Q.I.
- 79. 0.008%, 73.71 0.008%, 265.12 0 50 100 150 200 250 300 0.00% 0.02% 0.04% 0.06% 0.08% 0.10% Runtime(Segundos) Count threshold Escalabilidad de H-Cubing top-k H-Cubing top-k BUC
- 83. DEMO “Mantenimiento de un Almacén de Datos”
- 87. DEMO “Un Almacén de Datos en La Nube”
- 89. Almacén de datos Un modelo multidimensional de un data warehouse Esquema en estrella, Esquema de copo de nieve, Conjuntos de tablas de Hechos Un cubo de datos se compone de Dimensiones & Medidas Las operaciones de OLAP: Drilling, Rolling, Slicing, Dicing y Pivoting Los servidores OLAP: ROLAP, MOLAP, HOLAP Cómputo eficiente de cubos de datos Parcial vs. Full vs. No materialización Agregación matricial multiway Índice Bitmap y/o Implementaciones de Índice de uniones Desarrollo de tecnología de cubo de datos Camino al conocimiento y multi-funciones de cubos Desde OLAP a OLAM (On-line Analytical Mining)
- 92. Jose Redondo Microsoft SQL Server MVP | CEO EntornoDB | DPA SolidQ redondoj@gmail.com | @redondoj | redondoj.wordpress.com