Taller de técnicos 2011 09 UNC

1,157 views

Published on

Taller de téncnicos

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,157
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
30
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Taller de técnicos 2011 09 UNC

  1. 1. 3er Taller de Técnicos deConsorcio SIU – 14 de Septiembre 2011 – Córdoba 1
  2. 2. Agenda1) Relevamiento del estado de avance del proyecto en las UUNN2) Relevamiento de necesidades de información3) Análisis conceptual de las soluciones actuales 1) Cubos SIU-Guaraní 2) Cubo SIU-Pilagá 3) Cubos SIU-Mapuche4) Personalizaciones de las soluciones brindadas por el SIU5) Forma de trabajo colaborativa y estandarizada6) Caso de éxito: Cubos de SIU-Guaraní en producción en UNC7) Explotación de datos con O3, más allá de los cubos 2
  3. 3. Puesta en común Problemas técnicos y funcionales en las UUNN y necesidades1) Relevamiento del estado de avance del proyecto en las UUNN2) Relevamiento de necesidades de información (VER Y COMENTAR RESULTADOS DE LA ENCUESTA REALIZADA) 3
  4. 4. Análisis conceptual de las soluciones actuales – Cubos SIU-Guaraní – Cubo SIU-Pilagá – Cubos SIU-Mapuche 4
  5. 5. Cubo SIU-Guaraní – ProcedenciaPresentación del cubo, dimensiones y medidas 5
  6. 6. Cubo SIU-Guaraní – Procedencia Significado de los datos :03_Procedencia - Ficha.doc - I. PARTE FUNCIONAL 6
  7. 7. Cubo SIU-Guaraní – Procedencia Criterios para la extracción de los datos :03_Procedencia - Ficha.doc - II. PARTE TÉCNICA Procedencia se toma a partir del colegio secundario, no de lo que ingresa como localidad de procedencia Si no está en la tabla no lo cuenta (ojo con migraciones). Si se inscribió a muchas carreras, o muchas veces a la misma lo cuenta muchas veces 7
  8. 8. Cubo SIU-Guaraní – ProcedenciaModelo Multidimensional: 03_Procedencia - Ficha.doc III. ESTRUCTURAS DE LAS TABLAS 8
  9. 9. Cubo SIU-Guaraní – Procedencia Generación de datos (txt) en SIU-Guaraní 03_Procedencia - Ficha.doc - II. PARTE TÉCNICA• Opción del Sistema (para generar los datos): Módulo de Interfaces, Submodulo Guaraní – Datawarehouse, operación cub_0003 - Genera archivos cubo 03 - Procedencia • Procesos SIU-Guarani involucrados: Los objetos Power Builder que hacen referencia se encuentran el la librería “siu_dw_cubos.pbl” No existen procesos de base de datos adicionales. 9
  10. 10. Cubo SIU-Guaraní – Procedencia Generación de datos (txt)Consulta que genera la tabla de hechos 10
  11. 11. Cubo SIU-Guaraní – Procedencia Generación de datos (txt) Algunas consulta que generan las tablas de dimensiones 11
  12. 12. Cubo SIU-Guaraní Generación de datos (txt) por fuera de la interfaz de SIU-Guaraní• Generación directa desde la base. (Script Ejecución Automatica.doc)• Programación nocturna. Agregar al programador de tareas EjecutaScript.bat (o al cron el equivalente EjecutaScript.sh) 12
  13. 13. Esquema ETL en Pentaho Área de Limpieza y transformación de datos t tx t x x tt tBD SIU- E t E´ SIU_DSA L SIU_DWGuaraní t guarani_tmp t t t xx guarani t xx xt t guarani xt t t t (1) (3) (2) 13
  14. 14. Cubo SIU-Guaraní – procedencia Orden de ejecución de los JOB´s de Kettle(documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt)(1) etl/guarani/carga_siu_dsa/guarani_tmp/procedencia/cargar_datos_dsa_guarani_tmp_procedencia.kjb(2) etl/guarani/carga_siu_dsa/guarani/procedencia/cargar_datos_dsa_guarani_procedencia.kjb(3) etl/guarani/carga_siu_dw/procedencia/cargar_datos_siu_dw_procedencia.kjb 14
  15. 15. Cubo SIU-Guaraní – procedencia(1) cargar_datos_dsa_guarani_tmp_procedencia.kjb (Extracción) se carga el txt en guarani_tmp (siu_dsa) 15
  16. 16. Cubo SIU-Guaraní – procedencia(2) cargar_datos_dsa_guarani_procedencia.kjb (Transformación) se carga la FT en (siu_dsa) 16
  17. 17. Cubo SIU-Guaraní – procedencia(3) cargar_datos_siu_dw_procedencia.kjb (Carga - Load) se carga la FT en (siu_dw) 17
  18. 18. Cubo SIU-Guaraní – procedenciaEsquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/) 18
  19. 19. Cubo SIU-Guaraní – AlumnosPresentación del cubo, dimensiones y medidas 19
  20. 20. Cubo SIU-Guaraní – Alumnos Significado de los datos y criterios para la extracción• Particularidades: – Criterios de Nuevo Inscripto, Reinscripto y Egresado tomados de la definición de la SPU para SIU-Araucano – Requiere la generación de información para SIU-Araucano.• Referencias generales: – 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc – Criterios Guarani-Araucano v18 v2.6.0.pdf (versiones viejas: Criterios Guarani v201-Araucano v5.pdf) 20
  21. 21. Cubo SIU-Guaraní – AlumnosModelo Multidimensional: 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc III. ESTRUCTURAS DE LAS TABLAS 21
  22. 22. Cubo SIU-Guaraní – Alumnos Generación de datos (txt) desde Guaraní1 – Generar datos para araucano Procesan los datos y completan las tablas. -int_arau_nuinscrip, -int_arau_reinscrip, -int_arau_egres y -int_arau_log_alu, que se usan como fuente para el cubo2 – Generar datos para DataWarehouse (visto endiapositiva nro 11) Tener en cuenta en caso de generar los txt por fuera del Guaraní de ejecutar también los procesos del paso 1 22
  23. 23. Cubo SIU-Guaraní – AlumnosGeneración de datos (txt) - spdw_cubo_alumnos.sql … Las tablas usadas se llenan con otros procesos, de la interfaz para araucano, que también se pueden ver … … el sp sigue considera las otras medidas y recupera los casos del log 23
  24. 24. Cubo SIU-Guaraní – alumnos Orden de ejecución de los JOB´s de Kettle(documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt)(1) etl/guarani/carga_siu_dsa/guarani_tmp/alumnos/cargar_datos_dsa_guarani_tmp_alumnos.kjb(2) etl/guarani/carga_siu_dsa/guarani/alumnos/cargar_datos_dsa_guarani_alumnos.kjb(3) etl/guarani/carga_siu_dw/alumnos/cargar_datos_siu_dw_alumnos.kjb 24
  25. 25. Cubo SIU-Guaraní – alumnos(1) cargar_datos_dsa_guarani_tmp_alumnos.kjb (Extracción) se carga el txt en guarani_tmp (siu_dsa) 25
  26. 26. Cubo SIU-Guaraní – alumnos(2) cargar_datos_dsa_guarani_alumnos.kjb (Transformación) 26
  27. 27. Cubo SIU-Guaraní – alumnos Vista dimensión cubo Alumnos 27
  28. 28. Cubo SIU-Guaraní – alumnos Vista dimensión cubo Alumnos 28
  29. 29. Cubo SIU-Guaraní – alumnos 29
  30. 30. Cubo SIU-Guaraní – alumnos(3) cargar_datos_siu_dw_alumnos.kjb (Carga - Load) 30
  31. 31. Cubo SIU-Guaraní – Rend.AcadémicoPresentación del cubo, dimensiones y medidas ¿Por qué 3 cubos y no directamente uno? 31
  32. 32. Cubo SIU-Guaraní – Rend.AcadémicoPresentación de los cubos, dimensiones y medidas 32
  33. 33. Cubo SIU-Guaraní – Rend.AcadémicoModelo Multidimensional: 02_Rend_Academico_v2.0.2_Ficha.doc III. ESTRUCTURAS DE LAS TABLAS 33
  34. 34. Cubo SIU-Guaraní – Rend.Académico Significado de los datos y criterios para la extracción• Particularidades: – Dimensiones compartidas entre hechos diferentes (FT): Períodos del AA, Condición, Intentos. – “Resultados” como dimensión o como parte de las medidas? – Actas de cursado, actas de finales, actas de promoción, estados y rectificaciones – Materias comunes entre carreras – Etc.• Referencias generales: – 02_Rend_Academico_v2.0.2_Ficha.doc 34
  35. 35. Cubo SIU-Guaraní – Rend.AcadémicoSignificado de los datos . Algunas dimensiones 35
  36. 36. Cubo SIU-Guaraní – Rend.Académico Significado de los datos . Medidas 36
  37. 37. Cubo SIU-Guaraní – Rend.AcadémicoCriterios utilizados para la extracción. Medidas 37
  38. 38. Cubo SIU-Guaraní – Rend.Académico Criterios utilizados para la extracción. Ejemplo dimensión Año Académico 38
  39. 39. Cubo SIU-Guaraní – Rend.Académico Generación de datos (txt)02_Rend_Academico_v2.0.2_Ficha.doc - II. PARTE TÉCNICA Las tablas int_dw_persona_red e int_dw_alumnos_red resumen información de la persona y el alumno, y se generan con la operación cub_0006 39
  40. 40. Cubo SIU-Guaraní – Rend.AcadémicoGeneración de datos (txt) - spdw_02v2_cursado.sql Esta consulta genera parte de una de las tablas de hechos. En el ejemplo se ve la porción correspondiente a las promociones (luego se agregan las promociones equivalentes) 40
  41. 41. Cubo SIU-Guaraní – rend. académico Orden de ejecución de los JOB´s de Kettle (documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt) (1) etl/guarani/carga_siu_dsa/guarani_tmp/rendimiento_academico/ cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb (2) etl/guarani/carga_siu_dsa/guarani/rendimiento_academico/ cargar_datos_dsa_guarani_rendacademico.kjb (3) etl/guarani/carga_siu_dw/rendimiento_academico/ cargar_datos_siu_dw_rendacademico.kjb 41
  42. 42. Cubo SIU-Guaraní – rend. académico(1) cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb (Extracción) 42
  43. 43. Cubo SIU-Guaraní – rend. académico(2) cargar_datos_dsa_guarani_rendacademico.kjb (Transformación) 43
  44. 44. Cubo SIU-Guaraní – rend. académico(3) cargar_datos_siu_dw_rendacademico.kjb (Carga - Load) 44
  45. 45. Cubo SIU-Guaraní – rend. académicoEsquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/) 45
  46. 46. Documentación de los cubos (Ej: Guaraní ) Dentro del Repositorio de archivos se encuentra por sistema . En la documentación de los cubos están las fichas. “Comparación Dimensiones-Medidas- Cubos.doc” sirve para ver las similitudes y diferencias entre los criterios de los cubos. 46
  47. 47. Tomamos un cafecito? 47
  48. 48. Cubo SIU-Pilagá – PresupuestoPresentación de los cubos, dimensiones y medidas ingresos gastos presupuesto 48
  49. 49. Cubo SIU-Pilagá – PresupuestoModelo Multidimensional: Ficha_Pilaga_Presupuesto_v1.0.4.doc III. ESTRUCTURAS DE LAS TABLAS 49
  50. 50. Cubo SIU-Pilagá – Presupuesto Significado de los datos:Ficha_Pilaga_Presupuesto_v1.0.4.doc - II. PARTE TÉCNICA 50
  51. 51. Cubo SIU-Pilagá – Presupuesto Mejoras y modificaciones por versión Documentación de referencia: Ficha_Pilaga_Presupuesto_v1.0.4.doc 51
  52. 52. Cubo SIU-Pilagá – Presupuesto Generación de datos (txt)• Generación desde la interfaz web• Generación por línea de comando. Programación nocturna. ../SIU-Pilaga/proyectos/pilaga/bin/ sh pilaga.sh cubos generar 52
  53. 53. Cubo SIU-Pilagá – Presupuesto Generación de datos (txt) clase cubos.php 53
  54. 54. Cubo SIU-Pilagá Orden de ejecución de los JOB´s de Kettle (documentacion/pilaga/ instrucciones_cargar_siu_dsa_pilaga.txt)(1) etl/pilaga/carga_siu_dsa/pilaga_tmp/cargar_datos_dsa_pilaga_tmp.kjb(2) etl/pilaga/carga_siu_dsa/pilaga/cargar_datos_dsa_pilaga.kjb(3) etl/pilaga/carga_siu_dw/cargar_datos_siu_dw.kjb 54
  55. 55. Cubo SIU-Pilagá(1) cargar_datos_dsa_pilaga_tmp.kjb (Extracción) 55
  56. 56. Cubo SIU-Pilagá(2) cargar_datos_dsa_pilaga.kjb (Transformación) 56
  57. 57. Cubo SIU-Pilagá 57
  58. 58. Cubo SIU-Pilagá(3) cargar_datos_siu_dw.kjb (Carga - Load) 58
  59. 59. Cubo SIU-PilagáEsquema SIU-Pilaga.xml (pentaho-solutions/siu/pilaga/) 59
  60. 60. Cubos SIU-Mapuche/SIU-Pampa Presentación de los cubos, dimensiones y medidas legajos cargos liquidaciones 60
  61. 61. Cubos SIU-Mapuche/SIU-Pampa Significado de los datos y criterios para la extracción• Particularidades: – Cantidad de Cargos (Activos, Liquidados, Distintos).Por mes. Renovaciones de cargos. – Medidas definidas a nivel de mes, que no están definidas a nivel de año. – Dimensiones asociadas a los cargos – Dependencias: de designación, de desempeño, presupuestaria – Fuente de financiamiento (de lo liquidado) – Etc.• Referencias generales: – Pampa_v1.1.1_Ficha.doc 61
  62. 62. Cubos SIU-Mapuche/SIU-Pampa Significado de los datos:Cubo Pampa_v1.1.1_Ficha.doc - I. PARTE FUNCIONAL Ver las demás en: Cubo Pampa_v1.1.1_Ficha.doc Y los criterios para la extracción de los datos en la sección 62 III. ESTRUCTURAS DE LAS TABLAS
  63. 63. Cubos SIU-Mapuche/SIU-PampaModelo Multidimensional -III. ESTRUCTURAS DE LAS TABLAS 63
  64. 64. Cubos SIU-Mapuche/SIU-Pampa Mejoras a incorporar• Imputaciones presupuestarias del cargo. Nueva tabla (ft_cargosXimputaciones) que refleja la relación de un cargo con múltiples imputaciones presupuestarias y el porcentaje correspondiente a cada una.• Medida Total de Cargos, cuenta todos los cargos incluidos en el cubo. Representa la unión de cargos liquidados y cargos activos.• Código de Unidad Académica, dependiente de las dependencias de designación.• Estado del cargo (concursado o no). 64
  65. 65. Cubos SIU-Mapuche/SIU-Pampa Mejoras a incorporar (cont)• Nivel de enseñanza, dependiente de la categoría del cargo.• Porcentajes de dedicación (docencia, investigación, gestión y extensión) de cada cargo.• Año y mes del período correspondiente a las liquidaciones retroactivas.• Porcentaje que representa cada línea de liquidación (importe liquidado por cargo, concepto e imputación presupuestaria) sobre el total liquidado del cargo.• Revisión del cálculo de Antigüedad liquidada.• Quitar el filtro de legajo no pasivo en la extracción de datos. 65
  66. 66. Cubos SIU-Mapuche/SIU-Pampa Nueva estructura de las tablas 66
  67. 67. Cubos SIU-Mapuche/SIU-Pampa Nueva estructura de las tablas (cont)
  68. 68. Cubos SIU-Mapuche/SIU-Pampa Nueva estructura de las tablas (cont) 68
  69. 69. Cubos SIU-Mapuche/SIU-Pampa Nuevos modelos de análisis Dimensiones y Medidas por Cubo LIQUIDACIONES PLANTAObjetivo: analizar las liquidaciones Objetivo: analizar cantidad cargosde sueldos, importes y cargos y legajos existentes en laliquidados, por dependencia, universidad. Comparar la evoluciónescalafón, categoría, conceptos, de los rrhh. Consultar según datosretroactivos, etc. de los cargos y las personasPermite analizar la evolución (categoría, antigüedad, estadocomparando diferentes períodos. civil, nivel de estudios, etc.) Referencias * : medidas y dimensiones nuevas Naranja: exclusivas de cubo de liquidaciones Violeta: exclusivas de cubo de planta Negro: en ambos cubos. 69
  70. 70. Cubos SIU-Mapuche/SIU-PampaMedidas utilizadas en los cubosImportes Liquidados 1 Importes Liquidados por concepto y cargo en cada liquidaciónCargos X Conceptos 2 Cantidad correspondiente a los registros de liquidación. SignificaX Imputaciones que se cuenta 1 por cada concepto liquidado en cada cargo en(liquidaciones) cada liquidación considerada por cada imputación que corresponda. Es la medida que antes se veía equivocadamente como “Cargos X Conceptos (liquidaciones)”Porcentaje del 3 Corresponde al porcentaje que representa el importe liquidado paraimporte liquidado cada imputación de cada concepto en cada cargo sobre el totalsobre total del cargo liquidado del cargo.* Agrupa por suma.Cargos X Conceptos 4 Cuenta 1 por cada concepto liquidado en cada cargo. Sirve para(liquidaciones) * poder consultar la cantidad de cargos a las que se les liquida cada conceptoLegajos (con cargo 5 Cuenta 1 por cada legajo que en el período considerado tiene alactivos) menos un cargo activo (debajo se detalla cuando un cargo se considera activo). Personas diferentes con cargos activos en el período. Esta medida está definida solo a nivel de mes. 70
  71. 71. Cubos SIU-Mapuche/SIU-PampaMedidas utilizadas en los cubos (cont) Legajos 6 Cuenta 1 por cada legajo que tiene al menos un cargo en el que se le liquidó Liquidad algún concepto en el período. Representa el total de legajos que figuran en la os tabla de liquidaciones para el periodo. Personas diferentes con cargos liquidados. Esta medida está definida solo a nivel de mes. Total de 7 Contaría 1 por cada legajo considerado en los datos exportados. Representa la Legajos unión de Legajos con cargos activos y Legajos Liquidados. * Quedaría definida sólo a nivel de mes también?. ¿??? Cargos 8 Es 1 para todos los cargos de planta activos al menos un día en el periodo, Activos incluye licencias y ad-honorem. Para los otros casos es 0. Para saber si el cargo está o no activo se ve la fecha de vigencia del mismo y se controla que al menos un día esté dentro del período informado. Esta medida está definida solo a nivel de mes. Cargos 9 Cuenta 1 por cada cargo al que se le liquidó al menos un concepto, esté o no Liquidad activo el cargo, y cualquiera sea el concepto os Representa el total de cargos que figuran en la tabla de liquidaciones para el período. (No figurarán cargos sin liquidación - licencias sin goce y ad-honorem - e incluirá cargos no activos a los q se les liquida algo -retroactivo-). Esta medida está definida solo a nivel de mes. 71
  72. 72. Cubos SIU-Mapuche/SIU-PampaMedidas utilizadas en los cubos (cont) Total de Cargos * 10 Cuenta 1 por cada cargo considerado en los datos exportados. Representa la unión de Cargos Activos y Cargos Liquidados. Quedaría definida solo a nivel de mes también??? Cant Cargos X 11 Cuenta 1 por cada imputación de cada cargo. Imputaciones * Porcentaje Imputación 12 Es el porcentaje correspondiente cada imputación del cargo * presupuestaria dentro del cargo. Importe Neto 13 Importe Neto que recibe el agente (por cargo o por legajo según corresponda). (*1) Importe Bruto 14 Importe Bruto del agente (por cargo o por legajo según corresponda) (*1) Importe de Gasto 15 Gasto total que significa el agente para la Institución (por cargo Total o por legajo según corresponda) (*1) (*1) Estas medidas en principio están calculadas a nivel de cargo, y no puede consultarse por las dimensiones que comienzan con (Liq). Habría que evaluar de bajarlas a nivel de concepto y entonces incluirlo en el cubo de liquidaciones. 72
  73. 73. Cubos SIU-Mapuche/SIU-PampaCubo LiquidacionesDimensiones Medidas 1 2 3 4 9 10 13 14 15Período (Año  Mes) X X X X X X X X X(C) Unidad Académica *  Depend. Designación X X X X X X X X X(C) Depend. Desempeño X X X X X X X X X(C) Escalafón y Categoría (Escalafón  Categoría del X X X X X X X X Xcargo)(C) Dedicación X X X X X X X X X(C) Sede X X X X X X X X X(C) Estado Laboral X X X X X X X X X(C) Tipo de Planta y Carácter desig. X X X X X X X X X(Tipo de Planta  Carácter de la designación)(C) Estado del Cargo (Licencias) X X X X X X X X X(Activo vs. Baja  Con o Sin Licencia  Con o sin gocede haberes)(C) Antigüedad Liq. (Antigüedad liq. por rangos  X X X X X X X X XAntigüedad liquidada)
  74. 74. Cubos SIU-Mapuche/SIU-PampaCubo Liquidaciones (cont.) Dimensiones Medidas 1 2 3 4 9 10 13 14 15 (C) % Trabajado X X X X X X X X X (Liq) Liquidaciones X X X X X? X? X? (Liq) Conceptos X X X X X? X? X? (Tipo de Concepto  Concepto) (Liq) Dep. Presupuestaria (Dependencia Presupuestaria X X X X? X? X?  SubDependencia Presupuestaria) (Liq) Fuente Financiamiento X X X X? X? X? (Liq) Objeto del gasto X X X X X? X? X? (Inciso  Partida Principal  Partida Parcial) (Liq) Red Programática (Programa  Subprograma  X X X X X? X? X? Proyecto  Actividad  Obra) Legajos X X X X X X X X X (Liq) Retroactivos X X X X X? X? X? (Años Retroactivos  Períodos Retroactivos) *
  75. 75. Cubos SIU-Mapuche/SIU-PampaCubo PlantaDimensiones Medidas 5 6 7 8 9 1 1 1 1 1 1 0 1 2 3 4 5Período (Año  Mes) X X X X X X X X X X X(C) Unidad Académica *  Depend. Designación X X X X X X X X(C) Depend. Desempeño X X X X X X X X(C) Escalafón y Categoría (Escalafón  Categoría del X X X X X X X Xcargo)(C) Dedicación X X X X X X X X(C) Sede X X X X X X X X(C) Estado Laboral X X X X X X X X(C) Tipo de Planta y Carácter desig. X X X X X X X X(Tipo de Planta  Carácter de la designación)(C) Estado del Cargo (Licencias) X X X X X X X X(Activo vs. Baja  Con o Sin Licencia  Con o sin gocede haberes)(C) Agrupamiento X X X X X X X X(C) Subrrogancia X X X X X X X X
  76. 76. Cubos SIU-Mapuche/SIU-PampaCubo Planta (cont.) Dimensiones Medidas 5 6 7 8 9 1 1 1 1 1 1 0 1 2 3 4 5 (C) Asociado X X X X X X X X (C) Antigüedad Liq. (Antigüedad liq. por rangos  X X X X X X X X Antigüedad liquidada) (C) Antigüedad en escalafón (Antig. en escalafón por X X X X X X X X rangos  Antigüedad en escalafón) (C) Hs. Dedicación X X X X X X X X (C) % Trabajado X X X X X X X X (C) % Reducción Horaria X X X X X X X X (L) Activo/Jubilado/Pasivo X X X X X X X X X X X (L) Sexo X X X X X X X X X X X (L) Estado Civil X X X X X X X X X X X (L) Edad (Edad por rangos  Edad) X X X X X X X X X X X (L) Sistema Previsional X X X X X X X X X X X (L) Nivel de Estudio X X X X X X X X X X X
  77. 77. Cubos SIU-Mapuche/SIU-PampaCubo Planta (cont.)Dimensiones Medidas 5 6 7 8 9 1 1 1 1 1 1 0 1 2 3 4 5(L) Discapacidad X X X X X X X X X X X(L) Total Carga Horaria X X X X X X X X X X XLegajos X X X X X X X X X X X(CxI) Fuente financiamiento del cargo * X X(CxI) Dep. Presupuestaria (Dependencia Presupuestaria X X SubDependencia Presupuestaria) *(CxI) Red Programática (Programa  Subprograma  X XProyecto  Actividad  Obra) *(C) Estado del cargo (concursado) * X X X X X X X X(C) Nivel de enseñanza * X X X X X X X X(C) Porcentaje Dedicación Docencia * X X X X X X X X(C) Porcentaje Dedicación Investigación * X X X X X X X X(C) Porcentaje Dedicación Gestión * X X X X X X X X(C) Porcentaje Dedicación Extensión * X X X X X X X X
  78. 78. Cubos SIU-Mapuche/SIU-Pampa Generación de datos (txt) 78
  79. 79. Cubos SIU-Mapuche/SIU-Pampa Orden de ejecución de los JOB´s de Kettle(documentacion/pilaga/ instrucciones_cargar_siu_dsa_mapuche.txt)(1) etl/mapuche/carga_siu_dsa/mapuche_tmp/cargar_datos_dsa_mapuche_tmp.kjb(2) etl/mapuche/carga_siu_dsa/mapuche/cargar_datos_dsa_mapuche.kjb(3) etl/mapuche/carga_siu_dw/cargar_datos_siu_dw.kjb 79
  80. 80. Cubo SIU-Mapuche/Pampa(1) cargar_datos_dsa_mapuche_tmp.kjb (Extracción) 80
  81. 81. Cubo SIU-Mapuche/Pampa(2) cargar_datos_dsa_mapuche.kjb (Transformación) 81
  82. 82. Cubo SIU-Mapuche/Pampa Vista dimensión cubo Mapuche 82
  83. 83. Cubo SIU-Mapuche/Pampa(3) cargar_datos_siu_dw.kjb (Carga - Load) 83
  84. 84. Cubo SIU-Mapuche/Pampa 84
  85. 85. Cubo SIU-Mapuche/PampaEsquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/) 85
  86. 86. Cubo SIU-Mapuche/PampaEsquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/) 86
  87. 87. Generación de los cubos ¿Generación FULL o Incremental?• FULL para primera vez, para cubo nuevo, reemplaza el existente (En O3 reemplaza el .cube. En Pentaho borra el contenido de la/s FT/s en el DW)• INCREMENTAL – Guaraní  por facultad (el cubo contiene “fotos acumuladas” a la fecha) – Mapuche/Pampa  por mes (el cubo contiene “fotos” mensuales) – Pilagá  por ejercicio (el cubo contiene “fotos” anuales) 87
  88. 88. Personalizaciones de las soluciones brindadas por el SIUPreguntas ante una personalización: • Qué se necesita cambiar? • Dónde debe realizarse la modificación? • Requiere la incorporación de algún dato no existente? • Dónde y cuál es la mejor manera de agregarlo? (diseño multidimensional) Ante la mínima duda: CONSULTAR CON EL SIU para evaluar alternativas en forma conjunta 88
  89. 89. Personalizaciones – Ejemplo 1 Eliminar una dimensión• Editar el xml del cubo (Schema Workbench) y eliminarla• Ejemplos: – Quitar la dimensión Sede de los cubos de Mapuche o de los de Guaraní (Rend Académico) – Eliminar dimensión “% Trabajado en el mes” de los cubos de Mapuche – Eliminar la dimensión Legajo en los cubos de Mapuche o Guaraní – Etc. 89
  90. 90. Personalizaciones – Ejemplo 2Abrir la jerarquía de una dimensión en dos dimensiones• Para que sea posible ambos niveles deben existir en la tabla de hechos. (Si no existieran habría que incorporarlo)• Editar el xml del cubo y realizar las modificaciones.• Ejemplo: – Unidad académica y carrera en cubo de procedencia de Guaraní – Categoría y Escalafón en cubo de Mapuche ¿? – Sueldos/Otros gastos en cubo de Pilagá ¿?• Siempre preguntarse si tiene sentido. 90
  91. 91. Personalizaciones – Ejemplo 3 Considerar otros criterios de extracción Eliminar registros• Podría ser en la E, en la E’, o en la T (ppt #14)• Ejemplos en Guaraní Rend Academico – Considerar solo actas cerradas  opción 1-E: Modificar el where del sp correspondiente en Guaraní – Eliminar las materias comunes.  opción 1-E: Quitar esa parte de las consultas en los sp (spdw_02v2_cursado.sql, spdw_02v2_equiv.sql y spdw_02v2_examen.sql)  opción 2-E’/T: filtrar los registros como parte de la transformación (ojo solo para pentaho).  opción 3: no hacer nada, dejarlos en el cubo y guardar una vista con el filtro.• Otros ejemplos? 91
  92. 92. Personalizaciones – Ejemplo 4 Considerar otros criterios de extracción Agregar registros (filas, se mantiene la estructura)• Puede ser en la E o en E’. – En el primer caso (E) se modifica el sp o consulta de extracción en el sistema de gestión – En el segundo caso (E’) se agrega como otra fuente de datos y se realiza la unión con el PDI de Pentaho. Por ejemplo si hubiese datos en otro sistema no SIU u otra fuente de datos (alumnos de carreras a distancia? Sistemas previos a la migración a sistemas SIU) que quieren incorporar al cubo.• Considerar que estas modificaciones pueden requerir también de la incorporación de un nuevo campo que se refleje como dimensión y permita distinguir los datos 92
  93. 93. Personalizaciones – Ejemplo 5 Modificar descripciones y agrupamientos en rangos• En la T• Ejemplos: 1- Rangos de edades (ej: /etl/mapuche/carga_siu_dsa/mapuche/dsa_mapuche_lt_rangoedades_load.ktr) 2- Descripción por defecto para nulos (ej: /etl/guarani/carga_siu_dsa/guarani/alumnos/dsa_guarani_cargar_nulos_en_dimensiones.kjb) 12 93
  94. 94. Personalizaciones – Ejemplo 6 Solucionar los problemas de calidad de datos• En la T• Casos: Datos nulos. Mismo dato con diferentes descripciones, con diferentes codificaciones. Datos inconsistentes. Ejemplos: Colegios Secundarios (Guaraní), Red Programática (Pilagá/Mapuche), Dependencias (todos), etc• Importante: los problemas de calidad de datos deben ser corregidos en la fuente, origen del dato. Luego de detectarlos y corregirlos para cargarlos al DW deben ser informados a los responsables de los sistemas de gestión. 94
  95. 95. Personalizaciones – Ejemplo 7 Agregar niveles en la jerarquía de una dimensión• Si el nivel es superior (agrupa los datos existentes) y existe en la LT: solo se requiere modificar el xml• Si el nivel es superior y no existe en la LT: hay que incorporarlo ((E), E’, T, L) y luego modificar el xml• Si se trata de un nivel inferior, debe existir (o incorporarse – (E), E´, T, L) en la FT, y también luego modificar el xml• Ejemplos: – Agrupar las carreras por unidad académica – Agregar la versión del plan (de la carrera) – Incorporar partido/departamento dentro de la dimensión procedencia – Agrupar Legajos por inicial del apellido (para mejorar performance del cubo) – Etc. 95
  96. 96. Personalizaciones – Ejemplo 8 Agregar nuevas dimensiones a los cubos• Si el dato existe en la FT: solo se requiere editar el xml• Si el dato existe en alguna LT: seguramente se necesitará hacer un join (T) para incorporarlo a la FT• Si el dato no existe, hay que agregarlo al DSA, (E y/o E’ dependiendo si está en el sistema de gestión o es externo y si conviene modificar la consulta o sp que genera los txt actuales o extraer los datos directamente con el PDI de Pentaho) 96
  97. 97. Personalizaciones – Ejemplo 8 Agregar nuevas dimensiones a los cubos• Ejemplos: – Mapuche/Pampa. Incorporar datos de liquidaciones retroactivas, mes y año al cubo de liquidaciones  en FT, E’ (porque la E está programada en Clarion) – Guaraní. Agregar Tipo de Colegio Secundario  en LT y pasar a FT. Realizar en E: agregar sga_coleg_sec.sector a la consulta de extracción de colegios actual, y agregar descripción (P: privado, E: estatal) en T 97
  98. 98. Personalizaciones – Ejemplo 9 Agregar una nueva medida derivada a un cubo• Ejemplo - Pilagá: Se agrega una nueva medida “Compromiso no pagado” que se calcula como la diferencia de las medidas “compromiso” y “pagado”. 1- Click derecho sobre el cubo pilaga-gastos y luego “Add Calculated Member” 2- Definir los atributos de la medida. 3- Publicar el cubo nuevamente en el biserver mediante “File -> Publish…” 2 1 98
  99. 99. Diferentes formas de presentar la informaciónA veces el requerimiento tiene que ver con la presentaciónde la información no solo con el contenido…• Cubos/Vistas• Reportes• Dashboards 99
  100. 100. Diferentes visualizaciones de la misma información• Ejemplo alumnos por carrera (vista, reporte, dashboard)
  101. 101. Llegó el momento de almorzar! 101
  102. 102. Arquitectura técnicade las soluciones SIU 102
  103. 103. Arquitectura actual del DSS con cubos de O3 BD SIU- GuaraníBD SIU- tGuaraní t t x x x t t O3 Builder t tBD SIU- E.T. t t t x Análisis (cubos) t x Pilagá t x x t x x t t Modelos de Escritorio (O3 Browser) t t t cubos (.mdl) Web (O3 Portal) META DATA O3 Server Explotación … Enterprise Portal O3 Designer (Dashboards) Idealmente sería un Reportes DW O3 Query O3 Adm Server Reglas (Alertas) DW Scorecard (Indicadores) Área de diseño, construcción y Área de usuario administración 103
  104. 104. Arquitectura actual del DSS con SIU-Wichi d d d b BD SIU- b b f E.T. fComechin f gones CARGA - Importador SIU-Wichi c s c s c v s q v q v s q l E.T. s l s l Explotación BD SIU- Pilagá Reportes BD SIU- c s E.T. c c v v s s q q Wichi BD SIU- v s s q l l Pampa s l Tablas y Gráficos cc BD SIU- E.T. c v v v sAraucano s s BD SIU- BD SIU- Guaraní BD SIU- Guaraní Guaraní 104
  105. 105. Arquitectura futura del DSS con Pentaho y O3 (SIU-Wichi quedaría dentro de Pentaho) Reportes Explotación BD SIU- Análisis Guaraní Área de Limpieza y (cubos Mondrian)BD SIU- E transformación de datos Dashboards eGuaraní Indicadores C Data MiningBD SIU- E A Pilagá DSA R DW G A Explotación E … Análisis (cubos) Escritorio (O3 Browser) Web (O3 Portal) Enterprise Portal (Dashboards) Reportes Reglas (Alertas) Scorecard (Indicadores) 105
  106. 106. Arquitectura propuesta inicialmente del DSS con Pentaho BD SIU- Guaraní t BD SIU- t t x Guaraní x x t t t t t t t t x BD SIU- E.T. t x x x x t x t t Pilagá t t t Reportes Explotación Análisis … C (cubos Mondrian) A DW Dashboards e R Indicadores DSA G A Data Mining Área de usuario Área de diseño, construcción y administración ** Observación: no se detallan todos los componentes específicos de esta área (paradiseño de cubos, dashboards, etc) ni el motor mondrian y otras cuestiones técnicas 106
  107. 107. Estructura de las soluciones en Pentaho (archivos biserver) Consolda de usuario Pentaho<pentaho-dir>/biserver-ce/pentaho-solutions /siu /capacitaciones index.xml * SIU-Guarani-curso.xml (*) … /guarani index.xml * SIU-Guarani.xml (*) … /mapuche index.xml * SIU-Mapuche.xml (*) … /pilaga index.xml * SIU-Pilaga.xml (*) … index.xml *(*) definición del cubo* index.xml: definición de las propiedades de la carpeta 107
  108. 108. Estructura de las soluciones en Pentaho (paquete SIU) Documentación de instalación y carga de datos de las soluciones SIU. Cómo instalar las soluciones SIU: “Instalacion soluciones SIU en Pentaho” Trabajos y transformaciones de PDI para cargar los datos en el DW. Contiene los archivos con la definición de los cubos, vistas, tableros, reportes y sus respectivas carpetas que son instalados en el biserver de Pentaho. Contiene arhivos extras que son útiles para las solucioines, por ej: CDE- bundle-1.0-RC3. 108
  109. 109. Estándares de desarrollo• Soluciones almacenadas como archivos  versionado en svn• Archivos del “núcleo” de la solución comienzan con “SIU-” y pueden modificarse de versión en versión.• Estructura del DW: esquemas por sistema (pilaga, guarani, …, wichi, tablas_maestras…) , estandarización de nombres (ej: respetando nombre de txt actuales). Diccionario de datos común.• Tipo de datos en el DSA y en el DW iguales a los sistemas de gestión (o máximo de ellos).• Definición de roles comunes (para dar permiso a las soluciones según esos roles)• Uso de estilos para los reportes.• … 109
  110. 110. Forma de trabajo colaborativa y estandarizada– Estándares • Respetar los estándares de desarrollo • Utilizar _UNNombre o UNNombre- para las personalizaciones (en todos los archivos).– Comunicar al SIU (dw@siu.edu.ar) para su incorporación al versionado en el SVN (tanto de las personalizaciones como de los errores o nuevas funcionalidades incorporadas) 110
  111. 111. Comunidad SIU 111
  112. 112. Documentación en la web - Wikihttp://repositorio.siu.edu.ar/trac/dw_pentaho/wiki 112
  113. 113. Estándares en Wikihttp://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones%20y%20est %C3%A1ndares 113
  114. 114. Foro en comunidad de usuarios 114
  115. 115. Caso de éxito:Cubos de SIU-Guaraní en producción en UNCPersonalizaciones para adaptar la solución común a lascaracterísticas propias de la universidad.Implementación de cubos integrando datos de todas lasfacultades. Permisos de acceso por usuario 115
  116. 116. Está haciendo falta cafeína? 116
  117. 117. Explotación de datos con O3, más allá de los cubos•Reportes•Eportal•Importar vistas, reportes, escritorios, etc.•Definición de cuadros de control 117
  118. 118. O3 Report 118
  119. 119. O3 Report 119
  120. 120. O3 Report - Documentación• https://www.ideasoft.biz/wiki/display/o3man/O3+R eport+Studio• Diana Peh, Nola Hague, Jane Tatchell, “BIRT: A Field Guide to Reporting (2nd Edition)” 120
  121. 121. O3 Eportal 121
  122. 122. O3 Eportal Panel de Control.Definición de comunidades, Usuarios, etc 122
  123. 123. O3 Eportal - Documentación• https://www.ideasoft.biz/wiki/display/o3man/O3+En terprise+Portal• http://www.liferay.com/ 123
  124. 124. O3 Scorecard Nuevo Tablero de ControlEjemplo de definición de un Indicador paso a paso 124
  125. 125. O3 Scorecard• Ejemplo de Indicador a definir: Rojo si porcentaje en sueldos supera el 85%, amarillo entre 80% y 85%, Verde para menos de 80% 125
  126. 126. O3 Scorecard• Agregar grupo. Luego agregar indicador 126
  127. 127. O3 Scorecard• Definir indicador, solapa Método 127
  128. 128. O3 Scorecard• Agregar el cubo 128
  129. 129. O3 Scorecard• Armar la vista 129
  130. 130. O3 Scorecard• Capturar la vista• y completar con los campos 130
  131. 131. O3 Scorecard• Volver al indicador, solapa campos y completar datos 131
  132. 132. O3 Scorecard• Solapa Datos y completar datos 132
  133. 133. O3 Scorecard• Guardar como… en servidor 133
  134. 134. O3 Scorecard• Generar tablero 134
  135. 135. O3 Scorecard• Visualización en Portal Web 135
  136. 136. O3 Scorecard• Definición de indicadores agrupadores 136
  137. 137. O3 Scorecard - Documentación• https://www.ideasoft.biz/wiki/display/o3man/O3+Sc orecard 137
  138. 138. O3 - Importar vistas, reportes, escritorios, etcVistasPasos para importar una nueva vista al servidor de O3:1- Abrir la vista con el O3 Browser2- Seleccionar del menú “Ventana” -> “Aplicar la vista actual en otro cubo …”3- Seleccionar el servidor y el cubo sobre el cual aplicar la vista.ReportesPasos para importar un reporte en el servidor de O3:1- Copiar el archivo .rptdesign al directorio<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/reports2- Desde el adminserver configurar los permisos de usuario para ese reporte.3- El reporte se podrá acceder desde el O3portal en la sección “Reportes” dentroDe la ventana de “Mis Bookmarks” 138
  139. 139. O3 - Importar vistas, reportes, escritorios, etcEscritoriosPasos para importar un escritorio en el servidor de O3:1- Copiar el archivo .desk al directorio<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/jdesktops/desktops2- Desde el adminserver configurar los permisos de usuario para ese escritorio.3- El escritorio se podrá acceder desde el O3portal en la sección “Escritorios” dentroDe la ventana de “Mis Bookmarks”.ReglasPasos para importar una regla en el servidor de O3:1- Copiar el archivo .rule al directorio<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/rules2- Desde el adminserver configurar los permisos de usuario para esa regla.3- El reporte se podrá acceder desde el O3portal en la sección “Reglas” dentroDe la ventana de “Mis Bookmarks”. 139
  140. 140. O3 - Importar vistas, reportes, escritorios, etcComunidades en el EportalPasos para importar un escritorio en el servidor de O3:1- Ingresar al Eportal como administrador.2- En el “Panel de Control” ir a “Comunidades” y crear una nueva comunidad conel nombre deseado.3- Ingresas a la comunidad creada mediante “Acciones” -> “Administrar pàginas”4- Ir a la solapa “Exportar/Importar “y ahí seleccionar “Importar”.5- En el botòn “examinar” seleccionar el archivo .zip que contiene la comunidad aImportar.6- Presionar el botòn “Importar”. 140
  141. 141. O3 Server Administrator Permisos de acceso y RestriccionesVer: “EJEMPLO Restricciones de la dimensiones.doc” 141
  142. 142. O3 Server Adm - Documentación• https://www.ideasoft.biz/wiki/display/o3man/O3+Se rver+Administrator 142
  143. 143. ¿Preguntas?Muchas Gracias!!! Más información: www.siu.edu.ar dw@siu.edu.ar Lic. Cecilia Dómina Ing. Marcos Pierri 143

×