Taller de técnicos 2011 09 UNC

3er Taller de Técnicos de

Consorcio SIU – 14 de Septiembre 2011 – Córdoba

1

Agenda

1) Relevamiento del estado de avance del proyecto en las UUNN

2) Relevamiento de necesidades de información

3) Análisis conceptual de las soluciones actuales

1) Cubos SIU-Guaraní

2) Cubo SIU-Pilagá

3) Cubos SIU-Mapuche

4) Personalizaciones de las soluciones brindadas por el SIU

5) Forma de trabajo colaborativa y estandarizada

6) Caso de éxito: Cubos de SIU-Guaraní en producción en UNC

7) Explotación de datos con O3, más allá de los cubos

2

Puesta en común

1) Relevamiento del estado de avance del

proyecto en las UUNN

2) Relevamiento de necesidades de información

(VER Y COMENTAR RESULTADOS

DE LA ENCUESTA REALIZADA)3

Problemas técnicos y funcionales en las UUNN y necesidades

– Cubos SIU-Guaraní

– Cubo SIU-Pilagá

– Cubos SIU-Mapuche

4

Análisis conceptual de las soluciones actuales

Cubo SIU-Guaraní – Procedencia

5

Presentación del cubo, dimensiones y medidas

6

Cubo SIU-Guaraní – ProcedenciaSignificado de los datos :

03_Procedencia - Ficha.doc - I. PARTE FUNCIONAL

7

Procedencia se

toma a partir del

colegio

secundario, no de

lo que ingresa

como localidad de

procedencia

Si no está en la

tabla no lo cuenta

(ojo con

migraciones).

Si se inscribió a

muchas carreras,

o muchas veces a

la misma lo

cuenta muchas

veces

Cubo SIU-Guaraní – ProcedenciaCriterios para la extracción de los datos :

03_Procedencia - Ficha.doc - II. PARTE TÉCNICA

Modelo Multidimensional: 03_Procedencia - Ficha.doc III. ESTRUCTURAS DE LAS TABLAS

8


• Opción del Sistema (para generar los datos): Módulo de Interfaces, Submodulo Guaraní – Datawarehouse, operación cub_0003 -Genera archivos cubo 03 - Procedencia

9

Generación de datos (txt) en SIU-Guaraní03_Procedencia - Ficha.doc - II. PARTE TÉCNICA


• Procesos SIU-Guarani involucrados:Los objetos Power Builder que hacen referencia se encuentran el la librería “siu_dw_cubos.pbl”No existen procesos de base de datos adicionales.

10

Generación de datos (txt) Consulta que genera la tabla de hechos


11

Generación de datos (txt) Algunas consulta que generan las

tablas de dimensiones


• Generación directa desde la base. (Script Ejecución Automatica.doc)

12

Generación de datos (txt) por fuera de la interfaz de SIU-Guaraní

Cubo SIU-Guaraní

• Programación nocturna.

Agregar al programador de tareas EjecutaScript.bat (o al cron el equivalente EjecutaScript.sh)

Esquema ETL en Pentaho

13

SIU_DSAguarani_tmpguarani

SIU_DW

guarani

L

Área de Limpieza y transformación de

datos

EBD SIU-Guaraní t

xt

txt

txt

txt

txt

txt

txt

txt

txt

E´

(3)(2)

(1)

14

Orden de ejecución de los JOB´s de Kettle(documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt)

(1) etl/guarani/carga_siu_dsa/guarani_tmp/procedencia/

cargar_datos_dsa_guarani_tmp_procedencia.kjb

(2) etl/guarani/carga_siu_dsa/guarani/procedencia/

cargar_datos_dsa_guarani_procedencia.kjb

(3) etl/guarani/carga_siu_dw/procedencia/

cargar_datos_siu_dw_procedencia.kjb

Cubo SIU-Guaraní – procedencia

15

(1) cargar_datos_dsa_guarani_tmp_procedencia.kjb (Extracción)

se carga el txt en guarani_tmp

(siu_dsa)


16

(2) cargar_datos_dsa_guarani_procedencia.kjb (Transformación)

se carga la FT en (siu_dsa)


17

(3) cargar_datos_siu_dw_procedencia.kjb (Carga - Load)

se carga la FT en (siu_dw)


18

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)


19

Cubo SIU-Guaraní – AlumnosPresentación del cubo, dimensiones y medidas

• Particularidades:

– Criterios de Nuevo Inscripto, Reinscripto y Egresado tomados de la definición de la SPU para SIU-Araucano

– Requiere la generación de información para SIU-Araucano.

• Referencias generales:

– 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc

– Criterios Guarani-Araucano v18 v2.6.0.pdf (versiones viejas: Criterios Guarani v201-Araucano v5.pdf)

20

Cubo SIU-Guaraní – AlumnosSignificado de los datos y criterios para la extracción

21

Cubo SIU-Guaraní – AlumnosModelo Multidimensional: 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc

III. ESTRUCTURAS DE LAS TABLAS

Generación de datos (txt) desde Guaraní

22

1 – Generar datos para araucano

2 – Generar datos para DataWarehouse (visto en

diapositiva nro 11)

Procesan los datos y completan

las tablas.

-int_arau_nuinscrip,

-int_arau_reinscrip,

-int_arau_egres y

-int_arau_log_alu,

que se usan como fuente para

el cubo

Cubo SIU-Guaraní – Alumnos

Tener en cuenta en caso de generar los txt por fuera del

Guaraní de ejecutar también los procesos del paso 1

23

…

… … el sp sigue

considera las

otras medidas y

recupera los

casos del log

Las tablas

usadas se llenan

con otros

procesos, de la

interfaz para

araucano, que

también se

pueden ver

Generación de datos (txt) - spdw_cubo_alumnos.sql

Cubo SIU-Guaraní – Alumnos

24


(1) etl/guarani/carga_siu_dsa/guarani_tmp/alumnos/

cargar_datos_dsa_guarani_tmp_alumnos.kjb

(2) etl/guarani/carga_siu_dsa/guarani/alumnos/

cargar_datos_dsa_guarani_alumnos.kjb

(3) etl/guarani/carga_siu_dw/alumnos/

cargar_datos_siu_dw_alumnos.kjb

Cubo SIU-Guaraní – alumnos

25

(1) cargar_datos_dsa_guarani_tmp_alumnos.kjb (Extracción)

se carga el txt en guarani_tmp

(siu_dsa)


26

(2) cargar_datos_dsa_guarani_alumnos.kjb (Transformación)


27

Vista dimensión

cubo Alumnos


28

Vista dimensión

cubo Alumnos


29


30

(3) cargar_datos_siu_dw_alumnos.kjb (Carga - Load)


31

¿Por qué 3 cubos y no

directamente uno?

Cubo SIU-Guaraní – Rend.Académico

Presentación del cubo, dimensiones y medidas

32


Presentación de los cubos, dimensiones y medidas

33

Modelo Multidimensional: 02_Rend_Academico_v2.0.2_Ficha.doc III. ESTRUCTURAS DE LAS TABLAS



– Dimensiones compartidas entre hechos diferentes (FT): Períodos del AA, Condición, Intentos.

– “Resultados” como dimensión o como parte de las medidas?

– Actas de cursado, actas de finales, actas de promoción, estados y rectificaciones

– Materias comunes entre carreras

– Etc.


– 02_Rend_Academico_v2.0.2_Ficha.doc

34

Significado de los datos y criterios para la extracción


Significado de los datos . Algunas dimensiones


35

Significado de los datos . Medidas


36

Criterios utilizados para la extracción. Medidas


37

Criterios utilizados para la extracción.Ejemplo dimensión Año Académico


38

39

Generación de datos (txt) 02_Rend_Academico_v2.0.2_Ficha.doc - II. PARTE TÉCNICA


Las tablas

int_dw_persona_red e

int_dw_alumnos_red

resumen información de

la persona y el alumno, y

se generan con la

operación cub_0006

40

Esta consulta genera parte de una de las tablas de hechos.

En el ejemplo se ve la porción correspondiente

a las promociones (luego se agregan las

promociones equivalentes)

Cubo SIU-Guaraní – Rend.AcadémicoGeneración de datos (txt) - spdw_02v2_cursado.sql

41


(1) etl/guarani/carga_siu_dsa/guarani_tmp/rendimiento_academico/

cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb

(2) etl/guarani/carga_siu_dsa/guarani/rendimiento_academico/

cargar_datos_dsa_guarani_rendacademico.kjb

(3) etl/guarani/carga_siu_dw/rendimiento_academico/

cargar_datos_siu_dw_rendacademico.kjb

Cubo SIU-Guaraní – rend. académico

42

(1) cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb (Extracción)


43

(2) cargar_datos_dsa_guarani_rendacademico.kjb (Transformación)


44

(3) cargar_datos_siu_dw_rendacademico.kjb (Carga - Load)


45

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)


Dentro del Repositorio de archivos se encuentra por

sistema . En la documentación de los cubos están las

fichas. “Comparación Dimensiones-Medidas-

Cubos.doc” sirve para ver las similitudes y diferencias

entre los criterios de los cubos.

46

Documentación de los cubos(Ej: Guaraní )

Tomamos un cafecito?

47

gastos

ingresos

Cubo SIU-Pilagá – PresupuestoPresentación de los cubos, dimensiones y medidas

presupuesto 48

Modelo Multidimensional: Ficha_Pilaga_Presupuesto_v1.0.4.docIII. ESTRUCTURAS DE LAS TABLAS

Cubo SIU-Pilagá – Presupuesto

49

Significado de los datos: Ficha_Pilaga_Presupuesto_v1.0.4.doc - II. PARTE TÉCNICA


50

Documentación de referencia: Ficha_Pilaga_Presupuesto_v1.0.4.doc


Mejoras y modificaciones por versión

51

Generación de datos (txt)


• Generación desde la interfaz web

• Generación por línea de comando. Programación nocturna.

../SIU-Pilaga/proyectos/pilaga/bin/

sh pilaga.sh cubos generar

52



clase

cubos.php

53

54

Orden de ejecución de los JOB´s de Kettle(documentacion/pilaga/ instrucciones_cargar_siu_dsa_pilaga.txt)

(1) etl/pilaga/carga_siu_dsa/pilaga_tmp/

cargar_datos_dsa_pilaga_tmp.kjb

(2) etl/pilaga/carga_siu_dsa/pilaga/

cargar_datos_dsa_pilaga.kjb

(3) etl/pilaga/carga_siu_dw/

cargar_datos_siu_dw.kjb

Cubo SIU-Pilagá

55

(1) cargar_datos_dsa_pilaga_tmp.kjb (Extracción)

Cubo SIU-Pilagá

56

(2) cargar_datos_dsa_pilaga.kjb (Transformación)

Cubo SIU-Pilagá

57

Cubo SIU-Pilagá

58

(3) cargar_datos_siu_dw.kjb (Carga - Load)

Cubo SIU-Pilagá

59

Esquema SIU-Pilaga.xml (pentaho-solutions/siu/pilaga/)

Cubo SIU-Pilagá

Cubos SIU-Mapuche/SIU-Pampa

60

Presentación de los cubos, dimensiones y medidas

legajos

cargos

liquidaciones


– Cantidad de Cargos (Activos, Liquidados, Distintos).Por mes. Renovaciones de cargos.

– Medidas definidas a nivel de mes, que no están definidas a nivel de año.

– Dimensiones asociadas a los cargos

– Dependencias: de designación, de desempeño, presupuestaria

– Fuente de financiamiento (de lo liquidado)

– Etc.


– Pampa_v1.1.1_Ficha.doc 61

Significado de los datos y criterios para la extracción


Ver las demás en: Cubo Pampa_v1.1.1_Ficha.doc

Y los criterios para la extracción de los datos en la sección

III. ESTRUCTURAS DE LAS TABLAS

Significado de los datos: Cubo Pampa_v1.1.1_Ficha.doc - I. PARTE FUNCIONAL


62

Cubos SIU-Mapuche/SIU-PampaModelo Multidimensional -III. ESTRUCTURAS DE LAS TABLAS

63

Mejoras a incorporar

• Imputaciones presupuestarias del cargo. Nueva tabla

(ft_cargosXimputaciones) que refleja la relación de un cargo

con múltiples imputaciones presupuestarias y el porcentaje

correspondiente a cada una.

• Medida Total de Cargos, cuenta todos los cargos incluidos

en el cubo. Representa la unión de cargos liquidados y

cargos activos.

• Código de Unidad Académica, dependiente de las

dependencias de designación.

• Estado del cargo (concursado o no).


64

• Nivel de enseñanza, dependiente de la categoría del cargo.

• Porcentajes de dedicación (docencia, investigación, gestión

y extensión) de cada cargo.

• Año y mes del período correspondiente a las liquidaciones

retroactivas.

• Porcentaje que representa cada línea de liquidación

(importe liquidado por cargo, concepto e imputación

presupuestaria) sobre el total liquidado del cargo.

• Revisión del cálculo de Antigüedad liquidada.

• Quitar el filtro de legajo no pasivo en la extracción de datos.


Mejoras a incorporar (cont)

65

Nueva estructura de las tablas


66


Nueva estructura de las tablas (cont)


Nueva estructura de las tablas (cont)

68

PLANTA

Objetivo: analizar las liquidaciones

de sueldos, importes y cargos

liquidados, por dependencia,

escalafón, categoría, conceptos,

retroactivos, etc.

Permite analizar la evolución

comparando diferentes períodos.

LIQUIDACIONES

Objetivo: analizar cantidad cargos

y legajos existentes en la

universidad. Comparar la evolución

de los rrhh. Consultar según datos

de los cargos y las personas

(categoría, antigüedad, estado

civil, nivel de estudios, etc.)

Nuevos modelos de análisisDimensiones y Medidas por Cubo

Referencias

* : medidas y dimensiones nuevas

Naranja: exclusivas de cubo de liquidaciones

Violeta: exclusivas de cubo de planta

Negro: en ambos cubos.


69

Medidas utilizadas en los cubos

Importes Liquidados 1 Importes Liquidados por concepto y cargo en cada liquidación

Cargos X Conceptos

X Imputaciones

(liquidaciones)

2 Cantidad correspondiente a los registros de liquidación. Significa

que se cuenta 1 por cada concepto liquidado en cada cargo en

cada liquidación considerada por cada imputación que

corresponda.

Es la medida que antes se veía equivocadamente como “Cargos X

Conceptos (liquidaciones)”

Porcentaje del

importe liquidado

sobre total del cargo

*

3 Corresponde al porcentaje que representa el importe liquidado para

cada imputación de cada concepto en cada cargo sobre el total

liquidado del cargo.

Agrupa por suma.

Cargos X Conceptos

(liquidaciones) *

4 Cuenta 1 por cada concepto liquidado en cada cargo. Sirve para

poder consultar la cantidad de cargos a las que se les liquida cada

concepto

Legajos (con cargo

activos)

5 Cuenta 1 por cada legajo que en el período considerado tiene al

menos un cargo activo (debajo se detalla cuando un cargo se

considera activo). Personas diferentes con cargos activos en el

período. Esta medida está definida solo a nivel de mes.


70

Legajos

Liquidad

os

6 Cuenta 1 por cada legajo que tiene al menos un cargo en el que se le liquidó

algún concepto en el período. Representa el total de legajos que figuran en la

tabla de liquidaciones para el periodo. Personas diferentes con cargos

liquidados. Esta medida está definida solo a nivel de mes.

Total de

Legajos

*

7 Contaría 1 por cada legajo considerado en los datos exportados. Representa la

unión de Legajos con cargos activos y Legajos Liquidados.

Quedaría definida sólo a nivel de mes también?. ¿???

Cargos

Activos

8 Es 1 para todos los cargos de planta activos al menos un día en el periodo,

incluye licencias y ad-honorem. Para los otros casos es 0.

Para saber si el cargo está o no activo se ve la fecha de vigencia del mismo y se

controla que al menos un día esté dentro del período informado. Esta medida

está definida solo a nivel de mes.

Cargos

Liquidad

os

9 Cuenta 1 por cada cargo al que se le liquidó al menos un concepto, esté o no

activo el cargo, y cualquiera sea el concepto

Representa el total de cargos que figuran en la tabla de liquidaciones para el

período. (No figurarán cargos sin liquidación - licencias sin goce y ad-honorem -

e incluirá cargos no activos a los q se les liquida algo -retroactivo-). Esta medida

está definida solo a nivel de mes.

Medidas utilizadas en los cubos (cont)


71

Medidas utilizadas en los cubos (cont)

Total de Cargos * 10 Cuenta 1 por cada cargo considerado en los datos exportados.

Representa la unión de Cargos Activos y Cargos Liquidados.

Quedaría definida solo a nivel de mes también???

Cant Cargos X

Imputaciones *

11 Cuenta 1 por cada imputación de cada cargo.

Porcentaje Imputación

del cargo *

12 Es el porcentaje correspondiente cada imputación

presupuestaria dentro del cargo.

Importe Neto 13 Importe Neto que recibe el agente (por cargo o por legajo

según corresponda). (*1)

Importe Bruto 14 Importe Bruto del agente (por cargo o por legajo según

corresponda) (*1)

Importe de Gasto

Total

15 Gasto total que significa el agente para la Institución (por cargo

o por legajo según corresponda) (*1)

(*1) Estas medidas en principio están calculadas a nivel de cargo, y no puede consultarse

por las dimensiones que comienzan con (Liq). Habría que evaluar de bajarlas a nivel de

concepto y entonces incluirlo en el cubo de liquidaciones.


72

Cubo Liquidaciones

Dimensiones \ Medidas 1 2 3 4 9 10 13 14 15

Período (Año Mes) X X X X X X X X X

(C) Unidad Académica * Depend. Designación X X X X X X X X X

(C) Depend. Desempeño X X X X X X X X X

(C) Escalafón y Categoría (Escalafón Categoría del

cargo)

X X X X X X X X X

(C) Dedicación X X X X X X X X X

(C) Sede X X X X X X X X X

(C) Estado Laboral X X X X X X X X X

(C) Tipo de Planta y Carácter desig.

(Tipo de Planta Carácter de la designación)

X X X X X X X X X

(C) Estado del Cargo (Licencias)

(Activo vs. Baja Con o Sin Licencia Con o sin goce

de haberes)

X X X X X X X X X

(C) Antigüedad Liq. (Antigüedad liq. por rangos

Antigüedad liquidada)

X X X X X X X X X


Cubo Liquidaciones (cont.)

Dimensiones \ Medidas 1 2 3 4 9 10 13 14 15

(C) % Trabajado X X X X X X X X X

(Liq) Liquidaciones X X X X X? X? X?

(Liq) Conceptos

(Tipo de Concepto Concepto)

X X X X X? X? X?

(Liq) Dep. Presupuestaria (Dependencia Presupuestaria

SubDependencia Presupuestaria)

X X X X? X? X?

(Liq) Fuente Financiamiento X X X X? X? X?

(Liq) Objeto del gasto

(Inciso Partida Principal Partida Parcial)

X X X X X? X? X?

(Liq) Red Programática (Programa Subprograma

Proyecto Actividad Obra)

X X X X X? X? X?

Legajos X X X X X X X X X

(Liq) Retroactivos

(Años Retroactivos Períodos Retroactivos) *

X X X X X? X? X?


Cubo Planta

Dimensiones \ Medidas 5 6 7 8 9 1

0

1

1

1

2

1

3

1

4

1

5

Período (Año Mes) X X X X X X X X X X X

(C) Unidad Académica * Depend. Designación X X X X X X X X

(C) Depend. Desempeño X X X X X X X X

(C) Escalafón y Categoría (Escalafón Categoría del

cargo)

X X X X X X X X

(C) Dedicación X X X X X X X X

(C) Sede X X X X X X X X

(C) Estado Laboral X X X X X X X X

(C) Tipo de Planta y Carácter desig.

(Tipo de Planta Carácter de la designación)

X X X X X X X X

(C) Estado del Cargo (Licencias)

(Activo vs. Baja Con o Sin Licencia Con o sin goce

de haberes)

X X X X X X X X

(C) Agrupamiento X X X X X X X X

(C) Subrrogancia X X X X X X X X


Cubo Planta (cont.)


0

1

1

1

2

1

3

1

4

1

5

(C) Asociado X X X X X X X X

(C) Antigüedad Liq. (Antigüedad liq. por rangos

Antigüedad liquidada)

X X X X X X X X

(C) Antigüedad en escalafón (Antig. en escalafón por

rangos Antigüedad en escalafón)

X X X X X X X X

(C) Hs. Dedicación X X X X X X X X

(C) % Trabajado X X X X X X X X

(C) % Reducción Horaria X X X X X X X X

(L) Activo/Jubilado/Pasivo X X X X X X X X X X X

(L) Sexo X X X X X X X X X X X

(L) Estado Civil X X X X X X X X X X X

(L) Edad (Edad por rangos Edad) X X X X X X X X X X X

(L) Sistema Previsional X X X X X X X X X X X

(L) Nivel de Estudio X X X X X X X X X X X


Cubo Planta (cont.)


0

1

1

1

2

1

3

1

4

1

5

(L) Discapacidad X X X X X X X X X X X

(L) Total Carga Horaria X X X X X X X X X X X

Legajos X X X X X X X X X X X

(CxI) Fuente financiamiento del cargo * X X

(CxI) Dep. Presupuestaria (Dependencia Presupuestaria

SubDependencia Presupuestaria) *

X X

(CxI) Red Programática (Programa Subprograma

Proyecto Actividad Obra) *

X X

(C) Estado del cargo (concursado) * X X X X X X X X

(C) Nivel de enseñanza * X X X X X X X X

(C) Porcentaje Dedicación Docencia * X X X X X X X X

(C) Porcentaje Dedicación Investigación * X X X X X X X X

(C) Porcentaje Dedicación Gestión * X X X X X X X X

(C) Porcentaje Dedicación Extensión * X X X X X X X X




78


79

Orden de ejecución de los JOB´s de Kettle(documentacion/pilaga/ instrucciones_cargar_siu_dsa_mapuche.txt)

(1) etl/mapuche/carga_siu_dsa/mapuche_tmp/

cargar_datos_dsa_mapuche_tmp.kjb

(2) etl/mapuche/carga_siu_dsa/mapuche/

cargar_datos_dsa_mapuche.kjb

(3) etl/mapuche/carga_siu_dw/

cargar_datos_siu_dw.kjb

Cubo SIU-Mapuche/Pampa

80

(1) cargar_datos_dsa_mapuche_tmp.kjb (Extracción)


81

(2) cargar_datos_dsa_mapuche.kjb (Transformación)


Vista dimensión cubo Mapuche

82


83

(3) cargar_datos_siu_dw.kjb (Carga - Load)


84


85

Esquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/)


86

Esquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/)

Generación de los cubos

¿Generación FULL o Incremental?

• FULL para primera vez, para cubo nuevo, reemplaza el existente (En O3 reemplaza el .cube. En Pentaho borra el contenido de la/s FT/s en el DW)

• INCREMENTAL

– Guaraní por facultad

(el cubo contiene “fotos acumuladas” a la fecha)

– Mapuche/Pampa por mes

(el cubo contiene “fotos” mensuales)

– Pilagá por ejercicio

(el cubo contiene “fotos” anuales)87

88

Personalizaciones de las soluciones brindadas por el SIU

Preguntas ante una personalización:

• Qué se necesita cambiar?

• Dónde debe realizarse la modificación?

• Requiere la incorporación de algún dato no existente?

• Dónde y cuál es la mejor manera de agregarlo? (diseño multidimensional)

Ante la mínima duda: CONSULTAR CON EL SIU

para evaluar alternativas en forma conjunta

Personalizaciones – Ejemplo 1

• Editar el xml del cubo (Schema Workbench) y eliminarla

• Ejemplos:

– Quitar la dimensión Sede de los cubos de Mapuche o de los de Guaraní (Rend Académico)

– Eliminar dimensión “% Trabajado en el mes” de los cubos de Mapuche

– Eliminar la dimensión Legajo en los cubos de Mapuche o Guaraní

– Etc.89

Eliminar una dimensión

• Para que sea posible ambos niveles deben existir en la tabla de hechos. (Si no existieran habría que incorporarlo)

• Editar el xml del cubo y realizar las modificaciones.

• Ejemplo:

– Unidad académica y carrera en cubo de procedencia de Guaraní

– Categoría y Escalafón en cubo de Mapuche ¿?

– Sueldos/Otros gastos en cubo de Pilagá ¿?

• Siempre preguntarse si tiene sentido.

Personalizaciones – Ejemplo 2Abrir la jerarquía de una dimensión en dos dimensiones

90

• Podría ser en la E, en la E’, o en la T (ppt #14)

• Ejemplos en Guaraní Rend Academico

– Considerar solo actas cerradas opción 1-E: Modificar el where del sp correspondiente en Guaraní

– Eliminar las materias comunes. opción 1-E: Quitar esa parte de las consultas en los sp (spdw_02v2_cursado.sql, spdw_02v2_equiv.sql y spdw_02v2_examen.sql)

opción 2-E’/T: filtrar los registros como parte de la transformación (ojo solo para pentaho).

opción 3: no hacer nada, dejarlos en el cubo y guardar una vista con el filtro.

• Otros ejemplos?

Personalizaciones – Ejemplo 3Considerar otros criterios de extracción

Eliminar registros

91

• Puede ser en la E o en E’.

– En el primer caso (E) se modifica el sp o consulta de extracción en el sistema de gestión

– En el segundo caso (E’) se agrega como otra fuente de datos y se realiza la unión con el PDI de Pentaho. Por ejemplo si hubiese datos en otro sistema no SIU u otra fuente de datos (alumnos de carreras a distancia? Sistemas previos a la migración a sistemas SIU) que quieren incorporar al cubo.

• Considerar que estas modificaciones pueden requerir también de la incorporación de un nuevo campo que se refleje como dimensión y permita distinguir los datos

Personalizaciones – Ejemplo 4Considerar otros criterios de extracción

Agregar registros (filas, se mantiene la estructura)

92

Personalizaciones – Ejemplo 5Modificar descripciones y agrupamientos en rangos

• En la T

• Ejemplos:

1- Rangos de edades (ej: /etl/mapuche/carga_siu_dsa/mapuche/dsa_mapuche_lt_rangoedades_load.ktr)

2- Descripción por defecto para nulos (ej: /etl/guarani/carga_siu_dsa/guarani/alumnos/dsa_guarani_cargar_nulos_en_dimensiones.kjb)

93

12

Personalizaciones – Ejemplo 6Solucionar los problemas de calidad de datos

• En la T

• Casos: Datos nulos. Mismo dato con diferentes descripciones, con diferentes codificaciones. Datos inconsistentes.

Ejemplos: Colegios Secundarios (Guaraní), Red Programática (Pilagá/Mapuche), Dependencias (todos), etc

• Importante: los problemas de calidad de datos deben sercorregidos en la fuente, origen del dato. Luego de detectarlosy corregirlos para cargarlos al DW deben ser informados a losresponsables de los sistemas de gestión.

94

Personalizaciones – Ejemplo 7Agregar niveles en la jerarquía de una dimensión

• Si el nivel es superior (agrupa los datos existentes) y existe en la LT: solo se requiere modificar el xml

• Si el nivel es superior y no existe en la LT: hay que incorporarlo ((E), E’, T, L) y luego modificar el xml

• Si se trata de un nivel inferior, debe existir (o incorporarse –(E), E´, T, L) en la FT, y también luego modificar el xml

• Ejemplos:– Agrupar las carreras por unidad académica

– Agregar la versión del plan (de la carrera)

– Incorporar partido/departamento dentro de la dimensión procedencia

– Agrupar Legajos por inicial del apellido (para mejorar performance del cubo)

– Etc. 95

Personalizaciones – Ejemplo 8Agregar nuevas dimensiones a los cubos

• Si el dato existe en la FT: solo se requiere editar el xml

• Si el dato existe en alguna LT: seguramente se necesitará

hacer un join (T) para incorporarlo a la FT

• Si el dato no existe, hay que agregarlo al DSA, (E y/o E’

dependiendo si está en el sistema de gestión o es

externo y si conviene modificar la consulta o sp que

genera los txt actuales o extraer los datos directamente

con el PDI de Pentaho)

96

Personalizaciones – Ejemplo 8Agregar nuevas dimensiones a los cubos

• Ejemplos:

– Mapuche/Pampa. Incorporar datos de liquidaciones retroactivas, mes y año al cubo de liquidaciones en FT, E’ (porque la E está programada en Clarion)

– Guaraní. Agregar Tipo de Colegio Secundario en LT y pasar a FT. Realizar en E: agregar sga_coleg_sec.sector a la consulta de extracción de colegios actual, y agregar descripción (P: privado, E: estatal) en T

97

Personalizaciones – Ejemplo 9Agregar una nueva medida derivada a un cubo

• Ejemplo - Pilagá: Se agrega una nueva medida “Compromiso no pagado” que se calcula como la diferencia de las medidas “compromiso” y “pagado”.

1- Click derecho sobre el cubo pilaga-gastos

y luego “Add Calculated Member”

2- Definir los atributos de la medida.

3- Publicar el cubo nuevamente en el

biserver mediante “File -> Publish…”

1

2

98

Diferentes formas de presentar la información

A veces el requerimiento tiene que ver con la presentación de la información no solo con el contenido…

• Cubos/Vistas

• Reportes

• Dashboards

99

• Ejemplo alumnos por carrera (vista, reporte, dashboard)

Diferentes visualizaciones de la misma información

Llegó el momento de almorzar!

101

Arquitectura técnica de las soluciones SIU

102

txt

txt

txt

txt

Idealmente sería un DW

DW

O3 Builder

Modelos de cubos (.mdl)META DATA

O3 Designer

O3 Adm Server

O3 Server

txt

txt

E.T.BD SIU-Pilagá

…

Área de usuario

O3 Query

Reportes

Análisis (cubos)

Enterprise Portal (Dashboards)

Reglas (Alertas)

Scorecard (Indicadores)

Web (O3 Portal)

Escritorio (O3 Browser)

Área de diseño, construcción y administración

Arquitectura actual del DSS con cubos de O3

103

Exp

lota

ció

n

BD SIU-Guaraní

BD SIU-Guaraní

txt

txt

txt

cvs

cvs

sql

dbf

BD SIU-Wichi Ex

plo

taci

ón

CA

RG

A -

Imp

ort

ado

r SI

U-W

ich

i

Reportes

Tablas y Gráficos

E.T.

E.T.

BD SIU-Pampa

E.T.

BD SIU-Araucano

E.T.

BD SIU-Comechin

gones

BD SIU-Pilagá

cvs

cvs

cvs

Arquitectura actual del DSS con SIU-Wichi

BD SIU-GuaraníBD SIU-

GuaraníBD SIU-Guaraní

dbf

dbf

sql

sql

cvs

cvs

sql

cvs

cvs

sql

sql

104

DSA DW

CARGA

Reportes

Análisis (cubos Mondrian)

Dashboards e Indicadores

Data Mining

Área de Limpieza y transformación de datos

E

BD SIU-Guaraní

EBD SIU-Pilagá

…E

Reportes

Análisis (cubos)

Enterprise Portal (Dashboards)

Reglas (Alertas)

Scorecard (Indicadores)

Web (O3 Portal)

Escritorio (O3 Browser)

Arquitectura futura del DSS con Pentahoy O3 (SIU-Wichi quedaría dentro de Pentaho)

Exp

lota

ció

n

BD SIU-Guaraní

105

Exp

lota

ció

n

Arquitectura propuesta inicialmente del DSS con Pentaho

106

DSA

DW

E.T.BD SIU-Pilagá

… CARGA

Reportes

Análisis (cubos Mondrian)

Dashboards e Indicadores

Data Mining

Área de usuarioÁrea de diseño, construcción y

administración *

* Observación: no se detallan todos los componentes específicos de esta área (para diseño de cubos, dashboards, etc) ni el motor mondrian y otras cuestiones técnicas

BD SIU-Guaraní

BD SIU-Guaraní

Exp

lota

ció

n

txt

txt

txt

txt

txt

txt

txt

txt

txt

Estructura de las solucionesen Pentaho (archivos biserver)

<pentaho-dir>/biserver-ce/pentaho-solutions/siu

/capacitacionesindex.xml *SIU-Guarani-curso.xml (*)…

/guaraniindex.xml *SIU-Guarani.xml (*)…

/mapuche index.xml *SIU-Mapuche.xml (*)…

/pilagaindex.xml *SIU-Pilaga.xml (*)…

index.xml *

107

Consolda de usuario Pentaho

(*) definición del cubo

* index.xml: definición de las propiedades de la carpeta

Estructura de las solucionesen Pentaho (paquete SIU)

108

Cómo instalar las soluciones SIU:

“Instalacion soluciones SIU en Pentaho”

Documentación de instalación y carga de datos de las soluciones SIU.

Trabajos y transformaciones de PDI para cargar los datos en el DW.

Contiene los archivos con la definición de los cubos, vistas, tableros,

reportes y sus respectivas carpetas que son instalados en el biserver

de Pentaho.

Contiene arhivos extras que son útiles para las solucioines, por ej: CDE-

bundle-1.0-RC3.

Estándares de desarrollo

• Soluciones almacenadas como archivos versionado en svn

• Archivos del “núcleo” de la solución comienzan con “SIU-” y pueden modificarse de versión en versión.

• Estructura del DW: esquemas por sistema (pilaga, guarani, …, wichi, tablas_maestras…) , estandarización de nombres (ej: respetando nombre de txt actuales). Diccionario de datos común.

• Tipo de datos en el DSA y en el DW iguales a los sistemas de gestión (o máximo de ellos).

• Definición de roles comunes (para dar permiso a las soluciones según esos roles)

• Uso de estilos para los reportes.

• …

109

– Estándares

• Respetar los estándares de desarrollo

• Utilizar _UNNombre o UNNombre- para las personalizaciones (en todos los archivos).

– Comunicar al SIU ([email protected]) para su incorporación al versionado en el SVN (tanto de las personalizaciones como de los errores o nuevas funcionalidades incorporadas)

110

Forma de trabajo colaborativa y estandarizada

mailto:[email protected]

111

Comunidad SIU

Documentación en la web - Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki

112



Estándares en Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones%20y%20est%C3%A1ndares

113

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones y est%C3%A1ndares

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones y est%C3%A1ndares

Foro en comunidad de usuarios

114

Caso de éxito: Cubos de SIU-Guaraní en

producción en UNC

115

Personalizaciones para adaptar la solución común a las

características propias de la universidad.

Implementación de cubos integrando datos de todas las

facultades. Permisos de acceso por usuario

116

Está haciendo falta cafeína?

Explotación de datos con O3,más allá de los cubos

117

•Reportes•Eportal•Importar vistas, reportes, escritorios, etc.•Definición de cuadros de control

O3 Report

118

119

O3 Report

• https://www.ideasoft.biz/wiki/display/o3man/O3+Report+Studio

• Diana Peh, Nola Hague, Jane Tatchell, “BIRT: A Field Guide to Reporting (2nd Edition)”

120

O3 Report - Documentación

https://www.ideasoft.biz/wiki/display/o3man/O3+Report+Studio



O3 Eportal

121

O3 EportalPanel de Control.

Definición de comunidades, Usuarios, etc

122

O3 Eportal - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Enterprise+Portal

• http://www.liferay.com/

123

https://www.ideasoft.biz/wiki/display/o3man/O3+Enterprise+Portal

https://www.ideasoft.biz/wiki/display/o3man/O3+Enterprise+Portal

O3 ScorecardNuevo Tablero de Control

Ejemplo de definición de un Indicador paso a paso

124

• Ejemplo de Indicador a definir: Rojo si porcentaje en sueldos supera el 85%, amarillo entre 80% y 85%, Verde para menos de 80%

O3 Scorecard

125

• Agregar grupo. Luego agregar indicador

O3 Scorecard

126

• Definir indicador, solapa Método

O3 Scorecard

127

• Agregar el cubo

O3 Scorecard

128

• Armar la vista

O3 Scorecard

129

• Capturar la vista

• y completar con los campos

O3 Scorecard

130

• Volver al indicador, solapa campos y completar datos

O3 Scorecard

131

• Solapa Datos y completar datos

O3 Scorecard

132

• Guardar como… en servidor

O3 Scorecard

133

• Generar tablero

O3 Scorecard

134

• Visualización en Portal Web

O3 Scorecard

135

• Definición de indicadores agrupadores

O3 Scorecard

136

O3 Scorecard - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Scorecard

137

O3 - Importar vistas, reportes, escritorios, etc

138

Vistas

Pasos para importar una nueva vista al servidor de O3:

1- Abrir la vista con el O3 Browser

2- Seleccionar del menú “Ventana” -> “Aplicar la vista actual en otro cubo …”

3- Seleccionar el servidor y el cubo sobre el cual aplicar la vista.

Reportes

Pasos para importar un reporte en el servidor de O3:

1- Copiar el archivo .rptdesign al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/reports

2- Desde el adminserver configurar los permisos de usuario para ese reporte.

3- El reporte se podrá acceder desde el O3portal en la sección “Reportes” dentro

De la ventana de “Mis Bookmarks”


139

Escritorios

Pasos para importar un escritorio en el servidor de O3:

1- Copiar el archivo .desk al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/jdesktops/desktops

2- Desde el adminserver configurar los permisos de usuario para ese escritorio.

3- El escritorio se podrá acceder desde el O3portal en la sección “Escritorios” dentro

De la ventana de “Mis Bookmarks”.

Reglas

Pasos para importar una regla en el servidor de O3:

1- Copiar el archivo .rule al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/rules

2- Desde el adminserver configurar los permisos de usuario para esa regla.

3- El reporte se podrá acceder desde el O3portal en la sección “Reglas” dentro

De la ventana de “Mis Bookmarks”.


140

Comunidades en el Eportal

Pasos para importar un escritorio en el servidor de O3:

1- Ingresar al Eportal como administrador.

2- En el “Panel de Control” ir a “Comunidades” y crear una nueva comunidad con

el nombre deseado.

3- Ingresas a la comunidad creada mediante “Acciones” -> “Administrar pàginas”

4- Ir a la solapa “Exportar/Importar “y ahí seleccionar “Importar”.

5- En el botòn “examinar” seleccionar el archivo .zip que contiene la comunidad a

Importar.

6- Presionar el botòn “Importar”.

Ver: “EJEMPLO Restricciones de la dimensiones.doc”

O3 Server AdministratorPermisos de acceso y Restricciones

141

O3 Server Adm - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Server+Administrator

142

Más información:

www.siu.edu.ar

[email protected]

Lic. Cecilia Dómina

Ing. Marcos Pierri

143

Muchas Gracias!!!

¿Preguntas?

http://www.siu.edu.ar/

mailto:[email protected]

Taller de técnicos 2011 09 UNC

Documents

Transcript of Taller de técnicos 2011 09 UNC