Post on 06-Jan-2015
Ciclo de Vida
Hugo M. Castro
Implementación de un Data Warehouse Un proyecto de Data Warehouse debe
basarse en satisfacer necesidades del negocio
Los datos se deben presentar de acuerdo con las variables del negocio
Un Data Warehouse está en permanente evolución
Cada proyecto de Data Warehouse debe tener un principio y un fin
Ciclo de vida
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Planificación
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Planificación Predisposición de la organización Alcance Justificación de negocio Aspectos humanos Plan del proyecto Puntos clave
Predisposición de la organización
Apoyo de la Gerencia (Sponsor) Motivación del negocio Participación de gente del negocio y
Sistemas Cultura actual de análisis de
información Factibilidad
Apoyo de la Gerencia (Sponsor) Perteneciente al área de negocios de la
empresa Con visión del impacto del Datawarehouse Con convicción personal y alto compromiso
con el proyecto
Apoyo de la Gerencia (Sponsor) Con influencia en la empresa, respetado y con
buenas conexiones Con conocimiento de la cultura, las personas, las
políticas y los procesos de la empresa Con visión realista para comprender los conceptos
del datawarehouse y el ciclo de desarrollo iterativo
Con capacidad para tomar decisiones
Motivación imperiosa del negocio Tener en cuenta que El datawarehouse es un facilitador del acceso a los
datos Va a armarse para resolver requerimientos críticos
específicos del negocio Debe alinearse con las motivaciones del negocio
de tipo estratégico de la empresa Ejemplo
Oportunidad para ganar lugar en el mercado Mejorar la competitividad
Participación entre Sistemas y Negocio Un datawarehouse exitoso parte del trabajo
conjunto de gente de sistemas y gente del negocio
NO se puede encarar prescindiendo de la otra área
Cultura actual en el análisis de información Un datawarehouse se construye para brindar
mejor acceso a mejor información para dar soporte a la toma de decisiones
Cultura actual en el análisis de información si no hay uso actual de información,
probablemente la empresa no necesite un Datawarehouse
(o hay que invertir un esfuerzo considerable en cambiar la cultura)
Factibilidad
Se refiere a los datos que van a alimentar al Datawarehouse
Los datos del datawarehouse son secundarios, es decir, todos provienen de otras fuentes que los reunieron.
Son importantes Los sistemas transaccionales en funcionamiento
que tiene la empresa La calidad de los datos
Predisposición de la organización
ESCENARIOS POSIBLES 1 Empresa con algún área de gran
visibilidad Con necesidades claras de acceso a
información Con un ejecutivo del negocio que impulsa el
proyecto (sponsor) Es la situación más favorable Se da en el 50% de los casos
Predisposición de la organización
ESCENARIOS POSIBLES 2 Empresa con múltiples áreas que
requieren información Es una situación más complicada Requiere establecer prioridades en
los requerimientos
Predisposición de la organización
ESCENARIOS POSIBLES 3 Empresa sin una necesidad clara de
acceso a información sino difusa Es la situación más complicada Puede verse beneficiada por tener
acceso a información pero hace falta identificar primero en forma clara Los beneficios de una solución BI y Las necesidades reales de acceso a
información.
Predisposición de la organización Controlar la disposición de la empresa hacia una
solución BI Antes de comenzar un proyecto de Datawarehouse
o Data Mart Entender si hay demanda de uso de información Identificar de dónde proviene la demanda
Hay que Buscar un sponsor de negocios fuerte Identificar usuarios de negocios ávidos de
información
Predisposición de la organización
Si no POSPONER EL PROYECTO...
Preguntas clave Evalúan si la organización está en
condiciones de implementar una solución de BI
Evalúan si vale la pena ofrecer una solución de BI
Preguntas cruzadas Aspectos de la implementación
Factores críticos de éxito Compromiso de la Gerencia Requerimientos del negocio Madurez de la empresa Calidad de información Características del Data
Warehouse Grupo de desarrollo
Alcance del proyecto Consenso Sistemas y Negocios Valor para la organización Manejable Comienzo en pequeño
Un proceso de negocios Prioridades Plazos Riesgos
Justificación para el negocio Estimación de beneficios y costos Costos de hardware y software Crecimiento Ampliación de requerimientos Mayores ingresos Mejores oportunidades
Aspectos humanos
Funciones provenientes del negocio Funciones técnicas
Sistemas – Negocios Funciones de administración
Sistemas – Consultores externos Transferencia de conocimiento
Personajes 1
DEL LADO DEL NEGOCIO Propietario Patrocinante Conductor Líder de negocios Profesionales de negocios
Personajes 2
ASPECTOS TÉCNICOS Analista de sistemas de negocios Referente temático Desarrollador de aplicaciones Instructor
Personajes 3
ADMINISTRACIÓN Y SOPORTE Director del proyecto Arquitecto Especialista de soporte técnico Modelador de datos Administrador de base de datos Diseñador de ETL Soporte del Data Warehouse
Plan del proyecto Identificación de las tareas
necesarias Participación de personas clave Identificación de puntos de
aceptación por los usuarios Etapas – Entregables
Plan de comunicaciones
Plan de comunicaciones
Interlocutor Frecuencia Mensaje
Patrocinante Bi-mensual Resolución de problemasManejo de expectativas
Usuarios de negocios
Mensual InvolucraciónManejo de expectativasFechas críticas
Grupo del proyecto
Semanal Avance del proyectoIdentificación y resolución de problemas
Sistemas Bi-mensual Manejo de expectativasNecesidad de recursos
Puntos clave Busque un patrocinante bien
ubicado Haga un balance entre valor para el
negocio y manejabilidad Desarrolle cuidadosamente el plan
del proyecto Sea un director de proyecto con
capacidad de motivar, administrar y comunicar a todos los niveles
Requerimientos del negocio
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Relevamiento de requerimientos
PREPARACIÓN Entreviste primero a los altos directivos
Visión más amplia del negocio Determinación de prioridades Apoyo para las entrevistas posteriores
Prepare el grupo de relevamiento Planifique las entrevistas con gerentes
intermedios y profesionales de negocios
Relevamiento de requerimientos
UNA VEZ IDENTIFICADOS LOS INTERLOCUTORES
Elija los medios Entrevistas Sesiones con moderador
Prepare el temario Agende las entrevistas y sesiones
Relevamiento de requerimientos
ENTREVISTAS Apertura
Objetivos de la entrevista Desarrollo
Forma de trabajo Métricas Análisis
Cierre Cuantificación del éxito
Relevamiento de requerimientos
Puntos importantes Escuche atentamente Tome notas No entre en detalles demasiado
pronto Trate de captar la terminología de la
organización En las entrevistas use el vocabulario
del entrevistado
Funciones vs. Datos
Productos Fecfa Hora Sucursales Ventas Cantidad de tickets
¿Qué productos se venden más? X X
¿Cómo se venden los productos en las sucursales?
X X X
¿En qué horas hay más clientes? X X X¿Qué días de la semana son más flojos?
X X X
INTERLOCUTORES: PROFESIONALES DE NEGOCIOS
Entrevistas sobre los datos Interlocutores
Conocedores de las fuentes de datos Conocedores del negocio
Objetivos Asegurar que hay datos para cumplir
con los requerimientos Fijar las expectativas en un nivel
razonable
Datos vs. Fuentes
Inventario Carpeta de
sucursales
Consolidado de cajas
BD de productos
Productos X X XFecha XHora XSucursales X XVentas XCantidad de Tickets X
INTERLOCUTORES: ADMINISTRADORES DE BD
Actividades post-entrevistaInforme sobre la reunión Resumen ejecutivo Visión general Detalle de cada proceso de negocios
Para qué se requiere análisis de datos Qué funciones se necesitan Cuáles son las limitaciones actuales Cuáles son los beneficios previstos Factibilidad de conseguir los datos
necesarios
Actividades post-entrevista
Presentación a la alta gerencia Identificación de procesos de
negocios Entendimiento de la terminología Análisis de prioridades
Impacto en el negocio Factibilidad
Actividades post-entrevista
Impacto en el negocio
Factibilidad
CUADRANTES DE PRIORIDADES
Alt
oB
ajo
Baja Alta
Proceso A
Proceso B
Proceso D
Proceso C
Desarrollo del proyecto
Requerimientos
Línea de Tecnología
Línea de Datos
Línea de Aplicaciones
El desarrollo del proyecto se realiza en tres líneas
Línea de Tecnología
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Línea de Tecnología Arquitectura
Componentes Fuentes de datos Organización de datos (Data Staging) Presentación de datos Acceso a los datos
Influencia de los requerimientos Selección de productos
ArquitecturaSistemas
Transaccionales
Data Staging AreaÁrea de presentación de datos
Área de acceso a los datos
Bus del DWh
Extracción
SERVICIOS
Limpieza
Combinación
Estandarización
NO CONSULTAS
ARCHIVOS/TABLAS
PROCESOS
Ordenamiento
Procesamiento secuencial
DATA MART 1
Dimensional
Un proceso de negocios
Datos atómicos y consolidados
DATA MART 2
Diseño similar
Carga
Acceso
Consultas especiales
Redacción de informes
Aplicaciones analíticas
Modelos
- Pronósticos
- Scoring
- Data Mining
Influencia de los requerimientos
Hardware Servidores Discos
Software Sistema operativo Motor de base de datos
Funcionalidades
Influencia de los requerimientos
Alta disponibilidad Espejado de datos Soporte unificado de metadatos Potencia de cálculo para procesos
complejos de integración Ubicación de los usuarios Ventana de renovación
Selección de productos Análogo a otras selecciones de
tecnología Política de compras Matriz de evaluación Requerimientos técnicos y
funcionales Factores de ponderación
Línea de Datos
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Línea de Datos Modelado dimensional
Proceso de negocios Granularidad Tablas de hechos Tablas de dimensión Claves subrogadas Dimensiones de cambio lento
Línea de Datos Diseño físico de la base de datos
Nombres de columnas Tipos de datos Claves Particiones Estrategia de consolidación
Qué consolidaciones se incluyen Estrategia de indexación
Línea de Datos Diseño y desarrollo del ETL
Compra vs. Desarrollo Curva de aprendizaje Retorno de la inversión
Normalización vs. desnormalización Organización de las tablas de
dimensión Organización de las tablas de hechos
ETL
Organización de las tablas de dimensión Toma los datos dimensionales de los
sistemas transaccionales Depura los valores de los atributos para
incorporarlos al modelo dimensional Crea y asigna claves subrogadas Mantiene la tabla de referencias cruzadas Identifica el agregado omodificación de filas
en la tabla de dimensión
ETL
Organización de las tablas de hechos Toma los datos de hechos de los sistemas
transaccionales Recibe dimensiones actualizadas Separa los datos de hechos por
granularidad Realiza las transformaciones requeridas en
los datos Reemplaza claves de los sistemas fuente
por claves subrogadas
ETL
Organización de las tablas de hechos Agrega claves adicionales
“Sin promoción”, “No aplicable” Asegura la calidad de los datos
Cuenta de filas, totales cruzados Construye tablas de hechos sumadas Incorpora los datos al Data Warehouse Informa a los usuarios
Línea de Aplicaciones
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Línea de Aplicaciones Especificación y desarrollo de
aplicaciones Diferentes niveles de necesidad de
información para diferentes usuarios Documentación de relevamiento de
requerimientos
Línea de Aplicaciones Especificación y desarrollo de
aplicaciones Vías de acceso
Internet Correo electrónico Tableros de control
Personalización de herramientas
Implementación
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Implementación Convergencia de las tres líneas La línea de datos es la más
impredecible Fechas comprometidas Asegurarse de que el Data
Warehouse esté en condiciones Educación
Implementación EDUCACION Entender cuál es la audiencia No empezar la educación demasiado
temprano Datos viejos o no reales Posponer la educación si hay problemas
en la puesta en marcha Política “Si no hay educación, no hay
acceso”
Mantenimiento y Crecimiento
Planificación
Requerimientos
del
Negocio
Modelo
Dimensional
Diseño
ArquitectónicoProductos
Diseño
FísicoData Staging
Especificación
Aplicaciones
Desarrollo
Aplicaciones
Implementación
Mantenimiento
Crecimiento
Administración del Proyecto
Mantenimiento y Crecimiento Soporte a los usuarios de negocios
Si no hay consultas, posiblemente no estén usando el Data Warehouse
Detectar áreas de datos o de aplicaciones no cubiertas
Calidad del Data Warehouse Educación
Cursos de actualización Usuarios calificados
Mantenimiento y Crecimiento Soporte Técnico
Es parte del negocio Rendimiento Nivel de servicio
Monitoreo Avance vs. criterios de éxito Revisiones Oportunidades de mejoras
Mantenimiento y Crecimiento Demandas de crecimiento
Nuevos usuarios Nuevos datos Nuevas aplicaciones Mejoras de las aplicaciones existentes
Revisión de las prioridades establecidas Determinación de las necesidades de la
nueva etapa Comienzo de la nueva etapa
Arquitecturas OLAP OLAP Relacional (ROLAP)
Usa un esquema relacional para manejar la navegación y administrar los datos consolidados
Gran escalabilidad OLAP Multidimensional (MOLAP)
Almacenamiento con técnicas multidimensionales Acceso rápido a datos sumados previamente
OLAP Híbrido (HOLAP) Bajo nivel ROLAP, Alto nivel MOLAP
Motores de BD especializados Manejan consultas con esquemas estrella o copo de
nieve