1
22
Creando el próximo Data Warehouse: Integración y calidad de datos
Caso Práctico
Pei Yung Chan
Sales Consultant
3
Agenda
• Presentación corporativa
• Procesos de integración y calidad de datos
• Uso de PowerCenter como herramienta de integración de datos
• Ejemplo de un Data Warehouse con calidad
• Utilización de procesos y reglas de calidad de datos
• Uso de PowerAnalyzer como herramienta de análisis y reporting
44
Presentación corporativa
5
Nuestra MisiónEnabling The Information Economy
Ayudamos a las organizaciones a obtener una ventaja competetiva
mediante la optimización de la gestión de sus datos a traves de
herramientas de acceso, integración y calidad del dato.
6
Clientes +3.200 clientes
Productos Plataforma de Integración y Calidad de DatosCiclo de vida del Dato (Acceso, Validación,
Transformación y Entrega)
Compañía Nasdaq: INFAMás de 1.400 empleados
Analistas Reconocida como "Líder" en el Data Integration y Data Quality magic Quadrant de Gartner (2008).
Informatica es la única compañía de software deintegración independiente.
Líderes en Integración de Datos
7
InformaticaResultados Record / Foco único
• Beneficios: $391 million
• Crecimiento últimos 3-años: 21% por año
• Clientes: 3,200+
• 91 del Fortune 100
• 80%+ del Dow Jones
• 20 Organizaciones Guvernamentales
• Partners: 400+
• Major SI, ISV, OEM and On-Demand Leaders
• Empleados: 1,500+$100
$150
$200
$250
$300
$350
$400
$450
2004 2005 2006 2007
8
Las necesidades empresariales
Necesidadesdel negocio
Mejorar decisiones y
cumplir con lanormativa
Modernizar el negocio y reducir los
costes de TI
Fusiones yadquisiciones
Mejorar laeficiencia del
servicio al cliente
Externalizaciónde servicios
Incrementar laEficiencia con los
colaboradoresexternos
Iniciativasde TI
Business Intelligence
Eliminación desistemaslegados
Consolidaciónde aplicaciones
Hubs de productos,Clientes
BPOSaas
B2B Integration
Proyectos
Data Warehouse
DataMigration
DataConsolidation
Master DataManagement
Data Synchronization
B2B DataExchange
9
= Less for moreHand Coding
Data Warehouse
DataMigration
DataConsolidation
Master DataManagement
Data Synchronization
B2B DataExchange
Solución de integración de datos
Data Warehouse
DataMigration
DataConsolidation
Master DataManagement
Data Synchronization
B2B DataExchange
The extended enterprise – data everywhere
B2BUnstructuredApplication DatabaseOn-Demand
HIPAA
SEPA
NAACHA
SWIFT
10
Continuamos de la misma manera
o
Lo gestionamos diferente
11
Aprovechar el valor de los datosCiclo de vida de la integración de datos
Data Warehouse
DataMigration
DataConsolidation
Master DataManagement
Data Synchronization
B2B DataExchange
12
The Informatica PlatformTo Enable Business Imperatives
On-demand Integration Enterprise Data Integration B2B Data Integration
Data Quality Across the Whole Enterprise
Informatica On Demand
Improve Decisions &RegulatoryCompliance
ModernizeBusiness & Reduce IT
Costs
FacilitateMergers &
Acquisitions
Improve Customer Service &
Operational Efficiency
OutsourceNon-coreFunctions
IncreasePartner network
Efficiency
Access Discover Cleanse Integrate Deliver
Develop + Manage
Audit + Monitor + Report
Data QualityData Explorer
PowerCenterPowerExchange
B2B Exchange B2B Exchange
13
The Informatica PlatformComprehensive, Unified, and Open
HIPAA
SEPA
NACHA
TraditionalEnterprise
Partner Trading Network (B2B)
Cloud Computing(SaaS)
On-demand Integration Enterprise Data Integration B2B Data Integration
Data Quality Across the Whole Enterprise
1414
Informatica
15
Advancing Product LeadershipContinuous Innovation
Release 8.5 Q4 2007
B2B Data Exchange
Q2 2008
Data Quality Update Q3 2008
Business Glossary v2, IR within DI and DQ
Real time ICC
B2B Data Exchange
Informatica 8.6Q2 2008
Identity Integration, Migration Suite, Real-time Edition
Release 9.0 1H 2009
Data Governance WorkbenchData Quality StudioData Services Platform
Data Quality UpdateQ1 2008
Country Packs
Japan, China Address Validation
Informatica 8.72H 2008
16
InformaticaAddressing The Data Integration Challenge
Attain Adaptive Agility Maximize Data Value
Do More With Less Optimize IT Efficiency
Accelerate Business Responsiveness
Expedite Time To Value
Mitigate Risks Neutrality
17
Why Informatica?Proven Technology Leadership
Completeness of Vision
Ab
ility
to
Exe
cute
Source: Gartner Research (June 2008)
VisionariesNiche Players
Challengers Leaders
2008 Data Quality
Magic Quadrant
Source: Gartner Research (September 2008)
2008 Data Integration
Magic Quadrant
VisionariesNiche Players
Challengers Leaders
Source: Forrester Research 2007
2007 Enterprise ETL
Forrester Wave
18
Why Informatica?The Neutral Trusted Partner
GlobalGlobalSystems IntegratorsSystems Integrators
Operating SystemsOperating Systems
Platforms and TechnologiesPlatforms and Technologies
Database and InfrastructureDatabase and Infrastructure
BIBI
Regional:Regional:Digital China, LGCNSDigital China, LGCNS
ApplicationsApplications On-DemandOn-Demand
19
Seguros
Telcos
Retail y Servicios
Sanidad e Industria
Farmacéutica
Servicios Financiero
s
Clientes en España y Portugal (Iberia)
20
Sector Público
Energía y servicio público
Otros sectores
Telcos
Clientes en España y Portugal (Iberia)
21
Procesos de integración y calidad de datos
22
Necesidades de un negocio
• Incorporar la información recogida en sistemas transaccionales u otras fuentes de datos para:• Analizar la evolución de ventas• Comparar las tendencias del mercado• Analizar el efecto de las promociones de marketing y
acciones comerciales• Obtención de la información para realizar rápidas
decisiones estratégicas, tácticas y operacionales• Realizar un análisis de ventas comparativo con otras
empresas del sector
23
Ejemplos de Indicadores obtenidos
• Ventas en € y en unidades
• Market share del producto respecto el mercado al que pertenece
• Potencial del producto. Porcentaje que representan las ventas del producto respecto el total de ventas a nivel nacional
• Ratio de crecimiento de las ventas respecto el mismo periodo del año anterior
• Ratio de crecimiento del producto analizado respecto a la ratio de crecimiento del mercado
• Potencial del mercado. Porcentaje que representan las ventas del total del mercado respecto el total de ventas a nivel nacional
24
Problemática habitual
• Traspasar la información a nuestros sistemas operacionales (CRM, ERP) o decisionales (BI)
• Verificar la información y adecuarla a nuestros indicadores de negocio
• Alimentar más de un sistema con la información obtenida
• Necesidad de programación de procesos de extracción poco flexibles y de costosa implantación
25
Metodología de extracción de datos
Dirección
Información Operaciones Validación CargaSistema
Decisional
Informes
e
indicadores
Información Validada
Complementar la información
Información empresa
Sistema de información
de la empresa
Información empresa
26
Proceso de extracción de la información
• Se realiza la carga a los sistemas de la empresa automáticamente
• Control de la transferencia por FTP o desde otras ubicaciones
• Gestión de errores• Aviso a los responsables• Detección del punto exacto donde se detecta el error• Permite la reejecución del proceso en el punto donde se
ha detectado el error
• Programar el proceso para su ejecución en diferentes momentos del día
27
Proceso de validación de la información
• Garantizar la coherencia de la información
• Es necesaria una comprobación que la información es correcta y no hayan alteraciones
• Comprobación de indicadores de la calidad de los datos
28
Proceso de transformación
• Cabe destacar la importancia de complementar datos con datos producidos por la compañía
• Incorporación de la información de la red comercial propia de la compañía
• Incorporar agrupaciones de productos, presentaciones, etc. que es mantenido por los tomadores de decisión de la compañía
29
Proceso de carga
• Incorporación de información adicional en otras bases de datos, hojas EXCEL, ficheros planos, etc.
• Proceso de carga de Staging Area para ser origen de otras cargas (Data marts, etc.)
• Tratamiento gran volumen de información producidos generalmente por • Muchas combinaciones de datos para asegurar la
velocidad de ejecución de informes
• Generación de agregados para todos los elementos y niveles de las redes comerciales
30
Uso de PowerCenter como herramienta de integración de datos
31
Desarrollo / ProgramaciónDesarrollo / Programación
Tiempo de desarrollo / corrección de errores
Flexibilidad / reutilización
Auditoria / Documentación
Trazabilidad
Programadores
Lenguajes de programación
Solución propuesta
Fuentes de DatosAplicaciones de negocio
Extracción y carga de datos
SalesForce
32
Ejemplo de un Data Warehouse con calidad
33
Ejemplo POWERPHONE
• Empresa ejemplo de telefonía móvil
• Tiene la necesidad de realizar análisis sobre las llamadas y los servicios contratados por sus clientes
• Es necesario aplicar reglas de calidad en sus datos
34
Modelo de datos POWERPHONEVersión inicial
Cliente
PK IDCliente
FK1 IDContrato Telefono C_ProvinciaFK2 IDGEO
Contrato
PK IDContrato
Nombre Establecimiento Tarifa_mañana Tarifa_tarde Tarifa_finde Tarifa_SMS Tarifa_Internet
Conexion
PK IDConexion
FK1 IDClienteFK2 IDGEO Tipo_Conex inicio minutos kbytes
GEO
PK IDGEO
CNB NPBFK1 CPROV
Llamada
FK1 inicioFK1 minutosFK1 IDConexion
SMS
FK1 inicioFK1 IDConexion
Internet
FK1 inicioFK1 kbytesFK1 IDConexion
Provincia
PK CPROV
Nombre
35
Procesos de calidad
• Selección de diferentes campos importantes de las diferentes tablas de datos
• Incorporación de indicadores de calidad
• Índice de calidad con valor de 0 a 1
• Procesos periódicos que miden la calidad del registro
• Actualización del índice de calidad de los datos
36
Modelo de datos POWERPHONEVersión con indicadores de calidad de datos
Cliente
PK IDCliente
FK1 IDContratoFK2 IDGEO Nombre Apellido Telefono C_Provincia LOPD Q_IND_Nombre Q_IND_Sexo Q_IND_Direccion Q_IND_Global
Contrato
PK IDContrato
Nombre Establecimiento Tarifa_mañana Tarifa_tarde Tarifa_finde Tarifa_SMS Tarifa_Internet
Conexion
PK IDConexion
FK1 IDClienteFK2 IDGEO Tipo_Conex inicio minutos kbytes
GEO
PK IDGEO
CNB NPBFK1 CPROV
Llamada
FK1 inicioFK1 minutosFK1 IDConexion
SMS
FK1 inicioFK1 IDConexion
Internet
FK1 inicioFK1 kbytesFK1 IDConexion
Provincia
PK CPROV
Nombre
37
Procesos de integración de datos
• Extracción de los diferentes orígenes
• Comprobación de datos
• Trasformaciones y cálculos
• Filtrado de los registros con indicadores de calidad inadecuados
• Escritura y carga en el Data Warehouse
38
Proceso de extracción y carga
39
Procesos de calidad de datos
40
Uso de Data Analyzer como herramienta de análisis y reporting
41
Lo que nos comunican nuestros clientes Problemas para los consumidores de información:
BI para todos los usuarios
Facilidad de uso; Procesos guiados de desarrollo; cuadros de mando personalizados, mínima formación necesaria.
BI para usuarios avanzados
Funcionalidad Web limitada; Dificultad de manejo; Muchas y diferentes interfaces; Extenso entrenamiento.
Problemas tradicionales Nuestra Solución
Limitación de análisis
Análisis causa-efecto complejo, limitación en el desglose de la información.
Análisis guiados Avanzado análisis causa-efecto; workflows analíticos, ayuda para la toma de decisiones.
Integración con Excel
Desconectado de las fuentes de datos
Total integración con Excel
Integración bidireccional con excel, funcionalidad embebida, exportación dinámica.
“Tiempo-Real”
Disponible unicamente en refresco de información
Integración en Tiempo-Real
Alertas interactivas real-time, contextual right-time metrics; actualización de infraestructura analítica
42
Informatica Data Analyzer: Plataforma Unificada: “Todo en uno”
• Unificación en las capacidades de funcionamiento y administración
• Thin-client para administración, desarrollo e interfaces de usuario final
• Reducción de costes de licenciamiento, implementación, formación e integración de producto
Ad hoc QueryAd hoc Query& Report& ReportViewingViewing
EmbeddedEmbeddedExcelExcel
Real-TimeReal-TimeDashboardsDashboards
AdminAdminAnalyticAnalytic
AppsAppsInterfaceInterface
SoftwareSoftwareDevelopmentDevelopment
KitKit
Mobile &Mobile &BroadcastingBroadcasting
Analytic Analytic Workflow,Workflow,
Slice & DiceSlice & Dice
AuthenticationPortal
IntegrationEnterprise
Communications
Po
we
rAn
aly
zer 4®
© Copyright 2003 Informatica Corporation. All rights reserved.
ReportReportViewingViewing
Excel Excel IntegrationIntegration
DashboardsDashboards
Report Report Layout & Layout &
DesignDesign
AnalyticAnalyticToolsTools
Performance Performance ManagementManagement
Mobile &Mobile &BroadcastingBroadcasting
Ad Hoc Ad Hoc AnalysisAnalysis
PortalIntegration
Administration
Da
ta A
na
lyze
r
APIs & SDK
43
Democratizar la información: Responsabilidad y Visibilidad
© Copyright 2003 Informatica Corporation. All rights reserved.
Aplicaciones
Bases de Datos
Data Formats
DW / ODS
ALMACEN DE DATOS
Datos LocalesFicheros, Excel, etc
Integración con portal corporativo
Multidispositivo
Usuarios Finales
Clientes
Partners
44
Data AnalyzerArquitectura
© Copyright 2003 Informatica Corporation. All rights reserved.
Es la Plataforma más escalable de BI basada en un servidor de aplicaciones J2EE ; no servidor propietario Soporta BEA, IBM, Sun, JBOSS
Arquitectura ROLAP
Soporta: arquitectura en clustering y tolerancia a fallos
Sistemas operativos soportados: NT, Unix, Linux
Bases de Datos Soportadas: Oracle, DB2, SQLServer, Teradata, Sybase
Integración estandares de seguridad: LDAP, Active Directory, SiteMinder, etc.
Portales (BEA, WebSphere, Plumtree, Custom)
45
Características generales
• Creación de cuadros de mando
• Informes personalizados
• Filtros según el perfil de usuario
• Asistentes para la creación de informes
• Métricas y alertas en tiempo real
46
Autoaprendizaje, facilidad de uso Mínima formación, extrema productividad
Asistente de creación de informes en base a métricas
Informes libres de errores
Visualización Excel
Integración total en PowerAnalyzer
Analytics Workflows
Toma de decisiones más rápida
Usuariosfinales
47
Toda la funcionalidad BIReducción de coste de aprendizaje
• Add alerts • Add indicators• Add columns to table• Add attribute and time
filters• Add charts • Add exception
highlighting• Drill up, down and
across
Users
48
Conclusiones
• Plataforma de Business Intelligence de propósito general
• Fácil de usar
• Fácil de aprender
• Adaptable a los sistemas existentes de la compañía
• Integrado con EXCEL y otras plataformas móviles
49
Demostración de la plataforma
51
Top Related