Post on 22-Jan-2016
ANALITICA - INTEGRATOR
INTRODUCCIÓN Y CONCEPTOS
ANALITICA - INTEGRATOR
OBJETIVO
• Integrar información aislada en archivos o sistemas, tanto corporativos como de usuarios individuales.
• Migrar información rápidamente de un sistema a otro.
• Ajustar y transformar información.
• Garantizar integridad de la informacion (validación) a nivel de:– Proceso (Ej: control en la frecuencia del envío)
– Técnico (Ej: número de .mensajes enviados vs. recibidos)
– Funcional (Ej: comparación de la información origen vs. destino)
ANALITICA - INTEGRATOR
PROBLEMÁTICA ACTUAL
• Cambios en las fuentes de información generan el 60% de los costos de mantenimiento.
• Información contenida en MÚLTIPLES FORMATOS NO ESTANDAR por usuarios individuales.
• Información INCOMPATIBLE con esquemas de bases de datos relacionales.
• Información generalmente contenida o exportable a HOJAS DE CÁLCULO (generalmente MS-EXCEL).
• Usuarios reacios al cambio pero conformes con su herramienta habitual de trabajo (por lo general MS Excel).
• Tiempos críticos de adaptabilidad
ANALITICA - INTEGRATOR
NECESIDADES Y REQUERIMIENTOS
• Capturar Información– Consultas SQL a bases de datos– Hojas Excel– Archivos planos separados por comas o tabuladores– Archivos o mensajes en XML
• Transformar información– Ajustar en el origen– Homologar informacion– Formatear información
• Cargar Información en forma transparente al usuario vía:– FTP (File transfer protocol)– HTTP (Hypertext transfer protocol)– Ejecución de scripts dinámicos en bases de datos– Soporte XML, archivos planos, mensajería.
• Verificar/Comparar información vía reportes de control, inconsistencias y errores.
ANALITICA - INTEGRATOR
SOLUCIÓN: ANALITICA INTEGRATOR
ANALITICA - INTEGRATOR
¿ QUE ES ANALYTICAL INTEGRATOR ?
Solución ETL para– captura– transformación– e inserción en sistemas de informacion,
de datos provenientes de:– hojas de Excel– archivos planos– mensajes y archivos XML– bases de datos relacionales
ANALITICA - INTEGRATOR
MODELO GENERAL: ANALYTICAL INTEGRATOR
ANALITICA - INTEGRATOR
MODELO OPERATIVO: ANALYTICAL INTEGRATOR
ANALITICA - INTEGRATOR
MODELO FUNCIONAL: ANALYTICAL INTEGRATOR
ANALITICA - INTEGRATOR
CAPTURA / EXTRACCIÓN DE DATOS
• Bases de datos relacionales– ODBC– ADO
• Archivos– Excel– Txt– CSV– XML
• Otras aplicaciones (vía complementos/plug-ins de Excel)
ANALITICA - INTEGRATOR
FILTRADO Y AJUSTE DE INFORMACIÓN
• Omisión de filas o columnas no deseadas• Transposición de tablas cruzadas• Agregación y desagregación de información• Manipulación vía funciones de MS-EXCEL sobre datos cargados.• Control de información incompleta vía:
– Valores/Funciones predeterminados– Omisión de parcial o total de registros
• Inferencia de informacion basada en los datos existentes.• Generación de valores constantes adicionales.• Adaptabilidad a cambios en estructuras de informacion (Caso
MS-Excel) via:– Ordenamiento de la información– Eliminación y adición de filas o columnas
ANALITICA - INTEGRATOR
TRADUCCIÓN – HOMOLOGACIÓN DE INFORMACION
• Tablas de mapeo centralizadas– En una base de datos
• Tablas de mapeo distribuidas– Hojas Excel– Archivos Planos– Archivos XML
ANALITICA - INTEGRATOR
TRANSFORMACIÓN A FORMATO DEFINITIVO
• Generación de archivos:– Planos (txt o csv)– XML (según estructura predeterminada)
• Generación de código dinámico (scripts)– SQL– XSLT– HTML
ANALITICA - INTEGRATOR
SEGMENTACIÓN
• Generación de archivos o mensajes individuales vía segmentación de bloques de información, para facilitar los procesos de carga.
ANALITICA - INTEGRATOR
CARGA DE INFORMACIÓN
• Envió de información vía:– FTP– HTTP– SOAP / Web-Servicies
• Ejecución de Scripts– Oracle – PL/SQL– Sybase / SQL Server – TransacSQL– MySQL
• Control de envío– Mensajes o archivos enviados– Reporte de errores de carga– Tiempos de envío
ANALITICA - INTEGRATOR
CONTROL DE INTEGRIDAD
ANALITICA - INTEGRATOR
CONTROL DE INTEGRIDAD
ANALITICA - INTEGRATOR
INTEGRIDAD TÉCNICA
ANALITICA - INTEGRATOR
INTEGRIDAD FUNCIONAL
ANALITICA - INTEGRATOR
MODELO TÉCNICO: ANALYTICAL INTEGRATOR
ANALITICA - INTEGRATOR
PROCESO DE IMPLEMENTACIÓN
ANALITICA - INTEGRATOR
ESTRATEGIA DE IMPLEMENTACIÓN
Equipos de trabajo paralelos en cada frente de integración.
ANALITICA - INTEGRATOR
VENTAJAS DE LA HERRAMIENTA
• OPERATIVAS– Procesamiento centralizado y/o distribuido– Procesamiento por lotes o en tiempo real
• FUNCIONALES– Soporte a múltiples sistemas origen y destino– Transformaciones predefinidas– Filtros de información– Integración con Excel
• DESARROLLO E IMPLANTACIÓN– Un solo ambiente de desarrollo– Escalabilidad a nivel de múltiples desarrolladores– Tiempos mínimos de entrenamiento– Esquema de configuración que minimiza la programación– Herramientas de depuración– Independencia entre el diseño y la implementación– Manejo de estándares de la industria– Control de integridad
ANALITICA - INTEGRATOR
REFERENCIAS / EXPERIENCIA
Proyecto SENSOR – ECOPETROL:
– Integración de hojas de MS-Excel para el sistema de información volumétrica (SIV) via XMLoader (Herramienta predecesora)
• Reservas de hidrocarburos• Inventarios y movimientos de las refinerías de
– Orito– Apiay
• Oleoducto Trans Andino (OTA)• Planeación de transporte de crudos y refinados• Sistema de cálculo de propiedad de crudos y gas.• Sistema de precios de transferencia• Ordenes de compra de crudos• Distribución de Gas Opón / El Centro.• Curvas de producción básica/incremental en campos• Regímenes de regalías
– Sistema de control de integridad de información volumétrica.• Sistema operativo de Negocio Solución de informacion Volumétrica• Solución de informacion volumétrica SAP/R3