Gestión de grandes volúmenes de información
-
Upload
guatemala-user-group -
Category
Technology
-
view
979 -
download
0
Transcript of Gestión de grandes volúmenes de información
Servicios
Gestión de grandes volúmenes de información
Gerber Bautista
2015
1
Servicios Sistemas de información
OLTP, DWH, OLAP
2
2010 - 3Tb
2012 - 10Tb
2014 - 17Tb
2015 38Tb (97Tb)
Servicios Importancia de la información
Crecimiento acelerado de bases de datos por la necesidad de mayor información
3
BI
DWH
Sistemas OLTP
Marketing and Comunication
Pricing
Contabilidad y finanzas
Usuarios finales
Crecimiento acelerado
0
2
4
6
8
10
12
14
16
18
2009 2010 2011 2012 2013 2014
Tamaño
$$
Servicios
4
SLA, Controles y Auditoría
100% de operatividad del negocio
Investigación /Producción
Marketing
Finanzas
IT
Core
Staff
Servicios Evolución
Oracle Bd
ASM/ Rman/
Oracle Data Guard
Paralelismo
Oracle RAC
Engineered Systems
Implementar más y mejores tecnologías para suplir las necesidades del negocio.
5
Servicios Consumo infraestructura APP vrs DB
Más espacio, más procesador y más recurso humano
6
25%
75%
% De uso APP Vrs DB
App
DB
Servicios
Oracle Systems Strategy
Servicios Hardware and software
8
Servicios
Servicios Database Magic Quadrant - Gartner
Magic Quadrant for Data Warehouse Database Management Systems
10
52%
21%
18%
5% 4%
Market Share
Oracle DB2 Sqlserver Sybase Teradata
Servicios TPC Result - HW
Análisis de benchmark obtenidos en pruebas de stress
11
Servicios
Engineered Together
Tested Together Certified Together
Deployed Together
Upgraded Together
Managed Together
Supported Together
Servicios
The Unique Oracle Advantage
• Hardware and Software Engineered to Work Together
Hardware and Software Engineered to Work Together
Servicios Engineered Systems & Appliances
14
Servicios
Oracle Exadata
15
Servicios Oracle Exadata X5-2 Hw/Sw Overview
Hw/Sw
16
Servicios Hardware upgrade
Single Server Quarter Rack
X4 X5 X4 X5
Database Servers
# Servers 2 2
Processors (Intel) 24 cores 36 cores (+50%) 48 cores 72 cores (+50%)
RAM (included) 256 GB 256 GB 512 GB 512 GB
RAM (expansion
capacity)
512 GB 768 GB (+50%) 1024 GB 1536 GB (+50%)
Storage Servers
# Servers 3 3
Processors (Intel) 12 cores 16 cores (+33%) 36 cores 48 cores (+33%)
Exadata Smart
Flash Cache (raw)
3.2 TB 6.4 TB (+100%) 9.6 TB 19.2 TB (+100%)
Disc Storage (raw) 48 TB 48 TB 144 TB 144 TB
Disc data capacity
(mirrored)
63 TB 63 TB
17
Servicios Scalable from Eighth-Rack to Multi-Rack
18
Servicios Example Workload Optimized Exadata Conf
19
Servicios IO Exadata Vrs. Otras marcas
Hardware Max IOPS Latencia Max Mbps Propiedades
EMC – VNX 38,551 1 671 Tiering
Violin 73,089 0 1,386 SSD
Dell Compelent 181,655 0 1,231 Tiering
Hitachi 143,304 1 2,927 Tiering
Exadata 7,000 0 4.5 Gbps Flash – Offload -
Infiniband
DBMS_CALIBRATE_IO
20
Servicios
21
Servicios Exadata Vrs Generic Hardware
Hardware y Software
22
Servicios Exadata Innovations
23
Servicios
Exadata en Guatemala
25
Implementación
Servicios Oracle Exadata Vrs …
26
vrs
Servicios POC
• Enmascarado de datos de 1.6 Tb.
– 3.5 Meses de proceso
– Bugs de Database Masking
– 36 Horas de empacado de data a enviar.
• 4.5 Días de prueba de concepto remota.
• Triplicado de data.
27
Servicios Resultados en pruebas
Empresa en Guatemala
28
Hasta 6 Tb de info
Servicios
Toma de decisión
29
Cumplimiento de tiempos requeridos
Precio
Curva de aprendizaje
Soporte
Servicios Instalación
• Completar Requisitos
– Anclaje
– Requisitos de red
– Requisitos eléctricos
– Requisitos de software
• 4 Días de instalación de HW
• 2.5 Días de instalación de SW
• Resolver inconvenientes de requisitos.
30
Servicios Resultados actualmente
Tiempo en minutos
31
IBM Power
7 Exadata %
1 Pro1 324 45 86.5
2 Pro2 4800 300 93.75
Servicios
Tips y Técnicas para una mejor experiencia
A base de…
32
Servicios Es oracle
• Memory:
– Uso de HP
– Parámetros de Cache
• Space:
– Compresión de datos
– Compresión de backups
• SO Kernel:
– Máximo de memoria por usuario
– Máximo de procesos por usuario
– Máximo de tamaño de archivo
• SO Network:
– Tamaño de paquetes
– MTU
11.2.0.3 - 12.1.0.2
33
Servicios Write Back Cache
• 10x 7x mejora en escrituras.
34
Servicios cell_flash_cache
ALTER TABLE customers STORAGE
(CELL_FLASH_CACHE KEEP)
35
• Dimensiones
• 20x
Servicios Compress for query high
• Merge erroneo (Bug 11.2.0.3.9) ora-600.
• Inserts lentos si no son direct load.
• Fragmentación de tablespaces.
Cuidado al comprimir información transaccional
36
Servicios Create table vrs. Insert as select
• Escribir directo al destino sin usar temporal.
• 8 mins. a 10 segundos
Direct path read vrs. Direct path write
37
Create table /*APPEND PARRALEL(4)*/ as
Select /*PARALLEL(4) from x;
Divide y vencerás:
CREATE GLOBAL TEMPORARY TABLE x1
( id NUMBER, description VARCHAR2(20) )
ON COMMIT DELETE ROWS;
Insert /*append*/ into x1 as select ….. Query complejo sin order by y group by …;
Insert into /*APPEND PARALLEL(4)*/ xfinal as select /*PARALLEL(4) sum(x), avg(y), xxx
Group by xxx;
Servicios Flash cache y temporary tablespace
• Crear celldisks de flash.
• Crear flashdisk dejando un 25% libre.
• Crear un diskgroup con redundancia del 25% libre de los griddisks de
flash.
• Colocar el temporal en diskgroup de flash disk.
Diskgroup de flashdisk para temporal
38
28x más rápido en pruebas
Servicios Las estadisticas son sumamente importantes
• Job automático de estadísticas:
– Establecer periodo correcto de calculo.
• Estadísticas incrementales (Cuidado bastante disfuncional en bases de
datos masivas)
– Crecimiento exponencial de sysaux.
– Estadísticas globales invalidas.
• Lock de estadísticas de data histórica.
• Copia de estadísticas de particiones con tamaño similar.
Cell smart cache vrs cell single block read
39
Servicios
40
Gerber Bautista