Analisis Big Data para operadores de red y DNS...Adopción de IPv6, proveedores de servicios en la...

Big Data para operadoresde red y DNSGORE 18 – Madrid, Octubre 2016Sebastian Castro – NZRS

GORE 18Big Data para Operadores 2

• … like teenage sex ...• Algo que no cabe en Excel• Las tres V

VolumenVelocidadVariedad

¿Qué es Big Data?


Big Data hoy


• ¿Tienes restricciones de tamaño en losdatos que manejas?

• ¿Descartas data porque es demasiadogrande?

• ¿Esperas que el volumen de datos que mantienes crezca en el futuro?

• ¿Esperas contestas preguntas de tunegocio usando datos?

• ¿Has considerado productos de valor agregado usando datos?

¿Necesitas Big Data?


• CenturyLink compró una compañía de análisis

• PosicionamientoOperación inteligenteProvisionamientoIntegración con otros servicios

• HerramientasArchivos de log

• SeguridadIdentificación de amenazas e infecciones

Big Data para operadores


• OpenBMP + Kafka para análisis en tiemporeal del estado de BGPhttps://www.nanog.org/sites/default/files/tuesday_general_evens_openbmp.pdf

• Network Machine Learning Research Group (nmlrg) en la IETFExplorar la habilidad para predecir o tomardecisiones en base a información en tiempo real de la red

Ejemplos


• Tráfico DNSServidores con autoridadServidores recursivos

• Actividad del registroOperaciones: crear, renovar, cancelarConsultas WHOIS

• Operaciones en generalLogs web, de correo, de firewall y otros dispositivos

• OtrosVerificaciones de delegaciónContenido WebRegistro de malware

Big Data para DNS


• Un repositorio de grande escalaY capacidad de procesamiento asociada

• Operadores de DNS han hecho Big Data y Data Lakes hace añosConocen Day in the Life of the Internet (DITL)https://www.dns-oarc.net/oarc/data/ditl

• Almacenar primero, preguntar despuésEn el futuro puedes contestar una pregunta con datos de hoyEl valor oculto en los datos

Y potencial combinación

Data Lake


• Software baseCloudera, MapR, HortonWorks

• AlmacenamientoHDFS, S3

• Procesamiento por lotesPig, Hive, MapReduce

• Procesamiento en tiempo realSpark, Kafka, Apache Falcon

• Ejecutando consultasApache Drill, Impala, Hue, Google’s Big Query

• Herramientas de inteligencia de negociosCaravel, Tableau

Armando el puzzle


• Inteligencia de negociosComportamiendo de los registradores/revendedoresPronósticos de crecimientoEfectividad de campañas

• Expandir el registroRegistrantes, dominios, contenido

• Detección de abusoUsando Whois y DNS

• Detección de anomalíasInfecciones por malware

• Administración de la infraestructuraCrecimiendo del tráfico, cambios en patrones, indicadoresde adopción de tecnología

Casos de uso para ccTLDs


• SIDN y el proyecto “ENTRADA”Software librehttp://entrada.sidnlabs.nl/

• Verisign• Nominum para sus clientes• Nominet y el proyecto “Turing”

Servicio pagadoSoftware no disponible

• OpenDNS3 plataformas diferentes para DNS, seguridad y análisis de los clientes

Big Data en los TLDs


• Big data security in .nlhttp://iepg.org/2015-11-01-ietf94/iepg-moura.pdf

• The Impact of a TTL Change at the TLD-levelhttps://indico.dns-oarc.net/event/22/session/1/contribution/26/material/slides/0.pdf

• OpenDNS Tech Bloghttps://blog.opendns.com/2016/07/25/from-query-logs-to-visualization/

• AAAA Deep Dive: DNS Resolution Anomalies and Performancehttps://indico.dns-oarc.net/event/22/session/1/contribution/9/material/slides/0.pptx

Ejemplos


• Hadoop basado en Cloudera22 servidores, medio PetaByte de almacenamiento

• Capturas DNS22TB de capturas DNS para .nzMás de 3 añosAnálisis de tendencias, usos, nuevos tipos de tráfico, fallas de configuración

• Escaneo de zonaAdopción de IPv6, proveedores de servicios en la nube, Anycast, otras tendencias

• Escaneo webClasificación por industria, clasificación de contenido, uso de CMS, etc

Big Data en NZRS


• “Two years of .nz zone scans”http://blog.nzrs.net.nz/two-years-of-nz-zone-scans/

• “DNSSEC Validation at Spark NZ”http://blog.nzrs.net.nz/dnssec-validation-at-spark-nz/

• “The hunger for AAAA”Presentado en DNS-OARC 25

• ”Characterization of popular resolvers”http://blog.nzrs.net.nz/characterization-of-popular-resolvers-from-our-point-of-view-2/

Ejemplos


• Recolectar más fuentes• Combinar, predecir, agregar valor• Compartir datos a través de API

Creación de oportunidades de negocios basadosen datos

• Publicar estadísticas operacionalesContadores generales de DNS, WHOIS,

Nuestros planes futuros


Contact:www.nzrs.net.nz

Sebastian [email protected] [email protected]

Analisis Big Data para operadores de red y DNS...Adopción de IPv6, proveedores de servicios en la...

Documents

Transcript of Analisis Big Data para operadores de red y DNS...Adopción de IPv6, proveedores de servicios en la...