BIG DATA Y OPEN DATA: EL UNIVERSO DIGITAL DE DATOS
2008 LA ERA DEL PETABYTE
La era del Petabyte era del Petabyte era del Petabyte era del Petabyte3 fue el título del
artículo publicado en la prestigiosa revista Wired en 2008 y firmada por Chris Anderson, su
editor. Este artículo publica un estudio sobre la cantidad de información digital almacenada en
el mundo en esas fechas.
Se destaca en el estudio la proliferación de sensores por todas partes, el almacenamiento
infinito, nubes de procesadores y se comenta nuestra capacidad para capturar, almacenar y
comprender las cantidades masivas de datos (big data) que están cambiando la ciencia, la
medición, los negocios y la tecnología. El artículo considera que a medida que nuestras
colecciones de hechos y figuras crece, también crecerá la oportunidad de encontrar respuestas
a preguntas fundamentales y “… en la era de los grandes datos, más no es sólo más sino que es
diferente” (“because the era of big data more isn´t just more. More is different”).
2011 BIG DATA
La nube se adapta a los big data big data big data (datos grandes) (datos grandes) (datos
grandes) (datos grandes), o dicho de otra manera, a lo largo del 2011 y en los meses sucesivos
se producirá una convergencia entre el modelo de la nube (cloud) y los big data; éste ha sido el
lema central de la conferencia EMC Word 2011 celebrada en Las Vegas en mayo de 2011. EMC,
además de presentar sus últimas herramientas para la nube, como el caso de la plataforma
VPLEX, presentó la tecnología geo que convierte en realidad la federación del almacenamiento
a larga distancia, que permite acceder, compartir y mover de manera dinámica aplicaciones y
datos entre los centros de datos ubicados a distancias de hasta 1000 kilómetros compartiendo
la información como si se tratara de un único CPD.
2007-2011 EL UNIVERSO DIGITAL DE EMC/ICD DE MARZO DE 2007 A JUNIO
DE 2011
La consultora tecnológica IDC Corporation (www.idc.com) publicó su primer informe de la
información digital almacenada en el mundo en el año 20075 y sus predicciones de
crecimiento para el año 2010. Este informe fue patrocinado por la compañía EMC, líder
mundial en fabricación de sistemas de almacenamiento. Los siguientes informes han seguido
realizándose patrocinados por la misma compañía EMC bajo la dirección técnica por la
consultora IDC.
IDC volvió a publicar su informe en 2008 pero ahora denominado “Digital Universe”6 (El
Universo Digital) y ya en esa ocasión las cifras dadas eran: 281 exabytes en 2007 y se preveía
para 2011 la cantidad de 1800 exabytes (1,8 ZB) o sea 10 veces la información producida en
2006. Una de las razones fundamentales para el crecimiento se achacaba al creciente número
de cámaras fotográficas y sobre todo el aumento de la revolución de las cámaras
independientes y de las cámaras incorporadas a los teléfonos celulares, que consideraban
cifras medias de 5 megapíxeles. El informe preveía un inimaginable valor de 25 Zettabytes para
el año 2020.
En 2010 y coincidiendo con el inicio de la década, el informe pasó a denominarse “The Digital
Universe Decade” y se publicó en el mes de mayo; en él se pronostica que en 2020 el Universo
Digital crecería en cantidades inimaginables, y que el crecimiento del año 2009 fue del 63% y
que el Universo Digital en 2020 sería 50 veces mayor que en el año 2009.
2009 Los datos más sobresalientes del “Universo Digital de la
Década” en mayo 2010 eran:
• El año 2009, pese a los datos de recesión global, el conjunto del Universo Digital creció en un
62%, casi 800.000 Peta bytes. Un dibujo de una fila de discos DVD iría de la Tierra a la Luna y
regresaría. • El crecimiento previsible para el año 2010 alcanzaría la cifra de 1,2 millones de
Peta bytes, o sea 1,2 Zettabytes (una unidad de medida hasta ese momento nunca utilizada). •
Este crecimiento explosivo significaba que en 2020 el Universo Digital sería 44 veces más
grande que en 2009 (la fila de DVD, ahora podría llegar a la mitad del camino a Marte).
2010 DATOS EN TODAS PARTES (THE ECONOMIST, 2010)
La prestigiosa revista económica The Economist dedicó en 2010 un suplemento especial al
mundo de los Datos7 en que destacaba en su portada: “Datos en todas partes”, y cómo la
información ha evolucionado desde la escasez a la superabundancia, lo que conduce a nuevos
grandes beneficios, pero también a grandes preocupaciones o dolores de cabeza, según señala
en su primer artículo Kenneth Cupiera. Algunos datos con los que se inicia el informe
mencionan algunas cifras astronómicas de información que se podían encontrar en la Tierra en
las fechas de publicación. Wal-Mart, el gigante de los grandes almacenes de los Estados
Unidos, manipula más de 2,5 Peta bytes, el equivalente de 167 veces los libros de la Biblioteca
del Congreso de América (America´s Library Congress); la red social Facebook aloja 40.000
millones de fotografías y la decodificación del genoma humana implicaba el análisis de 3.000
millones de pares básicos, que tardan 10 años en recolectarse la primera vez que se hizo en
2003, y que hoy se pueden conseguir en una semana.
2011 EL UNIVERSO DIGITAL DE DATOS 2011. EXTRAYENDO VALOR
DEL CAOS
IDC y EMC continúan con sus estudios sobre almacenamiento digital y el último informe, “El
Universo Digital” de 2011, se presentó el 28 de junio con un nuevo título “2011 Digital
Universe Study: Extracting Value from Chaos”.12 Las conclusiones más sobresalientes se
refieren al hecho de que el volumen de información continúa creciendo a una velocidad
espectacular y este crecimiento y los “big data” están transformando todos los aspectos de los
negocios y de la sociedad, y controlando los cambios económicos, científicos, tecnológicos y
sociales que se están produciendo. Otros aspectos importantes que destaca el estudio se
refiere a que la información del mundo se duplica cada dos años y que en 2011 se crearían 1.8
zettabytes, creciendo de un modo más rápido que la conocida Ley de Moore. Las empresas
manejarán 50 veces más datos y la cantidad de archivos será 75 veces mayor en la próxima
década. Estos datos impulsan oportunidades para los Big Data y nuevas funciones de TI. El
universo digital de datos y los big data están impulsando grandes transformaciones y cambios
en los ámbitos social, tecnológico, científico y económico.
2005 El informe destaca que la importancia de este inmenso caudal de
datos es la creación de las nuevas tecnologías de “dominio de la información” que están
generando una reducción en los costos de creación, captura, administración y almacenamiento
de la información a una sexta parte de lo registrado en 2005. Además, desde ese mismo año
las inversiones empresariales anuales en el Universo Digital, la nube, infraestructuras de
hardware, software, servicios y personal para crear, administrar, almacenar y generar ingresos
a partir de la información, aumentaron un 50% y alcanzaron la suma de 4 trillones de dólares
estadounidenses.
La sobrecarga de información cobra forma física La sobrecarga de información cobra forma
física La sobrecarga de información cobra forma física La sobrecarga de información cobra
forma física
2013 El estudio de 2013 refleja que mientras los dispositivos y las
aplicaciones que crean o capturan información digital crecen rápidamente, también lo hacen
los dispositivos que almacenan información. El estudio constata el hecho de que “los medios
de almacenamiento son cada vez más económicos, p. e. permiten tomar fotografías de alta
resolución con los teléfonos celulares, que a su vez generan una demanda de más medios de
almacenamiento y las unidades de mayor capacidad permiten replicar información, lo que a su
vez facilita e impulsa el crecimiento de contenidos”.
2007 Según los cálculos de IDC en 2007 todo el espacio vacío o utilizable en
los discos duros, cintas, CD, DVD y memoria (volátil y no volátil) del mercado alcanzaba la cifra
de 264 exabytes, muy cercana al volumen total de información creada. A partir de ese punto,
las dos cifras se separan. La situación es que desde 2007 se han ido separando la cantidad de
información creada y la almacenada. Dicho de otra manera: “[…] nos encontramos en una
situación en la que no podemos almacenar toda la información que se crea. Esta brecha entre
creación y almacenamiento, sumada a las exigencias normativas cada vez mayores en cuanto a
retención de la información, presionará cada vez más a los responsables de desarrollar
estrategias de almacenamiento, retención y eliminación de información.”
2011 OPEN DATA. EL MOVIMIENTO DE LOS DATOS ABIERTOS
“Lo primero que tienen que hacer los gobiernos es hacer más datos abiertos”17 afirmaba Jeff
Jaffe, presidente ejecutivo del W3C en Bilbao Web Summit 2011, y Tim Berners-Lee en su
conferencia en el mismo Congreso manifestaba: “El futuro social de la educación está en los
datos, en la calidad de los mismos, los datos abiertos (open data), la libertad de los datos, que
éstos puedan fluir para el acceso de cualquier persona y que, a su vez, puedan ser
aprovechados”. Así se expresaban los dos principales directivos de W3C (Consorcio de la W3):
Tim Berners-Lee, autor de la Web y actual Director del W3C, y Jeff Jaffe, su presidente
ejecutivo. Entonces cabe preguntarse qué son Open Data (Datos abiertos Datos abiertos Datos
abiertos Datos abiertos) y cuáles son las iniciativas a nivel internacional que están difundiendo
la iniciativa.
2007 INICIATIVAS OPEN DATA
Las iniciativas de Open Data en el mundo son numerosas, como se comentó anteriormente.
Los proyectos más innovadores han nacido en los Estados Unidos con la nueva administración
del presidente Obama (www.data.gov), en Gran Bretaña (www.data.gov.uk), en España a nivel
regional o autonómico y local, aunque también existen iniciativas a nivel nacional como es el
Proyecto Aporta dentro del Plan Avanza que desde el año 2007 viene planteando que todas las
administraciones locales, autonómicas y centrales están llamadas a hacer pública la
información que generan.
América Latina y el Caribe América Latina y el Caribe América Latina y el Caribe
(2011)
Según el portal data.gov del gobierno federal de Estados Unidos, a finales de octubre de 2011,
en América Latina y el Caribe sólo existía un país con iniciativa de Open Data. Este país era
Perú con el proyecto Open Data Perú (a finales de febrero de 2012 se había incorporado
Uruguay).
España (2010)
Las iniciativas en España van aumentando día a día tanto en la administración autonómica
como en la local, así como a nivel nacional ya que aunque no existe una iniciativa central como
en el caso de los Estados Unidos y Gran Bretaña, sí existe el ya citado Proyecto Aporta que
impulsado por el Ministerio de Industria fomenta el uso de Open Data.
Reino Unido (2007)
El portal oficial Opening Up Government del Reino Unido es también otro modelo para el
estudio de Open Data. Igual que sucede con el portal del gobierno de los Estados Unidos,
ofrece una amplia oferta de opciones: Datos, Apps, Foros, Wiki, Blogs, Recursos (con una
excelente fuente de datos sobre la Web Semántica), Linked Data, Tag (etiquetas) y una pestaña
muy interesante sobre Ideas.
Estados Unidos (2011)
Sin lugar a dudas el portal Data.gov es referencia obligada en el estudio de Open Data; incluye
páginas relativas a Data y Apps, Communities, Open Government, Learn, Semantic Web y
Developers Corner.
Entre ellos, los Estados Unidos, Gran Bretaña, Australia, Canadá, Alemania, Grecia y España. Se
incluyen dos países de Latinoamérica, Asia (excepto Hong Kong) y África. También es de
destacar la amplia oferta de aplicaciones (Apps) disponibles en un catálogo amplio que incluye
widgets, gadgets, herramientas y canales (feeds) RSS
2010 LA INFORMACIÓN PÚBLICA AL SERVICIO DEL CIUDADANO
“Las administraciones públicas (de cualquier organismo nacional e internacional) generan gran
cantidad de información en formatos propios de difícil acceso para la mayoría de los
ciudadanos” (Ruiz-Tapiador 2010). 22
Bases de datos, listas, estudios, informes, estadísticas, etc., son datos abiertos (open data),
generan datos normalmente en formatos propios que son de difícil acceso para la mayoría de
los ciudadanos. Entre otros datos se encuentran oportunidades laborales, recursos, trípticos,
incidencias de tráfico, horarios de oficinas, centros de salud, etc., que son fácilmente
aprovechables y generan valor añadido a profesionales y empresas que les den un formato
adecuado y visibilidad.
2011 LA REVOLUCIÓN DE LOS DATOS ESTÁ CAMBIANDO EL PAISAJE
DE LOS NEGOCIOS/THE ECONOMIST
The Economist publicó el 26 de mayo de 2011 y en su reputada sección Schumpeter un
excelente artículo sobre Big Data en donde se resalta que la revolución de los datos estaba
cambiando el paisaje de los negocios. El último año (2010), señala The Economist, las personas
habían almacenado datos suficientes para rellenar 60.000 Bibliotecas del Congreso de los
Estados Unidos. Los 4 mil millones de usuarios de teléfonos celulares (móviles) (12% de los
cuales poseían teléfonos inteligentes) se habían convertido por sí solos en flujos de datos.
YouTube, por ejemplo, recibía 24 horas de video cada minuto. Los fabricantes habían
embebido 30 millones de sensores en sus productos y sus zonas de metal se habían convertido
en nodos del Internet de las cosas. The Economist destaca que el número de teléfonos
inteligentes está aumentando en un porcentaje del 20% y el número de sensores desplegados
en el mundo aumentaría 30%.