Post on 12-Apr-2017
INICIATIVA BARCELONA OPEN DATA EL VALOR D’OBRIR LES DADES
Reutilització De Dades Obertes
curs 1.4
Docents: Enric Montia i Marc Torres
OBJECTIU DE LA SESSIÓ D’INTRODUCCIÓ A L’OPEN DATA
● Al final de la sessió sereu capaços de:1. Reconèixer fonts destacades de Dades Obertes
2. Conèixer els tipus i característiques de les fonts de
Dades Obertes,
3. Accedir manual i automàticament a fonts de Dades
Obertes,
4. Fer servir eines ofimàtiques per reutilitzar Dades
Obertes, i
5. Crear visualitzacions bàsiques de Dades.
Facultar als participants en l’ús i les eines per descobrir, analitzar, reutilitzar i presentar Dades Obertes.
1. FONTS DESTACADES DE DADES OBERTES
Heu fet servir maidades obertes?Expliqueu les vostres experiències(i de pas ens coneixem)
Activitat Inicial
Temps: 5 minuts
8 principis de les dades obertes1. completes (s’han publicat totes les dades)
2. primàries (raw data, sense cuinar)
3. a temps (ASAP, sense caducar)
4. accessibles (per als màxims usuaris i propòsits)
5. processables per una màquina (estructurades)
6. no discriminatòries (accesibles per tothom, sense registre)
7. no propietàries (en formats oberts)
8. sense copyright (restriccions mínimes)https://public.resource.org/8_principles.html
FONTS DESTACADES DE DADES OBERTES
Havent vist els principis anteriors, visita:http://data.worldbank.org/http://datos.gob.eshttp://dadesobertes.gencat.cat/http://www.idescat.cat/http://opendata.bcn.cat/opendata/https://gavaobert.gavaciutat.cat/
...i digues si són bones fonts de dades obertes
Activitat
Activitat individual, temps: 15 minuts
Trieu un dataset i penseu quina informació en podem treure.
Podríem creuar algun dataset?quin valor afegit podria tenir?
Activitat
Temps: 10 minuts
2. TIPUS DE FONTS DE DADES
(segons el format)
1. Dades publicades no estructurades. Cal tractar el document. (pdf)
2. Dades publicades en formats estructurats propietaris. (xls)3. Dades publicades en formats estructurats oberts. (csv)4. Dades a demanda. Serveis API-REST. Protocols de comunicació
client-servidor a demanda. (formats xml, php ,json) http://api.idescat.cat/emex/v1/nodes.json?lang=es http://api.idescat.cat/emex/v1/dades.xml?id=250019&lang=es
5. Dades enllaçades interoperables (WWW) Grafs que inclouen dades i metadades. Sintaxi XML. Llenguatge SPARQL. Enllaços estables URI. (rdf) http://dadesobertes.gencat.cat/ca/cercador/detall-cataleg/?id=6690
Tipus de Fonts de Dades
3. Accés manual i automàtica fonts de Dades Obertes
1.Baixada d’Informació (URL)2.Carpeta Downloads/Baixades3.Bloqueig, pop ups4.FTP
Útil per a accessos a repositoris d’arxius massiusftp://ftp.geo.euskadi.net/cartografia/salud/
5.Serveis oberts GUI (semi manuals)http://serveisoberts.gencat.cat/equipaments/explorer
ACCÉS MANUAL I AUTOMÀTIC A FONTS DE DADES OBERTES
Accessos manuals
Accessos Automatitzats1. APIsSón funcions ofertes per una biblioteca informàtica per ser utilitzades per un altre programa per interaccionarhttp://api.oberta.cat/event
2. WEB-SERVICE: Protocol REST (ODATA)És un tipus d’API que opera normalment sobre HTTP.Les dades són requerides al servidor mitjançant accions especificades a les capçaleres HTTP (peticions)http://api.idescat.cat/indicadors/v1/dades.xml
EXEMPLE REST-API: opendata.rubi.cathttps://opendata.rubi.cat/resource/7nx9-3d4yhttps://opendata.rubi.cat/resource/7nx9-3d4y.json?https://opendata.rubi.cat/resource/7nx9-3d4y.json?$select=nom_comercialhttps://opendata.rubi.cat/resource/7nx9-3d4y.xml?
ACCÉS MANUAL I AUTOMÀTIC A FONTS DE DADES OBERTES
4. Eines ofimátiques (no programació ) per ús amb
dades obertes
Algunes eines que cal conèixer
Desktop:
1. fulls de càlculLibre Office, Open Office, Microsoft
Office2. editors
Notepad++3. eina per netejar i treballar amb dades
http://openrefine.org/ 4. eina per extreure dades de pdfs
http://tabula.technology/
Eines online:
● IMPORT.IO, extracció de dades de webs(https://magic.import.io)Web: http://opendataforafrica.org/apps/gallery
● Fusiontables, eina online per treballar amb dades d’arxius(https://fusiontables.google.com/DataSource?dsrcid=implicit)
● OverviewDocs, recerca en texts(https://www.overviewdocs.com)Dataset; http://datos.gob.es/es/catalogo/e00136201-2998la-defensa-nacional-y-las-fuerzas-armadas-x
● Vizydrop, una eina online per fer gràfics(https://vizydrop.com/)Dataset atur: http://www.idescat.cat/economia/inec?tc=5&id=0607&dt=201701
Algunes eines que cal conèixer
Amb tot el que hem vist,visitem ... (eines, eines, eines)
http://keshif.me/demo/VisTools
Activitat
Activitat individual. Temps: 15 minuts
Fem servir FusionTablesper netejar un Dataset
Activitat
Activitat individual. Temps: 10 minuts
Eina online per treballar amb dades d’arxius
(https://fusiontables.google.com/DataSource?dsrcid=implicit)
5. Visualització bàsica de dades
Activitat finalFem servir Instamaps
per mapificar dades obertesInstamaps permet accedir, tractar, estilitzar, posar en línia i compartir treballs en base a dades obertes.
http://www.instamaps.cat Activitat individual.
Temps: 2 hores.
MATERIALS EXTENDED
Origen: http://api.idescat.cat/emex/v1/dades.xml?Objectiu: llistat dels municipis de la província de Barcelona
OPEN REFINE: una eina per netejar i treballar amb dades
Origen: http://opendata.portdebarcelona.cat/Memories/Estadistica/Informes/es/PortBcn-MemoriaEstadistica-2015-castellano.pdfObjectiu: Full de càlcul amb compte de pèrdues i guanys del port de Barcelona
TABULA: una eina per extreure dades de pdf
Origen: http://aca-web.gencat.cat/aca/appmanager/aca/aca?_nfpb=true&_pageLabel=P31400135511285082745917Objectiu: Taula de dades de l’agenda d’events de l’Agència Catalana de l’Aigua
IMPORT.IO: una eina online per extreure dades pàgines web
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)Objectiu: Accidents amb atropellament a Barcelona en horari d’escola
FUSION TABLES: una eina online per treballar amb dades d’arxius
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)Objectiu: Gràfic d’accidents amb atropellament a Barcelona. Dia setmana
RAW: una eina online per treballar amb dades i fer gràfics
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)Objectiu: Gràfic de barres d’accidents amb atropellament a Barcelona per messos de l’any
Vizydrop: una eina online per fer gràfics