Mineria de Datos

Minería de Datos

El arte de sacar conocimiento de grandes volúmenes

de datos

Presentado por:

Jorge Edwin Cano

María Alejandra Pérez Salazar

Isabel Cristina Santana Parra

Universidad del Quindío Facultad de Ingeniería

Programa Ingeniería de Sistemas y Computación Actividad Académica: Base de Datos

Profesor: Jorge Iván Triviño A.

Tabla de contenido

INTRODUCCION .............................................................................................................................. 3

OBJETIVOS .................................................................................................................................... 4

1. ¿QUÉ ES LA MD? .................................................................................................................... 5

2. ¿CÓMO FUNCIONA LA MD? ..................................................................................................... 7

2.1. FASES DEL PROYECTO DE LA MINERÍA DE DATOS .............................................................. 7

2.1.1. Filtrado de los datos .......................................................................................................... 8

2.1.2. Selección de variables ....................................................................................................... 8

2.2.3 Algoritmos de Extracción de Conocimiento................................................................................ 9

2.2.4. Interpretación y evaluación ................................................................................................. 9

3. TECNICAS MAS USADA EN LA MINERIA DE DATOS ................................................................ 11

3.1. REDES NEURONALES ....................................................................................................... 11

3.2. ÁRBOLES DE DECISIÓN .................................................................................................... 11

3.3. ALGORITMOS GÉNETICOS ................................................................................................ 12

3.4. CLUSTERING (Agrupamiento) .............................................................................................. 12

3.5. APRENDIZAJE AUTOMÁTICO ............................................................................................. 13

4. VENTAJAS Y DESVENTAJAS .................................................................................................. 14

5. CASOS DE ÉXITO .................................................................................................................. 15

6. POSIBLES PROYECTOS ........................................................................................................ 18

CONCLUSIONES ........................................................................................................................... 20

BIBLIOGRAFIA .............................................................................................................................. 21




INTRODUCCION

A lo largo de la vida de una empresa se acumulan grandes cantidades de datos que no son

almacenados, algunos de ellos no serán usados, otros se acumularan hasta perderse por falta de

actualidad o por cambios en las políticas de manejos de datos.

En la actualidad debido al gran avance de los sistemas de cómputo las empresas cuentan con

herramientas que les permiten almacenar y accesar, en archivos o bases de datos grandes

cantidades de datos históricos sobre las operaciones diarias de su negocio; información la cual es

utilizada en su momento para satisfacer las necesidades de la empresa y como soporte de la toma

de decisiones. Todos esos archivos contienen normalmente gran cantidad de datos que serían de

utilidad si fuera posible aprovecharlos mediante procesos que arrojarían información útil.

“En la actual sociedad de la información, donde cada día a día se multiplica la cantidad de datos

almacenados casi de forma exponencial, la minería de datos es una herramienta fundamental para

analizarlos y explotarlos de forma eficaz para los objetivos de cualquier organización”. (Daedalus)

Gracias a la labor que han ejercido las áreas de sistemas se han diseñado sistemas de información

ejecutiva y de apoyo para la toma de decisiones cuyo objetivo principal es proveer de información

necesaria a los ejecutivos de alto nivel para apoyarlos en la toma de decisiones, adicionalmente

permitirles un acceso rápido y efectivo a la información repetida y critica del negocio; sin embargo,

las demandas de las empresas con respecto a la información, van más allá de simples consultas,

tabulaciones cruzadas o reportes consolidados, lo que ha hecho que se creen nuevas formas de

análisis de información, con ventajas respecto a las que se conocían porque incorporan hechos

sistemáticos que relacionan más de dos variables.




OBJETIVOS

Conocer acerca de la Minería de Datos, sus componentes y sus funciones

Diferenciar las ventajas y desventajas acerca de la Minería de Datos

Plantear casos de éxito dentro del mercado sobre el uso de la minería de datos

Plantear mínimo tres proyectos que se puedan desarrollar con la minería de datos




1. ¿QUÉ ES LA MD?

La Minería de Datos consiste en la extracción no trivial de información que reside de manera

implícita en los datos, dicha información era precisamente desconocida y podrá resultar útil para

algún proceso organizacional, en otras palabras la Minería de Datos prepara, sondea, explora los

datos para sacar información oculta en ellos. (Nacional, 2010)

Para un experto o responsable de un sistema no son en sí los datos más relevantes si no la

información que se encierra en sus relaciones, fluctuaciones y dependencias.

Bajo el nombre de Minería de Datos se engloba todo un conjunto de técnicas encaminadas a la

extracción de conocimiento procesable, implícito en la base de datos. Está fuertemente ligado con la

supervisión de procesos industriales ya que resulta muy útil para aprovechar los datos almacenados

de la base de datos. (Nacional, 2010)

Las bases de la minería de datos se encuentran en la inteligencia artificial y en el análisis estadístico

mediante los modelos extraídos utilizando técnicas de minería de datos abordan la solución a

problemas utilizando la predicción, clasificación y segmentación.

Las herramientas de la Minería de Datos pueden responder a preguntas de negocios empresariales

a priori no plantadas o que pueden consumir demasiado tiempo para ser resueltas. (Gloria, 2010)

Es una de las principales herramientas que se utilizan dentro de

los programas de gestión del conocimiento como soporte a la

toma de decisiones




Las técnicas de la Minería de datos se centran en analizar el gran volumen de datos que en una

primera selección pueden ser pertinentes, pero que la aplicación de técnicas de selección ceñida a

una determinada demanda reduce el tamaño de los datos eligiendo las variables más influyentes en

el problema, por lo tanto …

Es un mecanismo de

explotación, consistente en la

búsqueda de información

valiosa en grandes volúmenes

de datos.

La Minería de datos se centra

en la necesidad de descubrir

el porqué, para luego predecir

y pronosticar las posibles

acciones con cierto factor de

confianza para la predicción.

Es el análisis de archivos y bitácoras de transacciones,

trabaja a nivel de conocimiento con el fin de descubrir

patrones, relaciones, reglas, asociaciones, o incluso

excepciones útiles para la toma de decisiones.

… La Minería de Datos es una tecnología usada para descubrir

información oculta y desconocida pero potencialmente útil a partir

de las fuentes de información de la propia empresa.




2. ¿CÓMO FUNCIONA LA MD?

La minería de datos es un proceso en ciclo debido a que los resultados obtenidos pueden alimentar

nuevamente cada fase.

Los pasos a seguir para la realización de un proyecto de minería de datos son siempre los mismos,

independientemente de la técnica específica de extracción de conocimiento usada. (vallejos, 2006)

2.1. FASES DEL PROYECTO DE LA MINERÍA DE DATOS

El proceso de minería de datos pasa por las siguientes fases:

Filtrado de datos.

Selección de Variables.

Extracción de Conocimiento.

Interpretación y Evaluación.

Figura: Fase de un proyecto de minería de datos




2.1.1. Filtrado de los datos

2.1.2. Selección de variables

Aún después de haber sido preprocesados, en la

mayoría de los casos se tiene una cantidad

ingente de datos. La selección de características

reduce el tamaño de los datos eligiendo las

variables más influyentes en el problema, sin

apenas sacrificar la calidad del modelo de

conocimiento obtenido del proceso de minería.

(vallejos, 2006)

El formato de los datos contenidos en la fuente de datos (base de

datos, DataWarehouse, etc.) nunca es el idóneo, y la mayoría de

las veces no es posible ni siquiera utilizar ningún algoritmo de

minería sobre los datos en bruto. (vallejos, 2006)

Mediante el preprocesado, se filtran los datos (de forma que se

eliminan valores incorrectos, no válidos, desconocidos según las

necesidades y el algoritmo a usar, se obtienen muestras de los

mismos en busca de una mayor velocidad de respuesta del

proceso, o se reducen el número de valores posibles (mediante

redondeo, clustering, etc.). (vallejos, 2006)




Los métodos para la selección de características son básicamente dos:

Aquellos basados en la elección de los mejores atributos del problema

Y aquellos que buscan variables independientes mediante test de sensibilidad, algoritmos de

distancia o heurísticos.

2.2.3 Algoritmos de Extracción de Conocimiento

2.2.4. Interpretación y evaluación

Mediante una técnica de minería de datos, se obtiene un modelo

de conocimiento, que representa patrones de comportamiento

observados en los valores de las variables del problema o

relaciones de asociación entre dichas variables.

También pueden usarse varias técnicas a la vez para generar

distintos modelos, aunque generalmente cada técnica obliga a un

preprocesado diferente de los datos. (vallejos, 2006)

Una vez obtenido el modelo, se debe proceder a su

validación, comprobando que las conclusiones que

arroja son válidas y suficientemente satisfactorias.

En el caso de haber obtenido varios modelos

mediante el uso de distintas técnicas, se deben

comparar los modelos en busca de aquel que se

ajuste mejor al problema.




Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos

anteriores para generar nuevos modelos. (vallejos, 2006)




3. TECNICAS MAS USADA EN LA MINERIA DE DATOS

3.1. REDES NEURONALES

Esta técnica de inteligencia artificial, en los últimos años se ha convertido en uno de los

instrumentos de uso frecuente para detectar categorías comunes en los datos, debido a que

son capaces de detectar y aprender complejos patrones, y características de los datos.

Una de las principales características de las redes neuronales, es que son capaces de

trabajar con datos incompletos e incluso paradójicos, que dependiendo del problema puede

resultar una ventaja o un inconveniente. Además esta técnica posee dos formas de

aprendizaje: supervisado y no supervisado. (Moreno)

3.2. ÁRBOLES DE DECISIÓN

Está técnica se encuentra dentro de una metodología de aprendizaje supervisado. Su

representación es en forma de árbol en donde cada nodo es una decisión, los cuales a su

vez generan reglas para la clasificación de un conjunto de datos.

Los árboles de decisión son fáciles de usar, admiten atributos discretos y continuos, tratan

bien los atributos no significativos y los valores faltantes. Su principal ventaja es la facilidad

de interpretación. (Moreno)




3.3. ALGORITMOS GÉNETICOS

Los algoritmos genéticos imitan la evolución de las especies mediante la mutación,

reproducción y selección, como también proporcionan programas y optimizaciones que

pueden ser usadas en la construcción y entrenamiento de otras estructuras como es el caso

de las redes neuronales. Además los algoritmos genéticos son inspirados en el principio de

la supervivencia de los más aptos. (Moreno)

3.4. CLUSTERING (Agrupamiento)

Agrupan datos dentro de un número de clases preestablecidas o no, partiendo de criterios

de distancia o similitud, de manera que las clases sean similares entre sí y distintas con las

otras clases. Su utilización ha proporcionado significativos resultados en lo que respecta a

los clasificadores o reconocedores de patrones, como en el modelado de sistemas. Este

método debido a su naturaleza flexible se puede combinar fácilmente con otro tipo de

técnica de minería de datos, dando como resultado un sistema híbrido.

Un problema relacionado con el análisis de cluster es la selección de factores en tareas de

clasificación, debido a que no todas las variables tienen la misma importancia a la hora de

agrupar los objetos. Otro problema de gran importancia y que actualmente despierta un gran

interés es la fusión de conocimiento, ya que existen múltiples fuentes de información sobre

un mismo tema, los cuales no utilizan una categorización homogénea de los objetos. Para

poder solucionar estos inconvenientes es necesario fusionar la información a la hora de

recopilar, comparar o resumir los datos. (Moreno)




3.5. APRENDIZAJE AUTOMÁTICO

Esta técnica de inteligencia artificial es utilizada para inferir conocimiento del resultado de la

aplicación de alguna de las otras técnicas antes mencionadas. (Moreno)




4. VENTAJAS Y DESVENTAJAS

La generación de un cubo virtual, el cual se generaría cada vez que se procesa una pregunta.

Con sólo la ventaja de no duplicar la información y almacenar dicho cubo en disco; y las desventajas

de buscar optimizar los tiempos necesarios para su cálculo, que dependería de la región de interés a

analizar y el algoritmo que definiese el área de almacenamiento temporal.

Esto es un problema que se mantiene vigente y necesario de resolver. Asociado a este desafío

existen otros como el de generar en forma automática los algoritmos de los procesos de extracción y

carga de datos a la base de datos que se usa para la minería. (Mineria de Datos)

Ventajas

La Minería de Datos es una herramienta eficaz para dar respuestas a preguntas complejas de

Inteligencia de Negocios.

Las herramientas disponibles permiten automatizar gran parte de la tarea de encontrar los

patrones de comportamiento ocultos en los datos.

Es una buena manera de convertir datos en información, y esta a su vez en conocimiento, para la

correcta toma de decisiones.

Desventajas

Los productos a comercializar son significativamente costosos.

Se requiera de experiencia para utilizar herramientas de tecnología.

Se puede hallar patrones equívocos triviales o no interesantes.

La Privacidad.




5. CASOS DE ÉXITO

El FBI analizará las bases de datos comerciales para detectar terroristas.

A principios del mes de julio de 2002, el director del Federal Bureau of Investigation (FBI), John

Aschcroft, anunció que el Departamento de Justicia comenzará a introducirse en la vasta

cantidad de datos comerciales referentes a los hábitos y preferencias de compra de los

consumidores, con el fin de descubrir potenciales terroristas antes de que ejecuten una acción.

Algunos expertos aseguran que, con esta información, el FBI unirá todas las bases de datos

probablemente mediante el número de la Seguridad Social y permitirá saber si una persona fuma,

qué talla y tipo de ropa usa, su registro de arrestos, su salario, las revistas a las que está suscrito,

su altura y peso, sus contribuciones a la Iglesia, grupos políticos u organizaciones no

gubernamentales, sus enfermedades crónicas (como diabetes o asma), los libros que lee, los

productos de supermercado que compra, si tomó clases de vuelo o si tiene cuentas de banco

abiertas, entre otros. La inversión inicial ronda los setenta millones de dólares estadounidenses

para consolidar los almacenes de datos, desarrollar redes de seguridad para compartir

información e implementar nuevo software analítico y de visualización. (vallejos, 2006)

Terrorismo

La minería de datos ha sido citada como el método por el cual la unidad Able Danger del Ejército

de los EE. UU había identificado al líder de los atentados del 11 de septiembre de 2001,

Mohammed Atta, y a otros tres secuestradores del "11-S" como posibles miembros de una célula

de Al Qaeda que operan en los EE. UU más de un año antes del ataque. Se ha sugerido que

tanto la Agencia Central de Inteligencia y sus homóloga canadiense, Servicio de Inteligencia y

Seguridad Canadiense, también han empleado este método. (Wikipedia)




Detección de fraudes en las tarjetas de crédito.

En 2001, las instituciones financieras a escala mundial perdieron más de 2.000 millones de

dólares estadounidenses en fraudes con tarjetas de crédito y débito. El Falcon Fraud Manager es

un sistema inteligente que examina transacciones, propietarios de tarjetas y datos financieros

para detectar y mitigar fraudes. En un principio estaba pensado, en instituciones financieras de

Norteamérica, para detectar fraudes en tarjetas de crédito. Sin embargo, actualmente se le han

incorporado funcionalidades de análisis en las tarjetas comerciales, de combustibles y de débito.

El sistema Falcon ha permitido ahorrar más de seiscientos millones de dólares estadounidenses

cada año y protege aproximadamente más de cuatrocientos cincuenta millones de pagos con

tarjeta en todo el mundo aproximadamente el sesenta y cinco por ciento de todas las

transacciones con tarjeta de crédito. (vallejos, 2006)

Recursos humanos

La minería de datos también puede ser útil para los departamentos de recursos humanos en la

identificación de las características de sus empleados de mayor éxito. La información obtenida

puede ayudar a la contratación de personal, centrándose en los esfuerzos de sus empleados y

los resultados obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para

Dirección estratégica en una empresa se traducen en la obtención de ventajas a nivel

corporativo, tales como mejorar el margen de beneficios o compartir objetivos; y en la mejora de

las decisiones operativas, tales como desarrollo de planes de producción o gestión de mano de

obra. (Wikipedia)

Hábitos de compra en supermercados.

Un estudio muy citado detectó que los viernes había una cantidad inusualmente elevada de

clientes que adquirían a la vez pañales y cerveza.




Se detectó que se debía a que dicho día solían acudir al supermercado padres jóvenes cuya

perspectiva para el fin de semana consistía en quedarse en casa cuidando de su hijo y viendo la

televisión con una cerveza en la mano. El supermercado pudo incrementar sus ventas de cerveza

colocándolas próximas a los pañales para fomentar las ventas compulsivas. (vallejos, 2006)

Conociendo si los recién titulados de una universidad llevan a cabo actividades

profesionales relacionadas con sus estudios.

Se hizo un estudio sobre los recién titulados de la carrera de Ingeniería en Sistemas

Computacionales del Instituto Tecnológico de Chihuahua II, en Méjico (Rodas, 2001). Se quería

observar si sus recién titulados se insertaban en actividades profesionales relacionadas con sus

estudios y, en caso negativo, se buscaba saber el perfil que caracterizó a los ex alumnos durante

su estancia en la universidad. El objetivo era saber si con los planes de estudio de la universidad

y el aprovechamiento del alumno se hacía una buena inserción laboral o si existían otras

variables que participaban en el proceso. Dentro de la información considerada estaba el sexo, la

edad, la escuela de procedencia, el desempeño académico, la zona económica donde tenía su

vivienda y la actividad profesional, entre otras variables. Mediante la aplicación de conjuntos

aproximados se descubrió que existían cuatro variables que determinaban la adecuada inserción

laboral, que son citadas de acuerdo con su importancia: zona económica donde habitaba el

estudiante, colegio de donde provenía, nota al ingresar y promedio final al salir de la carrera. A

partir de estos resultados, la universidad tendrá que hacer un estudio socioeconómico sobre

grupos de alumnos que pertenecían a las clases económicas bajas para dar posibles soluciones,

debido a que tres de las cuatro variables no dependían de la universidad. (vallejos, 2006)




6. POSIBLES PROYECTOS

La minería de datos puede ser utilizada para desarrollar mecanismos para tomar medidas frente

a los políticos corruptos que roban el presupuesto de Colombia.

Se podría aplicar minería de datos analizado los momentos donde se encuentra mayores ventas

con respecto a las de menores, así tener ofertas y promociones en estos horarios con el fin de

aumentar las ganancias de la empresa. También podríamos mirar que productos se venden con

mayor regularidad, mirar la tendencia de compra de los clientes en determinados meses del año

para maximizar ganancias y mejorar ingresos.

Detección de transacciones de blanqueo de dinero o de fraude en el uso de tarjetas de crédito o de

servicios de telefonía móvil e, incluso, en la relación de los contribuyentes con el fisco. Generalmente,

estas operaciones fraudulentas o ilegales suelen seguir patrones característicos que permiten, con cierto

grado de probabilidad, distinguirlas de las legítimas y desarrollar así mecanismos para tomar medidas

rápidas frente a ellas.

Recursos humanos en la identificación de las características de sus empleados de mayor éxito. La

información obtenida puede ayudar a la contratación de personal, centrándose en los esfuerzos de sus

empleados y los resultados obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para

dirección estratégica en una empresa se traducen en la obtención de ventajas a nivel corporativo, tales

como mejorar el margen de beneficios o compartir objetivos; y en la mejora de las decisiones operativas,

tales como desarrollo de planes de producción o gestión de mano de obra. (Wikipedia)

Proyecto: Planeación estratégica para la selección de profesionales de Ingeniería de Sistemas y

Computación para la Universidad del Quindío

La minería de datos puede contribuir significativamente en las aplicaciones de administración empresarial

basada en la relación con el cliente. En lugar de contactar con el cliente de forma indiscriminada a través




de un centro de llamadas o enviando cartas, sólo se contactará con aquellos que se perciba que tienen

una mayor probabilidad de responder positivamente a una determinada oferta o promoción.

Por lo general, las empresas que emplean minería de datos ven rápidamente el retorno de la

inversión, pero también reconocen que el número de modelos predictivos desarrollados puede

crecer muy rápidamente.

En lugar de crear modelos para predecir qué clientes pueden cambiar, la empresa podría

construir modelos separados para cada región y/o para cada tipo de cliente. También puede

querer determinar qué clientes van a ser rentables durante una ventana de tiempo (una quincena,

un mes, ...) y sólo enviar las ofertas a las personas que es probable que sean rentables. Para

mantener esta cantidad de modelos, es necesario gestionar las versiones de cada modelo y

pasar a una minería de datos lo más automatizada posible. (Wikipedia)

Proyecto: Creación de un centro de investigaciones que optimicen los procesos de regulación y

control del área de cómputo de la Universidad del Quindío.




CONCLUSIONES

La Minería de Datos:

� Es un proceso inductivo.

� Usa los datos para descubrir patrones hipotéticos.

� Es una técnica que proporciona información útil para redefinir los objetivos globales de un

negocio.

� Tiene como objetivo analizar datos para extraer conocimientos. Este conocimiento puede

ser en forma de relaciones, patrones o reglas inferidos de datos desconocidos, o bien en

forma de una descripción más concreta.

� Ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de

negocio.

� Contribuye a la toma de decisiones táctica y estratégica.

� Proporciona poder de decisión a los usuarios de negocio y es capaz de medir las acciones y

resultados de una mejor forma.

� Genera modelos descriptivos: permite a empresas explorar y comprender los datos e

identificar patrones, relaciones y dependencias que impactan en los resultados finales.

� Genera modelos predictivos: permite que relaciones no descubiertas a través de la Minería

de Datos sean expresadas como reglas de negocio.




BIBLIOGRAFIA

� Daedalus. (s.f.). Recuperado el 22 de 05 de 2011, de http://www.daedalus.es/que-tecnologias-nos-diferencian/inteligencia-de-negocio/mineria-de-datos.html

� Gloria. (25 de 06 de 2010). youTube. Recuperado el 22 de 05 de 2011, de http://www.youtube.com/watch?v=S0i6R94Piys

� Maria isabel Angeles Larrieta, A. m. (s.f.). Mineria de datos: Concepto, Características, estructura

y aplicaciones. Recuperado el 21 de Mayo de 2011, de http://www.ejournal.unam.mx/rca/190/RCA19007.pdf

� Mineria de Datos. (s.f.). Recuperado el 22 de 05 de 2011, de http://www.fortunecity.es/imaginapoder/apunte/434/mineria.htm

� Moreno, G. (s.f.). Gimena Moreno. Recuperado el 22 de 05 de 2011, de REDES NEURONALES

� Nacional, E. P. (25 de 06 de 2010). YouTube. Recuperado el 22 de 05 de 2011, de http://www.youtube.com/watch?v=LgJmiVAw1DM&feature=related

� vallejos, S. J. (2006). Mineria de Datos. Recuperado el 21 de Mayo de 2011, de http://exa.unne.edu.ar/depar/areas/informatica/SistemasOperativos/Mineria_Datos_Vallejos.pdf

� Wikipedia. (s.f.). Wikipedia. Recuperado el 22 de 05 de 2010, de http://es.wikipedia.org/wiki/Miner%C3%ADa_de_datos

Mineria de Datos

Documents

Transcript of Mineria de Datos