De repesentaciones clásicas a representaciones avanzadas...
Transcript of De repesentaciones clásicas a representaciones avanzadas...
![Page 1: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/1.jpg)
De repesentaciones clásicas aDe repesentaciones clásicas arepresentaciones avanzadas para NLPrepresentaciones avanzadas para NLP
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas
Universidad Nacional Autónoma de México
Ivan Meza
1
![Page 2: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/2.jpg)
Instrucciones códigoInstrucciones código
$ git clone [email protected]:ivanvladimir/nlp_notebooks.git $ cd nlp_notebooks $ pipenv install --ignore-pipfile
2
![Page 3: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/3.jpg)
La siguiente exposición se da en el contexto de los camposconocidos como Procesamiento del Lenguaje Natural (PLN) yLingüística Computacional (LC).
La primera con una aspiración funcional, la segundadescriptiva.
3
![Page 4: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/4.jpg)
El objetivo de los camposEl objetivo de los camposDar el don del lenguaje a las computadoras
4
![Page 5: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/5.jpg)
¿por qué ?¿por qué ?Procesar y organizar sistemáticamente todo loque involucre lenguaje
Toda nuestra comunicación escrita... oral... de señas... de corporal y de gestos... "arti�cial"
5
![Page 6: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/6.jpg)
qué el bene�cio práctico ...
Pero más importantePero más importante
6
![Page 7: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/7.jpg)
Es parte esencial de nuestra experienciahumana
![Page 8: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/8.jpg)
![Page 9: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/9.jpg)
7
![Page 10: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/10.jpg)
Somos lenguajeSomos lenguajeComunicamos la realidad,planeamos para la realidad,inventamos la realidad (fantasía),opinimos sobre la realidad (verdadera oinventada)expresamos nuestros sentimientos,y además como usamos el lenguaje nosde�ne
8
![Page 11: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/11.jpg)
Al estudiar cómo dotar delAl estudiar cómo dotar dellenguaje a laslenguaje a lascomputadorascomputadorasaprendemos mucho deaprendemos mucho dequé nos hace humanosqué nos hace humanos
9
![Page 12: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/12.jpg)
Sin embargo, el lenguajeSin embargo, el lenguajetiene propiedadestiene propiedadesescurridizasescurridizas
10
![Page 13: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/13.jpg)
Las palabras son muchasLas palabras son muchas
11
![Page 14: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/14.jpg)
12
![Page 15: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/15.jpg)
Las palabras vienen enLas palabras vienen engruposgrupos
13
![Page 16: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/16.jpg)
Sustantivos, verbos, artículos, adjetivos, adverbios,preposiciones, etc...
El gato camina por la bardaEl perro camina por la bardaEl perro corre por la bardaEl perro corre por la calleEl perro corre por una calle
14
![Page 17: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/17.jpg)
Pero no podemos hacer la siguientes sustituciones
El gato camina por la bardaEl perro león por la bardaEl perro camina por la de
15
![Page 18: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/18.jpg)
Hay "reglas"Hay "reglas"
16
![Page 19: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/19.jpg)
El gato camina por la bardaLa gato camina por la bardaEl gato camina barda la por
17
![Page 20: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/20.jpg)
Hay estructuraHay estructura
18
![Page 21: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/21.jpg)
El gato camina por la bardaPor la barda el gato caminaCamina por la barda el gatoCamina el gato por la bardaGato camina por el la bardaCamina el gato barda por la
19
![Page 22: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/22.jpg)
Las palabras tienen variosLas palabras tienen variossentidossentidos
20
![Page 23: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/23.jpg)
La ambigüedad son las cosquillas del cerebro
Hola, ¿cómo te llamas?Maria de los Ángeles ¿y tú?Daniel de Nueva York
21
![Page 24: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/24.jpg)
El signi�cado se componeEl signi�cado se compone
22
![Page 25: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/25.jpg)
El gatoEl gato caminaEl gato camina por la bardaEl gato camina por la barda una noche lluviosa que habíamucho frío y donde nadie había pensado llevar unparaguas ante las evidentes señas de tormenta quepresentaba el cielo cerrado y oscuro
23
![Page 26: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/26.jpg)
¿Falta alguna propiedad?¿Falta alguna propiedad?
24
![Page 27: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/27.jpg)
En resumenEn resumenHay muchas palabrasque están agrupadashay "reglas" de como juntarlasforman unidades estructurales (árboles)las palabras pueden tener muchos signi�cadosy el signi�cado se compone, por lo tanto las oracionespueden tener muchos signi�cados
25
![Page 28: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/28.jpg)
El golfo de California está tranquilo.Lourdes no quiere a su tía porque es muy envidiosa.Veo al gato con el telescopio.
26
![Page 29: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/29.jpg)
27
![Page 30: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/30.jpg)
Una pausaUna pausaQueremos dar el don del lenguaje a las computadorasEl lenguaje es todo un fenómenoConcentrémonos en el lenguaje escrito-digital (archivosde texto)y por el momento, será únicamente análisis de textos
28
![Page 31: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/31.jpg)
Re-fraseando el objetivoRe-fraseando el objetivoDar el don del análisis de textos a lascomputadoras
29
![Page 32: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/32.jpg)
Primer pasoPrimer paso¿Cómo presento a los textos a la computadora?
30
![Page 33: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/33.jpg)
Fácil, ya está los textos ya están dentro de las computadoras
31
![Page 34: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/34.jpg)
!No tan rápido!porque las computadoras sólopueden hacer un análisis muy básico con losarchivos de texto.
32
![Page 35: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/35.jpg)
Lo qué queremos hacerLo qué queremos hacerDeterminar "la clase" del documentoDeterminar que dice el documentoDeterminar a quien menciona el documentoDeterminar las relaciones entre múltiples documentos...
33
![Page 36: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/36.jpg)
EntoncesEntonces¿Cómo represento a los textos a la computadora paraque los pueda analizar dado su contenido lingüístico?
34
![Page 37: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/37.jpg)
Pero hay algunas aproximaciones
Con certeza no sabemosCon certeza no sabemos
35
![Page 38: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/38.jpg)
Alfabeto son todas las palabras (�nito)El lenguaje es in�nito y sigue secuenciasUsar máquinas de estados �nitos, gramáticas
Enfoque simbólico
Como un lenguaje formalComo un lenguaje formal
36
![Page 39: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/39.jpg)
Propiedad ValoraciónNúmero de palabras ✔
Tipos de palabras ✔
"reglas" ✔
Estructuras ✔
Ambiguedad ✔
Composicionalidad ✔
Escalar ✖
37
![Page 40: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/40.jpg)
En particular no sabemos cómo funciona el lenguaje.
Pero no llegamos muyPero no llegamos muylejoslejos
38
![Page 41: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/41.jpg)
Entra a escenaEntra a escenaMachine learningMachine learning
39
![Page 42: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/42.jpg)
ML supervisadoML supervisadoUna forma de entender ML:
Programas que se autoprograman, pero no comopensamosson un cascarón, de parámetros , que se ajustan parareproducir
θ
X ⇒ y
40
![Page 43: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/43.jpg)
Hipótesis de trabajoHipótesis de trabajoML desenmascará el funcionamiento implícito dellenguaje
41
![Page 44: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/44.jpg)
Re-fraseando el objetivo (2)Re-fraseando el objetivo (2)Dar el don del análisis de textos a lascomputadoras usando ML
42
![Page 45: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/45.jpg)
Queremos hacer lo siguienteQueremos hacer lo siguientePara un texto determinar si pertenece a una clase, porejemplo
Dado un correo es este correo, sí o noDado un comentario en internet, es este ofensivo sí o noDado un tuit determinar el sentimiento: positivo onegativoDado un texto este que tipo de noticiaDado un capítulo quien lo escribió
43
![Page 46: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/46.jpg)
¿Cómo presento a los textos a ML?
44
![Page 47: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/47.jpg)
RespuestaRespuestaEn ML generalmente todo es un vector
45
![Page 48: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/48.jpg)
Clasi�caciónClasi�cación
Donde y
X ⇒ y
X ∈ RN y ∈ { , … , }c0 ck
46
![Page 49: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/49.jpg)
¿Cómo hago un texto vector?
47
![Page 50: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/50.jpg)
Se abrevia como BoWTambién conocido como "Modelo espacio-vectorial"Se trata de un multiset
Bolsa de palabrasBolsa de palabras
48
![Page 51: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/51.jpg)
Dada una colección de documentos con un vocabulario conformados por términos (palabras), la representación en
bolsa de palabras para un documento es:
Donde es el peso del término en el documento.
D Vtj
Di
= { : }Di tj wj
wj tj
49
![Page 52: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/52.jpg)
y mi voz que madura y mi voz quemadura y mi bosque madura y mi voz quema dura
Ejemplo: con frecuenciasEjemplo: con frecuencias
{y:4, mi:4, voz: 3, que: 1; madura: 2, quemadura:1, bosque:1, quema:1, du
50
![Page 53: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/53.jpg)
y mi voz que madura y mi voz quemadura y mi bosque madura y mi voz quema dura
A vectorA vector[y, mi, voz, que; madura, quemadura, bosque, quema, dura]
⇒ [1, 1, 1, 1, 1, 0, 0, 0, 0]⇒ [1, 1, 1, 0, 0, 1, 0, 0, 0]⇒ [1, 1, 0, 0, 1, 0, 1, 0, 0]⇒ [1, 1, 1, 0, 0, 0, 0, 1, 1]
51
![Page 54: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/54.jpg)
Ir a código, ejecutar sólo PRIMERAIr a código, ejecutar sólo PRIMERAPARTEPARTE
Ejecutar "representations/BoW.ipynb"
$ jupiter notebook
52
![Page 55: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/55.jpg)
otra pecularidad delotra pecularidad dellenguajelenguaje
53
![Page 56: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/56.jpg)
Pocas palabras que aparecen mucho, muchas palabras queaparecen poco
Zipf lawZipf law
54
![Page 57: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/57.jpg)
55
![Page 58: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/58.jpg)
Un problema para BoW dado que el peso queremos queregistre importancia, entre más alto más importante, entremenos alto menos importancia.
Frecuencia no sigue esta regla.
w
56
![Page 59: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/59.jpg)
ft-idfft-idfTerm frecuency-inverse document frecuency
Es decir, es la frecuencia de ese término, por ellogaritmo del total de documentos en la colección entreel número de documentos en los que aparece esetérmino.
= tf ⋅ idfwt,d
tf = ft,d
idf =N
|{d ∈ D : t ∈ d}|
wt
57
![Page 60: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/60.jpg)
Lógica de ft-idfLógica de ft-idfComienza con la frecuencia y se modi�ca
Se es un término que aparece en muchos documentos,no es tan particular, y de reduce mucho su valorSe es un término que aparece en pocos documentos, esparticular, y se aumenta su valor
58
![Page 61: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/61.jpg)
59
![Page 62: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/62.jpg)
60
![Page 63: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/63.jpg)
Ir a código, ejecutar sólo SEGUNDAIr a código, ejecutar sólo SEGUNDAPARTEPARTE
Ejecutar "representations/BoW.ipynb"
$ jupiter notebook
61
![Page 64: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/64.jpg)
Magia negraMagia negra
62
![Page 65: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/65.jpg)
Se siguen �ltrando palabras comunesAquellas palabras que aparecen pocoSe pierde el orden de la oración
Varios problemasVarios problemas
63
![Page 66: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/66.jpg)
"Stop words"Lista de palabras comunes a no considerarCortar por frecuencia máxima
Lista de palabrasLista de palabras
64
![Page 67: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/67.jpg)
Cortar por frecuencia mínima requerida
Corte cut-offCorte cut-off
65
![Page 68: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/68.jpg)
Agregar nuevos términos
Bigramas: palabras de dos en dosTrigramas: palabras de tres en tresCuatrigramas: palabras de cuatro en cuatrongrams: palabras de en
n-grammasn-grammas
n n
66
![Page 69: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/69.jpg)
Ir a código, ejecutar sólo TERECERAIr a código, ejecutar sólo TERECERAPARTEPARTE
Ejecutar "representations/BoW.ipynb"
$ jupiter notebook
67
![Page 70: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/70.jpg)
Propiedad ValoraciónNúmero de palabras ✔
Tipos de palabras ✖
"reglas" ✔
Estructuras ✖
Ambiguedad ~Composicionalidad ✔
Escalar ✔
68
![Page 71: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/71.jpg)
Ir a nuevo códigoIr a nuevo código
Ejecutar "representations/Clasi�cacion_BoW.ipynb"
$ jupiter notebook
69
![Page 72: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/72.jpg)
Diferentes formas de calcular los pesos: Delta
Agregar información extra: POS, árbol sintáctico
Algunas variantesAlgunas variantes
70
![Page 73: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/73.jpg)
PausaPausa
71
![Page 74: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/74.jpg)
Análisis de sentimientosAnálisis de sentimientosTrata de establecer si un documento es positivo onegativoPor ejemplo, un 'tuit' es positivo o negativoIdea, usar la positividad o negatividad de una palabrapara calcular la de un documento
72
![Page 75: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/75.jpg)
DiccionariosDiccionarios0.125 0 able#1 0 0.75 unable#1
73
![Page 76: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/76.jpg)
Varias opcionesVarias opciones
Idea, usar la positividad de una palabra
SentiWordnetLIWC
74
![Page 77: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/77.jpg)
Propiedad ValoraciónNúmero de palabras ✔
Tipos de palabras ✖
"reglas" ✔
Estructuras ✖
Ambiguedad ✖
Composicionalidad ✔
Escalar ✔
75
![Page 78: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/78.jpg)
Propuesta: cambio dePropuesta: cambio deparadigmaparadigma
Cada palabra está representado por un vectorPorque no llevar esto a un nivel mayor con un vectordenso multi-dimensional (50, 100, 200, 400)Estas dimensiones (columnas) capturan característicasde la palabraPara componer el signi�cado hacemos operacionesvectoriales
76
![Page 79: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/79.jpg)
Ninja de AA = Ninja en álgebra linealNinja de AA = Ninja en álgebra linealEn aprendizaje automático es necesario manipular los datosmatemáticamente (y pro-gramáticamente), necesitamos deherramientas matemáticas para alcanzar esto.
77
![Page 80: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/80.jpg)
Antes de que se asusten:Antes de que se asusten:renglón de hoja de excelrenglón de hoja de excel
Puedo sumar los renglones sin mezclar las columnaPuedo medir qué tan diferentes son: resta, diferenciacuadradaExtraño: Tienen dirección, podemos ver si apuntan hacíael mismo lado
78
![Page 81: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/81.jpg)
Tuplas de números sacados de espacio decoordenadas real
Generalmente usamos minúsculas y Para referirnos a dimensiones especí�cas usamos
sub-índices
VectoresVectoresR
n
x y
, , … ,x1 x2 xnx = ( , , ) ∈ (R,R,R) ≡x1 x2 x3 R
n3
79
![Page 82: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/82.jpg)
Arreglos rectangulares números sacados de espaciode coordenadas real
Generalmente usamos mayúsculas y
MatricesMatricesRn×m
X Y
80
![Page 83: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/83.jpg)
Matrices (cont.)Matrices (cont.)
X =
⎡
⎣
⎢⎢⎢⎢⎢
x11
x21
⋮xn1
x12
x22
⋮xn2
⋯⋯
⋱⋯
x1m
x1m
⋮xnm
⎤
⎦
⎥⎥⎥⎥⎥
81
![Page 84: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/84.jpg)
En realidad un vector es un tipo especial de matrix ,para un vector columna
Vectores (cont.)Vectores (cont.)Rn×1
( , , … , ) =x1 x2 xn
⎛
⎝
⎜⎜⎜⎜
x1
x2
⋮xn
⎞
⎠
⎟⎟⎟⎟
82
![Page 85: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/85.jpg)
En realidad un vector es un tipo especial de matrix ,para un vector renglón
Vectores (cont.)Vectores (cont.)R
1×m
( , , … , ) = ( )x1 x2 xm x1 x2 ⋯ xm
83
![Page 86: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/86.jpg)
La operación transpuesta nos permite cambiar entre vectorcolumna y vector renglón
TranspuestaTranspuesta
( ) =x1 x2 ⋯ xn
⎛
⎝
⎜⎜⎜⎜
x1
x2
⋮xn
⎞
⎠
⎟⎟⎟⎟
T
84
![Page 87: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/87.jpg)
Transpuesta (cont.)Transpuesta (cont.)
=
⎛
⎝
⎜⎜⎜⎜
x1
x2
⋮xm
⎞
⎠
⎟⎟⎟⎟ ( )x1 x2 ⋯ xmT
85
![Page 88: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/88.jpg)
Operaciones con vectoresOperaciones con vectoresx + y
x − y
αx
∥x∥
x ⋅ y
= ( + , + , … , + )x1 y1 x2 y2 xn yn
= ( − , − , … , − )x1 y1 x2 y2 xn yn
= (α ,α , … ,α )x1 x2 xn
= ( , , … , )x21 x2
2 x2n
− −−−−−−−−−−−√= + + … +x1y1 x2y2 xnyn
86
![Page 89: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/89.jpg)
Otras: inversa , Trace
Operaciones con matricesOperaciones con matricesZ = X + Y
Z = XY
Z = XT
⟺
⟺
⟺
= +zij aij bij
=zij ∑nk=1 aikbkj
de reglones a columnas
(X = U)X1 ( )xii
87
![Page 90: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/90.jpg)
88
![Page 91: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/91.jpg)
Varias opcionesVarias opcionesWord2vecGlovefasttextELMo
89
![Page 92: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/92.jpg)
Ir a nuevo códigoIr a nuevo código
Ejecutar "representations/glove.ipynb"
$ jupiter notebook
90
![Page 93: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/93.jpg)
Propiedad ValoraciónNúmero de palabras ??Tipos de palabras ??"reglas" ??Estructuras ??Ambiguedad ??Composicionalidad ??Escalar ??
91
![Page 94: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/94.jpg)
¿De dónde salen los¿De dónde salen losvalores?valores?
92
![Page 95: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/95.jpg)
OpcionesOpcionesLatent Semantic AnalysisMatrix FactorizationLatent Dirilicht AllocationRedes neuronales: word2vec, glove o ELMo
93
![Page 96: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/96.jpg)
Recomendar sin preguntar
MF: Sistemas deMF: Sistemas derecomendaciónrecomendación
94
![Page 97: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/97.jpg)
Filtros colaborativos: la conciencia de las masasDescubre la relación entre: objeto-sujetoUsado para casos desconocidoUso de aplicación: Amazon y net�ix
95
![Page 98: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/98.jpg)
NA
3
D1 D2 … Dm
U1 5 … Dm
U2 4 ⋯ 5
⋮ ⋮ ⋮ ⋱ ⋮Un NA NA … 5
96
![Page 99: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/99.jpg)
Variable latenteVariable latenteVariable auxiliar que gobierna el comportamiento de otras
Aumento dimensional
97
![Page 100: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/100.jpg)
Concepto básicoConcepto básico
X ≈ WH
(n × m) = (n × k)(k × m)
98
![Page 101: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/101.jpg)
WW
Como piensa cada usuario en valores
⎡
⎣
⎢⎢⎢⎢⎢
w11
w21
⋮wn1
w12
w22
⋮wn2
⋯⋯
⋱⋯
w1k
w2k
⋮wnk
⎤
⎦
⎥⎥⎥⎥⎥
k
99
![Page 102: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/102.jpg)
HH
Como piensan de cada documentos en valores
⎡
⎣
⎢⎢⎢⎢⎢
h11
h21
⋮hk1
h12
h22
⋮hk2
⋯⋯
⋱⋯
h1m
h2m
⋮hkm
⎤
⎦
⎥⎥⎥⎥⎥
k
100
![Page 103: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/103.jpg)
Métodos para calcular W y HMétodos para calcular W y HGradient descent
101
![Page 104: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/104.jpg)
ErrorError
E(WH[u, d],X[u, d])argmin,wik hkj
∑i=i
n
X[u, d] = xud
WH[u, d] = =∑i=1
k
wukhkd xud
102
![Page 105: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/105.jpg)
GradienteGradiente
= − αwuk wuk
dEud
duk
= − αhkd hkddEud
dkd
103
![Page 106: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/106.jpg)
Error cuadráticoError cuadrático
( − WH[u, d] = ( − = ( −xud )2 xud xud)2 xud ∑i=1
k
wukhk
104
![Page 107: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/107.jpg)
Su derivadaSu derivada
= −2( − )dEud
dwuk
xud xud huk
= −2( − )dEud
dhkdxud xud wkd
105
![Page 108: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/108.jpg)
FinalmenteFinalmente= + 2αwuk wuk Eudhkd= + 2αhkd hkd Eudwuk
106
![Page 109: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/109.jpg)
Pero...Pero...No tenemos todos los datos
Sólo se calcula para los observables
107
![Page 110: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/110.jpg)
RegularizaciónRegularizaciónEs gradient descent, podemos agregar regularización
= + α(2 − β )wuk wuk Eudhkd wuk
= + α(2 − β )hkd hkd Eudwuk hkd
108
![Page 111: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/111.jpg)
Cambio de perspectiva: 1Cambio de perspectiva: 1
109
![Page 112: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/112.jpg)
RegresandoRegresando
usuarios y su relación con los documentos ( )
como piensan los usuarios ( )
como pensamos sobre los documentos ( )
X ≈ WH
X n × m
W n × k
H k × m
110
![Page 113: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/113.jpg)
RegresandoRegresando
palabras y su relación con los documentos ( )
como las palabras se relacionan con los temas ( )
como los temas se relacionan con los documentos ( )
es el diccionario (embeddings)
X ≈ WH
X n × m
W n × k
H k × m
H
111
![Page 114: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/114.jpg)
Propiedad ValoraciónNúmero de palabras ??Tipos de palabras ??"reglas" ??Estructuras ??Ambiguedad ??Composicionalidad ??Escalar ??
112
![Page 115: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/115.jpg)
Word2vecWord2vec
113
![Page 116: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/116.jpg)
114
![Page 117: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/117.jpg)
115
![Page 118: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/118.jpg)
ComposicionalidadComposicionalidad
116
![Page 119: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/119.jpg)
Varias opcionesVarias opcionesSumar los vectoresPromediar los vectoresUsarlos como entrada a una red más complejaOtras opciones
117
![Page 120: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/120.jpg)
Ir a nuevo códigoIr a nuevo código
Ejecutar "representations/Clasi�cacion_glove.ipynb"
$ jupiter notebook
118
![Page 121: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/121.jpg)
Dejar a la red queDejar a la red queaprendaaprenda
doc2vecbook2vecskipthough
119
![Page 122: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/122.jpg)
120
![Page 123: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/123.jpg)
121
![Page 124: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/124.jpg)
122
![Page 125: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/125.jpg)
Estás técnicas dominanEstás técnicas dominanel campoel campo
TraducciónClasi�caciónSimilaridad semánticaResumen automáticoConsecuencia lógica
123
![Page 126: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/126.jpg)
ResumenResumenLos documentos los podemos hacer vectoresLas palabras las podemos hacer vectoresEn este último caso necesitamos mecanismos decomposicionalidad....Mucho por dominar en el futuro
124
![Page 127: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/127.jpg)
GraciasGracias
125
![Page 128: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/128.jpg)
ReferenciasReferencias
Salton, Gerard, Anita Wong, and Chung-Shu Yang. Communications of the
ACM 18.11 (1975): 613-620.
Mikolov, Tomas, et al. Advances in neural
information processing systems. 2013.
A vectorspace model for automatic indexing.
Distributed representations of wordsand phrases and their compositionality
126
![Page 129: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/129.jpg)
ReferenciasReferenciasPennington, Je�rey, Richard Socher, and ChristopherManning. Proceedings of the 2014 conference on empiricalmethods in natural language processing (EMNLP). 2014.Mitchell, Je�, and Mirella Lapata.
proceedings of ACL-08: HLT(2008): 236-244.
Glove: Global vectors for word representation.
Vector-based models ofsemantic composition.
127
![Page 130: De repesentaciones clásicas a representaciones avanzadas ...ccd.cua.uam.mx/~evillatoro/TallerPLN2018/IvanMeza/IvanMeza.pdf · hay "reglas" de como juntarlas forman unidades estructurales](https://reader033.fdocuments.co/reader033/viewer/2022043004/5f86d664cfd17928853d20c9/html5/thumbnails/130.jpg)
De repesentaciones clásicas a representaciones
avanzadas para NLP by is licensedunder a
. Creado a partir de la obra en
Ivan V. Meza RuizCreative Commons Reconocimiento 4.0
Internacional License
http://turing.iimas.unam.mx/~ivanvladimir/slides/nlp/presen
128