Tratamiento Automático de Reglas Ortográficas para la ... · Tratamiento Automatico de Reglas...

IntroduccionReglas Ortograficas

El CorrectorEjemplos

Trabajos Futuros y Conclusiones

Tratamiento Automatico de Reglas Ortograficaspara la Deteccion y Correccion de Errores

Brian Pluss Laura Pomponio

Universidad Nacional de RosarioFacultad de Ciencias Exactas, Ingenierıa y Agrimensura

Departamento de Computacion{bpluss,pomponio}@fceia.unr.edu.ar

11 de septiembre de 2008

Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas

Contenidos

1 Introduccion

2 Reglas Ortograficas

3 El Corrector

4 Ejemplos

5 Trabajos Futuros y Conclusiones

Motivacion

La deteccion y correccion de errores ortograficos es un problemaimportante y cotidiano.Enfoque universal: diccionarios

Se busca la palabra en el diccionario.Correcciones propuestas de acuerdo a una distancia.

Motivacion

Problema 1: falsos errores.

Problema 2: errores no detectados.

Estas soluciones no utilizan propiedades linguısticas de lapalabra y su contexto.

Propuesta

Propuesta: atacar el problema mediante reglas que usen estaspropiedades.¿Cuales reglas?

Las que propone la Real Academia Espanola (RAE).

Analisis y clasificacion segun sus cualidades linguısticas.

Implementacion de un prototipo en Prolog.

Esbozo de una arquitectura que integre el corrector a editores detexto y haga uso de herramientas auxiliares.

Propuesta

Propuesta: atacar el problema mediante reglas que usen estaspropiedades.¿Cuales reglas?

Las que propone la Real Academia Espanola (RAE).

Analisis y clasificacion segun sus cualidades linguısticas.

Implementacion de un prototipo en Prolog.

Esbozo de una arquitectura que integre el corrector a editores detexto y haga uso de herramientas auxiliares.

Las Reglas

Formuladas para su uso por humanos.

Resuelven ambiguedades con informacion adicional sobre apalabra.

Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:

(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.

Las Reglas

Ejemplos:(Se escriben con b) Las que empiezan por el elementocompositivo bi-, bis-, biz- (‘dos’ o ‘dos veces’). Ejemplos: bipolar,bisnieto, bizcocho.(Se escriben con v ) Las que empiezan por el elementocompositivo vice-, viz- o vi- (‘en lugar de’). Ejemplos:vicealmirante, vizconde, virrey.

Sılabas homofonas, semantica, ambiguedad: pragmatica

Las Reglas

Ejemplos:(Se escriben con b) Las que empiezan por el elementocompositivo bi-, bis-, biz- (‘dos’ o ‘dos veces’). Ejemplos: bipolar,bisnieto, bizcocho.(Se escriben con v ) Las que empiezan por el elementocompositivo vice-, viz- o vi- (‘en lugar de’). Ejemplos:vicealmirante, vizconde, virrey.

Sılabas homofonas, semantica, ambiguedad: pragmatica

Linguıstica

Fonologıa: determina que secuencias de sonidos estan en unidioma.

Conceptos: fonema, sılabaAplicacion: separacion en sılabas, determinacion de elementoscompositivos

Morfologıa: estudia la estructura interna de las palabras.Conceptos: categorıas, flexiones, derivacion, composicion,palabra, forma de palabra.Aplicacion: categorizacion, lematizacion.

Sintaxis: estudia la combinatoria de palabras en estructurassuperiores.

Conceptos: sintagmas, oracion.Aplicacion: clasificacion por analisis sintactico, resolucion deambiguedades.

Linguıstica

Semantica: ciencia de los significados literales.Conceptos: lexica, textitcomposicional, mapeo cognitivo.Aplicacion: desambiguacion respecto del significado absoluto.

Pragmatica: trata del lenguaje en uso.Conceptos: contexto, textitsentido comun, inferencia, referencia,interpretacion, coherencia.Aplicacion: desambiguacion respecto del significado en contexto.

Linguıstica

Semantica: ciencia de los significados literales.Conceptos: lexica, textitcomposicional, mapeo cognitivo.Aplicacion: desambiguacion respecto del significado absoluto.

Pragmatica: trata del lenguaje en uso.Conceptos: contexto, textitsentido comun, inferencia, referencia,interpretacion, coherencia.Aplicacion: desambiguacion respecto del significado en contexto.

Arquitectura

Gran parte de los editores populares soportanplugins.

Ejemplos: OpenOffice.org, jEdit, Eclipse,EditPlus, emacs,. . .

Frontera entre el editor y el corrector.

Herramientas auxiliares: tokenizers, que eliminensignos de puntuacion; alguna funcion de librerıa,que lleve las palabras a minusculas; unsilabeador, que separe en sılabas cada una delas palabras; por nombrar solo algunas.

El Corrector utiliza las reglas en la BC para tratarcada palabra.

Cuando necesita informacion linguıstica usaherramientas externas.

Prototipo

Implementado en Prolog.BC con las reglas, mecanismo de inferencia y algunas de lasherramientas auxiliares parciales, implementadas ad-hoc.No se intento vincular el mismo a ninguna de las herramientas deprocesamiento linguıstico mencionadas en la arquitecturapropuesta.Reglas clasificadas de acuerdo a la informacion linguıstica querequeriran del usuario.Se tratan las palabras con las letras “conflictivas”.Excepciones tratadas en primer lugar.Se asume que hay error y se intenta determinar que reglas seviolaron.Reglas con poca o nula intervencion del usuario se aplican antes.

Prototipo

aplicar(X,Q):- (excepcion(X) -> (Q = X,write(’Es excepcion : \"’),write(Q),write(’\".’),nl,!));

((retract(buffer(_)) -> true; true),assert(buffer(X)),(exist_v(X) -> ((regla_b(Regla),

aplicar_reglas(Regla,Z,Y,T));(exist_b(X) -> ((regla_v(Regla),

aplicar_reglas(Regla,Z,Y,T));%%Si exist_v y exist_bbuffer(Q));

%%Si exist_v y NO exist_bbuffer(Q)));

%% Si NO exist_v(exist_b(X) -> ((regla_v(Regla),

aplicar_reglas(Regla,Z,Y,T));%%Si NO exist_v y exist_bbuffer(Q));%% Si NO exist_v y NO exist_bQ=X))).

aplicar_reglas(Regla,Z,Y,T):- buffer(Z),T =.. [Regla,Z,Y], T,write(’Aplicar regla a \"’),write(Z),write(’\" : ’), write(T),nl,retract(buffer(Z)),assert(buffer(Y)),fail.

Prototipo

Ejemplo:

(Se escriben con b) Las palabras acabadas en -bilidad. Ejemplos:amabilidad, habilidad, posibilidad. Excepciones: movilidad, civilidad ysus compuestos.

rb4(X, Y):- ((sub_atom(X,_,_,0,’vilidad’)-> H = bilidad);(sub_atom(X,_,_,0,’vilidades’)-> H = bilidades)

) -> (atom_length(H,N),sub_atom(X,0,_,N,Pre),atom_concat(Pre,H,Y));Y=X.

Al aplicar rb4, se corrige una palabra termina en -vilidad /-vilidades.

Ejemplo 1

verificabilidad. 1. f. Fil. Cualidad de verificable.

Del diccionario de la RAE. Pero. . .

Microsoft Word 2003

Mozilla Thunderbird

Ejemplo 1

2 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "la verificabilidad es una caracterıstica deseable".Aplicar regla a "verificabilidad" : rb1(verificabilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad)Aplicar regla a "verificabilidad" : rv1(verificabilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rv10(verificabilidad, verificabilidad)Aplicar regla a "deseable" : rv1(deseable, deseable)...Aplicar regla a "deseable" : rv10(deseable, deseable)El resultado de la correccion es:"la verificabilidad es una caracterıstica deseable"Yes

3 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "la verificavilidad es una caracterıstica deseable".Aplicar regla a "verificavilidad" : rb1(verificavilidad, verificavilidad)...Aplicar regla a "verificavilidad" : rb4(verificavilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad)El resultado de la correccion es:"la verificabilidad es una caracterıstica deseable"Yes

Ejemplo 2

Tanto “vaya” como “baya” estaran en los diccionarios. Entonces. . .

Microsoft Word 2003

Mozilla Thunderbird

Ejemplo 2

4 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "esto no significa que baya a funcionar correctamente".Aplicar regla a "baya" : rv1(baya, baya)...Aplicar regla a "baya" : rv8(baya, baya)

¿Ud. quiso escribir "vaya" en lugar de "baya"donde "vaya" es presente subjuntivo del verbo "ir" ?(s / n) : s.Aplicar regla a "baya" : rv9(baya, vaya)Aplicar regla a "vaya" : rv10(vaya, vaya)

El resultado de la correccion es:"esto no significa que vaya a funcionar correctamente"

Trabajos futuros

Implementar mas reglas.

Analisis de herramientas de procesamiento linguıstico yfactibilidad de integracion, intervencion del usuario, posibleserrores, etc.

Pruebas estadısticas de efectividad y comparacion conherramientas tradicionales. Corpus y scripts.

Implementacion de un plugin para incorporar el corrector a alguneditor popular.

Conclusiones

Propuesta alternativa para resolver un problema habitual.

Analisis de factibilidad practica y teorica.

Posibilidad de automatizacion total con el uso de herramientasde auxiliares.

¿Nunca antes abordado?El ingles, ¿cuantas reglas ortograficas tiene?

Tratamiento Automático de Reglas Ortográficas para la ... · Tratamiento Automatico de Reglas...

Documents

Transcript of Tratamiento Automático de Reglas Ortográficas para la ... · Tratamiento Automatico de Reglas...