Evaluación multilingüe de la desambiguación referencial en la IA Generativa mediante el esquema de Winograd

Alba Pérez-Montero; Elena Lloret Pastor; Paloma Moreda Pozo

doi:10.4151/S0718-09342025011901274

Autores/as

Alba Pérez-Montero Universidad de Alicante https://orcid.org/0009-0008-3189-0655
Elena Lloret Pastor Universidad de Alicante https://orcid.org/0000-0002-2926-294X
Paloma Moreda Pozo Universidad de Alicante https://orcid.org/0000-0002-7193-1561

DOI:

https://doi.org/10.4151/S0718-09342025011901274

Palabras clave:

Desambiguación referencial, esquema de Winograd, Lingüística Computacional, IA Generativa, Procesamiento del Lenguaje Natural

Resumen

El auge de los agentes conversacionales, como ChatGPT, abren un interesante camino para analizar la Generación del Lenguaje Natural. Por ello, en este estudio experimental se examina la capacidad de desambiguación referencial de diversos agentes conversacionales. Se aborda la investigación desde la perspectiva de la Lingüística Computacional para analizar una de las tareas más complejas para el Procesamiento del Lenguaje Natural. En concreto, se evalúa la efectividad de sistemas de IA generativa en la interpretación de oraciones que contienen ambigüedad referencial en inglés, español y valenciano. Utilizamos el esquema de Winograd como punto de partida para crear datasets multilingües con ejemplos de diferentes niveles de ambigüedad referencial. La relevancia de este trabajo reside en el análisis de la desambiguación referencial en profundidad y su perspectiva multilingüe. La experimentación se lleva a cabo mediante dos pruebas; en la primera se usan enunciados que contienen una palabra desambiguadora que guía la interpretación y en la segunda esta palabra se elimina. Los resultados demuestran que al prescindir de una palabra desambiguadora ninguno de los agentes conversacionales supera el 56% de acierto en ninguno de los idiomas. De esta manera, se concluye que la tarea de desambiguación referencial resulta difícil de resolver para la IA generativa en los casos en que no existe suficiente información contextual

Biografía del autor/a

Elena Lloret Pastor, Universidad de Alicante

Mi actividad investigadora se inicia en septiembre del año 2007 cuando me incorporo al grupo de investigación “Procesamiento del lenguaje y sistemas de información” que dirige el Dr. Manuel Palomar Sanz, y al que sigo perteneciendo en la actualidad, de la Universidad de Alicante con una beca de Formación de Personal Investigador del Ministerio de Ciencia e Innovación (BES-2007-16268) para realizar mi tesis doctoral en el área del Procesamiento del Lenguaje Natural, y en concreto en la Generación Automática de Resúmenes de textos. A partir de ese momento comienzo mi investigación y en 2011 obtengo el título de doctora en Aplicaciones de la Informática (con mención de doctorado europeo) a raíz de la presentación del trabajo de tesis “Text Summarisation based on Human Language Technologies and its Applications” dirigido por el Dr. Manuel Palomar. Durante mi etapa pre-doctoral, cabe destacar la realización de 3 estancias de investigación de 3 meses de duración cada una en distintos grupos de investigación de prestigio en este campo. Fruto de mi tesis doctoral, en el apartado de transferencia tecnológica, he contribuido como autora de 1 desarrollo (GPLSI COMPENDIUM) que ha sido inscrito en el Registro de la Propiedad Intelectual como registro software, y que se transfirió mediante licencia de explotación a la empresa Documelia Gestión Documental, S.L., encontrándose también a disposición de la comunidad investigadora para su aprovechamiento en forma de demo. Posterior a la beca pre-doctoral fui contratada como personal técnico e investigadora doctora en los proyectos de investigación “Desarrollo de técnicas inteligentes e interactivas de minería de textos” y “FIRST: A Flexible Interactive Reading Support Tool”, respectivamente. Mi labor investigadora en estos proyectos la complementé y compaginé con la docencia impartida gracias a la obtención de una plaza de profesora asociada hasta que obtuve la plaza de Profesora Ayudante Doctora en julio de 2014, fecha a partir de la cual empecé a investigar y dirigir tesis doctorales en el área de la Generación de Lenguaje Natural, hasta la fecha actual, que continuo realizando investigación principalmente en este campo, junto con el campo de la Generación Automática de Resúmenes, ya con el nuevo puesto de Profesora Titular de Universidad.

Como resultado de toda la actividad científica realizada, he participado en más de 90 publicaciones en revistas y conferencias de prestigio. En los últimos 5 años, he publicado más de 30 artículos en revistas de impacto, 18 de ellos en revistas indexadas en el JCR y el resto en revistas con criterios de calidad equivalentes; y más 26 publicaciones en congresos internacionales de prestigio en el campo del Procesamiento del Lenguaje Natural. Relacionado también con las líneas de investigación desarrolladas, he participado como investigadora en 27 proyectos de investigación financiados en convocatorias públicas (1 de ellos como IP - “Explotación y tratamiento de la información disponible en Internet para la anotación y generación de textos adaptados al usuario”). También he participado en numerosos comités científicos de revisión de publicaciones en conferencias de prestigio tales como ACL, COLING, NLDB, RANLP o ECIR, así como en revistas internacionales indexadas en el primer cuartil del Journal Citation Reports, como “Information Processing and Management” o “Knowledge-based Systems".

Paloma Moreda Pozo, Universidad de Alicante

Paloma Moreda es Profesora Titular de Universidad desde 2009 en el Departamento de Lenguajes y Sistemas Informáticos de la Universidad de Alicante. Su formación es en Ingeniería Informática, y ha adquirido experiencia a lo largo de veinte años en Procesamiento del Lenguaje Natural (PLN), principalmente en el campo del Análisis Semántico. Ha obtenido 2 sexenios de investigación (sexenios CNEAI) y 1 de reconocimiento de transferencia. Su actividad investigadora comenzó en 2001 cuando se incorporó al grupo GPLSI de la Universidad de Alicante, y al que sigue perteneciendo en la actualidad. Su tesis doctoral sobre Análisis Semántico de textos dio lugar a la línea de investigación relacionada con la simplificación y enriquecimiento de textos. Ha publicado más de 40 artículos en congresos internacionales y revistas de reconocido prestigio. Desde su incorporación al grupo de investigación GPLSI, ha participado en más de 25 proyectos de investigación financiados con fondos europeos, fondos públicos nacionales y regionales (3 de ellos como Investigador Principal). Destaca especialmente la dirección del proyecto europeo "FIRST: A Flexible Interactive Reading Support Tool", que comenzó en 2011 con una duración de 3 años, el proyecto nacional "RESCATA: Canonical Representación y Transformaciones Canónicas de Textos Aplicadas a las Tecnologías del Lenguaje Humano" (TIN2015-65100-R), y el proyecto “ClearText: Enhancing the modernization public sector organizations by deploying Natural Language Processing to make their digital content CLEARER to those with cognitive disabilities” (TED2021-130707B-I00).Además, ha participado en 10 contratos de investigación con entidades privadas.

En el apartado de transferencia de tecnología, ha contribuido como autora de 12 desarrollos que han sido inscritos en el Registro de la Propiedad Intelectual como registro de software, y que han sido transferidos mediante licencia de explotación a entidades privadas.

Comprometida con la igualdad de oportunidades para hombres y mujeres, ha colaborado en la redacción de las Guías de Igualdad de la Universidad de Alicante y ha sido la autora del libro Guías para una docencia universitaria con perspectiva de género. Ciencias de la Computación.

En cuanto a las actividades de gestión, ha participado en la dirección del departamento DLSI durante 8 años, 4 como subdirectora y 4 como directora. Por último, también ha formado parte de un gran número de tribunales de tesis doctorales y de puestos docentes