Multilingual Evaluation of Referential Disambiguation in Generative AI using Winograd Schema

Authors

DOI:

https://doi.org/10.4151/S0718-09342025011901274

Keywords:

Referential disambiguation, Winograd schema, Computational Linguistics, Generative AI

Abstract

The rise of chatbots, such as ChatGPT, opens an interesting path for analyzing Natural Language Generation. Therefore, this experimental study examines the referential disambiguation capability of several chatbots. The research is approached from the perspective of Computational Linguistics to analyze one of the most complex tasks for Natural Language Processing. Specifically, we evaluate the effectiveness of generative AI systems in the interpretation of sentences containing referential ambiguity in English, Spanish and Valencian. We use Winograd's scheme as a starting point to create multilingual datasets with examples of different levels of referential ambiguity. The relevance of this work consists of the analysis of referential disambiguation in depth and its multilingual perspective. The experimentation is carried out by two tests; in the first one, sentences containing a disambiguating word that guides the interpretation are used, and in the second one, this word is eliminated. The results show that without a disambiguating word none of the conversational agents exceeds 56% accuracy in any of the languages. Thus, it is concluded that the referential disambiguation task is difficult for generative AI to solve in cases where there is insufficient contextual information.

Author Biographies

Elena Lloret Pastor, Universidad de Alicante

Mi actividad investigadora se inicia en septiembre del año 2007 cuando me incorporo al grupo de investigación “Procesamiento del lenguaje y sistemas de información” que dirige el Dr. Manuel Palomar Sanz, y al que sigo perteneciendo en la actualidad, de la Universidad de Alicante con una beca de Formación de Personal Investigador del Ministerio de Ciencia e Innovación (BES-2007-16268) para realizar mi tesis doctoral en el área del Procesamiento del Lenguaje Natural, y en concreto en la Generación Automática de Resúmenes de textos. A partir de ese momento comienzo mi investigación y en 2011 obtengo el título de doctora en Aplicaciones de la Informática (con mención de doctorado europeo) a raíz de la presentación del trabajo de tesis “Text Summarisation based on Human Language Technologies and its Applications” dirigido por el Dr. Manuel Palomar. Durante mi etapa pre-doctoral, cabe destacar la realización de 3 estancias de investigación de 3 meses de duración cada una en distintos  grupos de investigación de prestigio en este campo. Fruto de mi tesis doctoral, en el apartado de transferencia tecnológica, he contribuido como autora de 1 desarrollo (GPLSI COMPENDIUM) que ha sido inscrito en el Registro de la Propiedad Intelectual como registro software, y que se transfirió mediante licencia de explotación a la empresa Documelia Gestión Documental, S.L., encontrándose también a disposición de la comunidad investigadora para su aprovechamiento en forma de demo. Posterior a la beca pre-doctoral fui contratada como personal técnico e investigadora doctora en los proyectos de investigación “Desarrollo de técnicas inteligentes e interactivas de minería de textos” y “FIRST: A Flexible Interactive Reading Support Tool”, respectivamente. Mi labor investigadora en estos proyectos la  complementé y compaginé con la docencia impartida gracias a la obtención de una plaza de profesora asociada hasta que obtuve la plaza de Profesora Ayudante Doctora en julio de 2014, fecha a partir de la cual empecé a investigar y dirigir tesis doctorales en el área de la Generación de Lenguaje Natural, hasta la fecha actual, que continuo realizando investigación principalmente en este campo, junto con el campo de la Generación Automática de Resúmenes, ya con el nuevo puesto de Profesora Titular de Universidad.

Como resultado de toda la actividad científica realizada, he participado en más de 90 publicaciones en revistas y conferencias de prestigio. En los últimos 5 años, he publicado más de 30 artículos en revistas de impacto, 18 de ellos en revistas indexadas en el JCR y el resto en revistas con criterios de calidad equivalentes; y más 26 publicaciones en congresos internacionales de prestigio en el campo del Procesamiento del Lenguaje Natural.  Relacionado también con las líneas de investigación desarrolladas, he participado como investigadora en 27 proyectos de investigación financiados en convocatorias públicas (1 de ellos como IP - “Explotación y tratamiento de la información disponible en Internet para la anotación y generación de textos adaptados al usuario”). También he participado en numerosos comités científicos de revisión de publicaciones en conferencias de prestigio tales como ACL, COLING, NLDB, RANLP o ECIR, así como en revistas internacionales indexadas en el primer cuartil del Journal Citation Reports, como “Information Processing and Management” o “Knowledge-based Systems".

Paloma Moreda Pozo, Universidad de Alicante

Paloma Moreda es Profesora Titular de Universidad desde 2009 en el Departamento de Lenguajes y Sistemas Informáticos de la Universidad de Alicante. Su formación es en Ingeniería Informática, y ha adquirido experiencia a lo largo de veinte años en Procesamiento del Lenguaje Natural (PLN), principalmente en el campo del Análisis Semántico. Ha obtenido 2 sexenios de investigación (sexenios CNEAI) y 1 de reconocimiento de transferencia. Su actividad investigadora comenzó en 2001 cuando se incorporó al grupo GPLSI de la Universidad de Alicante, y al que sigue perteneciendo en la actualidad. Su tesis doctoral sobre Análisis Semántico de textos dio lugar a la línea de investigación relacionada con la simplificación y enriquecimiento de textos. Ha publicado más de 40 artículos en congresos internacionales y revistas de reconocido prestigio. Desde su incorporación al grupo de investigación GPLSI, ha participado en más de 25 proyectos de investigación financiados con fondos europeos, fondos públicos nacionales y regionales (3 de ellos como Investigador Principal). Destaca especialmente la dirección del proyecto europeo "FIRST: A Flexible Interactive Reading Support Tool", que comenzó en 2011 con una duración de 3 años,  el proyecto nacional "RESCATA: Canonical Representación y Transformaciones Canónicas de Textos Aplicadas a las Tecnologías del Lenguaje Humano" (TIN2015-65100-R), y el proyecto “ClearText: Enhancing the modernization public sector organizations by deploying Natural Language Processing to make their digital content CLEARER to those with cognitive disabilities” (TED2021-130707B-I00).Además, ha participado en 10 contratos de investigación con entidades privadas.

En el apartado de transferencia de tecnología, ha contribuido como autora de 12 desarrollos que han sido inscritos en el Registro de la Propiedad Intelectual como registro de software, y que han sido transferidos mediante licencia de explotación a entidades privadas.

Comprometida con la igualdad de oportunidades para hombres y mujeres, ha colaborado en la redacción de las Guías de Igualdad de la Universidad de Alicante y ha sido la autora del libro Guías para una docencia universitaria con perspectiva de género. Ciencias de la Computación. 

En cuanto a las actividades de gestión, ha participado en la dirección del departamento DLSI durante 8 años, 4 como subdirectora y 4 como directora. Por último, también ha formado parte de un gran número de tribunales de tesis doctorales y de puestos docentes

Downloads

Published

2025-12-15

How to Cite

Pérez-Montero, A., Lloret Pastor, E., & Moreda Pozo, P. (2025). Multilingual Evaluation of Referential Disambiguation in Generative AI using Winograd Schema. Revista Signos. Estudios De Lingüística, 58(119). https://doi.org/10.4151/S0718-09342025011901274

Issue

Vol. 58 No. 119 (2025): December

Section

Articles

License

Copyright (c) 2025 Revista Signos. Estudios de Lingüística

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Copyright agreement:

Authors who have a manuscript accepted for publication in this journal agree to the following terms:

  1. Authors will retain their copyright and grant the journal the right of first publication of their work by means of this copyright agreement document, which is subject to the Creative Commons Acknowledgment License that allows third parties to share the work provided that its author and first publication in this journal are indicated.

  2. Authors may adopt other non-exclusive license agreements for distribution of the published version of the work (e.g., depositing it in an institutional repository or publishing it in a monographic volume) as long as the initial publication in this journal is indicated.

  3. Authors are allowed and encouraged to disseminate their work via the internet (e.g., in institutional publications or on their website) before and during the submission process, which can lead to interesting exchanges and increase citations of the published work (read more here).