El ChatGPT no es infalible: desde la UOC desvelan sus errores más comunes

Esta herramienta, según señala Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación de la Universitat Oberta de Catalunya (UOC), en su artículo "no es infalible" porque puede contener fallos a la hora de trabajar con ella: "describir de forma incorrecta hechos verificables", aportar "respuestas incompletas" o contestar a lo que se le pregunta "aunque no sepa la respuesta", entre otros ejemplos. El experto aconseja utilizar por lo menos dos plataformas distintas al ChatGPT para poder realizar una comparativa de los datos que se proporcionan y así poder analizar cuál es el que tiene una mayor relación con lo que se está buscando. 

29/12/2023

ChatGPT, la herramienta de inteligencia artificial (IA) generativa que se lanzó a finales de 2022, ya es utilizada por millones de internautas españoles. Según una encuesta de la Organización de Consumidores y Usuarios (OCU) que se hizo pública el pasado julio, uno de cada dos usuarios ya la ha probado. Sin embargo, ...

ChatGPT, la herramienta de inteligencia artificial (IA) generativa que se lanzó a finales de 2022, ya es utilizada por millones de internautas españoles. Según una encuesta de la Organización de Consumidores y Usuarios (OCU) que se hizo pública el pasado julio, uno de cada dos usuarios ya la ha probado. Sin embargo, sólo un 11% dice que utiliza la herramienta con frecuencia, y el porcentaje baja al 3% cuando la pregunta es si se emplea a diario.

Uno de los factores que explican que el uso de ChatGPT no se haya popularizado más es que los internautas no confían en la información que ofrece: el 24% de los encuestados alegan "falta de confianza en las respuestas generadas" como respuesta a la pregunta de por qué no lo utilizan. Y es que, como explica Josep Curto, profesor de los Estudios de Informática, Multimedia y Telecomunicación de la UOC, "en ningún caso, debemos considerar que ChatGPT es infalible". "De hecho, por construcción, al tratarse de un sistema generativo, puede introducir errores, llamados a menudo alucinaciones , en un claro caso de antropomorfismo", explica.

Según Curto, aunque ChatGPT y las herramientas similares pueden incrementar la productividad en múltiples tareas, es necesario conocer las limitaciones y errores de este tipo de sistemas. "Algunos de los errores más frecuentes de ChatGPT son muy importantes y pueden afectar significativamente a las respuestas que proporciona", afirma Curto. Entre estos errores, el experto destaca el hecho de describir de forma incorrecta hechos verificables, generar respuestas incompletas, responder a todo tipo de preguntas aunque no sepa la respuesta y hacerlo de forma convincente, introducir más errores en idiomas que no son el inglés, detallar el proceso "supuestamente" empleado para generar una respuesta aunque sea imposible, razonar matemáticamente, y proporcionar respuestas no éticas o con sesgos humanos, técnicos o sistémicos.

Por esta razón, aunque los creadores de modelos grandes de lenguaje o LLM (en este caso, OpenAI) actualicen cada cierto tiempo el sistema para introducir mejoras y reducir algunos de estos errores en la medida de lo posible, es necesario ser conscientes de ello. Por tanto, los expertos recomiendan confirmar las respuestas con otras fuentes fiables, aumentar el conocimiento respecto al ámbito relacionado con la pregunta para poder reconocer errores y sesgos, y utilizar la herramienta como un generador de plantillas que nos permitan construir la respuesta que busquemos en lugar de aceptarla directamente. "En resumen, debemos utilizar las respuestas de ChatGPT u otros sistemas como una fuente adicional que puede proporcionar información sesgada, incorrecta o incluso ficticia, y debemos comprobar la fiabilidad de los datos obtenidos", advierte Josep Curto. El experto añade que, de mantenerse el enfoque generativo de los sistemas actuales, los posibles errores continuarán al menos a medio plazo.

"Para sacar el máximo provecho de ChatGPT, es recomendable conocer detalladamente qué puede hacer esta herramienta, aprender a crear preguntas más precisas (lo que se conoce como prompt engineering), identificar una colección de fuentes fidedignas lo suficientemente amplia como para validar las respuestas y desarrollar un espíritu crítico para seguir aprendiendo", indica el profesor de la UOC.

Alternativas a ChatGPT
Además de todos los aspectos anteriores, otra recomendación que nos puede ayudar es disponer de al menos dos alternativas a ChatGPT para poder comparar las respuestas y determinar cuál encaja más con nuestras necesidades. Como recuerda Josep Curto, aunque ChatGPT es el bote más conocido, existen múltiples opciones (tanto de pago como gratuitas) que pueden funcionar como alternativas a este sistema de IA generativa, que además a veces está saturado.

"Algunas de estas alternativas ofrecen mayor capacidad de tokens (es decir, podemos tener más respuestas con mayor extensión) o son más asequibles económicamente; ofrecen integración con sistemas (lo que actualmente ChatGPT no incluye), lo que incrementa la versatilidad de las plataformas, y se focalizan en asegurar la calidad de la fuente de datos", explica.

La lista de estas opciones es amplia y crece a gran velocidad. Entre las actuales, el profesor de la UOC destaca las siguientes cinco herramientas:

  • Microsoft Bing, que forma parte del sistema operativo de Windows 11. Está basado en la misma infraestructura que ChatGPT, por lo que comparte sus errores. Sin embargo, la versatilidad de esta herramienta aumenta por el hecho de formar parte de la última actualización de Windows 11 (sólo la pueden utilizar los usuarios de este sistema). "Hay que tener en cuenta que, como forma parte del buscador, es posible que genere más confusión en los usuarios, porque pueden pensar que las alucinaciones son reales (como ya ocurre actualmente), además de exponer el ordenador a prompt inyección , una técnica utilizada por atacantes para manipular la entrada o el prompt proporcionado a un sistema de IA", explica Curto.
  • Perplejidad. Se basa en GPT 3.5/4 y Claude. Se diferencia de estas herramientas porque se han filtrado las fuentes y por permitir colgar archivos a fin de analizarlos. Ofrece un usuario gratuito aunque limitado en prestaciones.
  • Google Bard. Está basado en los desarrollos internos de Google (LaMDA). El principal inconveniente es que todavía no está disponible en el mercado europeo y que para poder utilizarlo es necesario utilizar una red privada virtual (VPN). Google, vía su filial Deepmind, acaba de anunciar a Gemini, que tiene resultados similares a los de chatGPT (versión 4).
  • Claude. Se basa en algoritmos propios y se enfoca en reducir sesgos y problemas derivados. Ofrece un usuario gratuito con prestaciones limitadas.
  • Jasper. Se enfoca a un uso profesional, por lo que actualmente no ofrece cuenta gratuita. Tiene una orientación a plantillas para incrementar la productividad.

Existen también toda una serie de algoritmos con licencia open source, que habilitan su uso, en caso de tener conocimientos de python (y disponer de una buena máquina) como es el caso de Mistral con licencia Apache 2.0.

"Además de estas herramientas, existen otros servicios y productos que siguen la misma estrategia, paquetizan ciertos LLM e incluyen prestaciones o casos de uso definidos. La gran mayoría de sistemas ofrecen la posibilidad de probar sus servicios; sólo algunos continúan teniendo servicios gratuitos", explica el profesor de la UOC.

Según Curto, es importante familiarizarse con estas alternativas si utilizamos frecuentemente este tipo de herramientas , especialmente si tenemos en cuenta que los proveedores de estos sistemas tienen la necesidad de monetizar. "De esta forma, veremos que a medida que pase el tiempo las cuentas gratuitas tendrán cada vez menos prestaciones en comparación con las de pago", concluye el experto.

 

FOTO PRINCIPAL.: Photo by Andrew Neel.

Cookie Consent

This website uses cookies or similar technologies, to enhance your browsing experience and provide personalized recommendations. By continuing to use our website, you agree to our Privacy Policy

Nuestros Podcasts