Aunque los algoritmos que rigen el funcionamiento de los chatbots están sometidos a un constante proceso de aprendizaje y mejora, a veces emiten respuestas sin sentido o demasiado genéricas. Google quiere cambiar esto con el lanzamiento de Meena, una IA verdaderamente conversacional.
Los chatbots han puesto patas arriba múltiples industrias, desde el retail a la medicina, de la logística a la atención al cliente, suplantando tareas mecánicas, agilizando procesos de pago o completando reservas y transacciones online de los consumidores. Se estima que los bots conversacionales, los cuales permiten al usuario interactuar con una marca de forma natural, como si hablaran con un humano (o casi), ahorrarán 8000 millones de dólares en costes de cara al próximo año 2022.
Sin embargo, aún queda un amplio margen de mejora para estos algoritmos basados en IA, especialmente en lo tocante a su elocuencia, capacidad de interpretación del lenguaje natural e interacción con el usuario. Para avanzar en esta carrera, Google ha anunciado la creación de Meena, un chatbot definido por el buscador como mejor que cualquier otro probado anteriormente, gracias a los resultados aportados por una nueva métrica que analiza las habilidades de conversación de una IA.
La métrica SSA evalúa el diálogo basado en el rendimiento estático con un conjunto fijo de mensajes o rendimiento interactivo, lo que permite una conversación fluida. Cada conversación evaluada debía durar al menos 14 turnos y no más de 28. Los resultados se obtuvieron en función del porcentaje de turnos considerados específicos o sensibles, puesto que la métrica penaliza las respuestas con respuestas genéricas.
En este paper publicado en el servidor de preimpresión arXiv, Google muestra los increíbles resultados de Meena según el nuevo promedio de sensibilidad y especificidad (SSA). Para calcular esta métrica, Google solicitó a trabajadores humanos que realizaran unas 100 conversaciones de forma libre con Meena y varios otros chatbots de dominio abierto. Cada vez que el chatbot respondía, el trabajador tenía que responder dos preguntas sobre la respuesta: si la respuesta tenía sentido lógico y contextual dentro de la conversación y si así era, si había sido específica.
Google determinó que un humano promedio alcanzaría un puntaje SSA del 86%. Mientras que los chatbots restantes empleados en el estudio obtuvieron resultados situados entre el 31% y el 56%, Meena alcanzó un 79%, aproximándose a una conversación más humana. Por aproximar algunos ejemplos Mitsuku, un agente de IA creado por Pandora Bots que ganó el Premio Loebner durante los últimos cuatro años, obtuvo un 56%, mientras que XiaoIce de Microsoft, que habla chino mandarín, obtuvo una puntuación del 31%.
Los logros de Meena no son pocos: esta Inteligencia Artificial domina 40.000 millones de palabras y utiliza un modelo seq2seq y una variación de la arquitectura popular Transformer. Google lanzó Transformer por primera vez en 2017, pero desde entonces el idioma ha crecido hasta situarse entre los modelos de lenguaje de mayor rendimiento. Por ahora, todo parece indicar que Meena puede ser una de las herramientas más útiles en el campo de los bots inteligentes para 2020.
2 thoughts on “Así es Meena, el nuevo chatbot de Google capaz de charlar de forma fluida”