Towards Data Science, un medio especializado en ciencia de datos, ha publicado una prueba que compara cuatro métodos para dotar de «memoria» a los asistentes de IA. En un ensayo con un historial de unas 40.000 fichas de una gestora de proyectos ficticia y 30 solicitudes, GPT-4o mini alcanzó una tasa de éxito del 58,3 % cuando se le proporcionó el historial completo, frente al 88,9 % con el método de búsqueda, que recupera y proporciona solo los fragmentos necesarios.
«Recordar» y «saber usar lo recordado» son cosas distintas
El texto completo puede leerseen este artículo de análisis.
La prueba parte de DolphinBench, un nuevo test para medir la capacidad de memoria de la IA. Muchos de los tests de memoria tradicionales preguntan directamente por hechos del pasado, como «¿Cuál es la cafetería favorita de Sam?». Sin embargo, los creadores de DolphinBench señalan que la propia pregunta da una pista: que la respuesta está registrada en algún sitio. Por eso, en esta prueba se asigna una tarea —«Pide un café»— y se comprueba si se ha utilizado el dato correcto.
El diseño contempla tres personajes ficticios, cada uno con un historial de conversación de unas 500.000 fichas y 200 solicitudes. Los resultados deben incluir no solo la precisión, sino también el coste y el tiempo.
La prueba fue creada por una empresa que comercializa un sistema de memoria llamado Mem0. Según la presentación de la prueba, la configuración de la empresa quedó en primer lugar al completar con éxito el 70,67 % de las solicitudes. El autor del análisis no reprodujo DolphinBench ni probó el producto de una empresa concreta: tomó únicamente la idea y diseñó un pequeño experimento propio.
Cuatro métodos de memoria puestos a prueba con Dana, una gestora de proyectos ficticia
La protagonista del experimento es Dana Whitfield, una gestora de proyectos ficticia. Se preparó un historial de conversación de un año con 80 intercambios y se introdujeron en él algunos datos ocultos.
Un año de historial y 30 solicitudes
El historial tiene unas 40.000 fichas. En 30 de los intercambios se menciona un dato concreto, como el restaurante donde suele almorzar, la hora de una reunión, la fecha de lanzamiento de un proyecto o la persona responsable. En 11 casos, ese dato se modifica más adelante; los 39 intercambios restantes son conversaciones informales sobre impresoras, trenes o el tiempo. Se mezclaron deliberadamente conversaciones cotidianas para que los datos importantes no destacaran.
Hay 30 solicitudes. Cada una requiere usar una herramienta para programar una reunión, pedir comida, enviar un mensaje o asignar una tarea; nueve de ellas necesitan dos datos, como la persona responsable y la fecha. La puntuación no tiene en cuenta el texto de la respuesta, sino únicamente si los valores enviados a la herramienta son correctos. También se preparó una pregunta directa para cada dato, con el fin de comprobar si el sistema podía responder con el valor más reciente.
Los cuatro métodos comparados
Se compararon cuatro métodos: «Sin memoria», que no proporciona ningún dato; «Historial completo», que entrega cada vez el historial íntegro, de 40.000 fichas; «Resumen», que lee el historial por etapas y reescribe un resumen de unas 1.000 palabras; y «Búsqueda», que recupera y proporciona los cinco fragmentos del historial más relacionados con cada solicitud.
La diferencia es como entregar cada mañana el diario de todo un año, una chuleta de una página preparada por alguien o solo las páginas pertinentes para cada solicitud.
Los modelos utilizados fueron GPT-4o mini, de OpenAI, y Claude Haiku 4.5, de Anthropic. Se realizaron 1.260 ejecuciones en total. El registro completo de los experimentos está disponible en Weights & Biases, una herramienta de gestión de experimentos.
コメント