Incluso con todos los avances en inteligencia artificial, los modelos de lenguaje aún enfrentan dificultades cuando se les presentan tareas que requieren un razonamiento complejo. Este es el caso, por ejemplo, de modelos que resumen bien los informes financieros, pero fallan al intentar predecir tendencias del mercado o identificar fraudes.
Pensando en esto, investigadores del MIT han desarrollado un nuevo enfoque que promete hacer que estos sistemas sean más flexibles y efectivos en problemas difíciles.
La técnica, llamada «test-time training» (o entrenamiento en tiempo de uso), permite que ciertos ajustes temporales se realicen dentro del modelo mientras está en funcionamiento. Con esto, la precisión puede aumentar hasta seis veces en tareas inéditas.
En lugar de simplemente proporcionar ejemplos para que el modelo aprenda, como ocurre en el llamado aprendizaje por contexto, el método del MIT actualiza algunos de los parámetros internos de la IA, basándose en datos del nuevo desafío.
Los científicos desarrollaron una estructura eficiente para aplicar este tipo de entrenamiento, sin requerir muchos cambios en el modelo original. También demostraron que pequeños trucos, como generar nuevas variaciones de los ejemplos proporcionados, ayudan a crear un conjunto de datos más robusto para que el modelo entrene en tiempo real.
Esta combinación de estrategias llevó a ganancias significativas de rendimiento, principalmente en tareas con patrones estructurados o datos desconocidos.
Aunque el proceso lleva más tiempo, pudiendo tardar hasta diez minutos para una sola tarea, se muestra prometedor para situaciones en las que se necesita un mayor nivel de precisión.
El estudio, que será presentado en la International Conference on Machine Learning, apunta a un futuro en el que los modelos de lenguaje podrían decidir por sí mismos cuándo aplicar este tipo de adaptación.
La investigación fue apoyada por el MIT-IBM Watson AI Lab y la National Science Foundation.
