Transfer learning o cómo utilizar modelos preentrenados para nuevas tareas

El transfer learning, también conocido como aprendizaje por transferencia, es un enfoque en el que se utiliza un modelo entrenado previamente para una tarea nueva, pero similar. Este método ahorra tiempo y recursos, además de mejorar el rendimiento de los modelos de aprendizaje automático. Existen diferentes estrategias para ajustar los modelos previamente entrenados a una nueva tarea.

¿Qué es el transfer learning?

El transfer learning o aprendizaje por transferencia es un método del machine learning o aprendizaje automático en el que se optimiza un modelo entrenado para una nueva tarea similar. En lugar de entrenar un nuevo modelo desde cero para una tarea específica, se aprovecha el conocimiento ya adquirido. A través de pequeños ajustes, el modelo previamente entrenado se va adaptando a las nuevas características para que pueda aplicarse a una nueva tarea. El uso de un modelo ya existente ahorra tiempo y recursos, ya que se requieren menores volúmenes de datos para el entrenamiento. Este método es por tanto más eficiente y eficaz.

¿Cómo funciona el transfer learning?

En el transfer learning o aprendizaje por transferencia, se toma un modelo ya entrenado para una tarea específica y se aplica a una nueva tarea que es similar a la anterior. Esto funciona particularmente bien cuando se utiliza con datos no estructurados, como imágenes o vídeos. Por ejemplo, un modelo que ya ha sido entrenado para reconocer coches puede usarse posteriormente para identificar camiones. Muchas características de ambos grupos, como las ruedas, las puertas o la forma básica, pueden reutilizarse.

Selección de un modelo entrenado

Como punto de partida, es necesario disponer de un modelo entrenado. Este modelo se entrena con un conjunto de datos muy extenso y ejemplos etiquetados. El modelo aprende gradualmente a reconocer patrones y relaciones en los datos para cumplir con la tarea prevista. En el ámbito del aprendizaje automático, se habla de capas conectadas entre sí a través de las cuales se pueden realizar cálculos. Cuantas más capas tenga un modelo, más complejos serán los patrones que puede aprovechar.

En el transfer learning, debes seleccionar un modelo que ya haya superado con éxito estos pasos. Es importante echar un buen vistazo a la tarea de origen del modelo existente. Cuanto más se parezca esta tarea a la nueva, más fácil será el posterior ajuste.

Configuración y entrenamiento del modelo

En el segundo paso, debes configurar el modelo previamente entrenado para la nueva tarea. Para ello, existen dos métodos principales entre los que puedes elegir, dependiendo de tus necesidades:

En el primer método, se reemplaza la última capa del modelo de origen entrenado, conocida también como output layer o capa de salida. Esta capa actúa como la unidad de clasificación final que evalúa si un archivo cumple con los parámetros establecidos o no. En el ejemplo anterior, esto significaría que esta capa de salida toma la decisión de si la imagen presentada muestra un coche. En muchos casos de uso, puedes eliminar esta capa y colocar una nueva adaptada a tu objetivo. De este modo, en nuestro último ejemplo, esta nueva capa identificaría, en su lugar, camiones.

De forma alternativa, en el transfer learning, es posible congelar los parámetros existentes y agregar nuevas capas. Estas se ajustan específicamente a la nueva orientación deseada y se integran en el modelo. A continuación, debes entrenar el modelo ajustado con un conjunto de datos mucho más pequeño que contenga los ejemplos correspondientes. El modelo reconoce patrones y relaciones, aprovechando los conocimientos adquiridos durante el largo proceso de entrenamiento original.

Supervisar los avances

El último paso debe realizarse en cualquier caso y consiste en realizar un monitoreo riguroso y, según sea necesario, ajustes en el material de entrenamiento y, posiblemente, en las nuevas capas para poder entrenar a la IA para la nueva tarea. Si se ajustan los parámetros durante la fase de entrenamiento, mejorará la precisión y se asegurará que el modelo cumpla con los requisitos de la nueva tarea.

¿Cuáles son las diferentes estrategias?

Hay varias estrategias para aplicar el transfer learning o aprendizaje por transferencia, dependiendo principalmente del propósito deseado. Estos son algunos enfoques:

• Extracción de características: en la extracción de características, utilizas el modelo previamente entrenado como un factor fijo para características básicas como, por ejemplo, texturas. Las nuevas capas se utilizan para reconocer características específicas. Esta aplicación resulta útil cuando hay una gran similitud entre el origen y el objetivo.
• Aprendizaje por transferencia inductivo: aquí, el dominio de origen y de destino son idénticos, pero, por el contrario, las tareas de origen y destino difieren. Esto permite que las nuevas funciones se entrenen de forma más rápida.
• Aprendizaje por transferencia transductivo: en esta estrategia, el conocimiento adquirido en la tarea de origen se transfiere directamente a ciertas instancias de la nueva tarea para, por ejemplo, mejorar su clasificación. Este enfoque es favorable cuando las tareas de origen y destino no comparten muchas similitudes.
• Aprendizaje por transferencia no supervisado: en este caso, el dominio de origen y el dominio de destino también son similares, pero las tareas respectivas son diferentes. Además, los datos no están etiquetados. El modelo aprende las diferencias y similitudes entre los datos no etiquetados y puede generalizarlos.
• Multitarea: con este enfoque, un modelo lleva a cabo varias tareas simultáneamente que, aunque no son idénticas, están relacionadas entre sí. Esto permite compartir el conocimiento entre las diferentes tareas.
• Predicción: en esta forma de aprendizaje por transferencia, el modelo debe completar ciertos aspectos incompletos de los datos por sí mismo. Por ejemplo, predecir palabras dentro de una oración. Los resultados pueden mejorar mediante pequeños ajustes.
• Zero-Shot y Few-Shot: esta es también una forma de aprendizaje por transferencia en el campo de la IA generativa, en la que el conocimiento de una fuente se transfiere a un objetivo cuando hay o bien pocas coincidencias (Few-Shot) o ninguna (Zero-Shot). Este método se utiliza cuando se dispone de muy pocos datos de entrenamiento.
• Desacoplamiento: en este enfoque, los datos se dividen en diferentes factores. El modelo puede, por ejemplo, analizar y manipular el estilo y el contenido por separado.

Áreas de aplicación de transfer learning

Existen numeras áreas de aplicación posibles para el transfer learning. Este método ahorra considerablemente en costes, tiempo y recursos, lo que conlleva numerosos beneficios. Las áreas más importantes hasta ahora incluyen:

• Reconocimiento de imágenes
• Reconocimiento de voz
• Localización de objetos
• Diagnóstico en el sector sanitario

En el futuro, es muy probable que el transfer learning se utilice en muchos otros campos.