Los transformadores fueron introducidos en el artículo “Attention is All You Need” por investigadores de Google en 2017 (Vaswani et al., 2017) y han revolucionado el procesamiento del lenguaje natural, llevando a avances significativos en la productividad de las operaciones empresariales. A diferencia de técnicas anteriores, los modelos basados en transformadores (TBMs) utilizan la “atención” como un mecanismo clave para relacionar palabras en una oración y comprender su significado. La idea principal es que cada palabra en una oración “presta atención” a otras palabras para comprender el contexto y el significado. Esto les permite procesar texto más rápidamente y capturar relaciones de largo alcance en el lenguaje. Comprender la arquitectura de los TBMs es fundamental para que las organizaciones puedan explotarlas, crear modelos ad-hoc a sus necesidades, y generar ventajas competitivas en su sector.
Los estudios existentes sobre los modelos basados en transformadores (TBMs) tienden a ser limitados en alcance, enfocándose en campos específicos o siendo altamente técnicos. Para abordar esta brecha, este estudio realizó una revisión exhaustiva de la literatura existente sobre TBMs desde 2020 hasta mediados de julio de 2023. Empleando técnicas de análisis bibliométrico, incluyendo co-citación, análisis de co-palabras y un diagrama estratégico, buscamos obtener perspectivas sobre la evolución y el estado actual de los TBMs. El significativo crecimiento observado en los últimos años, con un aumento del 48% en las publicaciones en 2022, destaca la creciente importancia de los TBMs en el campo.
Las brechas de investigación identificadas abarcan la evolución de nuevos TBMs de código cerrado y abierto, la limitada exploración en industrias como la educación y disciplinas como el marketing, la falta de una exploración profunda sobre la adopción de TBMs en el sector salud, la escasez de investigaciones sobre las consideraciones éticas de los TBMs y el potencial de investigación del rendimiento de los TBMs en diversas aplicaciones, como el procesamiento de imágenes. El estudio ofrece un panorama actualizado de los TBMs y propone un marco teórico para la adopción de TBMs en las organizaciones.
Este estudio ofrece valiosas perspectivas a las empresas y facilita una mejor comprensión de los modelos basados en transformadores (TBMs), que se encuentran entre los modelos de inteligencia artificial generativa más ampliamente utilizados, y han ganado una atención considerable debido a su capacidad para procesar y generar datos complejos. El estudio fomenta la investigación futura para explorar las capacidades infrautilizadas de los TBMs y considerar las dimensiones éticas en su implementación, particularmente en lo que respecta a la privacidad de los datos y los sistemas sociotécnicos en los que operan estos modelos.
Este artículo deriva del estudio “The research landscape on generative artificial intelligence: a bibliometric analysis of transformer-based models,” que tiene como autor a Giulio F. Marchena Sekli, profesor e investigador de CENTRUM PUCP Business School.
Referencias:
Marchena Sekli, G. (2024). The research landscape on generative artificial intelligence: a bibliometric analysis of transformer-based models. Kybernetes, Vol. ahead-of-print No. ahead-of-print. https://doi.org/10.1108/K-03-2024-0554
