A medida que las empresas buscan desarrollar aplicaciones y agentes de IA, se hace evidente la importancia de utilizar diversos modelos de lenguaje y bases de datos para obtener resultados óptimos.
La transición de una aplicación de Llama 3 a Mistral puede requerir una destreza tecnológica sofisticada. La clave radica en la capa de orquestación, un intermediario crucial que conecta modelos fundamentales con aplicaciones, gestionando las llamadas a las API para ejecutar tareas de manera efectiva.
Esta capa de orquestación se compone principalmente de soluciones de software como LangChain y LlamaIndex, que facilitan la integración de bases de datos. Sin embargo, surge una pregunta crucial: ¿es esta capa puramente basada en software, o el hardware desempeña un papel importante más allá de solo alimentar los modelos de IA?
La respuesta es clara: el hardware es esencial para respaldar frameworks como LangChain y las bases de datos que sustentan las aplicaciones de IA. Las empresas necesitan pilas de hardware robustas capaces de gestionar flujos de datos de alto volumen, considerando también dispositivos que puedan realizar tareas significativas en centros de datos de manera local.
"Si bien la capa intermedia de IA es principalmente un problema de software, los proveedores de hardware pueden influir significativamente en su rendimiento y eficiencia", afirma Scott Gnau, jefe de plataformas de datos en InterSystems.
Expertos en infraestructura de IA subrayan que, aunque el software es fundamental para la orquestación de IA, su eficacia depende de la capacidad de los servidores y GPUs para manejar grandes movimientos de datos. Por lo tanto, para que la capa de orquestación funcione de manera óptima, el hardware subyacente debe ser inteligente y eficiente, enfocado en conexiones de alta capacidad y baja latencia para gestionar cargas de trabajo pesadas.
“Esta capa de orquestación requiere chips rápidos”, explica Matt Candy, socio gerente de IA generativa en IBM Consulting. “Imagino un futuro donde el silicio, los chips y los servidores puedan optimizarse según el tipo y tamaño del modelo mientras la capa de orquestación cambia dinámicamente entre tareas”.
Las GPUs actuales pueden satisfacer efectivamente estas necesidades.
John Roese, CTO Global y Director de IA en Dell, señala: “Es un problema de hardware y software. Las personas a menudo olvidan que la IA se manifiesta como software, que opera en hardware. El software de IA es el más exigente que hemos creado, lo que requiere una comprensión de las métricas de rendimiento y los requisitos computacionales”.
Si bien la capa intermedia de IA exige hardware rápido y potente, no es necesario contar con equipos especializados más allá de las GPUs y chips existentes.
“Sin duda, el hardware es un habilitador crucial, pero dudo que exista hardware especializado que impulse grandes avances más allá de las GPUs para mejorar el rendimiento del modelo”, apunta Gnau. “La optimización provendrá del software y la arquitectura, minimizando el movimiento de datos”.
La aparición de agentes de IA ha aumentado la necesidad de fortalecer esta capa intermedia. A medida que los agentes de IA se comunican entre sí e inician múltiples llamadas a las API, una capa de orquestación efectiva es vital para gestionar este tráfico con servidores rápidos.
“Esta capa asegura un acceso API fluido a todo tipo de modelos y tecnologías de IA, mejorando la experiencia del usuario en general”, dice Candy. “La llamo un controlador de IA dentro de la pila de middleware”.
Los agentes de IA son un tema candente en la industria y seguramente darán forma al desarrollo de la infraestructura de IA empresarial en los próximos años.
Roese añade otra consideración para las empresas: la IA en el dispositivo. Las compañías deben planificar escenarios en los que los agentes de IA necesiten operar localmente, especialmente si se pierde la conectividad.
“La pregunta crítica es dónde ocurren las operaciones”, sugiere Roese. “Aquí es donde entran en juego conceptos como el PC de IA. Cuando un grupo de agentes colabora en tu nombre, ¿es necesario que todos estén centralizados?”
Él menciona la exploración de Dell sobre agentes “concierges” en el dispositivo que mantienen las operaciones funcionando incluso durante cortes de internet.
La IA generativa ha facilitado la explosión en las pilas tecnológicas, a medida que emergen nuevos proveedores de servicios, ofreciendo espacio en GPUs, bases de datos y servicios de AIOps. Sin embargo, esta expansión puede no ser permanente, advierte el CEO de Uniphore, Umesh Sachdev.
“Si bien la pila tecnológica ha explotado, creo que seremos testigos de una fase de normalización”, predice Sachdev. “En última instancia, las organizaciones consolidarán recursos internamente y la demanda de GPUs se estabilizará. La proliferación de capas y proveedores es típica de las nuevas tecnologías, y veremos tendencias similares con la IA”.
Para las empresas, la mejor práctica es considerar todo el ecosistema de IA, desde hardware hasta software, para garantizar flujos de trabajo efectivos en IA.
Clasificación
