Las actualizaciones recientes de Oracle a su Servicio de IA generativa de OCIque compite con servicios similares de rivales AWS, microsofty Google, lo hace más acorde con las necesidades futuras de las empresas, dicen los analistas. Pero Oracle puede estar muy por detrás de sus rivales en términos de modelo general de IA generativa y ofertas de servicios.
“Oracle puede ofrecer a las empresas un enfoque más ágil para reducir los gastos y el compromiso de recursos o tiempo para la capacitación previa, el ajuste y la capacitación continua. grandes modelos de lenguaje (LLM) en el conocimiento o los datos de una empresa, lo que ha demostrado ser un obstáculo en muchos de los entornos empresariales actuales, con la excepción de algunos centros de llamadas y aplicaciones de soporte de experiencia del cliente”, dijo Ron Westfall, director de investigación de The Futurum Group.
La diferenciación de Oracle, según Westfall, radica en su capacidad para impulsar IA generativa innovación en toda una empresa porque se basa en una amplia gama de capacidades de cartera integradas en toda su Fusión y NetSuite aplicaciones, AI servicios e infraestructura, y aprendizaje automático (ML) para plataformas de datos, como Tienda de vectores MySQL HeatWave y Búsqueda de vectores de IA en la base de datos Oracle.
Si bien AWS y Google parecen ser incapaces de contrarrestar la diversa gama de aplicaciones empresariales de Oracle directamente en su cartera, rivales como IBM van detrás de Oracle en términos de ofrecer una base de datos en la nube a nivel mundial, explicó Westfall.
Reducir el costo y la complejidad es clave
Westfall cree que Oracle ofrece fuertes diferenciadores de precio y rendimiento en categorías clave de bases de datos en la nube que pueden facilitar la adopción y el escalamiento de la IA generativa en dichos entornos.
Ampliando la premisa de Westfall, Bradley Shimmin, analista jefe de la firma de investigación Omdia, dijo que Oracle está tratando de integrar elementos fundamentales de la IA generativa en sus ofertas básicas, especialmente bases de datos, para optimizar los recursos informáticos y reducir los costos.
A raíz de la innovación vertiginosa en torno a la IA generativa, los proveedores de servicios de tecnología como Oracle entienden que optimizar el uso del hardware es importante al implementar un modelo de IA con miles de millones de parámetros a escala con un grado tolerable de latencia, según Shimmin.
“Estamos experimentando el mismo tipo de llamada de atención en las áreas adyacentes de datos y análisis, particularmente a medida que las bases de datos y las herramientas de procesamiento de datos comienzan a desempeñar un papel cada vez más importante en el apoyo a las ofertas generativas basadas en IA, como es el caso de casos de uso como generación de recuperación aumentada”, dijo Shimmin.
Si bien una cosa es construir un canal básico de recuperación de generación aumentada (RAG) capaz de indexar algunos archivos PDF para admitir un LLM de un solo usuario, es un desafío completamente nuevo implementar RAG para petabytes de datos corporativos en continua evolución y entregar información de esos datos a una audiencia global en menos de un milisegundo, explicó el analista.
“Entonces, no sorprende ver a tantos proveedores de bases de datos, como MongoDBadoptando capacidades de aprendizaje automático en la base de datos y, más recientemente, construyendo, almacenando y recuperando incrustación de vectores dentro de la misma base de datos donde residen los datos que se están vectorizando. Se trata de minimizar la complejidad y maximizar el gasto”, afirmó Shimmin.
El principio subyacente es reducir el movimiento de datos entre dos bases de datos, entre bases de datos y medios de almacenamiento, y entre medios de almacenamiento y chips de inferencia de modelos.
Además, Shimmin dijo que, en muchos casos, las empresas tendrán que mantener dos bases de datos separadas, una para los vectores y otra para los datos de origen, lo que será costoso ya que tendrán que pagar un precio por la gestión de la integración de datos y la latencia entre las dos. .
«Las empresas como Oracle, que han buscado optimizar su infraestructura en la nube desde el procesamiento de bases de datos hasta las redes de chips y la recuperación de datos, parecen estar bien posicionadas para brindar un valor diferenciado a sus clientes al reducir la complejidad y al mismo tiempo elevar el rendimiento», explicó el analista.
‘Muy por detrás’ de sus rivales en modelos y servicios
Si bien la estrategia de Oracle puede atraer a los clientes empresariales, Andy Thurai, analista principal de Constellation Research, cree que Oracle está «muy por detrás» de sus rivales en comparación con las ofertas generales de IA generativa.
«La opción de Oracle de proporcionar un servicio alojado que se puede utilizar según sus necesidades compite con una oferta mucho más potente de AWS, que tiene más opciones y funciones en comparación con la oferta de OCI», afirmó Thurai. Thurai también señaló que Oracle tiene escasez de LLM y su uso es limitado en comparación con sus rivales.
Sin embargo, Thurai sostiene que la elección de Oracle de utilizar el servicio de IA generativa en Oracle Cloud y en las instalaciones a través de la región dedicada de OCI es una propuesta algo única que podría ser interesante para algunos grandes clientes empresariales, especialmente los de industrias reguladas.
«La opción de integrarse con las aplicaciones ERP, HCM, SCM y CX de Oracle que se ejecutan en OCI podría hacer esto más atractivo, si se tiene el precio adecuado, para su base de usuarios», dijo el analista, añadiendo que no hacerlo ayudaría a AWS a tomar una decisión. posición más favorable con los clientes empresariales.
Novedades del servicio de IA generativa de OCI
Oracle ha estado implementando su estrategia de IA generativa de tres niveles en múltiples ofertas de productos durante la mayor parte del año. La compañía lanzó el servicio OCI Generative AI en versión beta en septiembre. Hoy Oracle ha presentado nuevos modelos de Cohere y Metanuevos agentes de IA, un nuevo código bajo marco para la gestión de LLM de código abierto y puso el servicio a disposición general.
Los nuevos modelos incluyen modelos como Meta. Llama 2 70B, un modelo de generación de texto optimizado para casos de uso de chat y las últimas versiones de los modelos Cohere, como Command, Summarize e Embed. Estos modelos estarán disponibles en un servicio gestionado que se podrá consumir a través de API llamadas, dijo Oracle en un comunicado, y agregó que estos modelos también se pueden ajustar a través del servicio actualizado.
Un agente de IA para generación aumentada de recuperación
Además de los nuevos modelos, Oracle ha agregado nuevos agentes de IA al servicio para ayudar a las empresas a aprovechar al máximo sus datos empresariales mientras utilizan grandes modelos de lenguaje y crean aplicaciones generativas basadas en IA.
El primero de los agentes de IA introducidos en la versión beta es el agente RAG. Este agente, que funciona de manera similar a LangChaincombina el poder de los LLM y la búsqueda empresarial basada en OCI OpenSearch para proporcionar resultados contextualizados que se mejoran con datos empresariales, dijo Vinod Mamtani, vicepresidente de Servicios Generativos de IA de OCI.
Cuando un usuario empresarial ingresa una consulta en lenguaje natural en el agente RAG a través de una aplicación comercial, la consulta se pasa a OCI OpenSearch, que es una forma de búsqueda vectorial o semántica. OCI OpenSearch, a su vez, lee y recopila información relevante del repositorio de datos de una empresa. Luego, los resultados de la búsqueda son clasificados por un ReRanker LLM, que pasa la clasificación a un LLM de generación de texto, que responde a la consulta en lenguaje natural.
El LLM de generación de texto tiene controles para garantizar que la respuesta devuelta esté fundamentada o, en otras palabras, sea adecuada para el consumo por parte del usuario. Si la consulta devuelta no cumple con los requisitos de conexión a tierra, el bucle se ejecuta nuevamente, dijo la compañía, y agregó que esto elimina la necesidad de especialistas como desarrolladores y científicos de datos.
«La información recuperada es actual, incluso con almacenes de datos dinámicos, y los resultados se proporcionan con referencias a los datos de origen originales», explicó Mamtani.
Las próximas actualizaciones del agente RAG, que se espera que se publiquen en la primera mitad de 2024, agregarán soporte para una gama más amplia de herramientas de búsqueda y agregación de datos y también brindarán acceso a Base de datos Oracle 23c con búsqueda de vectores AI y Ola de calor MySQL con tienda de vectores.
Otras capacidades, que también se lanzarán aproximadamente al mismo tiempo, incluyen la capacidad de crear un agente de IA desde la consola OCI. Un usuario podrá crear un agente especificando la tarea que necesita realizar y adjuntándola a una fuente de datos, dijo Mamtani, y agregó que estos agentes utilizarán Llama 2 o Cohere LLM de forma predeterminada.
Agentes de IA basados en el marco ReAct
Estos agentes de IA, según Oracle, se están creando con la ayuda de Reaccionar papel publicado por investigadores de la Universidad de Princeton y Google. Los agentes utilizan el marco ReAct para razonar, actuar y planificar basándose en una serie de pensamientos, acciones y observaciones.
Mamtani dijo que estas capacidades permitirán a los agentes ir más allá de las tareas de recuperación de información y llamar a las API en nombre del usuario, así como automatizar otras tareas. Oracle también planea agregar agentes de múltiples turnos al servicio a los que se les puede pedir que retengan la memoria de interacciones pasadas para enriquecer aún más el contexto del modelo y sus respuestas.
La mayoría de estos agentes y sus acciones, según la empresa, se pueden agregar a su conjunto de aplicaciones SaaS, incluidas Oracle Fusion Cloud Applications Suite, Oracle NetSuite y aplicaciones industriales como Oracle Cerner.
Además, en un esfuerzo por ayudar a las empresas a utilizar y gestionar LLM con bibliotecas de código abierto, Oracle está agregando una nueva capacidad a su oferta OCI Data Science, denominada función AI Quick Actions. Esta función, que estará en versión beta el próximo mes, permite el acceso sin código a una variedad de LLM de código abierto.
Copyright © 2024 IDG Communications, Inc.