El gigante de las bases de datos Oracle quiere que sepa que probablemente tendrá una mejor experiencia con inteligencia artificial generativa si no implica mover sus datos desde donde se encuentran, lo que muy probablemente podría estar dentro de una base de datos Oracle existente, especialmente si es un usuario empresarial.
El lunes, en un evento de socios en Dubai, Oracle anunció la disponibilidad general de OCI Generative AI Services, un servicio administrado para IA que se ofreció por primera vez en versión beta en septiembre. La compañía también presentó dos nuevas ofertas, aún en versión beta: OCI Gen AI Agents y OCI Data Science AI Quick Actions.
También: Cómo SuperDuperDB ofrece una entrada sencilla a las aplicaciones de IA
La compañía afirma que construir una aplicación empresarial de IA generativa sobre el almacén de datos existente será más efectivo en términos de uso de datos únicos, pero también más económico en comparación con la compra de mucha infraestructura adicional.
El acrónimo «OCI» se refiere a Oracle Cloud Infrastructure de Oracle; es decir, toda la red y los recursos informáticos, y el software correspondiente, como la base de datos autónoma de Oracle, que la empresa utiliza en los centros de datos de todo el mundo para ofrecer servicios en la nube. Eso incluye lo que Oracle llama «superclústers» de chips GPU de Nvidia en los que Oracle ha gastado miles de millones de dólares.
«Básicamente estamos llevando la IA a los datos», dijo Erik Bergenholtz, vicepresidente de estrategia y operaciones de Oracle, en una sesión informativa con ZDNET antes del anuncio.
«Nuestras aplicaciones Fusion, como ERP y HCM, tienen exabytes de datos; estamos llevando la IA allí», afirmó. «Nuestra base de datos, obviamente, tiene petabytes, exabytes de datos; estamos incorporando IA generativa».
Las virtudes de construir sobre la base de datos, el middleware y el conjunto de aplicaciones Fusion de Oracle son prácticas, afirmó Bergenholtz.
Bergenholtz observó que las empresas podrían intentar comprar software adicional para la gestión de datos, como por ejemplo una base de datos vectorial como Pine Cone. «El inconveniente, por supuesto, es que tienes otra pieza de infraestructura que aumenta el costo de la nube, y ahora tienes que mover y potencialmente sincronizar datos a través de tu almacén de datos de origen, ya sean aplicaciones o tu base de datos Oracle; y ahora tienes una pieza adicional de infraestructura.»
El uso de los servicios de OCI, añadió Bergenholtz, «simplemente elimina esa barrera, esa fricción, para nuestros clientes».
También: La IA cambiará el desarrollo de software de manera masiva
«No queremos que los clientes muevan datos, porque lo último que quieren es mover 500 terabytes sólo para obtener la ventaja de la IA generativa», dijo Steve Zivanic, vicepresidente de marketing de servicios autónomos y bases de datos de Oracle, en la misma sesión informativa. con Bergenholz.
El servicio OCI Generative AI, que estará disponible de forma generalizada esta semana, consta de modelos de lenguaje grande (LLM) prediseñados, incluido el modelo de 70 mil millones de parámetros Llama 2 de código abierto de Meta Properties.
Además de Meta, Oracle se ha asociado con una startup respaldada por empresas Adherirse para el servicio GenAI. (Oracle es un inversor). Cohere tiene tres modelos que se incorporarán al servicio de Oracle: Command, para funciones convencionales de lenguaje de texto; Resumir, para resumen del documento; e Embed, para funciones en varios idiomas.
También: La alianza Meta-IBM promueve un enfoque «abierto» para el desarrollo de la IA
Los datos de los clientes utilizados en OCI para entrenar o ajustar los modelos no pueden ser vistos por otros clientes de Oracle, enfatizó Bergenholtz.
Desde que entró en prueba beta, el servicio ha agregado nuevas capacidades, como la moderación de contenido. «Lo más importante es que hacemos esto antes de enviar las indicaciones» a un modelo de lenguaje, «y luego también evaluamos la respuesta que surge del modelo», señaló Bergenholtz, «así que no simplemente esperamos hasta el final, porque entonces ya habrás incurrido en el costo de procesar esa solicitud».
El servicio ahora también se integra con el Marco de desarrollo de LangChain para usar LLM.
El producto OCI Gen AI Agents está destinado a vincular un LLM con otros recursos, como la base de datos de datos de propiedad de un cliente. El primer agente ofrecido es para generación aumentada de recuperación (RAG), un enfoque cada vez más popular en el mundo de la IA generativa para conectar el modelo de lenguaje a una fuente de verdad, como una base de datos.
También: Cómo LangChain convierte a GenAI en un asistente realmente útil
Un LLM «puede no ser tan útil como podría ser a menos que realmente pueda aprovechar los datos que tiene bajo administración en sus diversas aplicaciones o bases de datos de Oracle», dijo Bergenholtz. Inicialmente, el servicio del agente RAG puede aprovechar la oferta OpenSearch de OCI, un servicio administrado basado en la plataforma OpenSearch de código abierto. En un futuro próximo, la oferta de RAG se ampliará al poder conectarse a Oracle Database 23c AI Vector Search, así como a MySQL Heatwave Vector Store.
El servicio de agentes de IA comienza las pruebas beta este mes.
La oferta OCI Data Science Quick Actions surge de la adquisición de la startup DataScience por parte de Oracle en 2018, que aportó a Oracle la experiencia en Jupyter Notebooks y técnicas estadísticas relevantes para el aprendizaje automático.
El objetivo de Quick Actions es un enfoque sin código para implementar y ajustar modelos de lenguaje. Hay varios marcos disponibles para realizar ajustes, por ejemplo, incluida la capacitación distribuida con PyTorch, Hugging Face Accelerate y DeepSpeed de Microsoft. Bergenholtz también enfatizó el uso del almacenamiento de objetos y archivos para facilitar la organización de los «pesos» del modelo, los parámetros que ocupan grandes cantidades de memoria y que dan forma a una red neuronal.
Quick Actions comenzará las pruebas beta el próximo mes.
También: La IA y las aplicaciones híbridas serán el centro de atención en 2024, dice el CIO de Goldman Sachs
Los casos de uso más comunes que Oracle ha visto al trabajar con clientes beta para el servicio OCI Gen AI involucran cosas como proporcionar respuestas automatizadas a preguntas sobre políticas de recursos humanos.
«La pregunta común es cuántos días de vacaciones me quedan», explica Bergenholtz. «Necesita dos datos, la política de la empresa y cuántos días de vacaciones ha utilizado, luego debe calcular la respuesta basándose en esas dos cosas.
«Con RAG, puedes responder esa pregunta muy fácilmente porque el sistema RAG conoce tu identidad» y también conoce la política de la empresa. Tipos similares de solicitudes tempranas incluyen preguntas sobre beneficios de seguro médico, dijo Bergenholtz.
Otra aplicación frecuente en estos primeros tiempos es la atención al cliente. Para el representante de atención al cliente, al utilizar RAG para profundizar en los datos del cliente, el modelo de lenguaje «puede resumir fácilmente el caso por el que llamó, cuál es la situación actual y proporcionar un guión de los próximos pasos a recomendar o seguir con el al cliente poder brindarle una experiencia de usuario mucho más rica y mejor», dijo Bergenholtz.
¿Qué pasa con los clientes que no quieren que este novedoso material GenAI toque sus valiosos datos?
También: Los datos son la pieza que falta en el rompecabezas de la IA. He aquí cómo llenar el vacío
«Hay varias maneras en que vemos que esto sucede», dijo el vicepresidente de marketing Zivanic. Al incluir capacidades como la búsqueda de vectores en la base de datos de Oracle y el almacenamiento de vectores en Heatwave, «les estamos llevando la tecnología directamente», dijo.
Habrá, admitió, «organizaciones [that] Hará varios proyectos paralelos, esencialmente «skunkworks», con Gen AI para sentirse cómodo con la tecnología. «Pero creo que, con el tiempo, a medida que la IA generativa se vuelva más frecuente, el poder de una base de datos convergente donde todo se forja en uno solo». , esencialmente, una construcción de base de datos, que resultará ventajosa en lugar de suscribirse a múltiples bases de datos e intentar obtener su respuesta».
