Casa del lago de datos El proveedor Databricks ha lanzado una familia de código abierto. modelos de lenguaje grandes (LLM)DBRX, que según dice supera a OpenAI GPT3.5 y modelos de código abierto como Mixtral, Claude 3, Llama 2y Grok-1 en pruebas estándar de evaluación comparativa.
DBRX se puede descargar gratis desde GitHub y abrazando la cara para investigación o uso comercial.
Esto brinda a las empresas la oportunidad no solo de reducir el costo de desarrollar casos de uso de IA generativa con sus propios datos empresariales, sin verse frenadas por las limitaciones impuestas por los proveedores de modelos cerrados, como OpenAI, sobre el uso comercial.
La estrategia para iniciar DBRX se remonta a abril del año pasado, cuando la compañía lanzó su primer LLM de código abierto, Carro 2.0para mostrar que las empresas tenían alternativas a modelos como GPT 3.5 y GPT-4.
DBRX es compatible con AWS, Google Cloud y Microsoft Azure a través de Azure Databricks, por lo que las empresas pueden descargar el modelo y ejecutarlo. unidades de procesamiento gráfico (GPU) donde quieran.
Alternativamente, las empresas también pueden optar por suscribirse a DBRX y herramientas adicionales, como recuperación de generación aumentada (RAG)para personalizar el LLM a través de la oferta Mosaic AI Model Serving de Databricks.
Mosaic AI Model Serving se conecta a DBRX a través de lo que la empresa llama Foundation Model API, que permite a las empresas acceder y consultar LLM desde un punto final de servicio.
Las API de Foundation Model se proporcionan en dos modos de precios: pago por token y rendimiento aprovisionado.
Mientras que el pago por token se factura en función de las solicitudes simultáneas, el rendimiento se factura por instancia de GPU por hora. Ambas tarifas, incluido el costo de la instancia en la nube, comienzan en $0,070 por unidad de Databricks.
La empresa también proporciona un banda de precios para diferentes configuraciones de GPU.
Como parte del lanzamiento de LLM, Databricks ha lanzado dos modelos bajo una licencia abierta con ciertas restricciones: DBRX Base, un modelo base previamente entrenado y Instrucción DBRXuna versión mejorada para interacciones de pocos turnos.
También se espera que DBRX esté disponible a través de Catálogo de API de Nvidia y apoyado en el NIM de Nvidia Microservicio de inferencia.
Si bien DBRX supera a la mayoría de los modelos disponibles en la actualidad, según las pruebas de Databricks, GPT-4 de OpenAI lo deja atrás en la mayoría de los puntos de referencia.
Copyright © 2024 IDG Communications, Inc.