Red Hat ha actualizado Red Hat OpenShift IAsu plataforma de aprendizaje automático e inteligencia artificial basada en la nube, con un registro de modelos con capacidades de seguimiento y control de versiones de modelos, herramientas de detección de desviación de datos y detección de sesgos, y capacidades de ajuste fino LoRA (adaptación de rango bajo). También se ofrece una seguridad más sólida, afirmó Red Hat.
La versión 2.15 de Red Hat OpenShift AI estará disponible de forma general a mediados de noviembre. Las características destacadas en el lanzamiento incluyen:
- Un registro de modelos, actualmente en estado de vista previa de tecnología, que proporciona una forma estructurada de compartir, versionar, implementar y realizar un seguimiento de modelos, metadatos y artefactos de modelo.
- Detección de deriva de datos, para monitorear cambios en las distribuciones de datos de entrada para modelos ML implementados. Esta capacidad permite a los científicos de datos detectar cuándo los datos en vivo utilizados para la interferencia del modelo se desvían significativamente de los datos con los que se entrenó el modelo. La detección de deriva ayuda a verificar la confiabilidad del modelo.
- Herramientas de detección de sesgos para ayudar a los científicos de datos y a los ingenieros de inteligencia artificial a monitorear si los modelos son justos e imparciales. Estas herramientas predictivas, de la comunidad de código abierto TrustyAI, también monitorean la equidad de los modelos durante las implementaciones en el mundo real.
- Ajuste con LoRA, para permitir un ajuste más eficiente de los LLM (grandes modelos de lenguaje) como Llama 3. De este modo, las organizaciones pueden escalar las cargas de trabajo de IA y al mismo tiempo reducir los costos y el consumo de recursos.
- Soporte para NIM de Nvidiaun conjunto de interfaz microservicios para acelerar la entrega de IA generativa aplicaciones.
- Compatibilidad con GPU AMD y acceso a una imagen del banco de trabajo AMD ROCm para usar GPU AMD para el desarrollo de modelos.
Red Hat OpenShift AI también agrega capacidades para servir modelos de IA generativos, incluido el tiempo de ejecución de servicio vLLM para KServe, un KubernetesPlataforma de inferencia de modelos basada en. También se agregó soporte para KServe Modelcars, que agrega repositorios Open Container Initiative (OCI) como una opción para almacenar y acceder a versiones de modelos. Además, la selección de rutas públicas/privadas para puntos finales en KServe permite a las organizaciones mejorar la postura de seguridad de un modelo dirigiéndolo específicamente a puntos finales internos cuando sea necesario.
