La IA está de moda, en particular la IA generadora de texto, también conocida como grandes modelos de lenguaje (piense en modelos similares a ChatGPT). En una reciente encuesta De aproximadamente 1000 organizaciones empresariales, el 67,2% dice que considera la adopción de modelos de lenguajes grandes (LLM) como una máxima prioridad para principios de 2024.
Pero hay barreras que se interponen en el camino. Según la misma encuesta, la falta de personalización y flexibilidad, junto con la incapacidad de preservar el conocimiento y la propiedad intelectual de la empresa, impedían (y impiden que muchas empresas implementen LLM en producción).
Eso hizo que Varun Vummadi y Esha Manideep Dinne pensaran: ¿Cómo sería una solución al desafío de adopción de LLM empresarial? En busca de uno, fundaron GigaMLuna startup que construye una plataforma que permite a las empresas implementar LLM en sus instalaciones, aparentemente reduciendo costos y preservando la privacidad en el proceso.
«La privacidad de los datos y la personalización de los LLM son algunos de los mayores desafíos que enfrentan las empresas cuando adoptan los LLM para resolver problemas», dijo Vummadi a TechCrunch en una entrevista por correo electrónico. «Giga ML aborda ambos desafíos».
Giga ML ofrece su propio conjunto de LLM, la «serie X1», para tareas como generar código y responder preguntas comunes de los clientes (por ejemplo, «¿Cuándo puedo esperar que llegue mi pedido?»). La startup reclama los modelos, construidos sobre Meta Llama 2superan a los LLM populares en ciertos puntos de referencia, particularmente el Banco MT conjunto de prueba para diálogos. Pero es difícil decir cómo se compara cualitativamente el X1; este reportero probó Giga ML demostración en línea pero me encontré con problemas técnicos. (La aplicación se agotó sin importar el mensaje que escribí).
Incluso si los modelos de Giga ML son superiores en algunos aspectos, sin embargo, ¿pueden realmente causar sensación en el mercado? océano de fuente abierta, desconectado LLM?
Al hablar con Vummadi, tuve la sensación de que Giga ML no está tratando tanto de crear los LLM con mejor rendimiento que existen, sino de crear herramientas que permitan a las empresas ajustar los LLM localmente sin tener que depender de recursos de terceros. plataformas.
«La misión de Giga ML es ayudar a las empresas a implementar LLM de manera segura y eficiente en su propia infraestructura local o en una nube privada virtual», dijo Vummadi. «Giga ML simplifica el proceso de capacitación, ajuste y ejecución de LLM al encargarse de ello a través de una API fácil de usar, eliminando cualquier molestia asociada».
Vummadi enfatizó las ventajas de privacidad de ejecutar modelos fuera de línea, ventajas que probablemente sean persuasivas para algunas empresas.
Predibase, la plataforma de desarrollo de IA de código bajo, descubrió que menos de una cuarta parte de las empresas se sienten cómodas utilizando LLM comerciales debido a la preocupación de compartir datos confidenciales o de propiedad exclusiva con los proveedores. Casi el 77% de los que respondieron a la encuesta dijeron que no utilizan o no planean utilizar LLM comerciales más allá de los prototipos en producción, citando cuestiones relacionadas con la privacidad, el costo y la falta de personalización.
«Los gerentes de TI a nivel C-suite encuentran valiosas las ofertas de Giga ML debido a la implementación segura en las instalaciones de LLM, modelos personalizables adaptados a su caso de uso específico y una inferencia rápida, que garantiza el cumplimiento de los datos y la máxima eficiencia». dijo Vummadi.
Giga ML, que hasta la fecha ha recaudado ~$3,74 millones en financiación de capital de riesgo de Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx y varios otros, planea en el corto plazo hacer crecer su equipo de dos personas y aumentar la I+D de productos. Una parte del capital también se destinará a respaldar la base de clientes de Giga ML. Vummadi, que actualmente incluye empresas «empresariales» anónimas en finanzas y atención médica.
