Es una verdad universal de la naturaleza humana que los desarrolladores que crean el código no deberían ser quienes lo prueben. En primer lugar, la mayoría de ellos detesta esa tarea. En segundo lugar, como cualquier buen protocolo de auditoría, quienes hacen el trabajo no deberían ser quienes lo verifiquen.
No sorprende, entonces, que las pruebas de código en todas sus formas (usabilidad, pruebas de lenguaje o tareas específicas, pruebas de extremo a extremo) hayan sido el foco de un creciente grupo de nuevas empresas de IA generativa. Cada semana, TechCrunch cubre otro como Antítesis (recaudó 47 millones de dólares), CodiumAI (recaudó 11 millones de dólares) y QA Wolf (recaudó 20 millones de dólares). Y constantemente surgen nuevos, como el nuevo graduado de Y Combinator. Momentico.
Otra es una startup de un año de antigüedad. Nueva IA, un graduado de la aceleradora de Unusual Academy que recaudó una ronda inicial de $1 millón. Está intentando superar a sus competidores con sus herramientas de prueba de extremo a extremo rompiendo muchas de las reglas de Silicon Valley sobre cómo deben operar las nuevas empresas, le dice a TechCrunch el fundador y director ejecutivo Zach Smith.
Mientras que el enfoque estándar de Y Combinator es comenzar poco a poco, Nova AI apunta a empresas medianas y grandes con bases de código complejas y una necesidad urgente ahora. Smith se negó a nombrar a los clientes que utilizan o prueban su producto, excepto para describirlos como en su mayoría empresas emergentes respaldadas por empresas de última etapa (Serie C o posteriores) en comercio electrónico, tecnología financiera o productos de consumo, y “experiencias de usuario intensas”. El tiempo de inactividad para estas funciones es costoso”.
La tecnología de Nova AI examina el código de sus clientes para crear pruebas automáticamente utilizando GenAI. Está particularmente orientado a entornos de integración continua y entrega/implementación continua (CI/CD) donde los ingenieros envían constantemente fragmentos a su código de producción.
La idea de Nova AI surgió de las experiencias que tuvieron Smith y su cofundador Jeffrey Shih cuando eran ingenieros que trabajaban para grandes empresas de tecnología. Smith es un ex empleado de Google que trabajó en equipos relacionados con la nube que ayudaron a los clientes a utilizar mucha tecnología de automatización. Shih trabajó anteriormente en Meta (antes también en Unity y Microsoft) con una rara especialidad de IA que involucra datos sintéticos. Desde entonces, agregaron un tercer cofundador, científico de datos de IA. Enrique Li.
Otra regla que Nova AI no sigue: mientras que un montón de nuevas empresas de IA se están construyendo sobre el GPT líder en la industria de OpenAI, Nova AI está utilizando Chat GPT-4 de OpenAI lo menos posible. No se envían datos de clientes a OpenAI.
Si bien OpenAI promete que los datos de aquellos en un plan de negocios pagado no se utiliza para entrenar sus modelos, las empresas todavía no confían en OpenAI, nos dice Smith. «Cuando hablamos con grandes empresas, dicen: ‘No queremos que nuestros datos entren en OpenAI’, dijo Smith.
Los equipos de ingeniería de las grandes empresas no son los únicos que se sienten así. OpenAI se está defendiendo de una serie de demandas de aquellos que no quieren que se utilice su trabajo para una formación modelo, o creen que su trabajo acabó, sin autorización y sin remuneración, en sus resultados.
En cambio, Nova AI depende en gran medida de modelos de código abierto como Llama desarrollado por Meta y codificador estrella (de la comunidad BigCoder, que fue desarrollada por ServiceNow y Hugging Face), además de construir sus propios modelos. Todavía no utilizan Gemma de Google con los clientes, pero lo han probado y «obtuvieron buenos resultados», afirma Smith.
Por ejemplo, explica que OpenAI ofrece modelos para incrustaciones de vectores. Las incrustaciones de vectores traducen fragmentos de texto en números para que el LLM pueda realizar diversas operaciones, como agruparlos con otros fragmentos de texto similar. Nova AI no utiliza las incrustaciones de OpenAI y, en su lugar, utiliza código abierto para ello en el código fuente del cliente. Utiliza OpenAI herramientas solo para ayudarlo a generar algo de código y realizar algunas tareas de etiquetado, y es haciendo todo lo posible para no enviar ningún dato del cliente a OpenAI.
«En este caso, en lugar de utilizar los modelos de incrustación de OpenAI, implementamos nuestros propios modelos de incrustación de código abierto para que cuando necesitemos ejecutar cada archivo, no simplemente lo enviemos a OpenAI», explicó Smith.
Si bien no enviar datos de clientes a OpenAI apacigua a las empresas nerviosas, los modelos de IA de código abierto también son más baratos y más que suficientes para realizar tareas específicas específicas, descubrió Smith. En este caso, funcionan bien para exámenes escritos.
«La industria abierta de LLM realmente está demostrando que pueden vencer a GPT 4 y a estos grandes proveedores de dominios, cuando se escoge mucho», dijo. “No tenemos que proporcionar un modelo enorme que pueda decirte lo que tu abuela quiere para su cumpleaños. ¿Bien? Necesitamos escribir una prueba. Y eso es. Por eso nuestros modelos están ajustados específicamente para eso”.
Los modelos de código abierto también están progresando rápidamente. Por ejemplo, Meta introdujo recientemente una nueva versión de Llama que está ganando elogios en los círculos tecnológicos y eso puede convencer a más empresas emergentes de IA para que busquen alternativas a OpenAI.
