El rápido ritmo de la innovación y la proliferación de nuevos modelos han generado preocupaciones sobre el bloqueo tecnológico. Se produce el bloqueo cuando las empresas se vuelven demasiado dependientes de un modelo específico con un andamiaje hecho a medida que limita su capacidad para adaptarse a las innovaciones. Tras su lanzamiento, el GPT-4 tenía el mismo coste que el GPT-3 a pesar de ser un modelo superior con un rendimiento mucho mayor. Desde el lanzamiento de GPT-4 en marzo de 2023, Precios de OpenAI han caído otras seis veces para los datos de entrada y cuatro veces para los datos de salida con GPT-4o, publicado el 13 de mayo de 2024. Por supuesto, un análisis de este tipo supone que la generación se vende al costo o a una ganancia fija, lo que probablemente no sea cierto. , y es probable que importantes inyecciones de capital y márgenes negativos para capturar participación de mercado hayan subsidiado parte de esto. Sin embargo, dudamos que estas palancas expliquen todas las mejoras y reducciones de precios. Incluso Gemini 1.5 Flash, lanzado el 24 de mayo de 2024, ofrece un rendimiento cercano al GPT-4. costear aproximadamente 85 veces menos para datos de entrada y 57 veces menos para datos de salida que el GPT-4 original. Aunque puede que no sea posible eliminar la dependencia de la tecnología, las empresas pueden reducir su control sobre la adopción de tecnología mediante el uso de modelos comerciales en el corto plazo.
Evitar riesgos de bloqueo
En algunos aspectos, la amarga lección es parte de esta discusión más considerable sobre los riesgos del bloqueo. Esperamos que la escala continúe, al menos durante un par de interacciones más. A menos que tenga un caso de uso particular con potencial comercial obvio, u opere dentro de una industria de alto riesgo y altamente regulada, adoptar la tecnología antes de que se determine y agote todo el potencial de escala puede ser apresurado.
En última instancia, entrenar un modelo de lenguaje o adoptar un modelo de código abierto es como cambiar una correa por una bola y una cadena. De cualquier manera, no te irás sin dejar algo de dinero en el juego. Es posible que necesites entrenar o ajustar un modelo en un dominio limitado con lenguaje especializado y conocimiento de cola. Sin embargo, entrenar modelos de lenguaje implica mucho tiempo, recursos computacionales e inversión financiera. Esto aumenta el riesgo de cualquier estrategia. Entrenar un modelo de lenguaje puede costar entre cientos de miles y millones de dólares, según el tamaño del modelo y la cantidad de datos de entrenamiento. La carga económica se ve exacerbada por las leyes de escala no lineal del entrenamiento de modelos, en las que las ganancias en el rendimiento pueden requerir recursos informáticos exponencialmente mayores, lo que resalta la incertidumbre y el riesgo involucrados en tales esfuerzos. La estrategia de Bloomberg de incluir un margen de error del 30 por ciento de su presupuesto informático subraya la naturaleza impredecible de la formación.
