Si el destornillador fuera inventado hoy por la industria tecnológica, se utilizaría ampliamente para una variedad de tareas, incluido martillar clavos. Desde el debut de ChatGPTha habido un fervor y una reacción crecientes contra grandes modelos de lenguaje (LLM). De hecho, muchas adaptaciones de la tecnología parecen malversadas y sus capacidades están sobrevaloradas, dada su frecuente falta de veracidad. Esto no quiere decir que no haya muchos usos excelentes para un LLM, pero debes responder algunas preguntas clave antes de continuar.
¿Un LLM será mejor o al menos igual a las respuestas humanas?
¿A alguien le gustan esos chatbots de atención al cliente que no responden ninguna pregunta que no esté ya en la página principal del sitio web? Por otro lado, hablar con una persona del servicio de atención al cliente que simplemente lee un guión y no está capacitada para ayudar es igualmente frustrante. Cualquier implementación de un LLM debe probar si es igual o mejor que el chatbot o las respuestas humanas que reemplaza.
¿Cuál es la exposición a la responsabilidad?
En nuestra sociedad litigiosa, cualquier nuevo proceso o tecnología debe evaluarse frente a su potencial de exposición legal. Hay áreas obvias en las que se debe tener precaución, como la medicina, el derecho o las finanzas, pero ¿qué pasa con una respuesta generada por un LLM que dirige a las personas a una política o consejo que es engañoso, inapropiado o algo peor? Las malas políticas empresariales a menudo dan lugar a demandas colectivas. Al aumentar la escala de las interacciones con los clientes, un LLM mal capacitado o restringido podría generar una responsabilidad no intencionada aún mayor.
¿Es un LLM realmente más barato?
Claro, es fácil medir su suscripción y el uso de un LLM general como ChatGPT, pero los sistemas personalizados más específicos pueden tener costos más altos más allá de la potencia informática. ¿Qué pasa con el personal y otra infraestructura para mantener y depurar el sistema? Puede contratar bastantes representantes de servicio al cliente por el precio de un experto en IA. Además, ChatGPT y servicios similares parecen estar subsidiados por inversiones en este momento. Es de suponer que en algún momento querrán obtener ganancias y entonces el costo podría aumentar. ¿Es ese LLM? de hecho ¿Más barato y seguirá siéndolo durante la vida útil de su sistema?
¿Cómo lo mantendrás?
La mayoría de los sistemas LLM empresariales estarán personalizados en conjuntos de datos específicos. Una desventaja de las redes neuronales en las que se basan los LLM es que son notoriamente difíciles de depurar. A medida que avanza la tecnología, los LLM pueden desarrollar la capacidad de revisar, borrar o «desaprender» algo falso que han aprendido. Pero por ahora, desaprender puede resultar bastante difícil. ¿Cuál es su proceso o procedimiento para actualizar periódicamente el LLM y eliminar las malas respuestas?
¿Cuál es su proceso de prueba?
Un beneficio clave de un LLM es que no es necesario anticipar todas las permutaciones posibles de una pregunta para que el modelo proporcione una respuesta creíble. Sin embargo, la palabra «creíble» no significa correcto. Se deben probar al menos las preguntas más comunes y las diversas permutaciones. Si su LLM reemplazará un proceso humano o de máquina existente, las preguntas que la gente hace hoy serían un buen conjunto de datos para comenzar.
Hay un viejo proverbio de dudosa procedencia que se traduce aproximadamente como «más despacio, tengo prisa». No todo será un gran caso de uso para los LLM y existe amplia evidencia de que el entusiasmo está superando las capacidades. Sin embargo, al medir la calidad y la economía, y al idear algunos procedimientos de prueba y mantenimiento decentes, puede hacer que los LLM sean una herramienta valiosa en muchos casos de uso diferentes.
Copyright © 2024 IDG Communications, Inc.
