ChatGPTEl fabricante OpenAI ha modificado la letra pequeña de su políticas de uso eliminar texto específico relacionado con el uso de su tecnología de IA o grandes modelos de lenguaje para «militares y guerra».
Antes de que se hiciera la alteración el 10 de enero, el política de uso Prohibió específicamente el uso de modelos OpenAI para el desarrollo de armas, el ejército y la guerra, y contenido que promueva, fomente o represente actos de autolesión.
OpenAI dijo que las políticas actualizadas resumen la lista y hacen que el documento sea más «legible» al tiempo que ofrecen «orientación específica del servicio».
La lista ahora se ha condensado en lo que la compañía denomina Políticas Universales, que no permiten que nadie use sus servicios para dañar a otros y prohíben la reutilización o distribución de cualquier resultado de sus modelos para dañar a otros.
Si bien la alternancia de políticas se lee como una gradual Debilitamiento de la postura contra el trabajo con la defensa. u organizaciones relacionadas con el ejército, varios expertos, incluido el director ejecutivo de OpenAI, Sam Altman, ya han destacado los “riesgos fronterizos” que plantea la IA.
Destacando los riesgos que plantea la IA
En mayo del año pasado, cientos de líderes de la industria tecnológica, académicos y otras figuras públicas firmaron una carta abierta advirtiendo que AI La evolución podría conducir a un evento de extinción, diciendo que controlar la tecnología debería ser una máxima prioridad global.
«Mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear», se lee en la declaración publicada por el periódico con sede en San Francisco. Centro para la seguridad de la IA.
Irónicamente, los firmantes más destacados en la parte superior de la carta incluían a Altman y al CTO de Microsoft, Kevin Scott. Ejecutivos, ingenieros y científicos del laboratorio de investigación de inteligencia artificial de Google, Mente profunda También firmó la carta.
El primera letra En marzo se produjo un debate contra el uso de la IA, en el que más de 1.100 luminarias, líderes y científicos de la tecnología emitieron una advertencia contra los laboratorios que realizaban experimentos a gran escala con IA.
En octubre, OpenAI dijo que era preparando un equipo para prevenir lo que la empresa llama modelos de IA de frontera de iniciar una guerra nuclear y otras amenazas.
“Creemos que los modelos de IA de vanguardia, que superarán las capacidades actualmente presentes en los modelos más avanzados existentes, tienen el potencial de beneficiar a toda la humanidad. Pero también plantean riesgos cada vez más graves”, dijo la empresa en un entrada en el blog.
En 2017, un Un grupo internacional de expertos en IA y robótica firmó una carta abierta a las Naciones Unidas. detener el uso de armas autónomas que amenazan con una “tercera revolución en la guerra”.
Entre estos expertos, de nuevo irónicamente, se encontraba Elon Musk, que ha creado una empresa de inteligencia artificial, denominada X.AIpara competir con OpenAI.
Motivos de preocupación
Podría haber motivos para una mayor preocupación. Algunos investigadores sostienen que los modelos de IA llamados “malos” o “malos” no pueden reducirse ni entrenarse para que sean “buenos” con las técnicas existentes.
A trabajo de investigaciónliderado por Anthropic, que busca comprobar si a un sistema de IA se le puede enseñar un comportamiento o una estrategia engañosa, demostró que dicho comportamiento puede volverse persistente.
«Encontramos que ese comportamiento de puerta trasera puede volverse persistente, de modo que no se elimine mediante técnicas estándar de capacitación en seguridad, incluido el ajuste supervisado, el aprendizaje reforzado y el entrenamiento adversario (provocando un comportamiento inseguro y luego entrenando para eliminarlo)», dijo el informe. escribieron los investigadores.
«Nuestros resultados sugieren que, una vez que un modelo muestra un comportamiento engañoso, las técnicas estándar podrían no eliminar dicho engaño y crear una falsa impresión de seguridad», agregaron.
Según los investigadores, lo que es aún más preocupante es que el uso del entrenamiento adversario para detener ese comportamiento engañoso de los modelos puede enseñarles a reconocer mejor el desencadenante de su puerta trasera, ocultando efectivamente el comportamiento inseguro.
Copyright © 2024 IDG Communications, Inc.