Más de 150 investigadores, especialistas en ética y otros destacados en inteligencia artificial (IA) han firmado un carta abierta pidiendo a las empresas de IA generativa (genAI) que se sometan a evaluaciones independientes de sus sistemas, cuya falta ha generado preocupaciones sobre las protecciones básicas.
La carta, redactada por investigadores del MIT, Princeton y la Universidad de Stanford, pedía protecciones legales y técnicas para investigación de buena fe sobre modelos genAIlo que, según dijeron, está obstaculizando las medidas de seguridad que podrían ayudar a proteger al público.
La carta, y un estudio detrásfue creado con la ayuda de casi dos docenas de profesores e investigadores que pidieron un «puerto seguro» legal para la evaluación independiente de los productos genAI.
La carta fue enviada a empresas como OpenAI, Anthropic, Google, Meta y Midjourney, y les pide que permitan a los investigadores investigar sus productos para garantizar que los consumidores estén protegidos contra prejuicios, supuestas infracciones de derechos de autor e imágenes íntimas no consensuadas.
“La evaluación independiente de los modelos de IA que ya están implementados se considera ampliamente esencial para garantizar la seguridad y la confianza”, dos de los investigadores responsables de la carta. escribió en una publicación de blog. “La investigación independiente de equipos rojos sobre modelos de IA ha descubierto vulnerabilidades relacionadas con lenguajes de bajos recursos, eludiendo medidas de seguridad y una amplia gama de jailbreak.
«Estas evaluaciones investigan un amplio conjunto de fallas del modelo, a menudo imprevistas, relacionadas con el mal uso, el sesgo, los derechos de autor y otras cuestiones», dijeron.
En abril pasado, un quién es quién de los tecnólogos pidió que los laboratorios de IA deja de entrenar los sistemas más potentes durante al menos seis meses, citando «profundos riesgos para la sociedad y la humanidad».
Eso carta abierta ahora cuenta con más de 3.100 firmantes, incluido el cofundador de Apple, Steve Wozniak; Los líderes tecnológicos criticaron el recientemente anunciado OpenAI Lab con sede en San Francisco Algoritmo GPT-4 en particular, dijo que la compañía debería detener el desarrollo adicional hasta que se implementaran estándares de supervisión.
La última carta decía AI. compañías, investigadores académicosy sociedad civil «Estoy de acuerdo en que los sistemas generativos de IA plantean riesgos notables y que la evaluación independiente de estos riesgos es una forma esencial de rendición de cuentas».
Entre los firmantes se incluyen profesores de escuelas de la Ivy League y otras universidades destacadas, incluido el MIT, así como ejecutivos de empresas como Hugging Face y Mozilla. La lista también incluye investigadores y especialistas en ética como Dhanaraj Thakur, director de investigación del Centro para la Democracia y la Tecnología, y Subhabrata Majumdar, presidente de AI Risk and Vulnerability Alliance.
Si bien la carta reconoce e incluso elogia el hecho de que algunos fabricantes de genAI tienen programas especiales para brindar a los investigadores acceso a sus sistemas, también los denuncia por ser subjetivos sobre quién puede o no ver su tecnología.
En particular, los investigadores señalaron a las empresas de inteligencia artificial Cohere y OpenAI como excepciones a la regla, «aunque persiste cierta ambigüedad en cuanto al alcance de las actividades protegidas».
Cohere permite Las “pruebas de estrés intencionales de la API y los ataques adversarios” proporcionaron una divulgación adecuada de la vulnerabilidad (sin promesas legales explícitas). Y OpenAI amplió su puerto seguro para incluir “investigación de vulnerabilidad de modelos” e “investigación de seguridad de modelos académicos” en respuesta a un borrador inicial de nuestra propuesta.
En otros casos, las empresas genAI ya suspendieron las cuentas de los investigadores e incluso cambiaron sus términos de servicio para disuadirlos. algunos tipos de evaluaciónSegún los investigadores, «desempoderar a los investigadores independientes no redunda en interés de las empresas de IA».
Los evaluadores independientes que investigan los productos genAI temen la suspensión de la cuenta (sin posibilidad de apelación) y riesgos legales, “los cuales pueden tener efectos paralizadores en la investigación”, argumentaba la carta.
Para ayudar a proteger a los usuarios, los firmantes quieren que las empresas de inteligencia artificial proporcionen dos niveles de protección a la investigación:
- Un puerto seguro legal para garantizar buena fe investigación independiente sobre seguridad y confiabilidad de la IA que se lleva a cabo con empresas bien establecidas divulgación de vulnerabilidad.
- Un compromiso corporativo con un acceso más equitativo mediante el uso de revisores independientes para moderar las solicitudes de evaluación de los investigadores.
Computerworld contactó a OpenAI y Google para obtener una respuesta, pero ninguna de las compañías hizo comentarios inmediatos.
Copyright © 2024 IDG Communications, Inc.