OpenAI tiene formado un nuevo comité para supervisar las decisiones “críticas” de seguridad y protección relacionadas con los proyectos y operaciones de la empresa. Pero, en una medida que seguramente despertará la ira de los especialistas en ética, OpenAI eligió dotar al comité de personal interno de la empresa, incluido Sam Altman, director ejecutivo de OpenAI, en lugar de observadores externos.
Altman y el resto del Comité de Seguridad: los miembros de la junta directiva de OpenAI Bret Taylor, Adam D’Angelo y Nicole Seligman, así como el científico jefe Jakub Pachocki, Aleksander Madry (que dirige el equipo de «preparación» de OpenAI), Lilian Weng (directora de seguridad sistemas), Matt Knight (jefe de seguridad) y John Schulman (jefe de «ciencia de alineación»), serán responsables de evaluar los procesos de seguridad y salvaguardias de OpenAI durante los próximos 90 días, según una publicación en el blog corporativo de la compañía. Luego, el comité compartirá sus hallazgos y recomendaciones con toda la junta directiva de OpenAI para su revisión, dice OpenAI, momento en el cual publicará una actualización sobre cualquier sugerencia adoptada «de una manera que sea consistente con la seguridad y protección».
“OpenAI ha comenzado recientemente a entrenar su próximo modelo de frontera y anticipamos que los sistemas resultantes nos llevarán al siguiente nivel de capacidades en nuestro camino hacia [artificial general intelligence,]”, escribe OpenAI. «Si bien estamos orgullosos de construir y lanzar modelos que son líderes en la industria tanto en capacidades como en seguridad, damos la bienvenida a un debate sólido en este momento importante».
OpenAI ha visto en los últimos meses varios desviaciones de alto perfil del lado de la seguridad de su equipo técnico, y algunos de estos ex empleados han expresado su preocupación por lo que perciben como una despriorización intencional de la seguridad de la IA.
Daniel Kokotajlo, quien trabajó en el equipo de gobierno de OpenAI, abandonar en abril después de perder la confianza en que OpenAI se “comportaría responsablemente” en torno al lanzamiento de una IA cada vez más capaz, como escribió en una publicación en su blog personal. E Ilya Sutskever, cofundador de OpenAI y ex científico jefe de la compañía, se fue en mayo después de una batalla prolongada con Altman y sus aliados, supuestamente en parte por la prisa de Altman por lanzar productos impulsados por IA a expensas del trabajo de seguridad.
Más recientemente, Jan Leike, un ex investigador de DeepMind que mientras estaba en OpenAI estuvo involucrado en el desarrollo de ChatGPT y el predecesor de ChatGPT, InstructGPT, renunció a su función de investigación de seguridad. dicho en una serie de publicaciones en X que creía que OpenAI «no estaba en la trayectoria» para solucionar los problemas relacionados con la seguridad de la IA «correctamente». La investigadora de políticas de IA Gretchen Krueger, que dejó OpenAI la semana pasada, se hizo eco de las declaraciones de Leike: llamando a la empresa mejorar su rendición de cuentas y transparencia y “el cuidado con el que [it uses its] propia tecnología”.
Cuarzo notas que, además de Sutskever, Kokotajlo, Leike y Krueger, al menos cinco de los empleados más preocupados por la seguridad de OpenAI han renunciado o han sido expulsados desde finales del año pasado, incluidos los ex miembros de la junta directiva de OpenAI Helen Toner y Tasha McCauley. En un artículo de opinión para The Economist publicado El domingo, Toner y McCauley escribieron que, con Altman a la cabeza, no creen que se pueda confiar en que OpenAI se haga responsable.
“[B]Basándonos en nuestra experiencia, creemos que el autogobierno no puede resistir de manera confiable la presión de los incentivos a las ganancias”, dijeron Toner y McCauley.
Para el punto de Toner y McCauley, TechCrunch informó a principios de este mes que OpenAI equipo de superalineaciónA , responsable de desarrollar formas de gobernar y dirigir sistemas de IA «superinteligentes», se le prometió el 20% de los recursos informáticos de la empresa, pero rara vez recibió una fracción de esa cantidad. Desde entonces, el equipo de Superalignment se ha disuelto y gran parte de su trabajo queda bajo la responsabilidad de Schulman y un grupo asesor de seguridad OpenAI se formó en diciembre.
OpenAI ha abogado por la regulación de la IA. Al mismo tiempo, se ha esforzado por darle forma a esa regulación, contratación un cabildero interno y cabilderos en un número cada vez mayor de bufetes de abogados y gastando cientos de miles de dólares en cabildeo en Estados Unidos solo en el cuarto trimestre de 2023. Recientemente, el Departamento de Seguridad Nacional de EE. UU. anunció que Altman estaría entre los miembros de su recién formada Junta de Seguridad de Inteligencia Artificial, que brindará recomendaciones para el «desarrollo y despliegue seguro de la IA» en todas las infraestructuras críticas de EE. UU.
En un esfuerzo por evitar la apariencia de una hoja de parra ética con el Comité de Seguridad y Vigilancia dominado por ejecutivos, OpenAI se ha comprometido a contratar expertos externos en “seguridad y protección” para apoyar el trabajo del comité, incluido el veterano de ciberseguridad Rob Joyce y John Carlin, ex funcionario del Departamento de Justicia de Estados Unidos. Sin embargo, más allá de Joyce y Carlin, la compañía no ha detallado el tamaño o la composición de este grupo de expertos externos, ni ha arrojado luz sobre los límites del poder y la influencia del grupo sobre el comité.
en un correo En X, el columnista de Bloomberg Parmy Olson señala que las juntas de supervisión corporativa como el Comité de Seguridad, similares a las juntas de supervisión de la IA de Google, como su Consejo Asesor Externo de Tecnología Avanzada, “[do] prácticamente nada en el ámbito de la supervisión real”. Es revelador que OpenAI dice está buscando abordar las “críticas válidas” de su trabajo a través del comité; las “críticas válidas” dependen del ojo del espectador, por supuesto.
Altman prometió una vez que los forasteros desempeñarían un papel importante en la gobernanza de OpenAI. En un artículo de 2016 en el New Yorker, dicho que OpenAI “[plan] una forma de permitir que amplias zonas del mundo elijan representantes para una… junta de gobierno”. Eso nunca sucedió, y parece poco probable que suceda en este momento.
¡Estamos lanzando un boletín informativo sobre IA! Inscribirse aquí para comenzar a recibirlo en sus bandejas de entrada el 5 de junio.
