El Instituto de Seguridad de IA de EE. UU., parte del Instituto Nacional de Estándares y Tecnología (NIST), finalmente anunció su equipo de liderazgo después de muchas especulaciones.
Paul Christiano, ex investigador de OpenAI, fue nombrado jefe de seguridad de la IA y fue pionero en una técnica fundamental de seguridad de la IA llamada aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), pero también es conocido por prediciendo que «hay un 50 por ciento de posibilidades de que el desarrollo de la IA acabe en una ‘perdición'». Si bien la experiencia en investigación de Christiano es impresionante, algunos temen que al nombrar a un «perdedor de la IA», el NIST pueda estar arriesgándose a fomentar el pensamiento no científico que muchos críticos verlo como pura especulación.
Ha habido rumores de que el personal del NIST se opone a la contratación. Un VentureBeat controvertido informe El mes pasado citó dos fuentes anónimas que afirmaban que, aparentemente debido a las opiniones de Christiano sobre el «doom de la IA», el personal del NIST era «repugnante». Algunos miembros del personal y científicos supuestamente amenazaron con dimitir, informó VentureBeat, temiendo «que la asociación de Christiano» con un altruismo efectivo y «el largo plazo pudiera comprometer la objetividad e integridad del instituto».
NIST misión tiene sus raíces en el avance de la ciencia trabajando para «promover la innovación y la competitividad industrial de los EE. UU. mediante el avance de la ciencia, los estándares y la tecnología de medición de manera que mejoren la seguridad económica y mejoren nuestra calidad de vida». Altruistas efectivos creer en «usar la evidencia y la razón para descubrir cómo beneficiar a otros tanto como sea posible» y a largo plazo que «Deberíamos hacer mucho más para proteger a las generaciones futuras», dos cosas más subjetivas y basadas en opiniones.
Sobre el Pódcast sin bancosChristiano compartió su opinión el año pasado de que «hay algo así como un 10-20 por ciento de posibilidades de que la IA tome el control» que resulte en la muerte de humanos, y «en general, tal vez tengas más posibilidades de hasta un 50-50 de perdición poco después de que Tenemos sistemas de IA que son de nivel humano».
«La forma más probable en que morimos no es que la IA salga de la nada y mate a todos, sino que implica que hemos desplegado una gran cantidad de IA en todas partes… [And] Si por alguna razón, Dios no lo quiera, todos estos sistemas de inteligencia artificial intentaran matarnos, definitivamente nos matarían”, dijo Christiano.
Críticos de los llamados «condenadores de la IA» he advertido que centrarse en cualquier charla potencialmente exagerada sobre hipotéticos sistemas asesinos de IA o riesgos existenciales de la IA puede impedir que la humanidad se centre en los daños percibidos actualmente por la IA, incluidas cuestiones medioambientales, de privacidad, éticas y de prejuicios. Emily Bender, profesora de lingüística computacional de la Universidad de Washington que ha advirtió sobre los fatalistas de la IA frustrando un importante trabajo ético en el campo, le dijo a Ars que debido a que en la orden ejecutiva de IA de Joe Biden se incluyó un «discurso extraño sobre la fatalidad de la IA», «se ha ordenado al NIST que se preocupe por estos escenarios de fantasía» y «ese es el problema subyacente» que llevó al nombramiento de Christiano. .
«Creo que el NIST probablemente tuvo la oportunidad de tomar una dirección diferente», dijo Bender a Ars. «Y es lamentable que no lo hayan hecho».
Como jefe de seguridad de la IA, Christiano aparentemente tendrá que monitorear los riesgos actuales y potenciales. «Diseñará y realizará pruebas de modelos fronterizos de IA, centrándose en evaluaciones de modelos para capacidades de interés para la seguridad nacional», dirigirá procesos para las evaluaciones e implementará «mitigaciones de riesgos para mejorar la seguridad y protección de los modelos fronterizos», dijo el Departamento de Comercio. presione soltar dicho.
Christiano tiene experiencia en mitigar los riesgos de la IA. Dejó OpenAI para fundar el Alignment Research Center (ARC), que el Departamento de Comercio describió como «una organización de investigación sin fines de lucro que busca alinear los futuros sistemas de aprendizaje automático con los intereses humanos mediante la promoción de la investigación teórica». Parte de la misión de ARC es probar si los sistemas de inteligencia artificial están evolucionando para manipular o engañar a los humanos, según el sitio web de ARC. ARC también lleva a cabo investigaciones para ayudar a que los sistemas de IA escale «con elegancia».
Debido a la experiencia investigadora de Christiano, algunas personas piensan que es una buena opción para dirigir el instituto de seguridad, como Divyansh Kaushik, director asociado de tecnologías emergentes y seguridad nacional de la Federación de Científicos Estadounidenses. En X (anteriormente Twitter), Kaushik escribió que el instituto de seguridad está diseñado para mitigar los riesgos químicos, biológicos, radiológicos y nucleares de la IA, y que Christiano está «extremadamente calificado» para probar esos modelos de IA. Kaushik advirtió, sin embargo, que «si hay algo de cierto en que los científicos del NIST amenazan con dimitir» por el nombramiento de Christiano, «obviamente eso sería grave si fuera cierto».
El Departamento de Comercio no hace comentarios sobre su personal, por lo que no está claro si alguien realmente renunció o planea renunciar por el nombramiento de Christiano. Desde que se hizo el anuncio, Ars no pudo encontrar ningún anuncio público del personal del NIST que sugiriera que podrían estar considerando renunciar.
Además de Christiano, el equipo de liderazgo del instituto de seguridad incluirá a Mara Quintero Campbell, funcionaria del Departamento de Comercio que dirigió proyectos sobre la respuesta al COVID y la implementación de la Ley CHIPS, como directora de operaciones interina y jefa de personal. Adam Russell, un experto centrado en la formación de equipos de IA y humanos, la previsión y la inteligencia colectiva, se desempeñará como director de visión. Rob Reich, un experto en IA centrado en el ser humano con licencia de la Universidad de Stanford, será un asesor principal. Y Mark Latonero, ex experto en políticas globales de IA de la Casa Blanca que ayudó a redactar la orden ejecutiva de IA de Biden, será el jefe de participación internacional.
«Para salvaguardar nuestro liderazgo global en IA responsable y garantizar que estemos equipados para cumplir nuestra misión de mitigar los riesgos de la IA y aprovechar sus beneficios, necesitamos el mejor talento que nuestra nación tiene para ofrecer», Gina Raimondo, Secretaria de Comercio de EE. UU. dijo en el comunicado de prensa. «Es precisamente por eso que hemos seleccionado a estas personas, que son las mejores en sus campos, para unirse al equipo de liderazgo ejecutivo del Instituto de Seguridad de IA de EE. UU.».
El informe de VentureBeat afirmó que Raimondo nombró directamente a Christiano.
Bender dijo a Ars que no hay ninguna ventaja en que el NIST incluya «escenarios apocalípticos» en su investigación sobre «cómo las agencias gubernamentales y no gubernamentales están utilizando la automatización».
«El problema fundamental con la narrativa de seguridad de la IA es que deja a las personas fuera de escena», dijo Bender a Ars. «Pero lo que debemos preocuparnos es lo que la gente hace con la tecnología, no lo que la tecnología hace de forma autónoma».
