Inteligencia artificial (AI) los científicos están encontrando cada vez más formas de romper la seguridad de IA generativa programas, como ChatGPTpor lo que era sólo cuestión de tiempo antes de que alguien aplicara las mismas técnicas de ciberseguridad de examinar a los usuarios para examinar las fuentes de datos.
El miércoles, inicio IndyKite de San Francisco dio a conocer su intento de verificar lo que incluye la Generación AI como base de sus predicciones.
El software «ayuda a garantizar la confiabilidad integrada de los datos aprovechados en cualquier modelo de negocio o análisis, empleando un enfoque de datos centrado en la identidad donde la confianza es primordial», dijo IndyKite.
También: ChatGPT puede filtrar datos de entrenamiento y violar la privacidad, dice DeepMind de Google
IndyKite, de tres años de edad, tiene el pedigrí del área de gestión de identidades de ciberseguridad mejor asociada con Okta, más formalmente conocida como «gestión de identidades y accesos» o IAM.
El campo de IAM se ha ampliado en los últimos años para asumir desafíos que van más allá de simplemente proteger las redes y aplicaciones empresariales. Por ejemplo, Google ha presentado patentes relacionadas con la aplicación de IAM a la Web 3, los sistemas distribuidos basados en blockchain que gobiernan todo, desde Internet de las cosas hasta las criptomonedas. La tecnología está diseñada para examinar el acceso a datos confidenciales, como los historiales médicos de los consumidores, sin que los datos se copien de una base de datos a otra.
Si bien los detalles sobre el sistema IndyKite son hasta ahora limitados, es fácil ver cómo se puede ampliar el acceso a los datos del consumidor a través de la identidad para acceder a fuentes de datos para Gen AI.
La IA generativa, como ChatGPT de OpenAI, ha sido objeto de controversia debido a la forma en que el programa se entrena en vastos conjuntos de datos que comprometen varios cientos de gigabytes de datos.
Los conjuntos de datos son objeto de múltiples demandas por parte de partes, incluido The New York Times, alegando infracción de derechos de autor.
OpenAI ha dicho que indemnizará a los usuarios empresariales de su software por demandas.
Además de las cuestiones de infracción, los creadores de Gen AI se enfrentan a preguntas sobre de dónde vendrán las respuestas autorizadas. El enfoque conocido como «generación de recuperación aumentada» busca conectar grandes modelos de lenguaje como GPT-4 con bases de datos como un oráculo de la verdad. Sin embargo, el enfoque RAG presenta sus propios desafíos a la hora de lidiar con la deriva de datos, lo que puede contribuir al sesgo de un modelo de red neuronal.
También: La IA y las aplicaciones híbridas serán el centro de atención en 2024, dice el CIO de Goldman Sachs
En teoría, todos esos problemas podrían abordarse mediante métodos que garanticen la procedencia de los datos antes de que se ingieran en el entrenamiento de los programas.
Fundador de IndyKite Lasse Andresen es un emprendedor en serie que anteriormente fundó ForgeRock, un competidor de Okta en gestión de identidades. ForgeRock se vendió en agosto a la firma de capital privado Thoma Bravo por 1.800 millones de dólares.
El software IndyKite aprovecha el popular software de gestión de bases de datos de gráficos Neo4j, que crea un gráfico de conocimiento de las relaciones descubiertas en una empresa. «IndyKite garantiza información rica y precisa en todo el gráfico de conocimiento corporativo utilizando Neo4J como backend de datos», afirma IndyKite.
IndyKite ha recibido un total de 10,5 millones de dólares en financiación inicial de Molten Ventures, Alliance Ventures y SpeedInvest, según Crunchbase.
