Por qué es importante: OpenAI tiene una herramienta que podría atrapar a aquellas personas que usan ChatGPT para escribir contenido y afirman que es suyo. La función de marca de agua de texto podría ser una revelación para los profesores y las empresas que sospechan que las personas están haciendo trampa al usar el chatbot pero afirman lo contrario. Sin embargo, OpenAI dice que solo está considerando lanzarla, posiblemente porque hacerlo podría afectar sus ventas.
Noticias de que OpenAI tiene un sistema que puede marcar con marca de agua el texto creado en ChatGPT y detectar que fue creado reveló Según The Wall Street Journal, la herramienta está lista desde hace un año, pero dentro de la empresa de inteligencia artificial se debate si debería lanzarse alguna vez.
En términos simples, el sistema funciona haciendo pequeños ajustes en la forma en que ChatGPT selecciona palabras y frases que siguen unas a otras, creando un patrón que puede ser detectado por otra herramienta: una marca de agua invisible, esencialmente.
Abierto AI actualizado una publicación de blog en mayo después de la publicación del informe del WSJ, que confirma que «nuestros equipos han desarrollado un método de marca de agua de texto que seguimos considerando mientras investigamos alternativas».
En la publicación se afirma que, si bien la marca de agua ha demostrado ser muy precisa y eficaz contra la manipulación local, como la paráfrasis, tiene dificultades cuando se enfrenta a la manipulación global, incluido el uso de sistemas de traducción y la reformulación del texto utilizando otro modelo generativo. Los usuarios incluso podrían eludir el sistema pidiendo al modelo que inserte un carácter especial entre cada palabra y luego elimine ese carácter.
OpenAI también afirma que las marcas de agua en el texto tienen el potencial de afectar desproporcionadamente a algunos grupos. Pone como ejemplo la estigmatización del uso de la IA como herramienta de escritura para hablantes no nativos de inglés.
La marca de agua en el texto es una de las diversas soluciones que OpenAI ha estado investigando. Ha estudiado clasificadores y metadatos como parte de una «extensa investigación en el área de procedencia del texto».
En una declaración a TechCrunch, un portavoz de OpenAI confirmó el informe del WSJ, pero dijo que estaba adoptando un «enfoque deliberado» debido a «las complejidades involucradas y su probable impacto en el ecosistema más amplio más allá de OpenAI».
A pesar de todas las afirmaciones de OpenAI sobre por qué todavía está considerando lanzar el método de marca de agua, la razón principal probablemente sea el hecho de que el 30% de los usuarios de ChatGPT encuestados dijeron que usarían el chatbot con menos frecuencia si se implementara la marca de agua.
En marzo de 2023, un estudio realizado por cinco científicos informáticos de la Universidad de Maryland Concluido El texto generado por los LLM no se puede detectar de forma fiable en escenarios prácticos, tanto desde un punto de vista teórico como práctico. OpenAI pareció estar de acuerdo, cerrando su herramienta de clasificación de IA, que se suponía que debía determinar la probabilidad de que un fragmento de texto fuera escrito por una IA, en julio del año pasado debido a su baja tasa de precisión.
