A un sitio web australiano de pornografía basada en inteligencia artificial se le ha prohibido hacer publicidad en la plataforma para adultos más grande del mundo y ha sido atacado por el organismo de control de seguridad en línea de Australia después de que ABC revelara que podría estar violando las leyes contra el material de explotación infantil.
Advertencia: este artículo contiene referencias a material de abuso infantil.
OurDream, que ha sido clasificado como el sitio pornográfico con inteligencia artificial más grande de Internet y, según se informa, tiene más de 20 millones de clientes, ofrece una plataforma para “construir una novia con inteligencia artificial desde cero” para interacciones sin censura a través de texto, imágenes y videos.
El sitio web, dirigido por Coreflow, con sede en Sydney, dice que prohíbe cualquier personaje que parezca tener menos de 18 años.
Esta imagen, ahora eliminada, apareció en el perfil de un personaje en el sitio web de OurDream. (ABC Noticias)
Sin embargo, una investigación de ABC descubrió que incluía algunos personajes generados por usuarios que parecían tener tan solo 14 años, según una herramienta de estimación de edad utilizada por las fuerzas del orden.
Los expertos dijeron a ABC que se trataba de material de abuso sexual infantil y que la policía de Queensland estaba investigando el sitio web.
Según la ley del Commonwealth, el material de abuso sexual infantil se define como material que probablemente ofenda a un adulto razonable y es una representación sexualizada de una persona o una representación de una persona que es o parece ser un niño.
Una herramienta de estimación de edad, Rigr, estimó la edad de este personaje en 15,1 años, con un margen de error de 1,1 años. (ABC Noticias)
La definición incluye imágenes generadas por IA.
Pornhub, el sitio web para adultos más grande del mundo, ha detenido toda la publicidad de OurDream tras el informe de ABC.
Aylo, el propietario canadiense de Pornhub, dijo que el Centro Internacional para Niños Desaparecidos y Explotados de Australia (ICMEC) “nos había hecho conscientes de las preocupaciones sobre cierto contenido generado por la plataforma OurDream”.
“Aunque el anunciante se sometió a una revisión inicial de incorporación por parte de Aylo antes de publicar cualquier anuncio, las acusaciones fueron tan graves que Aylo concluyó que suspender todos los anuncios era apropiado mientras se realizaba una segunda revisión más profunda”, dijo Aylo.
La medida es un revés para Coreflow, ya que un experto de la empresa que no estaba autorizado a hablar públicamente le dijo a ABC que la empresa gastó 1 millón de dólares en publicidad en Pornhub.
Coreflow no respondió a las preguntas sobre su gasto en publicidad o la prohibición.
Pornhub dejó de anunciar OurDream tras el informe de ABC. (ABC News: Gráfico de Jarrod Fankhauser)
El director ejecutivo de ICMEC, Colm Gannon, dijo que informó del problema a Aylo.
“Cuando hablamos con (Aylo), la única pregunta fue: ‘¿Es esta una representación (de IA) de niños reales o es una representación de anime?'”, dijo.
“Y dije: ‘No, es una representación de niños reales’.
“Dijeron: “Se fue”, literalmente en cuestión de segundos. Ni siquiera estaba en discusión.“
Código filtrado a ABC
Mientras tanto, ABC obtuvo copias filtradas de la codificación de inteligencia artificial que utiliza Coreflow para detectar y seleccionar personajes menores de edad en OurDream.
Un miembro de la empresa le dijo a ABC que la codificación reveló fallas sistémicas en las salvaguardias de Coreflow contra el material de explotación infantil.
Muestra que la empresa utiliza un modelo de IA chino, Qwen, para señalar imágenes generadas por usuarios potencialmente ilegales.
Sin embargo, el mensaje a la herramienta de inteligencia artificial le pide que juzgue “qué probabilidad hay de que una persona representada parezca tener menos de 15 años” en lugar de 18 años.
Según la ley de la Commonwealth, las representaciones sexuales de cualquier persona menor de 18 años son ilegales.
La IA recibió instrucciones de clasificar las imágenes en las siguientes categorías:
- “probablemente adulto (mayor de 18 años), pero podría tener entre 15 y 18 años (cierta ambigüedad)”
- “probablemente menores de 18 años, pero probablemente entre 15 y 18 (no está claro)”
La codificación filtrada sugiere que el sitio utilizó IA para centrarse en si los personajes parecen tener menos de 15 años en lugar de 18 años. (Entregado)
Coreflow se negó a responder preguntas sobre cómo maneja las imágenes en cada categoría o por qué el mensaje de IA fue durante 15 años y no 18 años.
Un informante de la compañía, que habló bajo condición de anonimato porque no estaba autorizado a hacer comentarios públicos, dijo que era probable que la IA no informara algunos resultados “ambiguos”.
Esto explica por qué ABC encontró personajes que parecían tener 14 y 15 años, según una tecnología especial de estimación de edad, dijeron.
El informante de la compañía dijo que establecer el límite en 15 años probablemente fue una estratagema técnica de la compañía para evitar que la IA rechace “una cantidad significativa de contenido destinado a 18 años”.
La empresa utiliza un filtro para menores de 18 años al revisar las indicaciones de texto de los clientes para crear nuevos personajes.
Cuando los usuarios del sitio web crean nuevos personajes mediante indicaciones de texto, la IA marca cualquier frase que sugiera que son menores de 18 años. (Entregado)
Sin embargo, es posible describir a un personaje menor de edad que pasa por este filtro de texto, dijo la fuente de la compañía.
“El problema ocurre después de que se generan las imágenes”, dijeron.
“Generar pornografía con IA que parezca de 18 años pero nunca más joven es en realidad un problema técnico muy difícil y costoso de resolver. Parece que Coreflow ha estado tomando atajos para crecer rápidamente”.
Un portavoz de Coreflow dijo que la empresa “rechaza categóricamente cualquier sugerencia de que nuestra plataforma apruebe o facilite comportamientos ilegales”.
“OurDream no publica contenido con personajes que nuestros sistemas determinen que corren el riesgo de ser menores de 18 años”, dijeron.
El portavoz dijo que el sitio tiene “tolerancia cero con las solicitudes para generar contenido que no cumpla con nuestros estrictos estándares de seguridad”.
“OurDream está diseñado para operar de conformidad con todas las leyes aplicables y revisamos y fortalecemos continuamente nuestras salvaguardas, incluidos nuestros sistemas de moderación”.
De los 17 personajes generados por IA en OurDream que ABC identificó como menores de edad, OurDream eliminó 11.
El estimador de edad utilizado es “basura”, dice experto
El Sr. del ICMEC. Gannon, que anteriormente trabajó para Rigr AI, una empresa que desarrolló una herramienta de estimación de la edad utilizada por gobiernos y agencias de aplicación de la ley en todo el mundo, dijo que la tecnología de Coreflow “no era adecuada para su propósito”.
El modelo Qwen AI “no es una herramienta de estimación de la antigüedad del producto” y tiene una calificación de error absoluto medio (MAE) de más o menos seis años.
Gannon dijo que esta tasa de error podría significar que la tecnología estimaría incorrectamente que un personaje que parece tener 15 años tiene hasta 21 años.
Estos fueron algunos de los personajes que aparecieron en el sitio. Una herramienta de estimación de edad estimó que tenían menos de 18 años. (ABC Noticias)
“Eso es una tontería. Literalmente no tiene sentido saber por qué estás tomando esto”, dijo.
“No hay duda de que esto creará personajes menores de 18 años.“
Gannon dijo que la codificación filtrada tenía otros defectos graves.
Esto incluyó el enfoque de OurDream de monitorear las conversaciones de los usuarios con personajes en busca de contenido que sugiriera “participación sexual por parte de cualquier persona menor de 18 años”.
Los “principios clave” para la detección de IA eran “Indulgencia en contenido dudoso” y “Si no está seguro, NO informe”.
El código filtrado de OurDream instruye a la IA a “ser indulgente con el contenido límite” al revisar los chats en busca de contenido de menores de edad. (Entregado)
Gannon dijo que el hecho de que este contenido no se compartiera con moderadores humanos demostraba que una empresa estaba tratando de “garantizar que la experiencia del usuario final sea de suma importancia, a diferencia de los protocolos de confianza y seguridad y el diseño ético de la tecnología de IA”.
“Lo que han hecho es crear el contenido límite a través del modelo (IA) que utilizan y también de las reglas que utilizan”, dijo.
“Este es un software que no es intrínsecamente seguro; es exactamente lo contrario”.
Coreflow dijo que Qwen es solo una de varias capas de detección y herramientas de estimación de edad que utiliza y que no determinó los resultados de moderación por sí solo.
La compañía dijo que ahora está utilizando un modelo más avanzado.
La autoridad reguladora revisa OurDream
Tras el informe de ABC sobre el material encontrado en OurDream, el sitio ahora está en el radar del regulador en línea de Australia, el Comisionado de eSafety.
La agencia dijo que se puso en contacto con el sitio e “informó a OurDream de sus obligaciones según los códigos y estándares de la Ley de Seguridad en Línea”, dijo una portavoz.
“Estas obligaciones se aplican tanto al material ilegal, como el material de explotación sexual infantil, como al material restringido por edad, como la pornografía en línea”.
“eSafety está evaluando si OurDream está cumpliendo con sus obligaciones junto con una variedad de otros servicios de IA generativa”.
Cuando abres OurDream, verás un menú de personajes. (Entregado)
Estos compromisos incluyen Safety by Design, que “alienta a las empresas de tecnología a cambiar su espíritu de diseño de ‘moverse rápido y romper cosas’ o ‘obtener ganancias a toda costa’ a ‘proceder con prudencia’ e invertir en la reducción de riesgos en primera línea”.
La portavoz dijo que eSafety tiene la autoridad para “recibir y tomar medidas sobre quejas sobre formas sintéticas de abuso basado en imágenes y material de explotación sexual infantil”.
“Si una empresa no cumple con los códigos y estándares de seguridad en línea, eSafety puede tomar medidas regulatorias adicionales, incluida la búsqueda de sanciones civiles de hasta 49,5 millones de dólares”, dijo.
“Nos tomamos muy en serio la creación de (material de abuso sexual infantil), ya sea real o sintético, y tomaremos las medidas necesarias para responsabilizar a estas empresas según la ley australiana.“
Un portavoz de Coreflow dijo que “el uso seguro y legal de nuestra plataforma OurDream es la principal prioridad de Coreflow”.
“Empleamos un sistema de seguridad robusto de múltiples capas que combina tecnología patentada con las mejores herramientas externas de moderación de contenido de IA y procesos de excepción humanos en el circuito para detectar y prevenir comportamientos inapropiados e ilegales en la plataforma OurDream”, dijeron.
About The Author
