Adolescentes podem usar a Sora 2 da OpenAI para gerar imagens de atiradores em escolas e violência sexual

Adolescentes podem usar a Sora 2 da OpenAI para gerar imagens de atiradores em escolas e violência sexual. É uma notícia chocante e alarmante que vem à tona apenas um mês após o lançamento da versão mais recente do modelo de IA de texto para vídeo da empresa. A Sora 2, idealizada para criar conteúdo criativo e inspirador, surpreendentemente tem se provado ser uma ferramenta perigosa em mãos dos adolescentes.

Desde setembro, a OpenAI anunciou a implementação de controles parentais e recursos de detecção de crises em seus produtos, incluindo a Sora 2. No entanto, uma pesquisa recente da organização sem fins lucrativos Ekō revelou que essas medidas de segurança não são imunes à manipulação. Os pesquisadores da Ekō descobriram que, mesmo com as novas funcionalidades, não tiveram dificuldade em induzir o modelo a produzir conteúdo ultrajante, incluindo clipes de jovens cheirando drogas, expressando image corporal negativa e em poses sexualizadas. E, o que é ainda mais alarmante, gerar imagens de atiradores em escolas e violência sexual. As implicações desses achados são devastadoras, especialmente considerando o momento em que a OpenAI e outras empresas de IA enfrentam processos de pais que alegam que seus chatbots incentivaram os suicídios de seus filhos.

As consequências podem ser fatais. Um comercinho falso de um brinquedo, um deepfake de Martin Luther King Jr. ou de John F. Kennedy, um vídeo mostrando jovens em atitudes sexuais, é tudo algo que pode causar danos irreversíveis. E como sabemos, a Internet é vasta e infinita, e essas imagens podem se espalhar facilmente. Além disso, a pesquisa da Ekō também revelou que muitos desses contas suspeitos são de meninos e meninas de apenas 13 e 14 anos. É claro que a empresa precisa tomar medidas mais robustas para prevenir a geração de conteúdo perigoso.

A OpenAI parece estar tentando apagar a poeira sob o tapete. O anúncio do lançamento da Sora 2 foi acompanhado de boas vindas e esperança por aqueles que acreditam que a IA pode ser usada positivamente. No entanto, é claro que a empresa precisa lidar com o problema dos controles e monitoramento, pois apenas acreditar que seus sistemas são seguros não é suficiente. Como um dos líderes no mercado de inteligência artificial, a OpenAI precisa garantir que seus produtos não sejam usados para causar danos. É o menos que uma empresa que reivindica a capacidade de criar inteligência artificial pode fazer.