Injeção de contexto em IA é um risco real de segurança

A injeção de contexto em IA é um problema grave que implica na segurança no uso de ferramentas de inteligência artificial.

O problema da injeção de contexto em IA pode resultar em respostas erradas e induzir o uso da ferramenta.

Similar ao SQL Injection, injetar contexto em uma ferramenta de IA altera sua base de conhecimento refletindo diretamente nas respostas fornecidas.

O caso mais recente utiliza o Reddit para difundir um contexto alterado e com isso atingir diversos modelos de IA.

Injeção de contexto em IA é um risco real de segurança

Atualmente o Reddit é utilizado como repositório de conhecimento para indexação de ferramentas de inteligência artificial.

O ChatGPT e o Google o utilizam para que suas ferramentas de IA obtenham conhecimento.

Desta forma, diversas empresas começaram a imundar fóruns do Reddit com postagens coordenadas com o intuito de obter engajamento artificial.

Notadamente um fórum antigo e muito buscado sobre o tema de suplementos, farmacologia experimental e outros temas relacionados ao condicionamento físico foi severamente afetado.

Basicamente empresas do setor coordenam milhares de postagens para além do engajamento conseguir indexação de ferramentas de IA.

O resultado é alterar as repostas dessas ferramentas e neste caso em específico fazer com que adolescentes buscando formulas mágicas tenham informações falsas que indiquem determinados produtos de determinadas empresas.

Esta forma de ataque é particularmente preocupante pois ferramentas de IA buscam conversas autênticas através de scraping nesses fóruns.

Neste caso do Reddit moderadores estão agindo para conter essas mensagens, porém muita coisa já passou e causou estrago.

Tecnicamente este é um problema complexo de resolver, pois nem sempre um mecanismo de IA vai conseguir filtrar o conteúdo antes de indexa-lo.

Atualmente formas de spam burlam ferramentas de controle e mensagens massivas continuam aos montes em fóruns.