O Laboratório de Inovação do TRF6 realizou, na última quinta-feira (28/05), mais uma edição da Série Colaborações, desta vez com foco em um tema cada vez mais relevante no uso de inteligência artificial: como evitar Prompt Injection e inserções indevidas em ferramentas de IA generativa.

A oficina contou com a participação do Dr. Leonardo Araújo de Miranda Fernandes e reuniu dezenas de participantes interessados em compreender melhor os riscos e as boas práticas no uso de modelos de linguagem (LLMs) no contexto institucional.

O problema: quando documentos “dão comandos” à IA

Durante a apresentação, foi explicado de forma didática o que é o chamado prompt injection: uma técnica em que comandos maliciosos são inseridos de forma oculta em documentos analisados pela IA, com o objetivo de influenciar indevidamente o resultado da análise.

Esses comandos podem estar escondidos de diferentes formas — em metadados, textos invisíveis ou até em trechos aparentemente inofensivos — e acabam sendo processados pela IA junto com o restante do conteúdo. Como consequência, a ferramenta pode gerar respostas incorretas sem alertar o usuário.

Um dos pontos mais importantes destacados foi que as LLMs não distinguem automaticamente o que é instrução do usuário e o que vem de documentos anexados. Tudo é interpretado dentro da mesma “janela de contexto”, o que aumenta o risco de manipulação

Boas práticas e medidas de mitigação

A oficina apresentou exemplos reais, demonstrações ao vivo e mostrou como a ferramenta de proteção disponível na Prompteca do TRF6 identifica e bloqueia comandos suspeitos antes do processamento dos documentos. Os participantes também conheceram boas práticas de segurança, como o uso de filtros anti-prompt injection, revisão humana obrigatória e estratégias de mitigação para reduzir riscos no uso cotidiano da IA.

IA como aliada — com responsabilidade

Ao final, os participantes foram convidados a refletir sobre o equilíbrio entre inovação e segurança. A inteligência artificial foi destacada como um potente motor de produtividade, mas que exige governança, cautela e desenvolvimento contínuo de boas práticas.

Assista à gravação

A oficina foi gravada e está disponível para todos que desejarem aprofundar o tema, revisar as demonstrações práticas e conhecer em detalhes as ferramentas apresentadas.

A gravação completa da oficina já está disponível aqui.