Uma escola secundária em Oviedo, Flórida, EUA, sofreu um bloqueio “Code Red” esta semana causado por um alarme falso de um sistema de reconhecimento de armas de inteligência artificial. O clarinete na mão de um aluno foi erroneamente identificado como uma arma pelo sistema. A escola entrou imediatamente em estado de fechamento de emergência. A escola e a polícia responderam rapidamente e finalmente confirmaram que não havia ameaça real. Este incidente não só deu aos pais um alarme falso, mas também trouxe mais uma vez à tona a questão da precisão e supervisão dos sistemas de segurança de IA cada vez mais populares nas escolas.
O incidente ocorreu na Lawton Chiles Middle School. A plataforma de detecção de ameaças de IA implantada na escola escaneou as imagens em tempo real por meio de câmeras de vigilância e “identificou” o clarinete carregado pelo aluno como uma arma de fogo em potencial, acionando um alarme do sistema. A escola iniciou imediatamente o procedimento de bloqueio "Código Vermelho" de mais alto nível, isolando o campus e notificando a chegada das autoridades. O bloqueio só foi levantado quando se confirmou que as chamadas “armas” eram na verdade instrumentos musicais. O diretor mais tarde enfatizou em um aviso aos pais que não havia nenhuma ameaça real à segurança no campus na época, mas ainda lembrou os pais de se comunicarem com seus filhos e não fazerem movimentos perigosos como “fingir que portam armas” no campus.
Segundo relatos, o distrito escolar do condado de Seminole, onde a escola está localizada, usa o serviço de detecção de armas de fogo em nuvem fornecido pela ZeroEyes, uma empresa com sede na Pensilvânia. O valor do contrato é de US$ 250 mil. O sistema está conectado às câmeras de vigilância existentes e usa algoritmos de visão computacional para identificar os contornos e características das armas que podem aparecer na imagem. Informações oficiais afirmam que seu modelo de IA foi treinado em centenas de imagens de armas de fogo. Assim que o sistema “pensar” que uma arma foi encontrada, as imagens relevantes serão enviadas ao centro de monitoramento ZeroEyes para análise por analistas humanos antes de decidir se deve emitir um alerta para a escola ou para a agência de aplicação da lei. No entanto, neste incidente, este mecanismo de "confirmação secundária manual" obviamente falhou em evitar que alarmes falsos se transformassem num bloqueio em toda a escola.
A plataforma ZeroEyes foi implementada em 43 estados dos Estados Unidos e entrou em muitos distritos escolares densamente povoados na Flórida. A empresa o posiciona como um método de segurança “preventivo”, na esperança de reduzir o tempo de resposta a tiroteios em escolas por meio de uma identificação mais rápida de ameaças. No entanto, os dados de desempenho divulgados pela empresa são extremamente limitados e quase não existem estatísticas detalhadas sobre a precisão do reconhecimento, taxa de falsos alarmes e prevenção bem-sucedida de ameaças reais, o que também torna difícil para terceiros avaliarem o seu efeito real. Em resposta às perguntas da mídia, a Segurança e Proteção do Condado de Seminole apenas descreveu amplamente o sistema como um “dissuasor eficaz”, sem fornecer quaisquer dados comprovados de interceptação de ameaças ou declarar com que frequência ocorrem alarmes falsos semelhantes.
Como resultado, os pais e os especialistas em segurança têm geralmente apelado a uma maior transparência e responsabilização. Alguns pais expressaram sem rodeios dúvidas sobre se o sistema tem uma boa relação custo-benefício. Eles esperam que o distrito escolar possa fornecer estatísticas específicas para provar a eficácia deste programa dispendioso e questionam por que razão, se as ameaças reais foram descobertas com sucesso, nunca foram divulgadas ao público. Analistas de tecnologia independentes apontaram que atualmente quase não há avaliação de terceiros do ZeroEyes, e as opiniões divulgadas publicamente também estão mais divididas. Alguns especialistas no domínio da segurança pública preocupam-se com o facto de tais sistemas poderem proporcionar mais uma "ilusão de segurança" do que uma redução comprovada dos riscos.
No nível político, a ZeroEyes também promoveu legislação multiestadual por meio de lobistas registrados e obteve status semelhante de "fornecedor designado" em alguns estados, tornando-se o único fornecedor aprovado de detecção de armas de fogo por IA em compras de segurança de campus. Os críticos acreditam que este tipo de legislação, na verdade, afasta os concorrentes, enfraquece o espaço para revisão e debate nos contratos públicos e reduz enormemente a discussão pública sobre a fiabilidade da vigilância da IA. Ao mesmo tempo, investigadores de segurança e privacidade alertam que a expansão cega da vigilância por IA no campus pode causar mais danos aos estudantes do que benefícios potenciais, incluindo uma atmosfera de alta pressão causada por alarmes falsos frequentes, a sobreexposição dos estudantes às forças policiais e a monitorização contínua dos comportamentos diários.
Um conselheiro político da União Americana pelas Liberdades Civis salientou certa vez que se o sistema tiver uma elevada frequência de alarmes falsos, não só criará bloqueios desnecessários e pânico, mas também poderá fazer com que as escolas e os pais fiquem "entorpecidos" em alarmes falsos, o que por sua vez enfraquece a sua sensibilidade a crises reais. Atualmente, um grande número de dados de treinamento para sistemas de segurança de IA vem de conjuntos de imagens relativamente controláveis. Porém, mochilas, instrumentos musicais, equipamentos esportivos e outros itens que aparecem em ambientes reais de campus possuem formatos complexos e são facilmente confundidos com os contornos das armas de fogo do modelo. Desta vez, um clarinete foi confundido com uma arma. Após este incidente, o Distrito Escolar do Condado de Seminole ainda considera este sistema como uma "linha de defesa necessária". No entanto, a sua fiabilidade e custo desencadearam discussões sociais mais amplas. O mundo exterior também está à espera para ver se cada distrito escolar continuará a contar com este tipo de monitorização de IA no futuro, ou se recorrerá a requisitos de divulgação e supervisão de desempenho mais rigorosos para os fornecedores.