iKNOW – Sistema distribuído de intelligence em fontes abertas

Abstract

As informações (no sentido de intelligence) têm desempenhado desde sempre, um papel crítico nas organizações governamentais, privadas, empresariais, militares, … Com as informações certas no tempo certo, ganham-se guerras, garante-se a Defesa, melhora-se a qualidade de vida dos cidadãos e ajuda-se as empresas a preparar-se contra a sua concorrência (competitive intelligence), entre tantas outras utilizações. Os Governos de cada país e as estruturas militares têm conhecimento disto e têm apostado milhões na procura e tratamento de informações/intelligence, nas suas mais variadas formas. Hoje, a vivermos na Idade do Conhecimento, temos a Internet e milhões de pessoas a divulgar a todo o momento, informações sobre si e sobre o seu meio envolvente, quer em redes sociais, quer em blogues, quer nos mais diversos meios de comunicação “abertos”. Acessíveis a qualquer pessoa. Pretendeu-se nesta dissertação, apresentar o estado de arte de um dos ramos da intelligence, a Open Source Intelligence (OSINT), que permite obter informações sem infringir a Lei, aprofundar as suas vantagens e desvantagens comparativamente a outras fontes de obtenção de informação (incluindo as fechadas). Nomeadamente, na disponibilidade e no preço. Pretendeu-se paralelamente a esta dissertação, desenvolver um sistema informático distribuído, assente em diversas tecnologias e metodologias, a operar sobre a Internet, para recolha automatizada de dados em fontes abertas, tratamento da informação e obtenção de inteligência, gerando também alarmística, e informação processada designada normalmente por threat intel, útil em segurança informática e física, quer de uma organização, empresa, pessoa, quer de um Estado. O sistema criado, iKNOW, opera em equipamentos baratos, recolhe informação em sites, fóruns, redes sociais e motores de busca, consoante palavras-chave/cartões de crédito/links… actuando em várias profundidades de URL’s, assim como na rede TOR. Gera relatórios cifrados com chave pública e envia-os a quem criou a operação. O site criado para o efeito também oferece outras ferramentas e métricas. O sistema consiste em um ou mais servidores (nGinx, PHP, MySQL, Bash, Python) e muitos clientes (preferência caiu nos Raspberrys com Python, Bash, e scripts próprios). Cada cliente pode criar a sua operação, mas estas são distribuídas e executadas por qualquer um, com tempo definido, user-agent alterado, aleatoriedade na execução, entre outros. Relatórios são enviados por email, cifrados com chave assimétrica RSA. São gerados analytics do obtido e enviados como threat intelligence para consumidores desta informação (SIEM, SOC, CSIRT, emails…). Os clientes (máquinas/sensores) são monitorizados em operacionalidade, disponibilidade, hora local, e temperatura em tempo “quase” real.