HyperNewsBot

O HyperNewsBot é o leitor por trás do Hyper News. Ele busca relatórios de notícias listados pelo The GDELT Project e os lê para contar o que aconteceu. Ele se identifica como HyperNewsBot em seu agente de usuário.

O que ele faz com uma página

• Ele lê o texto para encontrar figuras (mortos, feridos, presos e assim por diante), o local e o tempo.
• O Hyper News nunca mostra o texto, o título, as palavras do autor ou as fotos. Ele mostra sua própria frase para cada figura e um link para a frase no relatório.
• O texto é mantido por no máximo 30 dias para que possa ser lido novamente após uma correção, então excluído.

Como ele se comporta

• Ele obedece ao robots.txt para HyperNewsBot e para *.
• Ele honra as reservas de mineração de texto e dados: um cabeçalho tdm-reservation: 1, <meta name="tdm-reservation" content="1">, um arquivo /.well-known/tdmrep.json (W3C TDMRep), ou uma tag meta de robô com noai. Uma página reservada não é lida em absoluto.
• Ele pede a cada site no máximo uma página a cada poucos segundos e recua quando um site responde 429 ou 503.
• Ele não faz login, não passa pelas barreiras de pagamento e não executa os scripts de um site.

Para pará-lo

Adicione ao robots.txt:

User-agent: HyperNewsBot
Disallow: /

ou reserve a mineração de texto e dados como acima. Para remover os links para seus relatórios também, use Correções e remoções e escolha "Sou um editor".