HyperNewsBot
HyperNewsBot è il lettore dietro Hyper News. Recupera i report delle notizie elencati da The GDELT Project e li legge per contare cosa è successo. Si identifica come HyperNewsBot nel suo agente utente.
Cosa fa con una pagina
- Legge il testo per trovare le cifre (morti, feriti, arrestati e così via), il luogo e il tempo.
- Hyper News non mostra mai il testo, il titolo, le parole dell'autore o le foto. Mostra la sua propria frase per ogni cifra e un collegamento alla frase nel report.
- Il testo viene mantenuto per al massimo 30 giorni in modo che possa essere letto di nuovo dopo una correzione, quindi cancellato.
Come si comporta
- Obedisce a robots.txt per
HyperNewsBote per*. - Rispetta le prenotazioni di text-and-data-mining: un header
tdm-reservation: 1,<meta name="tdm-reservation" content="1">, un file/.well-known/tdmrep.json(W3C TDMRep), o un tag meta robots connoai. Una pagina riservata non viene letta affatto. - Chiede a ogni sito al massimo una pagina ogni pochi secondi e si ritira quando un sito risponde 429 o 503.
- Non si connette, non supera i paywall e non esegue gli script di un sito.
Per fermarlo
Aggiungi a robots.txt:
User-agent: HyperNewsBot Disallow: /
o riserva il text e data mining come sopra. Per rimuovere anche i collegamenti ai tuoi report, utilizza Correzioni e rimozioni e scegli "Sono un editore".