HyperNewsBot
HyperNewsBot is de lezer achter Hyper News. Het haalt nieuwsrapporten op die zijn vermeld door The GDELT Project en leest ze om te tellen wat er gebeurd is. Het identificeert zichzelf als HyperNewsBot in zijn gebruikersagent.
Wat het met een pagina doet
- Het leest de tekst om cijfers te vinden (doden, gewonden, arrestaties enz.), de plaats en de tijd.
- Hyper News toont nooit de tekst, de kop, de woorden van de auteur of de foto's. Het toont zijn eigen zin voor elk cijfer en een link naar de zin in het rapport.
- De tekst wordt maximaal 30 dagen bewaard zodat deze opnieuw kan worden gelezen na een correctie, en vervolgens verwijderd.
Hoe het zich gedraagt
- Het gehoorzaamt robots.txt voor
HyperNewsBoten voor*. - Het eert text-and-data-mining-reservaties: een
tdm-reservation: 1-header,<meta name="tdm-reservation" content="1">, een/.well-known/tdmrep.json-bestand (W3C TDMRep), of een robots-meta-tag metnoai. Een gereserveerde pagina wordt helemaal niet gelezen. - Het vraagt elke site om maximaal één pagina om de paar seconden en trekt zich terug wanneer een site antwoordt met 429 of 503.
- Het logt niet in, komt niet voorbij betaalmuren en voert geen scripts van een site uit.
Om het te stoppen
Voeg toe aan robots.txt:
User-agent: HyperNewsBot Disallow: /
of reserveer tekst- en datamining zoals hierboven. Om links naar uw rapporten ook te verwijderen, gebruikt u Correcties en verwijderingen en kiest u voor "Ik ben een uitgever".