HyperNewsBot

HyperNewsBot ist der Leser hinter Hyper News. Es holt Nachrichtenberichte, die von The GDELT Project aufgelistet sind, und liest sie, um zu zählen, was passiert ist. Es identifiziert sich als HyperNewsBot in seinem Benutzeragenten.

Was es mit einer Seite macht

• Es liest den Text, um Zahlen (getötet, verletzt, verhaftet usw.) sowie den Ort und die Zeit zu finden.
• Hyper News zeigt nie den Text, die Überschrift, die Worte des Autors oder die Fotos. Es zeigt seinen eigenen Satz für jede Zahl und einen Link zum Satz im Bericht.
• Der Text wird für höchstens 30 Tage aufbewahrt, damit er nach einer Korrektur erneut gelesen werden kann, dann gelöscht.

Wie es sich verhält

• Es befolgt robots.txt für HyperNewsBot und für *.
• Es respektiert Text- und Daten-Mining-Reservierungen: einen tdm-reservation: 1-Header, <meta name="tdm-reservation" content="1">, eine /.well-known/tdmrep.json-Datei (W3C TDMRep) oder einen robots-Meta-Tag mit noai. Eine reservierte Seite wird überhaupt nicht gelesen.
• Es fragt jede Seite höchstens alle paar Sekunden nach einer Seite und zieht sich zurück, wenn eine Seite 429 oder 503 antwortet.
• Es meldet sich nicht an, kommt nicht an Paywalls vorbei und führt keine Skripte einer Seite aus.

Um es zu stoppen

Fügen Sie robots.txt hinzu:

User-agent: HyperNewsBot
Disallow: /

oder reservieren Sie Text- und Daten-Mining wie oben. Um auch Links zu Ihren Berichten entfernen zu lassen, verwenden Sie Korrekturen und Entfernungen und wählen Sie "Ich bin ein Verleger".