HyperNewsBot

HyperNewsBot est le lecteur derrière Hyper News. Il récupère les rapports d'actualités répertoriés par The GDELT Project et les lit pour compter ce qui s'est passé. Il s'identifie comme HyperNewsBot dans son agent utilisateur.

Ce qu'il fait d'une page

• Il lit le texte pour trouver des chiffres (tués, blessés, arrêtés, etc.), le lieu et l'heure.
• Hyper News ne montre jamais le texte, le titre, les mots de l'auteur ou les photos. Il montre sa propre phrase pour chaque chiffre et un lien vers la phrase dans le rapport.
• Le texte est conservé pendant au plus 30 jours afin qu'il puisse être relu après une correction, puis supprimé.

Comment il se comporte

• Il obéit à robots.txt pour HyperNewsBot et pour *.
• Il respecte les réservations de minage de texte et de données : un en-tête tdm-reservation: 1, <meta name="tdm-reservation" content="1">, un fichier /.well-known/tdmrep.json (W3C TDMRep), ou une balise meta robots avec noai. Une page réservée n'est pas lue du tout.
• Il demande à chaque site au plus une page toutes les quelques secondes et recule lorsqu'un site répond 429 ou 503.
• Il ne se connecte pas, ne passe pas les paywalls et n'exécute pas les scripts d'un site.

Pour l'arrêter

Ajoutez à robots.txt :

User-agent: HyperNewsBot
Disallow: /

ou réservez le minage de texte et de données comme ci-dessus. Pour faire supprimer les liens vers vos rapports également, utilisez Corrections et suppressions et choisissez "Je suis un éditeur".