HyperNewsBot

HyperNewsBot adalah pembaca di balik Hyper News. Itu mengambil laporan berita yang terdaftar oleh The GDELT Project dan membacanya untuk menghitung apa yang terjadi. Itu mengidentifikasi dirinya sebagai HyperNewsBot dalam agen penggunanya.

Apa yang dilakukannya dengan sebuah halaman

• Itu membaca teks untuk menemukan angka-angka (tewas, terluka, ditangkap dan sebagainya), tempat dan waktu.
• Hyper News tidak pernah menampilkan teks, judul, kata-kata penulis atau foto. Itu menampilkan kalimatnya sendiri untuk setiap angka dan tautan ke kalimat dalam laporan.
• Teks disimpan untuk paling lama 30 hari sehingga dapat dibaca lagi setelah perbaikan, kemudian dihapus.

Bagaimana itu berperilaku

• Itu mematuhi robots.txt untuk HyperNewsBot dan untuk *.
• Itu menghormati reservasi text-and-data-mining: header tdm-reservation: 1, <meta name="tdm-reservation" content="1">, file /.well-known/tdmrep.json (W3C TDMRep), atau tag meta robot dengan noai. Halaman yang dicadangkan tidak dibaca sama sekali.
• Itu meminta setiap situs untuk paling banyak satu halaman setiap beberapa detik dan mundur ketika situs menjawab 429 atau 503.
• Itu tidak masuk log, tidak melewati pembayaran dan tidak menjalankan skrip situs.

Untuk menghentikannya

Tambahkan ke robots.txt:

User-agent: HyperNewsBot
Disallow: /

atau cadangkan text dan data mining seperti di atas. Untuk memiliki tautan ke laporan Anda dihapus juga, gunakan Koreksi dan penghapusan dan pilih "Saya adalah penerbit".