HyperNewsBot
HyperNewsBot خواننده پشت Hyper News است. آن گزارش های خبری را که توسط The GDELT Project لیست شده اند را می خواند و آنها را می خواند تا ببیند چه اتفاقی افتاده است. آن خود را به عنوان HyperNewsBot در عامل کاربر خود معرفی می کند.
آنچه با یک صفحه انجام می دهد
- آن متن را می خواند تا اعداد (کشته شده، زخمی، دستگیر شده و غیره) را پیدا کند، مکان و زمان را.
- Hyper News هرگز متن، تیتر، کلمات نویسنده یا عکس ها را نشان نمی دهد. آن یک جمله خود را برای هر عدد و یک لینک به جمله در گزارش نشان می دهد.
- متن برای حداکثر ۳۰ روز نگهداری می شود تا بتواند دوباره پس از یک تعمیر خوانده شود، سپس حذف می شود.
چگونه رفتار می کند
- آن از robots.txt برای
HyperNewsBotو برای*پیروی می کند. - آن از رزروهای استخراج متن و داده پیروی می کند: یک سرآیند
tdm-reservation: 1،<meta name="tdm-reservation" content="1">، یک فایل/.well-known/tdmrep.json(W3C TDMRep)، یا یک تگ متا ربات باnoai. یک صفحه رزرو شده در کل خوانده نمی شود. - آن از هر سایت برای حداکثر یک صفحه در هر چند ثانیه درخواست می کند و عقب می کشد هنگامی که یک سایت پاسخ ۴۲۹ یا ۵۰۳ می دهد.
- آن وارد نمی شود، از دیوارهای پرداخت نمی گذرد و اسکریپت های یک سایت را اجرا نمی کند.
برای متوقف کردن آن
به robots.txt اضافه کنید:
User-agent: HyperNewsBot Disallow: /
یا استخراج متن و داده را همانند بالا رزرو کنید. برای حذف لینک ها به گزارش های شما نیز، از Corrections and removals استفاده کنید و "I am a publisher" را انتخاب کنید.