HyperNewsBot

HyperNewsBot - это читатель, стоящий за Hyper News. Он получает новостные отчеты, перечисленные The GDELT Project, и читает их, чтобы посчитать, что произошло. Он идентифицирует себя как HyperNewsBot в своем пользовательском агенте.

Что оно делает со страницей

• Оно читает текст, чтобы найти цифры (погибшие, раненые, арестованные и т. д.), место и время.
• Hyper News никогда не показывает текст, заголовок, слова автора или фотографии. Оно показывает свое собственное предложение для каждой цифры и ссылку на предложение в отчете.
• Текст хранится не более 30 дней, чтобы его можно было снова прочитать после исправления, затем удаляется.

Как оно себя ведет

• Оно подчиняется robots.txt для HyperNewsBot и для *.
• Оно уважает ограничения на текст и данные: заголовок tdm-reservation: 1, <meta name="tdm-reservation" content="1">, файл /.well-known/tdmrep.json (W3C TDMRep) или тег meta с noai. Зарезервированная страница не читается вообще.
• Оно запрашивает у каждого сайта не более одной страницы каждые несколько секунд и отступает, когда сайт отвечает 429 или 503.
• Оно не входит в систему, не обходит платные стены и не запускает скрипты сайта.

Чтобы остановить его

Добавьте в robots.txt:

User-agent: HyperNewsBot
Disallow: /

или зарезервируйте текст и данные, как указано выше. Чтобы удалить ссылки на ваши отчеты, используйте Corrections and removals и выберите "I am a publisher".