HyperNewsBot
HyperNewsBotは、Hyper Newsの背後にあるリーダーである。The GDELT Projectによってリストされたニュースレポートを取得し、それらを読み取って何が起こったかを数える。ユーザーエージェントではHyperNewsBotとして自己を識別する。
ページに対して行うこと
- テキストを読み取って、数字(死亡、負傷、逮捕など)、場所、時間を探す。
- Hyper Newsは、テキスト、見出し、著者の言葉、写真を表示しない。各数字について、独自の文とレポート内の文へのリンクを表示する。
- テキストは、修正後にもう一度読み取ることができるように、最大30日間保持され、その後削除される。
動作方法
- robots.txtを
HyperNewsBotと*に対して遵守する。 - テキストおよびデータマイニングの予約を尊重する:
tdm-reservation: 1ヘッダー、<meta name="tdm-reservation" content="1">、/.well-known/tdmrep.jsonファイル(W3C TDMRep)、またはnoaiを持つロボットメタタグ。予約されたページは全く読み取られない。 - 各サイトに、数秒ごとに最大1ページを要求し、サイトが429または503を返答したときは後退する。
- ログインせず、有料壁を超えず、サイトのスクリプトを実行しない。
停止方法
robots.txtに追加:
User-agent: HyperNewsBot Disallow: /
または上記のようにテキストとデータマイニングを予約する。レポートへのリンクも削除したい場合は、Corrections and removalsを使用し、「I am a publisher」を選択する。





