HyperNewsBot
HyperNewsBot是Hyper News背后的阅读器。它获取GDELT项目列出的新闻报道,并读取它们以统计发生了什么。它在用户代理中将自己标识为HyperNewsBot。
它对页面的处理
- 它读取文本以找到数字(死亡、受伤、逮捕等),地点和时间。
- Hyper News永远不会显示文本、标题、作者的话或照片。它为每个数字显示自己的句子,并链接到报告中的句子。
- 文本最多保留30天,以便在修复后可以再次读取,然后删除。
它的行为
- 它遵守
HyperNewsBot和*的robots.txt。 - 它尊重文本和数据挖掘预留:
tdm-reservation: 1头部,<meta name="tdm-reservation" content="1">,/.well-known/tdmrep.json文件(W3C TDMRep),或带有noai的robots元标签。预留页面根本不会被读取。 - 它每隔几秒钟向每个站点请求最多一个页面,当站点返回429或503时,它会退避。
- 它不登录,不越过付费墙,也不运行站点的脚本。
停止它
添加到robots.txt:
User-agent: HyperNewsBot Disallow: /
或者像上面一样预留文本和数据挖掘。要删除指向您报告的链接,请使用更正和删除并选择"我是出版商"。





