圈小蛙

Reddit现已屏蔽主要搜索引擎和AI机器人——除了付了费的谷歌

Reddit正在加大对网络爬虫的打击力度。据科技媒体404 Media报道,在过去几周里,Reddit已开始阻止搜索引擎显示最新帖子和评论,除非搜索引擎付费。

据404 Media报道,目前,当用户使用“site:reddit.com”技巧搜索Reddit网站上的帖子,谷歌是唯一一家可以显示最新结果的主流搜索引擎。这排除了Bing、DuckDuckGo和其他替代方案——可能是因为谷歌达成了一项价值6000万美元的交易,允许该公司使用Reddit的内容训练其AI模型

Reddit发言人蒂姆·拉斯奇米特(Tim Rathschmidt)在一份声明中表示:“这与我们最近与谷歌的合作完全无关。我们一直在与多家搜索引擎进行讨论。我们无法与所有搜索引擎达成协议,因为有些搜索引擎无法或不愿意就他们对Reddit内容的使用做出可执行的承诺,包括他们对人工智能的使用。”

上个月,为了执行其反抓取政策,Reddit更新了网站的robots.txt文件,该文件告知网络爬虫是否可以访问网站。Reddit首席法律官本·李(Ben Lee)表示:“这是向那些未与我们达成协议的人发出的信号,他们不应该访问Reddit数据。”

微软发言人凯特琳·罗尔斯顿(Caitlin Roulston)在一份声明中表示,“微软尊重robots.txt标准,我们也尊重那些不希望其网页内容被我们的生成式AI模型使用的网站提供的指示”,并补充说,当Bing平台于7月1日更新其robots.txt文件时,它就停止抓取Reddit。

对于像Reddit这样的大型网站来说,屏蔽一些最受欢迎的搜索引擎是一个大胆的举动,但这并不令人意外。在过去的一年里,Reddit对其数据的保护变得更加严格,因为它希望开辟另一个收入来源并安抚新投资者。

据报道,在向一些第三方开发商提高其API的成本费用后,Reddit威胁称,如果谷歌不停止免费使用该平台的数据来训练人工智能,它就会切断谷歌与该平台的联系。

随着人工智能聊天机器人在互联网上充斥着大量有问题的内容,寻找由人类撰写的内容变得前所未有的重要。和许多人一样,人们已经开始在许多搜索中添加“Reddit”,只为得到人类的回答,而现在我只能在谷歌(或依赖谷歌的搜索引擎)上这样做了,这让大家非常沮丧,尤其是当在必应上进行许多搜索却没有结果时。

Exit mobile version