Source: The Verge
Reddit正在加大对网络爬虫的打击力度。Reddit最近几周开始阻止搜索引擎展示最新的帖子和评论，除非搜索引擎付费，根据404 Media的报告。目前，谷歌是唯一通过“site:reddit.com”技巧搜索Reddit帖子时显示最新结果的主流搜索引擎，404 Media报道。
这意味着必应、DuckDuckGo等其他替代搜索引擎被排除在外，很可能是因为谷歌已经达成了一项6000万美元的协议，让公司可以训练其AI模型使用Reddit的内容。对于像Reddit这样的大型网站封锁一些最受欢迎的搜索引擎，这是一个大胆的举动，但并不令人意外。过去一年，Reddit变得更加保护数据，以寻求另一个收入来源并取悦新投资者。
在将API对某些第三方开发者变得更加昂贵后，据报道，Reddit威胁要切断谷歌的数据训练AI的行为。《The Verge》向Reddit发出了评论请求，但没有立即得到回复。上个月，为了强化其反“抓取”政策，Reddit更新了站点的robots.txt文件，告诉网络爬虫它们是否可以访问站点。
Reddit的首席法务官Ben Lee告诉我的同事Alex Heath：“这对于那些没有与我们达成协议的人来说，是禁止他们访问Reddit数据的信号。随着AI聊天机器人向互联网充斥着含糊其辞的内容，找到人类写的东西变得愈发重要。像我一样的很多人已经开始在很多搜索中添加“Reddit”以获得人类答案，而现在我只能在谷歌上（或依赖谷歌的搜索引擎上）做到这一点了，尤其在我大部分搜索是在必应上进行的情况下，这让人感到沮丧。
在网络时代，保护数据安全与维护信息真实性同样重要，对于搜索引擎封锁举措，我们应思考其中的利弊和对网络生态的影响。
特别声明：本文及配图均为用户上传或者转载，本文仅代表作者个人观点和立场，不代表平台观点。其原创性以及文中陈述文字和内容未经本站证实，
对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本平台不作任何保证或承诺，请读者仅作参考，
并请自行核实相关内容。如发现稿件侵权，或作者不愿在本平台发布文章，请版权拥有者通知本平台处理。
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios)
posted above belong to the User who shared or the third-party website which the User shared from.
If you found your copyright have been infringed, please send a DMCA takedown notice to
info@microheadline.com
来源：https://www.theverge.com/2024/7/24/24205244/reddit-blocking-search-engine-crawlers-ai-bot-google
https://www.reddit.com/r/ChatGPT/comments/121r809/who_here_has_stopped_or_greatly_reduced_their/
https://www.reddit.com/r/technews/comments/1dws0ez/the_intense_battle_to_stop_ai_bots_from_taking/
