谷歌加密搜索结果后,Brave搜索遭爬虫冲击,拟在未来几天部署类似反爬机制
谷歌近期对搜索结果链接进行加密,并借助 /goto/ 链接由服务器实时解密。若用户 IP、标识符或访问频率等触发风控,谷歌会通过中间跳转页面强制用户等待,随后再由服务器解密数据并跳转到最终页面。
在谷歌部署上述反爬措施后,大量 AI 智能体或爬虫转向 Brave Search,导致后者现在也压力巨大。Brave 经过评估后决定在未来几天部署反爬措施,也采用类似谷歌的跳转中间页进行解密。
这类机制对普通用户影响较小,主要针对高并发抓取内容的爬虫。加密搜索结果并使用中间页跳转后,中间页需要向服务器申请解密数据,服务器会根据实时风控结果决定是否解密数据。
谷歌近期在部分搜索结果中使用 google.com/goto/ 链接。
谷歌近期对搜索结果进行了加密处理,导致Brave搜索因爬取加密结果而遭遇瘫痪。为应对类似问题,Brave搜索也将启动加密机制,以增强反爬取能力。
谷歌加密后的搜索结果采用中间页解密跳转方式。用户点击搜索结果时,请求会先通过中间页发送到谷歌服务器进行实时解密。服务器解密后返回明文链接交给中间页,中间页再完成跳转。部分用户在点击搜索结果时可能会遇到中间页风控,页面提示正在验证请求,需要等待几秒后才能继续跳转。这种措施主要是打击AI智能体或爬虫批量搜索和抓取关键词搜索结果。此前,谷歌搜索结果都是明文的,不加密也不需要经过中间页跳转。
Brave搜索也将采取类似的反爬措施。Brave新的搜索结果将采用类似search.brave.com/go/v1#的形式,目标地址也经过加密需要交给服务器进行实时解密。服务器解密后的地址返回给跳转页,而且每条结果都使用各自的加解密密钥。
整个流程如下:用户点击某个搜索结果时,浏览器会向Brave服务器请求解密所需的信息;该请求会经过随机化处理让服务器可以处理请求;接着服务器处理请求并下发解密信息,浏览器获取结果后在本地解密地址再跳转到目标地址。
此外,中间页解密数据具有有时效性。因此,如果爬虫抓取的都是加密后的链接,这些链接可能会在短期内失效。因此,若无法绕过风控实时获取解密的地址,爬取的意义不大。
Brave向商业客户提供搜索API服务;普通用户和开发者也可以开通Brave搜索API服务,并获得每月10美元的合并免费额度,超出部分需要按次支付费用。
Brave表示,当前AI智能体查询和各类收集数据的爬虫造成很大压力。通过加密搜索结果,可以打击高频次抓爬行为,这有助于确保Brave搜索提供稳定服务。












