30年来，万维网一直遵循着 一项令人惊讶的深刻的社会契约：大多数网站都允许搜索引擎免费访问，但如果你使用它们的内容，则需要通过链接到来源来注明出处。
最近，这种社会契约开始瓦解。人工智能（AI）工具抓取网站 并非为了添加链接，而是为了训练模型并生成答案（这些答案可能准确，也可能不准确）。
当你搜索某些内容时，ChatGPT 的回复或 Google 的 AI 概览 可能仍然包含指向来源的链接，但它们是主要答案的一种可选补充。
这引发了一种对网站所有者、公众乃至人工智能公司自身都十分不利的局面：随着网站流量（和收入）的下降，许多网站开始 屏蔽人工智能抓取工具，这意味着人工智能的搜索结果更多地依赖于低质量网站（其中许多网站本身也是由人工智能生成的）。因此，获取优质信息比以往任何时候都更加困难。
我们是如何走到这一步的
在万维网发展的早期，搜索引擎和内容创作者就 抓取 （即通过技术手段扫描网站并建立索引，以便在搜索结果中显示）达成了一项协议。内容创作者会免费提供对其网站的访问权限，甚至允许搜索引擎复制一小段文本。
作为回报，搜索引擎会向内容创作者的网站提供链接，内容创作者可以从中受益。如果内容创作者不满意这种合作模式，他们可以通过一个名为 robots.txt。
但如果人工智能工具不再带来网站流量，内容创作者就会被排除在经济循环之外。每次访问网站都会产生 其他成本 ，因此人工智能爬虫可能会增加网站提供商的支出，却无法带来任何来自人工流量的广告或其他收入。此外，人工智能爬虫的爬取深度和强度也远超传统网络爬虫，从而进一步放大了成本。
这种流量模式的变化并非无关紧要或假设性的问题。Cloudflare是一家网络托管和服务公司，管理着互联网上排名前1万的网站中的30%或更多，该公司估计， 超过一半的网络流量 来自人工智能机器人。
其中一部分将由人工直接监督的人工智能代理执行，但大部分将是网络爬虫。网站所有者可以使用 robots.txt 文件要求人工智能爬虫不要访问他们的网站——但一些人工智能公司可能会 忽略这种礼貌的请求。
如果人工智能公司真的满足了这一要求，那可能会引发另一个问题。包含虚假信息的网站 不太可能封禁人工智能爬虫，因此人工智能的回答将无法获取高质量信息来源。
短期内会发生什么？
一个被称为“谷歌零”的事件即将到来——届时来自谷歌的直接流量将降至零。虽然一些老派的谷歌用户（比如本文作者之一）可能仍然会点击链接验证人工智能的答案，但由于人工智能摘要的出现，这类流量正在迅速减少。
一项 对维基百科的研究证实了这一点，研究表明，随着谷歌英文版推出人工智能摘要功能，维基百科英文版的访问量迅速下降，其他语言版本也出现了同样的趋势。无需点击即可获得答案对信息搜索者来说似乎很棒，但实际情况要复杂得多。
现在很多网站都完全屏蔽了人工智能爬虫。即使人工智能工具仍然可以访问内容来提供答案依据（使用一种称为检索增强生成技术的技术），决定屏蔽人工智能爬虫的网站所有者也不太可能在人工智能概述答案中被链接。
“付费抓取”模式来补偿内容创作者，但这种模式并未得到广泛应用。
从 9 月 15 日起，Cloudflare 网站将默认阻止 AI 爬虫抓取包含广告（因此可以为内容创作者赚钱）的页面。
这意味着全球排名前 30% 的网站将不再出现在 Google AI 概览摘要中。这也意味着， 人工智能训练所用的大部分内容 本身将是人工智能生成的文本。
这对你意味着什么
那么，这对你查找信息意味着什么呢？至少在短期内，人工智能摘要的质量可能会下降，因为互联网的新经济格局需要时间去理顺。.
这种情况的发生有两个原因。首先，高质量内容不太可能出现在人工智能生成的摘要中—— 最近一项研究 发现，人工智能搜索工具使用的来源中，大约六分之一本身就是人工智能生成的网站。
第二个原因是，随着 AI 模型接受更多 AI 文本的训练，其输出可能会下降（这种现象被称为 模型崩溃）。
因此，对人工智能依赖程度较低的搜索引擎可能会变得更加可靠。挑战在于找到一个 不使用人工智能爬虫的。这样的搜索引擎确实存在：ZDNet 推荐 Mojeek，PCMag 推荐 Brave， Ban the Bots 列出了几个，其中一个专门针对“小型内容创作者”（例如博客）的内容。
目前，无论你使用哪个搜索引擎，最好的做法是向下滚动并点击查看一些实际的搜索结果。这有利于内容创作者，也更有可能为你提供更准确的信息。.
达娜·麦凯， RMIT大学互动、技术与信息学院副院长；达米亚诺·斯皮纳， RMIT大学计算机技术学院高级讲师
本文经知识共享许可协议授权转载自The Conversation 。阅读原文。
