ChatGPT 和 Perplexity 的公开文档如何描述来源

Introducing ChatGPT search 发表于 2024 年 10 月 31 日。文章写，ChatGPT 会按问题自行决定是否搜索网页，回答带有网页来源的链接；用户也可以手动打开搜索。文章把当时的搜索模型写成经过微调的 GPT-4o，并写明使用第三方搜索提供方，以及合作方直接提供的内容。正文没有点名这些第三方搜索提供方，也没有列出沙特或阿联酋。

2025 年 2 月 5 日的更新写：在 ChatGPT 可用的地区，搜索对所有人开放，不必注册。这是地区可用性的说法，不是一份国家清单。文章还写，任何网站或出版方都可以选择出现在 ChatGPT 搜索里。选择出现所对应的爬虫开关在另一份文档里。这篇文章不能被读成“发布了页面就会被引用”。

Web search 描述的是 API，不是 chatgpt.com 的界面。指南写：网页搜索让模型获取网上的更新信息，并给出带来源的引用。默认情况下，回答包含搜索结果 URL 的行内引用；url_citation 包含 URL、标题和位置。sources 是模型形成回答时查阅过的 URL 列表，数量经常多于行内引用。

指南写，search_context_size 不设定确切的 token 数，也不保证来源或引用的条数。user_location.country 是两位的 ISO 国家代码，页面例子是 US 和 GB。这个字段不是“品牌可见度排名”。

Overview of OpenAI crawlers 把几件事分开。OAI-SearchBot 用于搜索。文档写：退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索回答里，但仍可能作为导航链接出现。GPTBot 用于可能进入基础模型训练的抓取，和搜索开关彼此独立。ChatGPT-User 用于用户在 ChatGPT 或自定义 GPT 里触发的访问。文档写，robots.txt 规则可能不适用，并且它不决定内容能否出现在搜索里。

同一页写，搜索相关的 robots.txt 变更大约需要 24 小时，系统才会跟上。屏蔽 GPTBot 不等于退出 ChatGPT 搜索。允许 GPTBot 也不等于回答里会出现你的链接。

Perplexity crawlers 写：PerplexityBot 用于在搜索结果里展示并链接网站，不用于为 AI 基础模型抓取内容。Perplexity-User 用于用户提问时可能访问网页并在回答里放上链接。文档写，因为是用户发起的抓取，这个抓取器一般忽略 robots.txt，也不用于自动爬网或训练基础模型。robots.txt 的变更最多大约 24 小时才会反映出来。

Sonar API 把 citations 写成生成回答时使用的来源 URL，并且该字段可以是 null。search_results 是回答上下文用到的搜索结果。search_language_filter 按 ISO 639-1 过滤结果语言，例子是 en、fr、de。language_preference 是回答语言的 ISO 639-1 代码，和结果过滤不是同一个字段。user_location.country 被写成 ISO 3166-1 alpha-2，用途是搜索个性化。disable_search 为真时，文档写模型只根据训练数据回答。

这两家的上述文档都没有给出一个完整的、可复现的排序公式，也没有一个名为“品牌在阿联酋的可见度”的官方指标。能核对的是引用字段、地点或语言参数，以及哪一个爬虫对应搜索或训练。记录测量时要写明你用的是产品界面、OpenAI 的 web_search，还是 Perplexity 的 Sonar。它们不是同一条记录。