怎样用样本量、区间和快照读 AI 可见度
一次回答不是百分比。比例需要样本次数和区间。快照要记下问题、语言、国家、日期和原始回答。
发布日期 2026-10-14
先写清你在数什么
一次回答里至少有三种不同的事件。品牌名出现在句子里,是提及。回答附上的 URL 指向你的网站,是引用。你的名字和某个竞品出现在同一次回答里,是同屏。这三件事可以同时发生,也可以只发生一件。
OpenAI 的 web search 指南 把行内引用和 sources 列表分开,并写明 sources 的数量经常多于引用。Perplexity 的 Sonar 模式 里,citations 还可以是 null。没有这份 URL 列表,只说明这一次响应没有这份列表。它本身不是“提及率已经是零”的证明。
一次提问不是比例
比例是发生次数除以样本次数。样本次数是 1 时,你只有一次观察,没有一个可以报告的百分比。
NIST 工程统计手册 7.2.4.1 节 讨论的是比例的置信区间。手册写,Wilson 方法来自 Wilson(1927),并被 Brown、Cai 与 DasGupta(2001)以及 Agresti 与 Coull(1998)推荐。手册写,它的一个优点是下限不会变成负数,而常见的正态近似区间可能给出负数。样本很小或发生次数很少时,手册另外给出基于二项分布的区间做法,并提醒该区间不对称。
这里不算任何品牌的区间。没有样本次数和区间的百分比,不是这一节里的那种估计。
论文里的可见度也只是一种定义
GEO 论文 用与引用相关的词数和位置来定义可见度,并在自己的实验里比较修改前后的页面。那个定义可以引用,不能换成“ChatGPT 的官方份额”。OpenAI 的搜索文章和 API 指南都没有使用这个指标。
快照要留下能复核的记录
- 日历日期
- 完整问题
- 问题语言
- 实际传入的国家或地点参数,如果这次调用有这个字段
- 产品界面,或 API 的模型与工具名称
- 原始回答,以及其中实际返回的 URL
OpenAI 的指南写,search_context_size 不保证来源或引用的条数。快照里应保存实际返回的引用,而不是只保存设置的名字。Perplexity 的 disable_search 会关掉网页搜索。这种响应不能和打开了搜索的响应放进同一个引用率。
后一次运行是新的快照。页面在两次快照之间改过,不能把旧回答说成新页面的结果。不同语言、不同国家的快照也不能加总成一个数,因为前面核对过的 API 字段本来就是分开的。
来源
以下链接在 2026-10-14 打开并核对。对方页面之后可能修改。
NIST/SEMATECH e-Handbook, section 7.2.4.1
https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm比例的置信区间,包括 Wilson 方法,以及小样本时基于二项分布的区间。
GEO: Generative Engine Optimization
https://arxiv.org/abs/2311.09735论文自己的可见度定义。不是 OpenAI 公布的指标。
OpenAI web search guide
https://platform.openai.com/docs/guides/tools-web-search行内引用、sources,以及 search_context_size 不保证条数。
Perplexity Sonar API reference
https://docs.perplexity.ai/api-reference/sonar-postcitations 可以是 null。disable_search 会关闭网页搜索。