方法与交付2026 年 7 月 24 日 · 约 11 分钟读完

样本量够不够：一次 GEO 运行能不能下结论

GEO 数据可信吗？如果手里只有一次运行的结果，答案通常是不足以下结论。原因不是…

GEO 数据可信吗？如果手里只有一次运行的结果，答案通常是不足以下结论。原因不是数据不准，而是样本太少——提及率、引用率都是比例，比例的估计天然带误差。最直观的一个数字：当问题数为 40 条、真实比例接近一半时，95% 置信区间的半宽约为 ±15.5 个百分点。也就是说，测出 30% 和测出 45%，在统计上可能没有区别。这篇文章把误差算给你看，并给出一套可以写进报告的判断规则。

单次运行说明不了问题的三个原因

不确定性来自三处，只有第三处是可以通过增加样本量改善的。

第一，生成式回答本身带随机性。 Google 官方说明 AI 模式与 AI 概览可能使用不同的模型与技术，因此给出的回答与链接集合会不同。这不是故障，是机制。所以同一条问题隔天再问，答案的措辞、顺序、引用都可能变。

第二，AI 答案并非每次都出现。 官方表述是 AI 概览只在系统判断对经典搜索有增益时才展示，因此经常不触发。所以某条问题没出现 AI 答案，既可能是你的问题，也可能只是这条问题本来就不触发。

第三，抽样误差。 你的问题集本身就是一次抽样。用 30 条问题去估计「品牌在整个买家提问空间里的可见度」，和用 1000 人的民调去估计全国意向，是同一类问题——样本越小，误差越大。

把问题集当成一次抽样调查

提及率是一个比例，所以可以直接套用比例估计的置信区间。NIST/SEMATECH 统计方法手册在「检验比例」一节里给出的做法是：虽然比例的抽样分布实际服从二项分布，但推导样本量时使用正态近似。标准做法是用下面的半宽公式：

半宽 ≈ z × √( p(1−p) ÷ n )，其中 95% 置信度下 z ≈ 1.96，p 是测得的比例，n 是问题数。

p(1−p) 在 p = 50% 时取最大值，所以「一半一半」是最坏情况。下表按最坏情况算，第一列是正态近似的半宽，第二列是更适合小样本的 Wilson 区间半宽——两者差得不远，但后者在问题数很少或比例极小时更可靠。

问题数 n	95% 置信区间半宽（正态近似）	半宽（Wilson 区间）
20	±21.9pp	±20.1pp
30	±17.9pp	±16.8pp
40	±15.5pp	±14.8pp
50	±13.9pp	±13.4pp
60	±12.7pp	±12.3pp
80	±11.0pp	±10.7pp
100	±9.8pp	±9.6pp
150	±8.0pp	±7.9pp
200	±6.9pp	±6.9pp
400	±4.9pp	±4.9pp
1000	±3.1pp	±3.1pp

读这张表有两个要点。第一，精度提升不是线性的：问题数从 20 加到 80（四倍），半宽从 ±21.9 降到 ±11.0，只压掉一半；再加四倍到 320 条，才能再压掉一半。第二，±15.5pp 意味着什么：如果你测出某品牌提及率 30%，那么真实值有 95% 的可能落在 14.5% 到 45.5% 之间。在这个区间里，「我们比竞品低」这种判断基本无法成立。

引用率的特殊性：分母大、比例小、相对误差反而更大

引用率的计算方式和提及率不同——它的分母是该次采集中出现的全部引用链接数，不是问题数。这带来两个后果。

一方面，绝对误差会变小。假设一场 100 条问题的采集里总共出现 1000 条引用链接，其中 12 条指向你的域名，引用率是 1.2%。按公式，半宽约为 ±0.64pp，看起来挺准。

另一方面，相对误差很大。1.2% 上下浮动 0.64pp，意味着真实值可能在 0.56% 到 1.84% 之间——相对变化接近三倍。所以引用率个位数的时候，不要用「提升了 30%」这种表述，那个百分比的分母太小，容易被单条引用的增减左右。

还有一种情况需要单独处理：一次都没被引用。这时正态近似失效（p = 0），应该改用精确区间。当 n 次试验里观察到 0 次发生时，95% 置信上界约等于 3 ÷ n，这就是统计学里的「三倍法则」。具体数值：

问题数 n（观察到 0 次引用）	真实引用率的 95% 上界
30	约 9.5%
50	约 5.8%
100	约 3.0%
200	约 1.5%

也就是说，100 条问题里一次都没被引用，只能说明真实引用率大概率低于 3%——这和「引用率是 0」是两句话。报告里要写清楚是哪一句。

判断规则：差异要多大才算差异

当你要比较两轮结果（本月 vs 上月，或者自己 vs 竞品）时，两个比例的差也有误差，且比单个比例的误差更大。在两轮问题数相同、真实比例接近一半的最坏情况下，差异需要超过下面的门槛才值得当成变化。

每轮问题数	两轮差异需超过	能不能下结论
40	约 21.9pp	基本不能。40 条问题撑不起名次或涨跌结论
60	约 17.9pp	只有巨大差异才看得见
100	约 13.9pp	能看出方向，不能看细粒度涨跌
200	约 9.8pp	可以支撑较稳定的对比
400	约 6.9pp	可以看出趋势性变化

这条规则有一层重要含义：「我们排名第一」这类结论，在 40–100 条问题规模上是无法成立的，除非差距大到十几到二十几个百分点。所以看到任何基于单次小样本的名次结论，都应当先问三个问题：多少条问题、跑了几次、换一批问题结论还成立吗。

提高可信度的四种做法

做法	效果	成本
把问题数从 40 加到 200	半宽从 ±15.5pp 压到 ±6.9pp，是可算出的改善	🟡 一周
同条件重复运行，看稳定出现的项	区分「稳定结果」和「单次波动」	🟡 一周起
分引擎报告，不合并成一个分数	合并后的平均值既不能指导动作，也无法解释变化	🟢 一人日
报告里写清引擎、地区、时间、运行次数	让别人能判断结论强度，也让你自己能复现	🟢 一人日

安徽云边出海科技开发有限公司（云边科技）在交付里把「固定问题集」和「阶段执行快照」分成两项，前者保证可比性，后者记录每一轮的同条件结果——这样两轮之间的差异才有意义。这两项都属于「索引与 AI 可见度追踪」的服务范围，见GEO 服务方案与方法与交付。

报告里不该出现的三种说法

两位小数的精度。 「提及率 34.21%」在小样本下是虚假精度。n = 40 时，能写的是「约 34%，95% 置信区间 ±15 个百分点」。
把提及率写成引用率。 两个指标的分子分母都不同，混用一次，整份报告的可信度就没了。诊断方法见AI 引用率上不去，先查这 7 件事。
用复数形式的「AI 引擎」覆盖只跑过一家的结果。 只跑了 ChatGPT 就写「在 AI 搜索引擎中」，等于让看报告的人高估覆盖范围。必须写明测的是哪个引擎、什么时间、什么地区。

什么数据不足以下结论

这一节是本篇最重要的一节。以下几类结论，在单次运行的数据上都不该给出：

名次结论（「我们领先竞品」），除非差距超过上表的门槛；
趋势结论（「本月比上月提升了 8%」），除非差异超过两轮对比的门槛；
跨引擎合并结论（把三家数据加总成一个分数）；
因果结论（「因为改了标题所以被引用了」）——单次运行无法排除同期其他变化。

反过来，有几类结论即使是单次运行也能给：通道状态（抓取是否放行、页面是否被索引）、内容形态（重要信息是否有文本形式）、口径是否正确。这三类都是可核对的确定性事实，不依赖统计推断。竞品对比要用对称测量才有意义，方法见竞品在 AI 里的可见度怎么对标。

常见问题

问题集要多少条才够？

看你要支撑什么结论。只想看方向、不要名次：100 条左右可以。要做竞品对比或月度涨跌：200 条起更稳。想知道「引用率个位数」这种小比例的变化：分母要更大，因为引用率的分母是引用链接总数，不是问题数。起步阶段用 30–50 条建立基线是可以的，但要接受此时任何差异都无法下结论。

多跑几次是不是等于样本量更大？

不一样，但都有用。增加问题数降低的是「问的问题不够多」带来的误差；重复运行解决的是「同一条问题每次答案不同」的波动。两者针对不同来源的不确定性，所以最稳的做法是两条同时用：问题集放大，并对稳定出现的项目做标记。

为什么不能把三个引擎的数据合并成一个分数？

因为三者机制不同——检索来源、是否改写问题、引用呈现方式都不一样。合并后只剩一个平均值，而这个平均值既不能告诉你该去哪个平台投入，也无法解释变化来自哪里。分引擎记录、并列呈现，才能看出差异落在哪一层。

引用率一直是 0，是不是数据有问题？

先看问题数。如果只有 30 条问题，观察 0 次对应的真实上界约 9.5%，这个样本量本来就区分不出「真的没有被引用」和「抽样没抽到」。要确认是不是 0，需要更大的问题集，同时按诊断清单检查抓取与内容形态这两层。

竞品数据可以直接拿来比较吗？

只有在对称测量下才可以——每个品牌各自一套问题集，同一引擎、同一地区、同一时间窗。只在自己品牌的问题集里统计竞品出现次数，得到的是竞品在你关心的问题上的表现，不能推出谁排名更高。

客户要一个「GEO 分数」，怎么回应？

可以给分项分数，不能给合并分数。可行的做法是分引擎列出提及率、引用率、稳定出现的引用域名数量，每一项都标注问题数、地区、采集时间与运行次数。一个没有误差说明的单一分数，看起来干净，但无法支撑任何决策。