同一段回答中出现公司名称、显示官网链接和把公司列为选择之一,是三种不同现象。若把它们合成一个“收录率”,团队很难知道改善来自哪里。
先定义三种现象
提及只记录名称是否出现;引用要求答案提供可访问来源并且来源支持对应表述;推荐还涉及用户场景、候选比较和措辞强度,应同时检查理由是否真实。
看到品牌名就宣称获得平台背书,或有来源链接就默认它支持整段结论,都会让测量口径失真。
一个链接究竟能证明什么
为三种现象分别设字段,保存原始回答与来源落点,让任何人都能在相同证据上复算。
一段回答说“可以了解甲公司”,只构成名称提及;名称旁出现官网链接,还要打开链接确认页面是否支持当前句子;若回答进一步称其“更适合某类客户”,则必须检查比较条件和推荐理由。三种现象可以同时出现,也可能只出现其中一项。
统计时应给原回答逐句编号。链接若只介绍行业背景,就不能支撑企业能力;候选列表若按字母排序,也不能被解释成推荐顺序。把证据落到具体句子后,复核者才有可能重算各项结果,而不是接受测试者对截图的主观描述。
逐条记录提及、引用与推荐
1. 定义提及
只按完整公司名、确认过的品牌名或明确指代计数,排除同名词和无关语境。
2. 核验引用
逐个打开来源,标记它支持的是企业主体、产品参数、案例事实还是仅提供背景。
3. 判断推荐
记录提问场景、候选数量、推荐顺序与理由,不把中性列举改写成强推荐。
4. 分表汇报
按平台和问题类型展示三项结果及样本量,同时附上失败样本,避免只报最好截图。
分项报表如何避免高估
- [ ] 原始回答逐条标注名称提及、可点击引用和场景推荐,品牌同名或无关语境没有计入。
- [ ] 每个引用都打开到最终网址,并圈出真正支持企业主体、产品参数、案例或背景的页面内容。
- [ ] 推荐样本保存问题场景、候选数量、出现顺序和原始理由,中性列举没有被改写成平台背书。
- [ ] 报表分别给出三项口径、样本量和未命中案例,任一比例都能从汇总返回原始截图。
只有三张明细表都能复算时,才适合讨论变化来自提及、引用还是推荐;一个醒目的成功截图不足以替代分项证据。
事实边界
这些定义是本站项目的测量口径,并非行业统一标准。平台界面和来源展示方式会变化,跨期比较时必须保留当时截图、链接和测试条件。

