分别衡量已知品牌信息准确性和未知品牌自然出现,避免把提示性结果当推荐。
品牌题检查主体、地址、业务和来源是否正确;品牌加业务题检查公开证据能否支持服务关系;非品牌题观察品类或场景回答中是否自然出现。每组使用独立分母和合格标准。
品牌题检查“认不认识”
报告同时列出提及与准确性,品牌题不得计入“自然提及率”。非品牌题还应记录候选公司数量、引用页面和是否存在地域限制,以便理解一次出现的上下文。
问题中已经写出公司名时,回答出现该名称属于提示后的识别。它适合核对主体、地址、业务和来源是否正确,却不能计入自然发现;品牌加业务题则用于判断公开证据能否支撑特定服务关系。
非品牌题观察“会不会主动出现”
保留完整回答而非只截取公司名,复核是否为否定、纠错、用户输入回显或引用列表中的孤立文字。多名同名品牌需要人工判断实体。
品类、地区或场景问题不提供企业名,记录回答是否主动提及目标主体、处于什么语境、列出多少候选及引用哪些页面。每组使用独立分母,不能把品牌题的高命中拉高非品牌结果。
字符串出现还要人工复核
- 区分品牌题、品牌加业务题与非品牌题。
- 为各组设置独立分母。
- 同时核对提及与准确性。
- 排除用户提示回显。
- 保存完整回答和引用上下文。
公司名可能来自问题回显、否定句、同名企业或孤立的引用标题。保存完整上下文并核对城市、官网和业务,才能判定有效提及;即使非品牌题出现一次,也只能描述该样本,不能写成稳定推荐。
用两个题组核对分母和判定规则
品牌题主要检查系统能否正确识别企业,非品牌题观察企业是否在没有名称提示时主动出现,两者的难度和意义不同。品牌名出现在用户问题、否定句或同名主体中都不算有效提及,引用页面也不能代替回答正文中的品牌关系。
从两个题组各抽三条完整回答,先确认各自分母只包含成功完成且符合条件的样本,再人工核对名称出现的上下文和事实准确性。报告分别展示提及数、有效回答数和错误类型,不把两个比例合成一个“曝光分”。若题组或平台模式改变,重新编号序列。这样读者能看出变化发生在识别还是主动推荐环节。
品牌加业务题可帮助定位识别后是否理解服务,但仍应单独成组。报告若显示品牌题准确、非品牌题无提及,只能说明当前样本中的两个层次不同,不能直接下结论为平台偏见。错误提及还应按主体混淆、服务错误和地点错误分类。

