在生成式人工智能测评中，数据质量直接决定了指数结果是否可信。AI指数并非简单地把所有采样结果汇总求平均，而是先对每一次AI响应进行有效性判断，只有符合条件的响应才会进入后续计算。
这是因为生成式AI在实际运行中，容易受到模型状态、网络环境、内容安全策略、输出限制等多种因素影响，出现无响应、空回复、答非所问、内容残缺或无法识别目标对象等情况。如果把这些异常响应直接算进去，就会拉低整体结果的准确性，影响指数的稳定性和可信度。
因此，建立有效的响应样本筛选和样本有效性判定机制，是AI指数可靠性的重要保障。
生成式AI的回答虽然听起来自然，但并不是每一次响应都适合作为测评数据。在实际采样中，系统会面对多平台、多问题、多轮次的复杂情况。有些响应完整、准确、有价值，但也有些存在明显问题，比如平台请求失败、返回空白内容、回答完全偏题，或者根本无法识别目标对象。
如果不加区分地把所有结果都放进计算，会带来几个明显问题：异常响应会稀释真实信号，本来有效的问题可能因为一次空回复就被错误拉低分数；答非所问的内容会干扰提及、推荐和语义判断的准确性；无法识别目标对象的响应则缺乏计算基础。
所以，AI指数必须先做好数据质量把关，先筛选出有效样本，再进行指数计算。
所谓有效响应样本，是指那些满足质量要求、能够被系统正常解析并用于计算的AI回答。通常需要同时满足几个条件：成功采集到响应、内容不为空、文本可正常解析、回答基本符合问题意图、能够完成目标对象识别和相关特征判断，以及没有严重格式问题或无关内容干扰。
只有达到这些标准的响应，才会被纳入题目级的得分计算。
相对应的，异常响应样本则包括采集失败、响应为空、超时未返回、明显答非所问、内容不完整、格式无法解析、目标对象识别失败、大量重复无意义内容、安全拒答等情况。对于这些响应，系统会进行剔除、标记或降权处理，避免它们干扰最终指数。
样本有效性判定其实是一个质量控制过程。系统采集到AI响应后，不会马上计算分数，而是先做完整性检查、意图匹配判断、文本解析和特征提取，再根据预设规则把响应分为有效和异常两类。只有有效样本才会用于生成题目级得分，异常样本则被单独记录，用于后续分析。
在具体计算中，每个采样问题通常会进行多轮独立采样。系统会对每一轮响应单独判断有效性，只基于有效响应来计算该题的得分。比如某问题采样五次，其中三次有效、两次异常，那么得分就只根据这三次有效响应生成。如果有效样本数量太少，系统还会降低该问题的权重或标记为低可信采样。
通过这种方式，AI指数更看重的是进入计算的数据质量，而不是单纯的采样数量。
此外，有效样本率也是一个重要的质量参考指标。它可以反映某个平台、某类问题或整个测评任务的数据可用程度。如果某个平台有效样本率很高，说明它的响应比较稳定；如果异常比例较高，对它的指数结果就需要更谨慎地解读。
需要说明的是，异常样本虽然不直接参与得分计算，但并非完全没有价值。它可以作为重要的监测信号——比如某个平台频繁拒答或空响应，可能反映该平台在某类问题上的稳定性不足；某类问题长期有效样本率低，也可能说明问题设计需要调整。
有效的样本筛选机制，最终目的是提升AI指数的稳定性和可复现性。它能有效过滤噪声，让指数结果更稳健。同时，由于判定规则是事先设定且可重复的，不同批次的测评结果也更有可比性。
AI指数的可靠性，不仅仅取决于采样规模，更取决于样本质量。生成式AI的回答天然带有不确定性，原始响应不能直接等同于有效数据。只有通过严格的样本有效性判定，筛选出真正有价值的内容，再基于这些有效样本进行计算，才能得到稳定、可信的结果。
有效响应样本筛选机制，让AI指数能够主动识别异常、控制噪声、提升数据质量，为最终的测评结果提供扎实的基础。
