AWS Machine Learning Blog· Khaled Thabit·· 6 小时前
Property Finder 如何修复评估偏差，在 Amazon Bedrock 上选出更优模型
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 导读
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验，导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图像并改用多标签分类，结合 v0 到 v27 的提示词迭代优化，在 Amazon Bedrock 上选出新模型，准确率更高且成本降低 86%。
入选记录
门槛 60官方一手第一次 42第二次 42
未入选两次之和 84 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：详述Bedrock视觉模型评测偏差与提示优化
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com