AWS Machine Learning Blog· Khaled Thabit·· 6 時間前
Property Finder、評価バイアスを修正しAmazon Bedrockでより優れたモデルを選定
Fix evaluation bias to unlock better models on Amazon Bedrock
AI による要約
Property Finderは、評価ラベルの96.8%が人手による検証ではなく既存の視覚言語モデルの予測に由来しており、代替モデルが比較で構造的に不利になっていたことを突き止めた。チームはUAEの画像356枚を再び人手でラベリングし、マルチラベル分類に切り替え、v0からv27までのプロンプト反復最適化を組み合わせてAmazon Bedrock上で新モデルを選定。精度は向上し、コストは86%削減された。
入選の記録
基準 60公式・一次情報1 回目 422 回目 42
入選せず二回の合計 84 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：详述Bedrock视觉模型评测偏差与提示优化
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com