Hugging Face Blog·· 5 時間前
Hugging Face、LLMの意思決定の公平性を評価する新ベンチマークFairStressを公開
FairStress: A deeper evaluation of fairness in LLM decision-making
AI による要約
Hugging Faceは、採用や融資、医療などの意思決定におけるLLMの集団公平性を測るベンチマークFairStressを公開した。Olmo、Llama、Qwen、Gemma、Claude、GPTシリーズのモデルを対象とする。
入選の記録
基準 60公式・一次情報1 回目 382 回目 42
入選せず二回の合計 80 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：LLM公平性评测基准与模型行为分析
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co