本文へ移動

#使い方・実践

今日 0 件

7月10日

金曜日

7月6日

月曜日
  1. PRX第4部:データ戦略

    Hugging FaceはPRXシリーズ第4部でデータ戦略を詳述した。公開・内部データを混ぜ、VLMで画像の長い説明を再生成し、ストリーミング学習用に変換する。Lanceで構築・選別、MDSでストリーミング学習を行う。Qwen3-VLへの変更後は学習中に文字のlatentを計算し、実測の処理量低下は約3~4%で、30日の学習が約1日延びる。

3月11日

水曜日

1月22日

木曜日
  1. Heaps do lie:vLLMメモリーリークの調査

    Mistral AIはMedium 3.1のPrefill/Decode分離配置でvLLMのメモリーリークを調査した。システムメモリーが毎分400MB増え、数時間で不足する。グラフコンパイルを有効化しNIXLでKVCacheを送るdecode側だけに現れた。Heaptrackではヒープが安定しており、問題はヒープ外にあった。

8月1日

金曜日
  1. Mistral、Pixtral-12Bの微調整で衛星画像の視覚言語性能を改善

    MistralはLoRAでPixtral-12Bを微調整し、Aerial Image Dataset(AID)の衛星画像分類で未調整の基準を大きく上回り、幻覚による無効な分類名を減らした。Mistralの微調整APIかLaPlateforme UIを使い、大規模なハイパーパラメーター調整は不要だ。学習8000、テスト2000に分割した。

4月9日

水曜日

3月4日

火曜日