PyTorch性能分析第3部:Attentionの詳解
Hugging Faceブログはprofilerでattention実装を追う第3部を公開した。単純な実装とin-place maskingを比較し、masked_fillをmasked_fill_に変えると順伝播ごとにGPU Memcpyカーネルを1つ減らせると示した。
Hugging Faceブログはprofilerでattention実装を追う第3部を公開した。単純な実装とin-place maskingを比較し、masked_fillをmasked_fill_に変えると順伝播ごとにGPU Memcpyカーネルを1つ減らせると示した。
Hugging FaceはPRXシリーズ第4部でデータ戦略を詳述した。公開・内部データを混ぜ、VLMで画像の長い説明を再生成し、ストリーミング学習用に変換する。Lanceで構築・選別、MDSでストリーミング学習を行う。Qwen3-VLへの変更後は学習中に文字のlatentを計算し、実測の処理量低下は約3~4%で、30日の学習が約1日延びる。
Mistral は公開コーディングアシスタント Vibe から自律エージェントを構築した。Rails ソースを読み、RSpec テストを生成・改善し、CI/CD で人の介入なしに実行する。
Mistral AIはMedium 3.1のPrefill/Decode分離配置でvLLMのメモリーリークを調査した。システムメモリーが毎分400MB増え、数時間で不足する。グラフコンパイルを有効化しNIXLでKVCacheを送るdecode側だけに現れた。Heaptrackではヒープが安定しており、問題はヒープ外にあった。
MistralはLoRAでPixtral-12Bを微調整し、Aerial Image Dataset(AID)の衛星画像分類で未調整の基準を大きく上回り、幻覚による無効な分類名を減らした。Mistralの微調整APIかLaPlateforme UIを使い、大規模なハイパーパラメーター調整は不要だ。学習8000、テスト2000に分割した。
Mistralはjudge LLMがgenerator LLMの回答を数値、二値、定性的尺度で採点し、評価データの加重平均を取るRAG評価を提案した。
Mistral AI は TranscriptToPRDTicket を公開した。Mistral Large 2 による PRDAgent と TicketCreationAgent が会議の文字起こしから PRD を生成し、開発チケットへ変換して、Linear や Jira などに自動作成する。