word2vec は何を学ぶか、Berkeley が定量予測できる学習理論

Berkeley の AI 研究チームは word2vec の学習過程を定量予測する初の理論を提案した。現実の訓練条件で非加重最小二乗の行列分解に帰着でき、勾配流の閉形式解があり、最終表現は目標行列 M* の PCA に等しい。小さな初期値では直交線形部分空間を離散段階ごとに学び、埋め込みのランクを上げ損失を減らす。その特徴は M* の上位固有ベクトルで、コーパス統計とハイパーパラメーターから事前計算できる。