跳到正文

全部 AI 动态

今日 5 条

9月1日

星期一
  1. word2vec 究竟学到了什么?伯克利提出可定量预测的学习理论

    伯克利 AI 研究团队提出首个可定量预测 word2vec 学习过程的理论,证明在现实训练条件下该问题可化简为无权重最小二乘矩阵分解,梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。从小初始化训练时,word2vec 按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即 M* 的顶部特征向量,可由语料统计和超参数预先算出。

8月1日

星期五

7月30日

星期三

7月23日

星期三

7月17日

星期四

7月15日

星期二

7月11日

星期五

7月3日

星期四

6月11日

星期三

6月10日

星期二

6月4日

星期三

5月28日

星期三

5月27日

星期二

5月21日

星期三

5月7日

星期三

4月9日

星期三

3月17日

星期一

3月7日

星期五

3月4日

星期二