第 15 章 · 经典网络结构

词嵌入与 word2vec

不管是 RNN 还是后面的 Transformer,处理文字前都得先把词变成向量。 可“词”本是离散符号,计算机只认数字——怎么变出来的向量还带语义? 这一章把词嵌入(embedding)从 one-hot 的缺陷讲起,一直落到 word2vec 具体怎么训, 以及仓库里 TokenEmbedding 查表长什么样;读完后,第 19 章的 embedding 层、 第 17 章注意力里的点积,就都有根了。

1. 计算机只认数字:先看最笨的 one-hot

词是符号,得先编码成数字。最直接的办法是one-hot:词表里有 V 个词, 就用一个长度 V 的向量,只有这个词对应的位置是 1,其余全是 0。

第 14 章 RNN 若直接吃 one-hot,通常还会乘一个矩阵 W_x 变成稠密向量—— 其实那个 W_x 的每一行,就是一个词的嵌入向量(下面第 3 节)。

2. one-hot 的两个毛病

• 维度爆炸、极其稀疏:真实词表动辄 3 万~50 万(子词 BPE 后见第 20 章),每个词一个 V 维向量,99.99% 都是 0,存储和计算都浪费。
• 完全不懂语义:任意两个不同词的 one-hot 向量都互相垂直—— 点积恒为 0。在 one-hot 眼里,“猫”和“狗”的相似度,与“猫”和“苹果”一样都是 0。

3. 词嵌入表:查表到底是什么

词嵌入的核心数据结构是一张表(矩阵)E,形状 词表大小 × 向量维度。 第 i 行就是 id 为 i 的那个词的向量。给定 token id,不做矩阵乘法,直接取第几行——这叫查表(lookup)。

若坚持用 one-hot 记号,查表等价于矩阵乘:x = E^T · one-hot —— 只有一个 1 的稀疏向量乘大矩阵,结果只是挑出对应行。 实现时当然不会真做这个大乘法,直接索引一行即可。

embedding_table_.assign(vocab_size_, vector<double>(model_dim_, 0));
// 随机初始化每行(类似 Xavier 缩放的均匀分布)              1

for (int token_id : token_ids)
  output.push_back(embedding_table_[token_id]);           2

4. 语义相近 = 方向相近:点积与余弦

有了向量,用点积衡量相似度:方向越一致,点积越大。 但向量长度也会影响点积,所以常用余弦相似度——只看夹角、不看长短:

手算二维例子(已归一化长度):

word2vec 的训练,本质上就是在海量句子里,把常一起出现的词的向量夹角拧小, 不常共现的拧开。

5. 分布假设:凭什么“看上下文”能学语义?

词向量不是人手工标注“猫和狗相似度 0.9”,而是靠一条语言学直觉,叫分布假设(distributional hypothesis):

这正好能变成自监督任务(第 11 章):文本里被遮住的词就是标签, 周围词是输入,不需要人工标注。word2vec 和语言模型预测下一个 token用的是同一哲学, 只是 word2vec 只管学一张静态词表,语言模型还要学上下文动态表示。

6. word2vec 的网络长什么样?

很多人卡在“word2vec 到底训了个什么网络”。答案可能出乎你意料:它几乎是最浅的三层网络—— 没有 ReLU、没有堆很多层,核心就是两张 embedding 表 + 点积打分 + 分类损失。 先看清结构,后面训练步骤才好跟。

6.1 两张表:W_in 与 W_out

word2vec 的可训练参数主要是两个矩阵,形状都是 V × dim(V = 词表大小,dim = 词向量维度,常取 100~300):

input_embeddings_.assign(vocab_size_, vector<double>(embed_dim, 0));
output_embeddings_.assign(vocab_size_, vector<double>(embed_dim, 0));
// 对两张表每行做均匀随机初始化 …                    1

6.2 skip-gram 结构图:中心词猜上下文

skip-gram 一次训练样本 = (中心词, 目标上下文词)。 网络数据流可以画成下面这样——请对照图从左往右读:

实现时不会真构造 V 维 one-hot,而是直接用中心词 id 去 W_in 查一行——和第 3 节 embedding 查表完全一样。 输出侧也不是真的乘满 V×dim 矩阵,而是只算目标词那一行与 h 的点积(负采样时连全 V 都不算)。

6.3 CBOW 结构图:上下文猜中心词

CBOW 把窗口里多个上下文词的嵌入向量平均,得到一个 hidden,再去预测中心词:

7. 从语料造样本:滑窗扫一遍就有训练集

网络结构清楚了,接下来是数据从哪来。不需要人工标注:拿一篇语料,用小窗口在句子上滑动, 每个位置自动抠出训练对。

句子 “the cat sat on the mat”,窗口 = 左右各 1 词,中心词 sat 时 skip-gram 得到:

for (int center_pos = 0; center_pos < seq_len; center_pos++) {
  for (int context_pos = left .. right) {
    if (context_pos == center_pos) continue;
    centers.push_back(token_ids[center_pos]);
    contexts.push_back(token_ids[context_pos]);     1
  }
}

8. 完整训练七步走:以 skip-gram 为例

下面用极小词表把一次训练从头到尾走通。词表 V=4:cat(0), sat(1), on(2), mat(3),向量维度 dim=2。 当前样本:中心词 sat, 目标上下文词 cat。参数刚随机初始化:

auto& input_vec = input_embeddings_[center_id];   // u
auto& output_vec = output_embeddings_[context_id]; // v
const double score = Dot(input_vec, output_vec);
loss = -log(sigmoid(score));                         1

const double grad_scale = 1.0 - sigmoid(score);
input_vec[dim]  += grad_scale * lr * output_vec[dim];
output_vec[dim] += grad_scale * lr * input_vec[dim]; 2

③ logits 怎么算——对每个词 w,score_w = v_w · h(就是隐藏层和 W_out 第 w 行做点积):

9. 词表太大:负采样把输出层“瘦身”

第 8 节要对整个词表做 softmax——真实语料 V 可达 10 万,每一步都算 V 次点积 + 归一化,慢到没法训。 负采样(negative sampling) 换了个思路:不再预测“词表里哪一个”,只问“这一对词像不像真的共现”——变成几个二分类。

• 正样本:真实的 (sat, cat),算 σ(u_sat·v_cat),希望 → 1;
• 负样本:随机抽 K 个词(如 mat、GDP),算 σ(u·v_neg),希望 → 0。

每个训练步只更新u_sat、v_cat、以及 K 个 v_neg 共 K+2 组向量,复杂度从 O(V) 降到 O(K)(K 常取 5~20)。 这就是 word2vec 能在普通电脑上吃下十亿词的原因。

for (int neg_idx = 0; neg_idx < negative_num; neg_idx++) {
  int negative_id = SampleNegative(center_id, context_id);
  loss += -log(1 - sigmoid(u · v_neg));
  UpdateNegativePair(u, v_neg, lr);                 1
}

9.1 负采样版训练四步(接在第 8 节后面)

仍用样本 (sat → cat),但不算全词表 softmax:

1. 查表:u_sat = W_in[sat], v_cat = W_out[cat]。
2. 正样本 loss:score = u·v_cat, loss₊ = −log σ(score),把共现对拉近。
3. 负样本 loss:随机抽到 mat, loss₋ = −log(1 − σ(u·v_mat)),把噪声对推开。
4. 反传:对 loss₊ + loss₋ 求导,更新涉及到的 u、v——重复亿万次后,常共现的 cat/sat 向量夹角变小,随机 mat 被拧远。

训完后通常丢掉 W_out,只导出 W_in 当最终词向量(.vec 文件)。 大模型则把 embedding 留在网络里端到端更新(第 19 章)。

10. 向量算术:神奇从哪来,别神化

训练好的词向量有个著名现象:语义关系 ≈ 向量方向上的平移。

类似还有 巴黎 − 法国 + 日本 ≈ 东京。直觉是:某些隐含维度(性别、首都关系)被网络编码成近似线性的方向, 加减相当于沿这些方向走。这是统计共现压出来的副产品,不是人工写进规则里的。

11. 不止 word2vec:GloVe 与静态 vs 动态

GloVe(2014) 走另一条路:先统计全语料的词共现矩阵(哪些词一起出现多少次), 再分解矩阵,使两个词的向量点积 ≈ 共现次数的对数。和 word2vec 不同起点,但得到的也是静态词向量,常一起出现在“预训练 embedding”下载站里。

12. 一条线串起来:从 one-hot 到注意力

RNN 每个时间步吃的 x_t,就是这张表的一行; mini LM 在 EncodeSequence 里先查 embedding、再加位置编码,再进 Transformer。 你已在仓库里见过这行代码——现在你知道这些数最初是怎么被“拧”出有语义的了。

13. 仓库实战:自己训一遍 word2vec

本章概念在仓库里有一套可运行实现:src/deeplearning/embedding/ 下的 WordTokenizer + Word2Vec, 演示程序 src/demo/word2vec。默认用内置小动物语料,跑 skip-gram + 负采样,最后打印最近邻词和余弦相似度。

cd src
./build.sh
./bin/word2vec --show-pairs
./bin/word2vec --query-word cat --compare-word dog --epochs 40

动手与思考

词有了可训练的语义坐标,序列模型才能“读懂”每个 token。第 14 章 RNN 用 embedding 当每步输入; 下一部分请出注意力——先看它到底要解决 RNN 的什么问题。