Transformer Embedding 发表于 2021-05-20 更新于 2022-01-19 Transformer中的Embeddinghttps://blog.csdn.net/qq_35799003/article/details/84780289 将词汇表中的每个单词进行one-hot编码存在的问题 稀疏向量过大，导致模型无法训练。向量间缺少距离的度量。 解决方案采用Embedding，将高纬稀疏向量映射到低维空间，同时保留语义关系。