NNLM神经网络语言模型总结

一开始还以为很复杂，总结一下就是：
NNLM 将某个单词前 n−1 个词各自转为 embedding，拼接成一个 (n−1)⋅d 维的向量，再通过隐蔽层 + 输出层 + softmax，预测下一个词的概率分布
可以发现，这个2003年提出的模型在架构上和GPT大体是没区别的，都是用之前的文字预测下一个文字；都是用之前文字的embedding颠末一个特殊层（前者是FFN，后者是transformer decoder）来得到一个词表向量，根据向量的分量大小选择某个单词。
后话

当然，前者的结果差多啦，也存在不能辨别n-1个token次序等标题。但是，照旧感觉挺神奇的。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。