推荐系统Embedding技术回顾

推荐系统 Embedding 技术回顾

摘要

在许多自然语言处理(NLP)任务中，通常会使用神经网络将单词从高维稀疏向量转变为单词嵌入(Word Embedding)，即单词的低维表示[1], 随着神经网络在各个领域应用的发展，这个概念已经扩展到NLP领域之外的其他应用。研究人员希望用Embedding的方式来更好的描述某些特征或者某些特定实体(Entity)。2013年，Bengio等[2] 扩展了这一概念，这里有一段直接引用，“...人们非常希望减少算法对特征工程的依赖,...人工智能只有学会识别和解开隐藏在低水平数据中的潜在特征，才能实现这一目标。”在这之后甚至出现了一门新的学科：表示学习(Representation Learning)。这一技术也迅速运用到推荐系统及推荐排序模型中，使用深度学习进行推荐的早期阶段的Wide&Deep[3]、YoutubeNet[4]中就出现了Embedding技术。并且由于Embedding技术能和NLP领域的其他技术很好的结合在一起，很多NLP的技术也由此迁移而来，带动了深度学习技术在搜广推领域的发展。

本文将回顾Embedding技术的由来，介绍它的算法及改进，以及它在搜广推领域的运用。