如何解决如果我选择的单词在预训练单词嵌入矩阵中没有任何嵌入矢量怎么办?
假设我的文本语料库包含一个罕见词,该词在预先训练的词嵌入中不存在。我该如何解决这个障碍?
解决方法
想到的一些解决方案:
- 定义一个未知单词向量,它将代表不在列表中的每个单词。
- 使用n-gram模型(例如最近的邻居)
- 使用不同的模型来显式查看单词的内容(例如CWE)
- 删除这些功能,并专注于预训练词嵌入中出现的功能。
- 半监督学习可能会有所帮助
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。