如何解决用于主题建模的文本清理 - 这样做有多远？
在为潜在 Dirchlet 分配模型（gensim 库）准备数据集时，我删除了所有常见的停用词，进行了标记化、词形还原、二元词组、BoW 等（重要的是我的模型不适用于英语，不过我在 Spacy 库中找到了合适的字典）。此外，我创建了另一个包含停用词的文件，这些词并不常见，但在我看来绝对没用且没有预测能力 - 假设我的数据集是从帮助台的聊天中创建的 - 诸如“男人”、“女人”之类的词， 'last','monday' 不是必需的，但不包含在基本的“停用词文件”中。我这样做也是为了减少词典 - 现在它包含（连同双字词）大约 1800 个单词。
我面临的问题是，每次运行 LDA 模型时，我都会得到不同的主题 - 我使用 pyLDAvis 进行可视化 - 每次我都感觉主题的关键词不同，主题之间的“距离”也是如此。换句话说，我不会说该模型在其预测中具有任何可重复性。我已经尝试过的：
- 检查一致性度量以选择最佳主题数
- 为 random_state 参数尝试了许多值
- 将 'iterations' 参数设置为比默认值高得多（以允许模型每次都获得 'true' 收敛）
- 尝试在越来越小的数据集上运行模型
- 尝试在数据集的随机子样本（假设来自 50k 条记录的 5k 样本）上运行模型几次，以检查结果是否稳定
因为结果似乎仍然不满意，我在我的“停用词文件”中添加并添加了另一个词以再次减少字典，并希望它能让模型更具可重复性。无论如何，虽然有大约 700 个 houndred 词被视为停用词，但我仍然不能说该模型按我的预期工作。
我还能做什么？是否有可能数据集“太糟糕”而无法使用（这是一个真实的数据集）？ 也许制作我自己的“停用词文件”是一个错误？关于第二个问题，我也试图只删除常见的停用词，如“我们，我，你，我”等，然后做 Tf-Idf，这应该为我完成这项任务。但是后来，我读到，通常最好使用“词袋集”作为 LDA 模型的输入，而不是 Tf-Idf 表示——实际上，在测试期间，数据集的 Tf-Idf 表示导致了更糟糕的结果.
我将不胜感激，
谢谢
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。