如何解决为什么我的主题权重的迹象在每次运行中都在变化?
我正在从Gensim的Topics and Transformations tutorial运行LSI程序,由于某种原因,主题权重的迹象不断从正变为负,反之亦然。例如,这是我使用线条打印时得到的结果
for doc,as_text in zip(corpus_lsi,documents):
print(doc,as_text)
Run 1
[(0,0.066007833960900791),(1,0.52007033063618491),(2,-0.37649581219168904)]
[(0,0.196675928591421),0.7609563167700063),0.5080674581001664)]
[(0,0.089926399724459982),0.72418606267525132),-0.408989731553764)]
[(0,0.075858476521777865),0.63205515860034334),-0.53935336057339001)]
[(0,0.10150299184979866),0.57373084830029653),0.67093385852959075)]
[(0,0.70321089393783254),-0.1611518021402539),-0.18266089635241448)]
[(0,0.87747876731198449),-0.16758906864658912),-0.10880822642632856)]
[(0,0.90986246868185872),-0.14086553628718496),0.00087117874886860625)]
[(0,0.61658253505692762),0.053929075663897361),0.25568697959599318)]
Run 2
[(0,0.066007833960908563),-0.52007033063618446),-0.37649581219168959)]
[(0,0.19667592859143226),-0.76095631677000253),0.50806745810016629)]
[(0,0.089926399724470751),-0.72418606267525032),-0.40898973155376284)]
[(0,0.075858476521787177),-0.63205515860034223),-0.5393533605733889)]
[(0,0.10150299184980684),-0.57373084830029419),0.67093385852959098)]
[(0,0.70321089393782976),0.16115180214026417),-0.18266089635241456)]
[(0,0.87747876731198149),0.16758906864660211),-0.10880822642632891)]
[(0,0.90986246868185627),0.14086553628719861),0.00087117874886795399)]
[(0,0.61658253505692828),-0.053929075663887563),0.25568697959599251)]
Run 3
[(0,0.066007833960902929),-0.52007033063618535),0.37649581219168821)]
[(0,0.19667592859142491),-0.76095631677000497),-0.50806745810016662)]
[(0,0.089926399724463771),-0.7241860626752511),0.40898973155376317)]
[(0,0.075858476521781085),-0.63205515860034334),0.5393533605733889)]
[(0,0.10150299184980124),-0.57373084830029542),-0.67093385852959064)]
[(0,0.70321089393783143),0.16115180214025732),0.18266089635241564)]
[(0,0.87747876731198304),0.16758906864659326),0.10880822642632952)]
[(0,0.90986246868185761),0.1408655362871892),-0.00087117874886778746)]
[(0,0.61658253505692784),-0.053929075663894419),-0.25568697959599318)]
我正在PC上运行Python 3.5.2,使用IntelliJ进行编码。
有人在使用Gensim库或其他地方遇到过这个问题吗?
解决方法
LSI模型不过是其下的快速截断SVD的实现。 SVD计算特征向量,这些向量与主题相对应。但是,即使乘以-1,特征向量仍然是特征向量。因此,根据算法的实现方式,符号可能会不断翻转。实际上,流行的库LAPACK的SVD实现甚至是numpy实现都是这种情况。
这里的符号实际上并不重要,因为乘以-1也是本征向量。
,有很多可能性:
- 主题的顺序可以不同。两次运行之间的主题/词汇变化。如果您每次都从头开始运行(包括生成词汇, 等),您可能会看到最终的主题 跑步之间变化或跑步之间词汇变化 可以解释差异。
- 计算在数值上不稳定。如果存在一个接近于0.0的值,该值可能会四舍五入为-0.0或+0.0(取决于计算顺序,有时可能会有所不同),并且影响结果的符号,则可能会发生这种情况。这可能与导致其的通用数字错误或软件/硬件组合有关。
- 其他原因尚未确定。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。