如何解决使用 PyTorch Transformer Encoder Block 进行无监督聚类
我正在尝试对音乐数据集(以整数表示的音符)执行无监督聚类任务。在使用 k-means 对它们进行聚类之前,我想使用 Transformer 对不同歌曲之间的相关性进行编码,并且我对如何最好地解决这个问题有些困惑。 我最初的想法是取encoder层的输出,直接应用聚类方法,但是每个向量的维度从输入到输出急剧增加(从100到10000),这不适合聚类。我不确定这是否是我自己的实现错误,但我想知道以下内容:
- 编码器层输出的维度相对于输入应该是什么
- 这些输出实际上意味着什么? (我只找到了解决解码器层输出的解释)
- 直接对这些输出进行聚类是否合适,还是应该先应用其他函数?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。