如何解决使用Transformer进行文本汇总
我正在使用faceface变压器模型进行文本摘要。 目前,我正在测试不同的模型,例如 T5 和飞马座。 现在,这些模型已经过训练,可以将大文本总结成非常短的内容,最多只能包含两个句子。现在我有了任务,我想要摘要,大约是文本大小的一半,因此,生成的摘要对于我的目的来说太小了。
我现在的问题是,是否有办法告诉模型另一个句子出现在前面? 有点类似于有状态RNN中的逻辑(尽管我知道它们的工作原理完全不同)。 如果可以,我可以在句子上方的小窗口中总显示以前的内容。
这只是我的想法吗?我不能相信我是唯一一个想要创建较短的摘要的人,但不仅要创建一两个句子的摘要。
谢谢
解决方法
为什么不转移学习?在您的特定文字和摘要上对其进行培训。
我在5个时期内以特定的受限文本训练了T5,并取得了很好的效果。我从这里开始按照我的需要使用代码https://github.com/patil-suraj/exploring-T5/blob/master/t5_fine_tuning.ipynb
如果您有特定的培训问题,请告诉我。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。