如何解决如何构建一个将句子嵌入与预训练的CNN串联在一起的神经网络
我想构建一个神经网络,该神经网络将从CNN的最后一层(例如VGG或resnet)获取特征图,并连接一个附加向量(例如1X768 bert向量),然后重新训练最后一个分类问题。 因此,架构应类似于:
但是我想为每个特征向量添加一个附加向量(我有一个句子来描述每个帧)。
我有5个可能的标签,并且在输入帧中有100帧。
有人可以帮助我实现这种类型的网络吗?
解决方法
我建议您查看 Keras功能API 。
与顺序模型(通常足以解决许多入门问题)不同,功能性API 允许您创建所需的任何非循环图。这意味着您可以具有两个输入分支,一个分支用于CNN(图像数据),另一个用于您需要执行的任何NLP(与您提到的描述性句子有关)。然后,您可以将这两个分支的组合输出馈送到网络的最后一层,并产生结果。
即使您已经使用models.Sequential()
创建了模型,使用功能性API对其进行重写也不应该太困难。
有关更多信息和实施细节,请在此处查看官方文档:https://keras.io/guides/functional_api/
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。