我们可以为未经培训的课程提取VGG16 / 19功能吗

如何解决我们可以为未经培训的课程提取VGG16 / 19功能吗

我有一个关于为实验提取VGG16 / VGG19功能的查询。

预先训练的VGG16和VGG19模型已经在ImageNet数据集上进行了训练，该数据集具有1000个类别（例如c1，c2，... c1000），通常我们从指定的第一和第二完全连接层（'FC1'和“ FC2”）；然后将这4096个维特征向量用于计算机视觉任务。

我的问题是，我们可以使用这些网络来提取不属于上述1000个类别的图像的特征吗？换句话说，我们可以使用这些网络来提取带有标签c1001的图像的特征吗？请记住，c1001不属于最初训练这些网络的Imagenet类。

在https://www.pyimagesearch.com/2019/05/20/transfer-learning-with-keras-and-deep-learning/上的文章中，我引用了以下内容-

在进行特征提取时，我们会处理预训练的网络 作为任意特征提取器，允许输入图像 向前传播，停在预先指定的层，并采取 该图层的输出作为我们的功能

从上面的文字来看，图像是否必须属于Imagenet类之一没有任何限制。

请抽出一些时间来揭开这个谜。

在研究论文中，作者只是简单地说，他们使用了从Imagenet数据集上预先训练的VGG16 / VGG19网络提取的特征，而未给出任何进一步的细节。

我正在提供案例研究以供参考：

带属性的动物数据集（请参阅https://cvml.ist.ac.at/AwA2/）是非常受欢迎的数据集，具有50种动物类别，可用于图像识别任务。作者已为上述数据集图像提取了ILSVRC预训练的ResNet101功能。此ResNet 101网络已针对1000个imagenet类进行了预训练（https://gist.github.com/yrevar/942d3a0ac09ec9e5eb3a#file-imagenet1000_clsidx_to_labels-txt上提供了不同的imagenet类）。

此外，AWA类如下：

antelope,grizzly+bear,killer+whale,beaver,dalmatian,persian+cat,horse
german+shepherd,blue+whale,siamese+cat,skunk,mole,tiger,hippopotamus,leopard,moose,spider+monkey,humpback+whale,elephant,gorilla,ox,fox,sheep
seal,chimpanzee,hamster,squirrel,rhinoceros,rabbit,bat,giraffe,wolf,chihuahua,rat,weasel,otter,buffalo,zebra,giant+panda,deer,bobcat,pig,lion,mouse,polar+bear,collie,walrus,raccoon,cow,dolphin

现在，如果将数据集中的类别与1000个Imagenet类进行比较，我们会发现Imagenet中不存在诸如海豚，牛，浣熊，山猫，蝙蝠，海豹，绵羊，马，灰熊，长颈鹿等类仍然，作者继续提取ResNet101功能。我相信提取的特征是可概括的，这就是为什么作者将这些特征视为AWA图像的有意义的表示。

您对此有何看法？

想法是获取不属于ImageNet类的图像的表示形式，并将其与标签一起用于其他分类器中。

解决方法

是的，但是可以。

第一个完全连接的层中的功能假设要编码非常通用的图案，例如角度，直线和简单形状。您可以假设可以将其推广到训练过的课程之外。

有一个，但是-发现这些功能是为了最大程度地减少具有1000个类的特定分类任务的错误。这意味着，不能保证它们有助于对任意类进行分类。

,

仅提取特征，您可以在预训练的VGG /其他CNN中输入所需的任何图像。但是，出于培训目的，您必须执行以下其他步骤。

已通过对这1000个类别进行专门训练确定了提取的特征，这些特征属于这1000个类别。您可以使用网络预测不属于这1000个类别的图像，但是在下面的段落中，我解释了为什么这不是理想的方法。

这里要概述的关键点是，提取的设置特征可以用于检测/确定照片中其他对象的存在，但不能用于“就绪” /“开箱即用”。

例如，边和线是与这1000个类别不完全相关的特征，但与其他类别也不相关，因此它们是有用的通用特征。

因此，您可以使用“转移学习”，来训练自己的图像（数据集），例如c1001，c1002，c1003。

但是请注意，在使用网络预测新图像（新类别）之前，您需要先进行自己的训练。转移学习是指使用一组已经收集/学习的功能，这些功能可以适用于其他问题，但是您需要对“新问题”进行培训，例如c1001，c1002，c1003。