使用梅尔谱图的卷积神经网络用于罕见事件

如何解决使用梅尔谱图的卷积神经网络用于罕见事件

希望有人对我要说的东西有想法。 我在实习期间遇到了四个月的问题

我的目的是创建一个模型来检测音频中的稀有声音 例如，一个2小时的音频可能包含2个或3个这种罕见事件 我无法告诉您更多有关确切主题的信息，因此对此感到抱歉（因为它是私人的）。

我必须处理几个包含一些罕见事件声音的音频文件，并使用它创建自己的数据集。所有音频文件都已注释。

为了达到这个目的，我完成了以下管道：

• 将所有音频文件切成10秒的片段并为它们添加注释
• 将它们计算为梅尔谱图
• 将它们保存到numpy文件中
• 在模型之前重新加载它们

然后我将每个“图像”标准化 并使用CNN的通用架构：

model = Sequential()
    model.add(Conv2D(128,kernel_size=(5,5),activation='sigmoid',input_shape=inputShape))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Conv2D(64,(5,activation='sigmoid'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Conv2D(128,2)))
    model.add(Flatten())
    model.add(Dense(1,activation='sigmoid'))

每个步骤都应告诉您10秒钟的片段是否包含罕见事件声音。所以基本上这是一个binarry分类。

但是该模型的召回率和准确性很差。没有任何尝试可以改变这一点。 火车数据的准确率约为60％，召回率约为10％。

我已经尝试使用vgg16模型进行迁移学习，由于采样不足导致数据不均衡和数据扩充。我也改变了优化器，降低或提高了学习率，并使用了不同的损失函数

现在我的实习是昨天完成的 但是我对自己的表现感到非常沮丧。

有人有想法吗？ 我做得好吗？也许不加载频谱图，而是直接使用图像而不使用频谱图数组？

解决方法

根据我的说法，MFCC功能本来是一种更好的方法，并且将其与序列网络而不是卷积网络一起使用会更好。对于序列，LSTM，RNN，Transformers等序列网络会更好。

但是，如果您仍然希望使用上述模型，则可以使用5x5滤镜，其效率要比2层3x3滤镜低。因此，减少这些以查看您的网络会发生什么。然后，您在整个网络中增加和减少了过滤器的数量，随着您越深入，过滤器的数量通常会按照增加的顺序排列。您已在整个网络中使用了S型激活，但从未实现过。乙状结肠激活应仅在预测层上。它们的其余部分应具有ReLU激活。将所有这些放在一起应该会对您的模型有很大帮助。

,

虽然你的实习即将结束，但希望你能做得更好。处理音频确实具有挑战性。挑战可能如下，您应该工作/更新这些，然后检查模型的准确性。 1.数据集的大小：在这种情况下，在 2 小时音频中出现 2、3 次的稀有声音肯定会训练模型的样本数量非常少。虽然你做了增强但是增强后两个类的数据集的大小是多少？请提一下。 2。生成 Mel-Spec： 用于生成 mel-spec 的参数也非常重要 我给您示例参数：n_mels=128,n_fft=512,win_length=400,hop_length=160 3.休息你可以按照之前的回答。