刘二大人 PyTorch深度学习实践 笔记 P9 多分类问题

分类：菜鸟笔记作者：qq_44948213

刘二大人 PyTorch深度学习实践 笔记 P9 多分类问题

P9 多分类问题

1、softmax函数

糖尿病数据集分类为0和1，MNIST数据集有10个分类怎么办？输出时输出10个y？

在这里插入图片描述


神经网络希望输出之间是带有竞争性的，即所有概率之和为1，且所有概率均大于0，softmax可以实现这两点。

在这里插入图片描述


图中绿色框中就是指包括softmax的计算过程：

在这里插入图片描述

2、作业：CrossEntropyLoss vs NULLoss

在这里插入图片描述

I NLLLoss损失函数

在这里插入图片描述


代码实现如下：

import numpy as np
y = np.array([1, 0, 0])
z = np.array([0.2, 0.1, -0.1])
y_pred = np.exp(z) / np.exp(z).sum()
loss = (- y * np.log(y_pred)).sum()
print(loss)

输出：

0.9729189131256584

II CrossEntropyLoss损失函数

CrossEntropyLoss损失函数 = Softmax + NLLLoss损失函数
神经网络的最后一层不需要做激活(经过Softmax层的计算)，直接输入到CrossEntropyLoss损失函数中就可以。

在这里插入图片描述


代码实现如下：

import torch
y = torch.LongTensor([0]) # 使用了one-hot，标签类型是LongTensor
z = torch.Tensor([[0.2, 0.1, -0.1]])
criterion = torch.nn.CrossEntropyLoss()
loss = criterion(z, y)
print(loss)

输出：

tensor(0.9729)

III 举例

import torch
criterion = torch.nn.CrossEntropyLoss()
# Y表示第几个标签分类
Y = torch.LongTensor([2, 0, 1]) # 注意此处是LongTensor

Y_pred1 = torch.Tensor([[0.1, 0.2, 0.9],
						[1.1, 0.1, 0.2],
						[0.2, 2.1, 0.1]])
Y_pred2 = torch.Tensor([[0.8, 0.2, 0.3],
						[0.2, 0.3, 0.5],
						[0.2, 0.2, 0.5]])

l1 = criterion(Y_pred1, Y)
l2 = criterion(Y_pred2, Y)
print("Batch Loss1 = ", l1.data, "\nBatch Loss2 = ", l2.data)

输出：

Batch Loss1 =  tensor(0.4966) 
Batch Loss2 =  tensor(1.2389)

3、应用在MINIST数据集

I 实现过程

  1. 准备数据集
  2. 设计模型
  3. 构造损失函数和优化器
  4. 训练+测试(前馈、反馈、更新)

II 实现代码

import torch
from torchvision import transforms # transforms针对图像进行一些处理
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F # relu激活函数
import torch.optim as optim # 优化器

# 1. 准备数据集
batch_size = 64
# 读图像的时候 将像素转化成图像张量
transform = transforms.Compose([
    transforms.ToTensor(),
# 均值 标准差 => 切换到0-1正态分布
    transforms.Normalize((0.1307, ), (0.3081, ))
])
# 在视觉里面，灰度图就是一个矩阵，但实际上并不是一个矩阵，我们把它叫做单通道图像，彩色图像是RGB三通道图像，通道有宽度和高度，一般我们读进来的图像张量是WHC(宽高通道)
# 在PyTorch里面我们需要将WHC转化成CWH,把通道放在前面是为了在PyTorch里面进行更高效的图像处理，卷积运算
train_dataset = datasets.MNIST(root='dataset/mnist/',
                               train=True,
                               download=True,
                               transform=transform)
train_loader = DataLoader(train_dataset,
                          shuffle=True,
                          batch_size=batch_size)
test_dataset = datasets.MNIST(root='dataset/mnist',
                              train=False,
                              download=True,
                              transform=transform)
test_loader = DataLoader(test_dataset,
                         shuffle=False,
                         batch_size=batch_size)

# 2. 设计模型
# 设计模型
class Net(torch.nn.Module):
	def __init__(self):
		super(Net, self).__init__()
		self.l1 = torch.nn.Linear(784, 512)
		self.l2 = torch.nn.Linear(512, 256)
		self.l3 = torch.nn.Linear(256, 128)
		self.l4 = torch.nn.Linear(128, 64)
		self.l5 = torch.nn.Linear(64, 10)

	def forward(self, x):
		x = x.view(-1, 784) # -1表示自动算n
		x = F.relu(self.l1(x))
		x = F.relu(self.l2(x))
		x = F.relu(self.l3(x))
		x = F.relu(self.l4(x)) # 不用做激活
		return self.l5(x)

model = Net()

# 3. 构建损失函数和优化器
# 构建损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

# 4. 训练+测试
# 定义训练函数
def train(epoch):
	running_loss = 0.0
	for batch_idx, data in enumerate(train_loader, 0):
		inputs, target = data
		optimizer.zero_grad()
		# 前馈+反馈+更新
		outputs = model(inputs)
		loss = criterion(outputs, target)
		loss.backward()
		optimizer.step()

		running_loss += loss.item()
		# 每300次迭代输出一次
		if batch_idx % 300 == 299:
			print('[%d,%5d] loss:%.3f' % (
			epoch + 1, batch_idx + 1, running_loss / 300))
			running_loss = 0.0


# 定义测试函数
def test():
	correct = 0
	total = 0
	with torch.no_grad(): # 不会再去计算梯度
		for data in test_loader:
			images, labels = data
			outputs = model(images)
			# 沿着第一维度找最大值的下标
			_, predicted = torch.max(outputs.data, dim=1) # _ 是占位符，表示有值，但是用不着
			total += labels.size(0) # (N, 1)取第0个元素
			correct += (predicted == labels).sum().item()
	print('Accuracy on test set:%d %%' % (100 * correct / total))


# 实例化训练和测试
if __name__ == '__main__':
	# 训练10轮
	for epoch in range(10):
		train(epoch)
		test()

输出：

[1,  300] loss:2.256
[1,  600] loss:1.102
[1,  900] loss:0.432
Accuracy on test set:89 %
[2,  300] loss:0.331
[2,  600] loss:0.279
[2,  900] loss:0.238
Accuracy on test set:93 %
[3,  300] loss:0.198
[3,  600] loss:0.180
[3,  900] loss:0.158
Accuracy on test set:95 %
[4,  300] loss:0.137
[4,  600] loss:0.124
[4,  900] loss:0.119
Accuracy on test set:96 %
[5,  300] loss:0.102
[5,  600] loss:0.101
[5,  900] loss:0.093
Accuracy on test set:96 %
[6,  300] loss:0.083
[6,  600] loss:0.072
[6,  900] loss:0.078
Accuracy on test set:97 %
[7,  300] loss:0.063
[7,  600] loss:0.060
[7,  900] loss:0.064
Accuracy on test set:97 %
[8,  300] loss:0.047
[8,  600] loss:0.052
[8,  900] loss:0.054
Accuracy on test set:97 %
[9,  300] loss:0.040
[9,  600] loss:0.040
[9,  900] loss:0.042
Accuracy on test set:97 %
[10,  300] loss:0.030
[10,  600] loss:0.031
[10,  900] loss:0.035
Accuracy on test set:97 %

损失不断降低，准确率高达97%，但是到最后准确率就上不去了，是因为对图像用全连接神经网络忽略了对局部信息的利用，把所有的元素都全连接了，处理时权重不够高，处理图像时更关心高级别的特征。
如果可以先做特征提取，再做分类训练，效果可能会好些。
人工特征(wavelet )提取方法：FFT傅里叶变换、小波变化，
自动特征提取：CNN

5、作业

在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

pytorch分类深度学习

相关推荐

如何学习编程？新手菜鸟如何学编程？
学习编程是顺着互联网的发展潮流，是一件好事。新手如何学习编程？其实不难，不过在学习编程之前你得先了解你的目的是什么？这个很重要，因为目的决定你的发展方向、决定你的发展速度。
it行业都是什么工作？it行业主要做什么？
IT行业是什么工作做什么？IT行业的工作有：产品策划类、页面设计类、前端与移动、开发与测试、营销推广类、数据运营类、运营维护类、游戏相关类等，根据不同的分类下面有细分了不同的岗位。
女生学Java好就业吗？女生适合学Java编程吗？
女生学Java好就业吗？女生适合学Java编程吗？目前有不少女生学习Java开发，但要结合自身的情况，先了解自己适不适合去学习Java，不要盲目的选择不适合自己的Java培训班进行学习。只要肯下功夫钻研，多看、多想、多练
mysql-connect-confused
Can’t connect to local MySQL server through socket \'/var/lib/mysql/mysql.sock问题 1.进入mysql路径
oracle基本命令
oracle基本命令 一、登录操作 1.管理员登录 # 管理员登录 sqlplus / as sysdba 2.普通用户登录
shell判断服务是否启动
一、背景 因为项目中需要通北京网络，所以需要连vpn，但是服务器有时候会断掉，所以写个shell脚本每五分钟去判断是否连接，于是就有下面的shell脚本。
SQL BETWEEN 操作符
BETWEEN 操作符选取介于两个值之间的数据范围内的值。这些值可以是数值、文本或者日期。
​​windows上传ipa到开发者中心app store的方法
假如你已经使用过苹果开发者中心上架app，你肯定知道在苹果开发者中心的web界面，无法直接提交ipa文件，而是需要使用第三方工具，将ipa文件上传到构建版本，开...
SQL 入门篇之什么是别名？
下面的 SQL 语句指定了两个别名，一个是 name 列的别名，一个是 country 列的别名。**提示：**如果列名称包含空格，要求使用双引号或方括号：
windows上传ipa文件到app store的方法​
在使用H5混合开发的app打包后，需要将ipa文件上传到appstore进行发布，就需要去苹果开发者中心进行发布。​
SQL AND & OR 运算符
+----+--------------+---------------------------+-------+---------+
C++ 数组
数组的声明并不是声明一个个单独的变量，比如 number0、number1、...、number99，而是声明一个数组变量，比如 numbers，然后使用 nu...
最全iOS 应用上架流程提交到AppStore
第一步：到appuploader官网下载辅助工具和iCloud驱动，使用前面创建的AppID登录。
SQL ALTER TABLE 语句
如需删除表中的列，请使用下面的语法（请注意，某些数据库系统不允许这种在数据库表中删除列的方式）：
dism操作巨慢
前不久在制作win11pe，制作了一版，1.26GB，太大了，不满意，想再裁剪下，发现这次dism mount正常，commit或discard巨慢，以前都很快...
三种方法卸载Symantec Endpoint Protection 赛门铁克
赛门铁克各个版本概览：https://knowledge.broadcom.com/external/article?legacyId=tech163829
python3.6、python3.10用什么版本的pip
实测Python 3.6.6用pip 21.3.1，再高就报错了，Python 3.10.7用pip 22.3.1是可以的
博通和诺顿
Broadcom Corporation （博通公司，股票代号AVGO）是全球领先的有线和无线通信半导体公司。其产品实现向家庭、 办公室和移动环境以及在这些环境...
高版本c4d在低版本windows系统上打开后不显示窗格
发现个问题，server2016上安装了c4d这些版本，低版本的正常显示窗格，但红色圈出的高版本c4d打开后不显示窗格，
基础网络windows不要使用TAT、如何卸载TAT
TAT：https://cloud.tencent.com/document/product/1340
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot