Pytorch学习 Pytorch 基础

一、模型选择

1 激活函数

1.1 sigmoid 函数

用途：二分类任务

import torch

torch.sigmoid(zhat)

1.2 sign 阶跃函数

import torch

torch.sign(zhat)

1.3 整流线性单元函数ReLU

import torch

torch.relu(zhat)

1.4 tanh 双曲正切函数

1.5 softmax 函数

用途：多分类任务

import torch
import torch.nn as nn
from torch.nn import functional as F

F.softmax(zhat, dim=1)

2 实现正向传播

2.1 任务

2.2 代码

import torch
import torch.nn as nn
from torch.nn import functional as F

torch.random.manual_seed(420)
X = torch.rand((500,20), dtype = torch.float32)
y = torch.randint(low = 0, high = 3, size = (500, 1), dtype = torch.float32)

class Model(nn.Module):
    def __init__(self, in_features = 10, out_features = 2):
        super(Model, self).__init__()
        self.linear1 = nn.Linear(in_features, 13, bias = True)
        self.linear2 = nn.Linear(13, 8, bias = True)
        self.output = nn.Linear(8, out_features, bias = True)
        
    def farward(self, x):
        z1 = self.linear1(x)
        sigma1 = torch.relu(z1)
        z2 = self.linear2(sigma1)
        sigma2 = torch.sigmoid(z2)
        z3 = self.output(sigma2)
        sigma3 = F.softmax(z3, dim = 1)
        return sigma3
    
torch.random.manual_seed(420)
input_ = X.shape[1]
output_ = len(torch.unique(y))
net = Model(in_features = input_, out_features = output_)

print(net.farward(X))

2.3 结果

二、损失函数

问题分类	使用的损失函数	调用的方法
回归问题	误差平方和SSE	criterion = MSELoss(reduction = "sum")
二分类	二分类交叉熵损失	① criterion = nn.BCELoss ② criterion = nn.BCEWithLogitsLoss()
多分类	交叉熵损失函数	① nn.LogSoftmax(dim = 1) 加上nn.NLLLoss() ②criterion = nn.CrossEntropyLoss()

1 交叉熵损失函数

1.1 二分类交叉熵损失函数

1.2 多分类交叉熵损失函数

三、优化算法

1 最小二乘法

1.1 数学推导

1.2 几何意义

1.3概率视角

2 高斯分布

赏

谢谢你请我吃糖果