在深度学习领域,激活函数是神经网络模型中的关键组成部分,它们为神经元引入了非线性,使得模型能够处理复杂的输入-输出关系。本篇将详细介绍如何使用MATLAB来绘制三种常用的激活函数:Sigmoid、ReLU(Rectified Linear Unit)和Tanh(双曲正切)。 我们来看Sigmoid函数。Sigmoid函数的形式为: \[ f(x) = \frac{1}{1 + e^{-x}} \] Sigmoid函数的输出值域在0到1之间,因此它常被用于二分类问题,作为输出层的激活函数。MATLAB中绘制Sigmoid函数的代码通常如下所示: ```matlab function sigmod_pic x = linspace(-10, 10, 400); % 创建x轴取值范围 y = 1 ./ (1 + exp(-x)); % 计算Sigmoid函数值 plot(x, y); % 绘制函数图像 xlabel('Input (x)'); % x轴标签 ylabel('Output (f(x))'); % y轴标签 title('Sigmoid Activation Function'); % 图像标题 end ``` 接下来是ReLU函数,其定义非常简单: \[ f(x) = \max(0, x) \] ReLU函数在x小于0时输出0,在x大于等于0时输出x,其优点在于避免了梯度消失的问题,是现代深度学习网络中最常用的激活函数之一。MATLAB绘制ReLU函数的代码如下: ```matlab function relu x = -10:0.01:10; % 创建x轴取值范围 y = max(0, x); % 计算ReLU函数值 plot(x, y); % 绘制函数图像 xlabel('Input (x)'); % x轴标签 ylabel('Output (f(x))'); % y轴标签 title('ReLU Activation Function'); % 图像标题 end ``` 最后是Tanh函数,它也是Sigmoid的一种变体,但其值域在-1到1之间: \[ f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \] Tanh函数因其更接近零的均值而有时优于Sigmoid,有助于训练过程中的中心化。在MATLAB中绘制Tanh函数的代码如下: ```matlab function tanh x = -10:0.01:10; % 创建x轴取值范围 y = tanh(x); % 计算Tanh函数值 plot(x, y); % 绘制函数图像 xlabel('Input (x)'); % x轴标签 ylabel('Output (f(x))'); % y轴标签 title('Tanh Activation Function'); % 图像标题 end ``` 通过以上代码,我们可以清晰地看到这三种激活函数的形状特点,这有助于理解它们在不同场景下的应用选择。Sigmoid函数的平滑特性使其适用于概率输出,但可能面临梯度消失问题;ReLU函数的线性特性加速了训练,但可能有“死ReLU”问题;Tanh函数则在Sigmoid与ReLU之间找到了平衡,提供了一种折衷的选择。在实际应用中,选择哪种激活函数取决于具体任务的需求和网络结构。
- 1
- 粉丝: 6w+
- 资源: 7
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助