Sigmoid 函数

特点：Sigmoid 函数将输入压缩到 (0, 1) 的范围内，适合处理概率问题。它简单易用，但在输入值较大或较小时容易导致梯度消失，影响深层网络的训练。

使用场景：常用于二分类任务的输出层，将网络输出转换为概率。

用法示例：在实现时，通常用 output = sigmoid(x) 来计算输出。

Tanh 函数

特点：Tanh 函数将输入压缩到 (-1, 1) 的范围内，相比 Sigmoid 函数，它的输出是中心对称的，能更好地处理负输入，梯度消失问题也有所改善。

使用场景：适用于需要对称性激活的隐藏层。

用法示例：可以通过 output = tanh(x) 来使用。

ReLU 函数

特点：ReLU 函数输出非负值，计算简单且有效，能够有效缓解梯度消失问题，但可能会导致神经元死亡（即输出恒为零）。

使用场景：广泛应用于大多数隐藏层，尤其是在卷积神经网络（CNN）中。

用法示例：使用 output = relu(x) 来实现。

Leaky ReLU 函数

特点：Leaky ReLU 通过在负区域引入一个小的斜率来解决 ReLU 的神经元死亡问题。

使用场景：适用于深层网络，以避免神经元死亡。

用法示例：实现时可用 output = leaky_relu(x, alpha=0.01)，其中 alpha 是负斜率。

PReLU 函数

特点：PReLU 允许负斜率作为可学习参数，从而增强了激活函数的自适应性。

使用场景：适用于需要自适应激活的复杂网络。

用法示例：可以用 output = prelu(x, alpha)，其中 alpha 是可学习的参数。

ELU 函数

特点：ELU 在负区域有非零梯度，并且输出均值接近零，这有助于改善梯度流动和加速训练。

使用场景：适合需要更好梯度流动性的网络。

用法示例：通常用 output = elu(x, alpha=1.0) 来实现。

Swish 函数

特点：Swish 结合了线性和非线性特性，在某些场景下性能优于 ReLU。

使用场景：适用于深层网络，需要高性能和稳定性。

用法示例：可以通过 output = swish(x) 来使用。

Softmax 函数

特点：Softmax 将输出转换为概率分布，适合用于多分类问题。

使用场景：常用于多分类任务的输出层。

用法示例：实现时使用 output = softmax(x)。

这些激活函数各有优缺点，选择合适的激活函数可以显著影响神经网络的性能和训练效率。根据具体任务和网络架构的需求，合理选择和调整激活函数是深度学习中的一个重要步骤。