本文目录一览

1，神经网络中的激励函数是干什么用的麻烦用通俗的话讲谢谢

翻译为激活函数（activation function）会更好。激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。

神经网络中的激励函数是干什么用的麻烦用通俗的话讲谢谢

2，深度学习中的主要激活函数有哪些

这其实是一种状态压缩或状态转换。模拟人类神经元之间的信号传递，信号是从前一个神经元轴突传递到后一个神经元的树突或胞体，是从电信号转化学信号再转电信号，激活函数就是模拟化学信号到电信号之间的转换。

深度学习中的主要激活函数有哪些

3，神经网络激励函数的作用是什么有没有形象的解释

每个激励函数类似于逻辑回归，进行分类的
以我个人的理解，神经网络会有很多数据输入，激活函数有两个作用，第一是因为实际数据会有噪声，为了让噪声对下一层的影响较小，采用激活函数可以抑制边缘奇异性较大的数据，第二个作用就是对前一层输出值进行约束，这就好比人一样，我们的身高在1-3米之间，加入计算中计算出了一个非常夸张的数，就可以用激励函数约束（一般训练初时病态比较严重）在1-3米之间，常用的双极型函数就是把数据都约束在-1到1的超球体内。

神经网络激励函数的作用是什么有没有形象的解释

4，激活函数 softmax tanh 哪个更好

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广

5，人工神经网络常用的4个激活函数是哪些

何止3个（类）？深度的大多ReLU以及类似的，softplus是reLu软化的产物； RBF的话Gaussian很常见；Sigmoif类里tanh和logistic等也很常用；实在不济，step function也可以用。某些regression问题直接在最后层用identity function，也算是激活函数。
人工神经网络（artificial neural network，即ann ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

6，神经网络中的激活函数有什么区别

理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题。 但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 。这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 。多层就有多个导数，如果用一般的连续函数，这对计算机的存储和运算都是一个问题，此外还要考虑整个模型的收敛速度，我上面提到连续函数都可以做激活函数 。但是相应的Sigmoidal型函数的收敛速度还是比较快的，（相同的结构前提下） 还有就是BP在做分类问题的时候，Sigmoidal函数能比较好的执行这一条件，关于连续函数可以做激活函数的证明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。
理论上讲任何一个连续的非多项式、常数函数都可以做为bp的激活函数 而且这都是已经在数学上证明过的问题。 那么为什么一般是要选作sigmoidal函数 我认为是sigmoid函数相对其他函数有它自身的优点 比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 多层就有多个导数，如果用一般的连续函数，这对计算机的存储和运算都是一个问题 此外还要考虑整个模型的收敛速度，我上面提到连续函数都可以做激活函数 但是相应的sigmoidal型函数的收敛速度还是比较快的，（相同的结构前提下） 还有就是bp在做分类问题的时候，sigmoidal函数能比较好的执行这一条件 关于连续函数可以做激活函数的证明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到 这类问题在上个世纪90年代就已经基本解决

文章TAG：神经网络激活函数  神经网络中的激励函数是干什么用的麻烦用通俗的话讲谢谢  
下一篇