原文：超越ReLU却鲜为人知，3年后被挖掘：BERT、GPT-2等都在用的激活函数
谷歌大脑Quoc发布Primer，从操作原语搜索高效Transformer变体
天承办公室    阅3
神经网络中常见的激活函数
DuerOS布道师    阅210
CVPR 2021 | 自适应激活函数ACON: 统一ReLU和Swish的新范式
我爱计算机视觉    阅291
内存用量1/20，速度加快80倍，腾讯QQ提出全新BERT蒸馏框架，未来将开源
长沙7喜    阅436    转2
你知道神经网络能解决所有问题吗？
南风清雨    阅1675    转3
一文梳理跨域推荐研究进展
昵称7673502    阅123
【深度】从经典深度学习模型探讨图像识别新方向
Yoke8    阅457    转7
深度学习面试必备的 25 个问题
x_box361    阅276    转2
如何解决大模型训练稳定性的问题
坚定不移2    阅79    转2
你知道什么是Parametric ReLU（PReLU）函数吗
昵称26407850    阅46
人工智能|神经网络中的激活函数
算法与编程之美    阅178
强化学习成大热门！ICML 2020 热门话题引用量最高的论文
学术头条    阅70
神经网络中的激活函数选择与优化方法研究
微薇蔚葳    阅4
修正线性单元(Rectified linear unit，ReLU）
黑尘子    阅2111    转3
为什么说Relu是非线性激活函数，在大于0部分不是线性的吗？
无悔大哥chen    阅5885    转6
《YOLOV4&5原理与源代码解析之八：激活函数与架构》
头号码甲    阅30
听觉记忆不如视觉和触觉记忆牢固
yygltj    阅3371    转171
利用深度学习来预测股票价格变动（长文，建议收藏）
leafcho    阅1938    转7
分层级联Transformer！苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度！
黄爸爸好    阅85    转2
ACL 2020 | 玩转网络结构搜索？你需要更大的搜索空间
莫斯科威    阅61