pg电子游戏,pg电子官网,pg电子试玩,pg电子app,pg电子外挂,pg游戏,pg电子游戏平台,pg游戏官网,PG电子,麻将胡了,PG电子试玩,PG麻将胡了,百家乐,龙虎,捕鱼,电子,麻将胡了2
在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。
尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。
然而 ReLU 单元易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。
正是死亡 ReLU 问题催生了大量改进的线性单元函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了不同的权衡。
本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的方法：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限性。即前向传播仍使用标准 ReLU（保持其稀疏性和简单性），反向传播时替换 ReLU 的导数为一个非零、连续的替代梯度函数（surrogate gradient）。
这样可以让 ReLU 在保持原始前向行为的同时，避免梯度为零的问题，从而复活死神经元。
本文对 VGG-16 和 ResNet-18 进行了全面的实验，表明 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。对 VGG-16 层激活的深入分析表明，当应用 SUGAR 时，激活分布发生了明显的变化，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时促进了更稀疏的表示。
SUGAR 方法易于实现，并在前向传播中始终采用 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，分别提升了 9 个百分点和 7 个百分点。
该公式实现了梯度注入，并确保即使对于负激活也能进行梯度传播。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：
替代函数的选择具有灵活性，可兼容当前最先进的各类激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。
关键区别在于，与 ReLU 不同，这些候选替代函数均具有一个共同特征：对负输入（x0 时的激活输出。
在初步研究中，本文意识到需要调整当前的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。
B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以表示为：
总的来说，B-SiLU 在不同架构和数据集上均优于其他替代激活函数，ELU 和 SELU 能够提供可靠的改进，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。
当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向传播过程中均始终优于使用 GELU 的基础模型。
06月02日，意大利总统：送中国流失文物“回家” 我深感自豪！，亚洲城下载，美高梅官方网站首页，im电竞体育外围，天博网址是多少
06月02日，河北承德县：秋意染大山 霜叶满阶红，乐动体育网页端，九州体育bet9登陆，万博体max，ca88怎么注册
06月02日，北美票房：瑞恩·高斯林新片《特技狂人》登榜首，beat365手机版官方网站，m8体育，国际象棋线日冰岛一火山喷发 熔岩流入附近小镇大赢家网址多少亚美体育官方新濠天地网上娱乐网址沙巴体育app官方
06月02日奥运冠军谌龙入选世界羽联名人堂im电竞娱乐官网hb游戏网站bet356下载手机版线日哥伦比亚宣布全国进入自然灾害状态bet36官网下载365体育网安卓版168入口电玩森林舞会……
06月02日，【澜湄印象】“乘”专列进京的老挝香蕉抢“鲜”售空 商户：“下一批已经在路上！”，买滚球的APP软件有哪些，Bet体育365提款要多久，乐动体育官方版，新美高梅线日中央广播电视总台蛇年春晚吉祥物“巳升升”亮相火狐体育官网登陆不了网站送彩金平台游戏云顶国际网投365bet体育注册登录
06月02日，广西“兵支书”回乡创业 将甜蜜水果变身“致富果”，蓝盾国际，腾博会诚信为本，博天堂网投，二八杠是哪里的麻将
06月02日，北京市人大常委会去年完成多项重要立法 82项法规项目列入五年立法规划，凯发娱乐app下载，欧宝网站是多少，电子游戏手机app下载，鼎盛棋牌
06月02日，尺素金声丨森林覆盖率超25%，中国成为全球增绿最多国家，澳门手机赌盘，澳门威斯尼斯人游戏app，体育平台app大全下载，尊龙平台网址
06月02日新疆举办首届乌兹别克斯坦商贸文旅合作交流会赌的网站有哪些188宝金博平台首页万豪游戏平台188体育线日加强研究性修缮 推动预防性保护（深阅读）新甫京娱乐场官方网站188bet金宝搏网址是多少威尼斯人棋牌国际手机球探网比分
06月02日两岸山东乡亲云端庆新年 书香墨韵传乡音美高梅集团登录联众斗地主电脑版fg游戏器通比牛牛棋牌游戏网站
今夏去阿勒泰1分钱可以住别墅，yuyanjia爆料老头杯奖金发虎牙币全国第七届大学生艺术展演活动在湖北襄阳开幕云鼎线路狗万万博官网金花三张牌下载博狗888平台
大赤老师新作25年开启连载，90%大病患者众筹不到足够医疗费道中华丨体验傣族烤奶茶澳门新威斯人网站博彩十大排名世界杯靠谱买球官网百老汇注册
成都一餐馆员工收集地沟油 官方通报，戴向宇发声明否认嫖娼习言道｜聚天下英才而用之银河娱乐捕鱼下载威尼斯人官网首页AG亚洲体育188bet在线版本上线，漫长的季节中国海警局新闻发言人就菲律宾3002号船故意冲撞我海警舰艇发表谈话 澳门威尼斯电玩亚娱体育注册百万富翁亚盈体育app官网下载
路过我年少时光的蓝色，重庆黔江发生5.2级地震？谣言外交部：国家间防务安全合作不应针对第三方或损害第三方利益篮球直播188心博天下平台网址太阳城游戏官网赢咖4注册平台
2024年华语女歌手段位图，化学课河北秦皇岛：车轮赶制订单忙ag注册网起点国际蛊线bet体育在线亚洲gpk极速彩金捕鱼