July · 2022年05月07日

恒源云 (Gpushare)_【炼丹必备】调参心法(说人话系列)

2.png
不行了,临下班前看见社群里有个小哥哥发了一大段话,太太太……搞笑了!!!
为啥明明很深奥的道理,到他笔下就那么的……接底气????
这我可就不想急着下班了,我得让大家一起快乐啊😂

这个分享就叫:说人话系列

内容来源:【炼丹必备】调参心法

创作者:阿洲

完整内容如下:

理想状态下,我们最想看到的是训练损失下降,验证损失下降,并且验证损失大于训练损失,当然理想很丰满,现实很骨感,一起来看看以下常见的情况和思路分析把。

A:训练损失下降,验证损失下降,但是验证损失小于训练损失。这种情况最需要注意的就是查看一下验证集的数据,确保验证集数据不会太少或者是太简单了。

B: 训练损失下降,验证损失不变甚至开始上升了,这种情况就是模型训练过拟合啦,说明模型开始自以为是了,成绩太好可能是题太简单了,所以需要增加难度了,比如增加点dropout rate。

C: 训练损失不变,验证损失下降。啥?平时作业都做不利索,考试的时候你考第一?查,这小子肯定作弊了!赶紧查查训练集和验证集的数据把。

D:训练损失不变,验证损失也不变,怎么了,躺平了是吧?可能确实是难度太大了,降低点学习率吧,咱学慢点,别步子迈的太大了,batch size 也调下来点,慢点吃,别塞着了。还可以看看一些非正常情况,比如你数据的label都是错的,或者Loss函数都写错了,那这就别怪我躺平了,真学不了。

E:训练损失不变,验证损失上升,恭喜你,遇到疑难杂症了,我帮不了,解铃还须系铃人,自己再好好查查数据集把,一般人遇不到这种情况。

F: 训练损失上升,打住打住,我不想听你验证损失怎么了,你这训练损失上升,反向学习给谁看呢?反向学习还能学的这么认真?赶紧给我停下来,看看是什么样【天才】的网络设计,或者是什么狗屁不通的超参组合,我劝你耗子尾汁。

G: 损失值出现了nan, 你小子老实交代,是不是自己设计了一个loss函数?赶紧查查看把,什么?你没设计?那你看看你数据里面是不是就有nan呀?什么?也没有?那难道是梯度爆炸了?也,也不是?神仙难救,神仙难救啊!

关于调参炼丹,您有啥独门秘籍,说出来给咱开开眼呗,别藏着掖着啦。

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息