当前在线人数13335
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章
未名交友
[更多]
[更多]
为什么grid search伤人品
[版面:葵花宝典][首篇作者:wdong] , 2017年04月20日08:11:10 ,2801次阅读,12次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
wdong
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: wdong (万事休), 信区: Programming
标  题: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 08:56:27 2017, 美东)

起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
一般也不能同时做到最优。所有这些方面构成一个design space。软件设
计的时候一般就是选design space的一个子空间,然后允许用户通过调整
(meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
说清(有例外,比如regularization权重一般也是希腊字母)。
Grid search的问题是,很可能就碰到了那种作者都没有想清楚的奇葩
combination,这个combination恰好在用户的某个评价标准下(比如AUC)
高了0.001,但是在别的标准下差得比较多(比如accuracy差0.01,
cross entropy差0.02,速度慢10倍,内存占用多10倍,稳定性变差)。
新手搞kaggle喜欢grid search,是因为kaggle只看一个分数。但是在
机器学习实战中,我最怕的就是准确度评价标准定错了。而且事实上评
价标准肯定和现实有超过0.001的差距。电器的额定功率一般只是最大
功率的50%。偶尔超出额定功率也没事,但是长期超出额定功率使用会
导致寿命缩短。(初中物理,别告诉我你老师没教过。)软件其实也相似,
只是参数又多,程序员又懒,额定不过来。为了某个不完全可靠的指标
的一星星点提高而不顾别的一切考虑,这个是一种非常危险的行为。
这个就是我说的伤人品。某个评价标准到了极值,本身就意味着软件
工作在某种边界状态上。根据边界效益递减原理,很可能就是有别的
某种标准做了极大的牺牲。有时候就是说不清原因,稍微把accuracy调
低一点点使用,留点余地,也未必就不是明智的做法。


CS作为一个实战学科,可以硬碰硬看分数是很多软学科所不及的。但是CS
作为一个engineering学科,还有非常重要的一点就是trade off。
当年我在北大时教体系结构的老师叫程序,天天挂在嘴边的就是
trade off,有舍才有得。你百尺竿头跟进一步accuracy得来了艰难的0.001,
又不知道自己舍了什么,难道不是一件细思恐极的事情?









--

※ 修改:·wdong 于 Apr 20 09:25:14 2017 修改本文·[FROM: 209.]
※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 209.]








 
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 10:58:28 2017, 美东)

说的很好。
这些知识,一般情况下,open source的代码是不会包括的。
这就跟电路一样,图纸都给你,调试是机密。
【 在 wdong (万事休) 的大作中提到: 】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间,然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
: 出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
: 说清(有例外,比如regularization权重一般也是希腊字母)。
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
lightroom
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: lightroom (吃一条鱼,思考一个问题,法号三丰), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 13:49:35 2017, 美东)

现在的时髦的是learn to learn, 整个RNN, RL 啥的去调。我觉得也悬

【 在 wdong (万事休) 的大作中提到: 】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间,然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
: 出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
: 说清(有例外,比如regularization权重一般也是希腊字母)。
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 50.]

 
magliner
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: magliner (magliner), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 13:55:18 2017, 美东)

受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了? 只不
过书上网上到处都写栅格搜索,或者直接写阿尔法等于一,五,八,你说让人怎么办?

要是谁写个搜索策略,没人愿意把机器开一个晚上,烧坏了怎么办 ? 在我们民科看来
性能差个1%,2% up to 3%,根本没区别。 我们想知道的无非是个big picture, 满足一
下好奇心。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 205.]

 
rgg
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: rgg (rgg), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 20:44:02 2017, 美东)

我碰到过12个参数精简到3个正交参数。

【 在 wdong (万事休) 的大作中提到: 】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间,然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
: 出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
: 说清(有例外,比如regularization权重一般也是希腊字母)。
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 69.]

 
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Thu Apr 20 22:03:23 2017, 美东)

Big picture有Carmer-rao等不等式。类似于海森堡不等式。


【 在 magliner(magliner) 的大作中提到: 】
<br>: 受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了?
只不
<br>: 过书上网上到处都写栅格搜索,或者直接写阿尔法等于一,五,八,你说让人怎
么办?
<br>: 要是谁写个搜索策略,没人愿意把机器开一个晚上,烧坏了怎么办 ? 在我们民
科看来
<br>: 性能差个1%,2% up to 3%,根本没区别。 我们想知道的无非是个big picture,
满足一
<br>: 下好奇心。
<br>
--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2607:fb90:0858:]

 
chebyshev
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: chebyshev (......), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 10:23:56 2017, 美东)

本站没有精华区功能了,有没什么办法?
各位怎么看?

以前其他不少人的精华贴找起来也很麻烦。
【 在 wdong (万事休) 的大作中提到: 】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间,然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
: 出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
: 说清(有例外,比如regularization权重一般也是希腊字母)。
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
ddheart
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: ddheart (豆豆), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 11:13:04 2017, 美东)

这个观点在variance-bias tradeoff之类统计课里经常讲,月月讲,算常识了吧。

【 在 wdong (万事休) 的大作中提到: 】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度,占用内存,精度一般不能同时做到最优。精度有各种评价方法,
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间,然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的,
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置,然后就
: 出来一个参数。而且这种参数往往很多,一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等,因为含义作者也没法用一两个英文字母
: 说清(有例外,比如regularization权重一般也是希腊字母)。
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 146.]

 
chebyshev
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: chebyshev (......), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 11:24:46 2017, 美东)

常识健全的人可不容易找

common sense NOT == common practice
【 在 ddheart (豆豆) 的大作中提到: 】
: 这个观点在variance-bias tradeoff之类统计课里经常讲,月月讲,算常识了吧。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
magliner
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 10 ]

发信人: magliner (magliner), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 12:16:22 2017, 美东)

还真看不明白怎么就'常识'了。 契比雪夫不等式对有的人看,就是个'常识'; 证明就
写了五行字;对有的人,像我这样民科的,就不是常识。 我常常想,契比雪夫不等式
对契比雪夫自己,是不是个常识? 是常识吧,可人家这么几行字写了几十年,不是常
识吧,毕竟人家第一个想出来的。
【 在 chebyshev (......) 的大作中提到: 】
: 常识健全的人可不容易找
: common sense NOT == common practice



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 205.]

 
wdong
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 11 ]

发信人: wdong (万事休), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 12:28:50 2017, 美东)

王垠也是写常识啊,写成网红了。我这是向他学习。不是常识的东西我也写不出来。

【 在 ddheart (豆豆) 的大作中提到: 】
: 这个观点在variance-bias tradeoff之类统计课里经常讲,月月讲,算常识了吧。



--

※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
magliner
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 12 ]

发信人: magliner (magliner), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 13:21:49 2017, 美东)

你写的这些很有干货。写成blogg肯定红
【 在 wdong (万事休) 的大作中提到: 】
: 王垠也是写常识啊,写成网红了。我这是向他学习。不是常识的东西我也写不出来。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 205.]

 
Nehalem
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 13 ]

发信人: Nehalem (Nehalem), 信区: Programming
标  题: Re: 为什么grid search伤人品
发信站: BBS 未名空间站 (Fri Apr 21 13:48:14 2017, 美东)

卫东你的态度也符合常识,这点最好。


【 在 wdong (万事休) 的大作中提到: 】
: 王垠也是写常识啊,写成网红了。我这是向他学习。不是常识的东西我也写不出来。



--

※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 131.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996