请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
然后在论文中报告这个配置和对应的实验结果。
理论上的不完备并不妨碍它在实际应用中产生稳定的结果。
林晓用的这个分布重标定操作,本质上和这些经验性调整属于同一类。
只能说它不优雅,但很有效。
于是林晓犹豫了几秒,还是解释道:“标准二元交叉熵在决策边界附近的梯度衰减问题,我确实没有从数学上做根本性的改进。”
“我处理的方式是在数据预处理阶段对质量分数的分布做了重新标定,把靠近0.5的样本往两端拉伸,降低边界区域的样本密度。”
“这个操作的依据是实验效果,不是梯度分析的推导。”
“如果要从根上解决,可能需要对损失函数本身做修改,比如引入一个和样本分布相关的自适应权重项。”
“额,这部分我目前还没有做。”
斯通布雷克听完之后,立马乘胜追击。
“所以你也知道,你现在用的这个方案,在理论上并不完备。”
面对事实,林晓无言以对。
“对。我知道。”
斯通布雷克听完之后,把话筒放回桌面上,终于没有继续提问。
但他的心里却变的有些复杂起来。
虽然他找出了林晓的一个问题。
但这还压根算不上什么漏洞。
换句话说,他虽然获得了这次提问的胜利。
但与此同时,他对林晓的认可度也达到了顶点。
随着提问结束,这场学术交流会也走向落幕。
走出Kresge礼堂之后。
斯通布雷克往苏世民计算机学院的方向走了一段路,忽然停住了脚步。
他后悔了!
刚才在报告会上,林晓对贝叶斯优化和卷积网络的理解深度,已经远远超出了他的预期。
他原本以为这个学生的主要优势在跨学科判断力,算法层面可能只是会用的水平。
但刚才那两个问题的回答告诉他,林晓对算法设计的理解是系统性的。
第一个问题,他引用了一篇几个月前刚发表的JMLR论文,章节和定理编号一字不差。
第二个问题,当被追问到经典原理的数学边界时。
他没有硬撑,而是直接承认了当前方案的理论不完备,并且准确指出了可能的改进方向。
这说明他不仅知道什么能用,还知道什么不够用、哪里不够、以及为什么不够。
斯通布雷克在计算机领域做了四十多年,见过无数聪明的学生和研究者。
他知道什么人只是学得快,什么人是真正能创造新东西的。
林晓显然是属于后者。
他对算法边界的判断力不是从课本里学来的,也不是从导师那里继承过来的。
他在做的过程中形成了自己的判断标准。
知道什么规模的数据适合什么深度的网络。
知道参数空间的大小决定了优化策略的选择。
知道一个方案在什么条件下会失效、失效之后该往哪个方向走。
这种能力完全没法教,只能靠天赋和实战积累。
而且天赋还是属于极其夸张的那种。
“唉!”斯通布雷克止不住的叹气。
“我也许真该去医院看一看了。”
“可能最近,确实是有些老眼昏花了。”