教程推介&独家资源:《39个小时学会凸优化 - 凌青》

凸优化指在凸集中对凸函数进行优化的问题,可以说是机器学习的一大基础:它被广泛应用在包括线性回归,支持向量机等各种传统机器学习方法中;同时,在深度学习中,loss function 的优化虽然是一个非凸优化问题,但是直接用凸优化方法进行求解,同样可以得到不错的结果。

这学期我选修了一门《凸优化》,默认的教程是Boyd的 Convex Optimization 。书当然是好书,但是感觉不太适合我。我又进行了一些搜寻,其中有一篇分享凸优化学习经验的我的凸优化学习之路 讲的很好。我顺着这篇文章的思路,又看了一些其他的教程,最终我找到了这个我个人认为最好的教程:39个小时学会凸优化 (海外的朋友可以看Youtube

这个视频是凌青老师在中科大时开设的课程录像,主要是介绍凸函数,凸问题以及一些具体算法。凌老师把复杂的内容讲的深入浅出,对于概念,凌老师不但会给出清晰有逻辑的证明思路,同时还会给出一些几何解释以及具体的工程应用。当然,凌老师的厉害之处不止在于深入浅出,更在于他的知识渊博,我印象最为深刻的就是关于对偶问题最优解等于原问题最优解一章,凌老师洋洋洒洒,一口气给出了基于鞍点、经济学、几何、多模态优化的四种解释,把四种解释讲得各有不同又有所相连,令人听得大呼过瘾。

凌老师讲课逻辑之清晰令人惊叹,我听凌老师的课,常常想起《让子弹飞》中“TM什么叫惊喜”的段落,凸优化大喝一声“汤师爷你说说什么是惊喜”,凌老师就blabla,把一个复杂问题庖丁解牛,拆解地清清楚楚,让我们学生就像黄二郎一样,恍然大悟:“原来这TM就是惊喜。”

凌老师讲课也非常幽默,这在讲理工科课程的国内老师中非常少见。有时冷不丁地来一句幽默,让人在苦苦求索时精神为之一振。我一直记着的,就是凌老师说到可行解,说蜀国出征,关羽是最优解,而廖化,就是个可行解。当然,这个优点对比凌老师的其他优点而言,就不值一说了。我可以自信地说,哪怕凌老师的课程省略这些小幽默,你依然会为凌老师展示出的凸优化的美而震撼驻足。这些幽默,对其他老师的枯燥课程也许是雪中送炭,但之于凌老师,不过锦上添花而已。

除了以上种种,凌老师身上也散发着一个学人的人格魅力,他的治学严谨,关心学生,心怀国计民生等等,都值得我们学习。

我在看这门课的视频时,满足之于,也发现一个遗憾,即凌老师的板书内容丰富,但网上并没有对他板书内容的‘像素级’的总结,只有一些比较概括性的总结。恰巧我在看网课之余,做了非常详细的手书笔记,并通过箭头标出了不同步骤,不同概念之间的关联。因此在这里抛砖引玉,分享给大家,希望对大家的凸优化学习,有一些帮助。

笔记的地址在我的Github repoCVX-note,是纸质笔记的扫描格式,内容包括从仿射开始,一直到第38讲的内容(不包括34,35两节线性代数内容),并附了一个从bilibli网友写的每个视频的一句话总结;为方便下载,在github上我也留了一个压缩包,其中包含所有笔记。因为上课时间紧迫,我并未对笔记进行校正,不免有疏漏之处,如果有问题,希望大家可以联系我(weiguo@gwu.edu),我会及时修正,谢谢大家。

Comments
Write a Comment