光華講壇——社會(huì)名流與企業(yè)家論壇第6504期
主 題：Optimization and Generalization of Gradient Methods for Shallow Neural Networks淺層神經(jīng)網(wǎng)絡(luò)的梯度方法優(yōu)化與泛化
主講人：香港大學(xué) 雷云文博士
主持人：統(tǒng)計(jì)學(xué)院 林華珍教授
時(shí)間：4月26日 10：30-11：30
直播平臺(tái)及會(huì)議ID：騰訊會(huì)議，670-601-110
主辦單位：統(tǒng)計(jì)研究中心和統(tǒng)計(jì)學(xué)院 科研處
主講人簡(jiǎn)介：
雷云文是香港大學(xué)數(shù)學(xué)系的助理教授。他的主要研究興趣包括學(xué)習(xí)理論和優(yōu)化，主要集中在算法穩(wěn)定性分析、深度學(xué)習(xí)以及隨機(jī)優(yōu)化等主題。
內(nèi)容簡(jiǎn)介：
Neural networks have achieved impressive performance in various applications. In this talk, we discuss the optimization and generalization of shallow neural networks (SNNs). We consider both gradient descent (GD) and stochastic gradient descent (SGD) to train SNNs. We show how the optimization and generalization should be balanced to obtain consistent error bounds under a relaxed overparameterization setting. We improve the existing estimates on the weak-convexity parameter of SNNs along the trajectories of optimization process.
神經(jīng)網(wǎng)絡(luò)在各種應(yīng)用中已經(jīng)取得了令人印象深刻的性能。在本次演講中，我們討論了淺層神經(jīng)網(wǎng)絡(luò)（SNNs）的優(yōu)化與泛化。我們考慮使用梯度下降（GD）和隨機(jī)梯度下降（SGD）來(lái)訓(xùn)練SNNs。我們展示了如何在放松的超參數(shù)設(shè)置下平衡優(yōu)化與泛化，以獲得一致的誤差界。我們改進(jìn)了關(guān)于SNNs弱凸性參數(shù)在優(yōu)化過(guò)程軌跡上的現(xiàn)有估計(jì)。
