【优化器】优化器算法及PyTorch实现（一）：永不磨灭的SGD

瓦砾准备写一个关于优化器算法的系列，主要面向总是把优化器当做黑盒使用的，或是对优化器算法有些遗忘的读者。希望大家在看完这个系列后，能达成以下几点成就：对深度学习优化器的进化史，有一个系统的了解；对应不同的任务，知道应选用哪种优化器；能够理解每种优化器参数的意义；能够根据自己的需求，在PyTorch上...