pytorch动态调整学习率之Poly策略
在进行深度学习训练过程中学习率是优化时非常重要的一个因子,通常情况下,在训练过程中学习率都是要动态调整的,通常学习率会逐渐衰减。本文讲解其中一个策略------Poly策略。Poly是一种指数变换的策略,具体公式如下所示:lr=base_lr×(1−epochnum_epoch)powerlr = base\_lr \times {\left( {1 - \frac{{epoch}}{{num\_
在进行深度学习训练过程中学习率是优化时非常重要的一个因子,通常情况下,在训练过程中学习率都是要动态调整的,通常学习率会逐渐衰减。本文讲解其中一个策略------Poly策略。
Poly是一种指数变换的策略,具体公式如下所示:
l
r
=
b
a
s
e
_
l
r
×
(
1
−
e
p
o
c
h
n
u
m
_
e
p
o
c
h
)
p
o
w
e
r
lr = base\_lr \times {\left( {1 - \frac{{epoch}}{{num\_epoch}}} \right)^{power}}
lr=base_lr×(1−num_epochepoch)power
其中,
l
r
lr
lr为新的学习率,
b
a
s
e
_
l
r
base\_lr
base_lr为基准学习率,
e
p
o
c
h
epoch
epoch为迭代次数,
n
u
m
_
e
p
o
c
h
num\_epoch
num_epoch为最大迭代次数,
p
o
w
e
r
power
power控制曲线的形状(通常其大于1)。
具体代码如下:
def adjust_learning_rate_poly(optimizer, epoch, num_epochs, base_lr, power)
lr = base_lr * (1-epoch/num_epochs)**power
for param_group in optimizer.param_groups:
param_group['lr'] = lr
return lr
以下为学习率随power变化而变化的曲线,假设
b
a
s
e
_
l
r
base\_lr
base_lr=0.005,
n
u
m
_
e
p
o
c
h
num\_epoch
num_epoch=100。
更多推荐
所有评论(0)