How to adjust Learning Rate? - DonghoonPark12/ssd.pytorch GitHub Wiki

1. step_size 에폭 마다 lr을 gamma만큼 감소시키겠다는 의미이다.

from torch.optim.lr_scheduler import StepLR
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
# lr = 0.05     if epoch < 30
# lr = 0.005    if 30 <= epoch < 60
# lr = 0.0005   if 60 <= epoch < 90

2. 구간을 정해 줄 수도 있다.

from torch.optim.lr_scheduler import MultiStepLR
scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
# Assuming optimizer uses lr = 0.05 for all groups
# lr = 0.05     if epoch < 30
# lr = 0.005    if 30 <= epoch < 80
# lr = 0.0005   if epoch >= 80

3. Keras에서 쓰던 방법을 그대로 사용할 수도 있다. 정확도가 더 향상되지 않으면 lr을 감소시킨다. mode를 정해 줄 수도 있으며 threshold 값도 수정이 가능하다(detail).
   셈플 코드를 보면, 반드시 validation 체크를 한 다음에 scheduler를 호출해야 한다고 한다.

from torch.optim.lr_scheduler import ReduceLROnPlateau
scheduler = ReduceLROnPlateau(optimizer, 'min')
for epoch in range(10):
    train(...)
    val_loss = validate(...)
    # Note that step should be called after validate()
    scheduler.step(val_loss)

[Refer]
https://pytorch.org/docs/stable/optim.html
https://pytorch.org/docs/stable/optim.html#torch.optim.lr_scheduler.LambdaLR