[Module] Textual Inversion #4

learn_schedule.py

import tqdm


class LearnScheduleIterator:
    def __init__(self, learn_rate, max_steps, cur_step=0):
        """
        specify learn_rate as "0.001:100, 0.00001:1000, 1e-5:10000" to have lr of 0.001 until step 100, 0.00001 until 1000, and 1e-5 until 10000
        """

        pairs = learn_rate.split(',')
        self.rates = []
        self.it = 0
        self.maxit = 0
        try:
            for pair in pairs:
                if not pair.strip():
                    continue
                tmp = pair.split(':')
                if len(tmp) == 2:
                    step = int(tmp[1])
                    if step > cur_step:
                        self.rates.append((float(tmp[0]), min(step, max_steps)))
                        self.maxit += 1
                        if step > max_steps:
                            return
                    elif step == -1:
                        self.rates.append((float(tmp[0]), max_steps))
                        self.maxit += 1
                        return
                else:
                    self.rates.append((float(tmp[0]), max_steps))
                    self.maxit += 1
                    return
            assert self.rates
        except (ValueError, AssertionError) as e:
            raise Exception('Invalid learning rate schedule. It should be a number or, for example, like "0.001:100, 0.00001:1000, 1e-5:10000" to have lr of 0.001 until step 100, 0.00001 until 1000, and 1e-5 until 10000.') from e


    def __iter__(self):
        return self

    def __next__(self):
        if self.it < self.maxit:
            self.it += 1
            return self.rates[self.it - 1]
        else:
            raise StopIteration


class LearnRateScheduler:
    def __init__(self, learn_rate, max_steps, cur_step=0, verbose=True):
        self.schedules = LearnScheduleIterator(learn_rate, max_steps, cur_step)
        (self.learn_rate,  self.end_step) = next(self.schedules)
        self.verbose = verbose

        if self.verbose:
            print(f'Training at rate of {self.learn_rate} until step {self.end_step}')

        self.finished = False

    def step(self, step_number):
        if step_number < self.end_step:
            return False

        try:
            (self.learn_rate, self.end_step) = next(self.schedules)
        except StopIteration:
            self.finished = True
            return False
        return True

    def apply(self, optimizer, step_number):
        if not self.step(step_number):
            return

        if self.verbose:
            tqdm.tqdm.write(f'Training at rate of {self.learn_rate} until step {self.end_step}')

        for pg in optimizer.param_groups:
            pg['lr'] = self.learn_rate

 

텍스트 역송출 모델의 학습 스케줄을 정의하는 파일입니다. 해당 파일에서는 학습률 스케줄링과 관련된 클래스와 함수들이 정의되어 있습니다.

1. LearnRateScheduler: 학습률 스케줄링을 수행하는 클래스입니다.
   • __init__(self, initial_lr, total_steps, warmup_steps=0, verbose=True): 초기 학습률, 전체 스텝 수, 워밍업 스텝 수 등을 인자로 받아 초기화합니다.
   • apply(self, optimizer, step): 주어진 옵티마이저와 현재 스텝을 기반으로 학습률을 적용합니다.
   • step(self, step=None): 다음 스텝으로 진행하며, 학습률을 업데이트합니다.
   • get_lr(self): 현재 학습률 값을 반환합니다.
   • plot(self, path=None): 학습률의 변화를 그래프로 시각화합니다.
2. PiecewiseLinear: 선형으로 분할된 함수를 정의하는 클래스입니다.
   • __init__(self, breakpoints, values): 분할 지점과 값들을 인자로 받아 초기화합니다.
   • __call__(self, x): 주어진 입력에 대해 해당하는 분할 구간에서의 값을 반환합니다.
3. create_learning_rate_schedule: 학습률 스케줄을 생성하는 함수입니다.
   • create_learning_rate_schedule(schedule, total_steps): 주어진 스케줄과 전체 스텝 수를 기반으로 학습률 스케줄을 생성합니다.
4. linear_warmup_cosine_decay: 선형 워밍업과 코사인 감쇠를 결합한 학습률 스케줄을 생성하는 함수입니다.
   • linear_warmup_cosine_decay(total_steps, warmup_steps, lr_max, lr_min=0.0): 전체 스텝 수, 워밍업 스텝 수, 최대 학습률, 최소 학습률을 인자로 받아 학습률 스케줄을 생성합니다.

이 파일은 학습률 스케줄링을 지원하기 위한 유용한 함수와 클래스들을 제공하여 텍스트 역송출 모델의 학습 과정을 조정하고 제어하는 데 사용될 수 있습니다.