[Optuna] 딥러닝 하이퍼파라미터 최적화하기

 

 

Optuna는 파이썬 기반의 하이퍼파라미터 최적화 (hyperparameter optimization) 프레임워크로, 심플하고 유연한 API를 제공한다. 본 글에서는 Optuna의 주요 기능과 사용방법을 간단히 소개하고자 한다.

 

 

공식 Docs: https://optuna.readthedocs.io/en/stable/index.html

Optuna: A hyperparameter optimization framework — Optuna 3.4.0 documentation

 

Basic concepts

Optuna는 study와 trial을 다음과 같이 정의한다.

 

• Study: objective 함수에 기반하여 optimization을 수행하는 하나의 프로젝트
• Trial: Study 내의 optimization 단일 수행

 

Hyperparameter optimization을 수행하기 위해 objective와 study를 정의하고, n_trials 파라미터를 조정하여 몇 회의 trial을 수행할지 설정할 수 있다.

 

다음과 같이 study를 정의할 수 있다. objective는 매 trial을 input으로 받는 함수이다.

import optuna

def objective(trial):
	...
    
    model.fit(train_x, train_y)
    
    error = get_error(model, valid_x, valid_y)
    
    return error
    
study = optuna.create_study()

study.optimize(objective, n_trials=100)

 

 

Search space와 Sampling algorithms

사용자가 탐색할 hyperparameter의 search space를 정의해주면, optuna는 그 안에서 hyperparmeter을 sampling하여 최적화를 진행한다.

 

Search space는 objective 안에서 설정할 수 있다. 다음은 다양한 search space를 정의하는 방법의 예시이다.

import optuna


def objective(trial):
    # Categorical parameter
    optimizer = trial.suggest_categorical("optimizer", ["MomentumSGD", "Adam"])

    # Integer parameter
    n_layers = trial.suggest_int("n_layers", 1, 3)

    # Loops
    layers = []
    for i in range(n_layers):
        n_units = trial.suggest_int("n_units_l{}".format(i), 4, 128, log=True)
        layers.append(nn.Linear(in_size, n_units))
        layers.append(nn.ReLU())
        in_size = n_units
    layers.append(nn.Linear(in_size, 10))

    # Integer parameter (discretized)
    num_units = trial.suggest_int("num_units", 10, 100, step=5)

    # Floating point parameter
    dropout_rate = trial.suggest_float("dropout_rate", 0.0, 1.0)

    # Floating point parameter (log)
    learning_rate = trial.suggest_float("learning_rate", 1e-5, 1e-2, log=True)

    # Floating point parameter (discretized)
    drop_path_rate = trial.suggest_float("drop_path_rate", 0.0, 1.0, step=0.1)

 

Categorial, int, float 등 다양한 형태의 hyperparameter을 지정해줄 수 있다. 더 많은 suggest_* 함수는 여기에서 확인할 수 있다.

 

search space에서 hyperparameter을 sampling하는 알고리즘 역시 사용자가 정의할 수 있는데, create_study를 할 때 sampler 인수에 넘겨주면 된다.

study = optuna.create_study(sampler=optuna.samplers.RandomSampler())
print(f"Sampler is {study.sampler.__class__.__name__}") #print

 

Optuna에서 사용가능한 sampler의 종류는 다음과 같다.

• GridSampler
• RandomSampler
• TPESampler (default)
• CmaEsSampler
• PartialFixedSampler
• NSGAIISampler
• QMCSampler

 

각 sampler에 대한 자세한 설명은 여기에서 사용할 수 있다.

 

 

어떤 sampler을 사용하면 좋을지에 대한 힌트도 찾아볼 수 있다.

 

 

 

Pruning algorithms

Pruning은 학습 초기 단계에서 가능성이 낮아보이는 trial을 자동으로 중단하는 기능이다. "automated early-stopping"이라고 볼 수 있다.

 

Pruner의 종류는 다음과 같다.

• MedianPruner
• NopPruner
• PatientPruner
• PercentilePruner
• SuccessiveHalvingPruner
• HyperbandPruner
• ThresholdPruner

 

전체 pruner의 종류와 자세한 설명은 여기에서 확인할 수 있다.

 

Pruner의 사용법은 다음과 같다.

• training의 each step 직후에 report() 와 should_prune() 함수를 호출한다.
  • report(): 중간 objective value를 주기적으로 모니터링한다.
  • should_prune(): 사전에 정의된 조건을 충족하지 않는 trial의 조기 종료를 결정한다.

 

def objective(trial):
    ...

    for step in range(100):
        model.fit(train_x, train_y, classes=classes)

        # Report intermediate objective value.
        intermediate_error = get_error(valid_x, valid_y)
        trial.report(intermediate_error, step)

        # Handle pruning based on the intermediate value.
        if trial.should_prune():
            raise optuna.TrialPruned()

    return get_error(valid_x, valid_y)

# Add stream handler of stdout to show the messages
optuna.logging.get_logger("optuna").addHandler(logging.StreamHandler(sys.stdout))
study = optuna.create_study(pruner=optuna.pruners.MedianPruner())
study.optimize(objective, n_trials=20)

#out
A new study created in memory with name: no-name-e9380357-f153-4409-b874-c302ee358494
Trial 0 finished with value: 0.2894736842105263 and parameters: {'alpha': 0.07567537350404895}. Best is trial 0 with value: 0.2894736842105263.
Trial 1 finished with value: 0.02631578947368418 and parameters: {'alpha': 1.0132167782206652e-05}. Best is trial 1 with value: 0.02631578947368418.
Trial 2 finished with value: 0.02631578947368418 and parameters: {'alpha': 0.011064776558365616}. Best is trial 1 with value: 0.02631578947368418.
Trial 3 finished with value: 0.3157894736842105 and parameters: {'alpha': 3.096403335234504e-05}. Best is trial 1 with value: 0.02631578947368418.
Trial 4 finished with value: 0.07894736842105265 and parameters: {'alpha': 0.027787238399605656}. Best is trial 1 with value: 0.02631578947368418.
Trial 5 pruned.
Trial 6 pruned.
Trial 7 pruned.
Trial 8 pruned.
Trial 9 pruned.
Trial 10 pruned.
Trial 11 pruned.
Trial 12 pruned.
Trial 13 finished with value: 0.02631578947368418 and parameters: {'alpha': 0.0005226670470560228}. Best is trial 1 with value: 0.02631578947368418.
Trial 14 pruned.
Trial 15 pruned.
Trial 16 pruned.
Trial 17 pruned.
Trial 18 pruned.
Trial 19 pruned.

 

Docs에서는 다음의 sampler-pruner 조합을 추천하고 있다.

• RandomSampler 사용 시 MedianPruner 사용
• TPESampler 사용 시 HyperbandPruner 사용

 

 

 

Visualization

optuna의 최적화 결과에 대한 시각화를 도와주는 optuna-dashboard라는 툴이 있다.

GitHub - optuna/optuna-dashboard: Real-time Web Dashboard for Optuna.

 

사용법은 다음과 같다.

import optuna

if __name__ == "__main__":
    study_name = "quadratic-simple"
    study = optuna.create_study(
        storage=f"sqlite:///{study_name}.db",  # Specify the storage URL here.
        study_name=study_name
    )
    study.optimize(objective, n_trials=100)
    print(f"Best value: {study.best_value} (params: {study.best_params})")

pip install optuna-dashboard
optuna-dashboard sqlite:///quadratic-simple.db

 

 

logging

파일에 trial의 기록을 남기려면 다음과 같이 logging 옵션을 설정하여 할 수 있다.

optuna.logging.enable_propagation — Optuna 3.4.0 documentation

import optuna
import logging

logger = logging.getLogger()

logger.setLevel(logging.INFO)  # Setup the root logger.
logger.addHandler(logging.FileHandler("foo.log", mode="w"))

optuna.logging.enable_propagation()  # Propagate logs to the root logger.
optuna.logging.disable_default_handler()  # Stop showing logs in sys.stderr.

study = optuna.create_study()

logger.info("Start optimization.")
study.optimize(objective, n_trials=10)

with open("foo.log") as f:
    assert f.readline().startswith("A new study created")
    assert f.readline() == "Start optimization.\n"

 

 

Examples

Optuna는 다양한 딥러닝 프레임워크들과 유연하게 결합하여 사용할 수 있는데, 예제들은 다음 링크에서 확인할 수 있다.

• pytorch
• pytorch lightning
• sklearn
• tensorflow

 

 

FAQ

공식 docs의 FAQ 중 유용한 몇가지를 소개한다.

FAQ — Optuna 3.4.0 documentation

How to define objective functions that have own arguments?

How to avoid OOM when optimizing studies?