TorchIO를 이용한 3D 이미지 transform (preprocessing/augmentation)

 

TorchIO는 3D medical image의 loading, preprocessing, augmentation, patch-based sampling을 위한 오픈소스 파이썬 라이브러리이다. 

TorchIO

 

설명에는 3D medical image라고 되어 있지만, 일반 3D 이미지에도 사용 가능하다. 

 

torchvision.transforms의 transform 함수들은 대부분 2D 이미지에만 적용가능한 반면, TorchIO에서 제공하는 transform 함수들은 3D 이미지에도 적용가능해서 3D 이미지를 다루는 작업에서 유용하게 사용될 수 있다.

 

Data loading, patch-based pipeline 등 여러 기능이 있지만 본 글에서는 TorchIO를 이용해 augmentation 하는 방법에 대해 소개하고자 한다.

 

 

Install

pip를 이용해 TorchIO를 설치할 수 있다. PyTorch가 먼저 깔려 있어야 한다.

pip install torchio

 

 

Transform

Torchvision의 transform 함수와 사용법은 거의 동일하다.

다음과 같이 TorchIO의 transform을 사용할 수 있다.

input으로는 torchio.Subject, torch.Tensor, numpy.ndarray를 모두 지원한다.

import torchio as tio

transform = tio.RandomAffine(scales=(1.2, 1.2), degrees=30, translation=10)
img_transform = transform(img)

 

가장 대표적인 transform 함수인 RandomAffine의 parameter들은 다음과 같다.

• scales : scaling parameter. 각 dimension 방향으로의 min, max 값 혹은 변화량을 지정하거나 - $(min_1, max_1, min_2, max_2, min_3, max_3)$ or $(x_1, x_2, x_3)$, 모든 dimension의 min, max 값 혹은 변화량을 같게 지정해줄 수 있다 - $(min, max)$ or $x$.
• degrees : rotation parameter. 가능한 parameter 형식은 scales와 동일하다.
• translation : translation parameter. 가능한 parameter 형식은 scales와 동일하다.
• isotropic : Scaling 시에 이미지의 비율을 유지할 것인지를 결정한다.
• center : Rotation과 scaling 시에 어떤 점을 중심으로 할 것인지를 결정한다. ('image' / 'origin')
• default_pad_value : Rotation이나 translation 시에 빈 공간을 채울 값을 결정한다. ('minimum' / 'mean' / 'otsu')

 

 

이외에도 RandomFlip, RandomBlur, RandomNoise 등 다양한 transform을 제공한다. TorchIO의 모든 transform 함수들은 다음에서 확인할 수 있다.

Augmentation

 

 

Multiple transforms

torchvision.transforms.Compose와 같이, 여러 개의 transform을 함께 사용할 수 있다.

 

torchio.Compose를 이용하면 여러 개의 transform을 함께 이용할 수 있다.

 

torchio.Oneof를 이용하면 여러 개의 transform 중 하나를 random하게 적용하도록 할 수 있다.

Example: 

import torchio as tio
colin = tio.datasets.Colin27()
transforms_dict = {
    tio.RandomAffine(): 0.75,
    tio.RandomElasticDeformation(): 0.25,
}  # Using 3 and 1 as probabilities would have the same effect
transform = tio.OneOf(transforms_dict)
transformed = transform(colin)