fastMRI 데이터셋 다운로드 및 사용법 Tutorial

fastMRI는 Facebook AI와 NYU Langone Health가 2018년 공개한 MRI reconstruction을 위한 데이터셋이다.

 

• 공식 사이트: 데이터셋 개요와 file description, 리더보드를 확인할 수 있다.
• 데이터셋 다운로드: 데이터셋에 대한 보다 자세한 설명을 확인하고 데이터셋을 다운로드할 수 있다.
• 공식 Github repo: PyTorch 데이터로더, 모델 등 관련된 코드를 제공한다.
• Paper: 데이터 획득 방법과 촬영 파라미터 등 데이터셋에 대한 자세한 설명을 확인할 수 있다.

 

 

 

1. 데이터셋 구성

 

데이터셋의 종류는 다섯가지로 구성되어 있다. 보다 자세한 설명은 Paper에서 확인할 수 있다.

 

• Single-coil knee: 1594 scans (PD, PDFS)
• Multi-coil knee: 1594 scans (PD, PDFS)
• Multi-coil brain: 6970 scans (T1, T1 POST, T2, FLAIR)
• knee DICOM: 10000 scans (PD COR, PDFS COR, PD SAG, T2FS SAG, T2FS AXI)
• brain DICOM: 10000 scans (T1 AXI, T2 AXI, T2 FLAIR AXI)

 

이 중 single-coil knee 데이터셋은 multi-coil knee 데이터셋에서 합성된 데이터셋이다 (Emulated single-coil, ESC)).

 

knee/brain DICOM 데이터의 경우 multi-coil knee/brain 데이터 보다 갯수가 훨씬 많고, 다양한 scanner와 sequence가 포함되어 있다.

 

 

데이터셋의 분포와 예시 사진은 다음과 같다.

 

 

knee dataset. (좌) PDFS / (우) PD

brain dataset. (a) FLAIR / (b) T1 / (c) T1 POST / (d) T2

 

 

2. 데이터셋 사용 신청

 

데이터셋 다운로드를 위해서는 데이터셋 다운로드 링크에 들어가서 데이터셋 사용 신청을 해야 한다.

맨 아래로 스크롤을 내리면 다음과 같은 폼을 확인할 수 있다.

 

 

이름, 이메일, 교육기관 (소속 학교) 정보를 입력하고, Submit 버튼을 누르면 된다.

참고로 fastMRI 데이터셋은 교육/연구 용도로 사용할 수 있다.

 

 

인적사항을 제출하면 입력한 이메일 주소로 바로 메일이 발송된다.

 

 

앞서 설명한 5가지의 데이터셋의 train/val/test set을 각각 다운로드 할 수 있는 링크를 확인할 수 있다.

부여된 링크를 통해 최대 90일까지 다운로드할 수 있다.

 

 

메일에는 curl을 이용한 다운로드를 추천하고 있지만, 나의 경우 curl을 이용해 다운로드하면 connection reset error이 떠서 다운로드가 중간에 끊겼다.

 

 

그래서 wget을 이용해 다운로드 했다. (중간에 끊기긴 했지만 자동으로 다시 연결됨)

 

wget "[URL]" -O [output_filename]

 

 

+) wget 재연결 횟수의 default 값은 20인데 20번 넘게 끊겼다.. 끊긴 연결은 -c option으로 다시 연결할 수 있고, 재연결 횟수 제한을 늘리려면 --tries option으로 늘릴 수 있다.

 

wget -c --tries=100 "[URL]" -O [output_filename]

 

 

시간은 한나절 걸린다 (내 경우는 192G muilticoil knee val 기준 12시간 정도 걸렸음)..

 

 

 

3. 파일 구성

 

각 데이터셋은 train/val/test set으로 나뉘어져 있다. 각각은 tar.gz로 압축되어 있으며, 압축을 풀면 다음 파일들로 구성되어 있다. Test 데이터셋의 경우는 ground truth 데이터가 제공되지 않는다.

 

• Multi-coil train/val (brain/knee)
  • kspace : multi-coil k-space 데이터이다 (#slices, #coils, height, width).
  • reconstruction_rss : root-sum-of-squares로 reconstruction한 이미지 데이터이다 (#slices, r_height, r_width). knee 데이터의 경우 320x320으로 crop되어 있다.

 

• Multi-coil test (brain/knee)
  • kspace : undersample된 multi-coil k-space 데이터이다 (#slices, #coils, height, width).
  • mask : undersampling mask이다. Mask tensor의 element 개수는 k-space 데이터의 width와 같다.

 

• Single-coil train/val (knee)
  • kspace : 합성된 single-coil k-space 데이터이다 (#slices, height, width).
  • reconstruction_rss : multi-coil k-space 데이터에서 root-sum-of-squares로 reconstruction한 이미지 데이터이다 (#slices, 320, 320).
  • reconstruction_esc : 합성된 single-coil k-space 데이터를 320x320 크기로 crop 후 inverse Fourier transform을 한 reconstruction 이미지 데이터이다 (#slices, 320, 320).

 

• Single-coil test (knee)
  • kspace : undersample된 합성된 single-coil k-space 데이터이다 (#slices, height, width).
  • mask : undersampling mask이다. Mask tensor의 element 개수는 k-space 데이터의 width와 같다.

 

 

 

4. 압축 풀기

 

다운로드가 끝났으면 다음 명령어로 압축을 해제한다.

*tar -zxvf가 아니라 tar -xvf로 압축해제 (참고: tar.gz 압축 해제 시 not in gzip 에러)

 

tar -xvf [dataset.tar.gz]

 

압축을 해제하면 다음과 같이 여러 개의 h5 파일을 확인할 수 있다.

 

 

 

 

5. Tutorial

 

여기부터는 fastMRI 데이터셋의 간단한 튜토리얼을 다룬다. 튜토리얼은 공식 Github repo에서도 확인할 수 있다.

 

 

1) 파일 확인하기

 

import os

data_dir = 'path/to/fastMRI_data/multicoil_val'
fnames = os.listdir(data_dir)

print(len(fnames))
>> 199

 

• 데이터셋 경로를 지정하고 파일을 확인한다. knee multicoil val 데이터셋의 경우 199개의 데이터로 구성되어 있다.

 

 

2) h5 파일 읽어오고 key와 attribute 확인하기

 

import h5py
hf = h5py.File(os.path.join(data_dir, fnames[0]))

print(list(hf.keys()))
print(list(hf.attrs))

>> ['ismrmrd_header', 'kspace', 'reconstruction_rss']
>> ['acquisition', 'max', 'norm', 'patient_id']

 

• 각각의 파일은 h5 포맷으로 되어 있기 때문에 h5py 라이브러리를 이용해 읽어올 수 있다.
• 참고: hdf5 소개, h5py 사용법 정리

 

 

3) Attribute와 데이터 읽어오기

 

print(hf.attrs['max'], hf.attrs['norm'])

>> 0.000260911257462176 0.06668415659382805

volume_kspace = hf['kspace'][()]
print(volume_kspace.dtype)
print(volume_kspace.shape)

>> complex64
>> (40, 15, 640, 368)

 

• Attribute는 hf.attrs[key]와 같이 읽을 수 있고,
• 데이터는 hf.[key]와 같이 읽을 수 있다.

 

 

4) k-space 시각화

 

import numpy as np
import matplotlib.pyplot as plt

def show_coils(data, slice_nums, cmap=None):
    fig = plt.figure()
    for i, num in enumerate(slice_nums):
        plt.subplot(1, len(slice_nums), i+1)
        plt.imshow(data[num], cmap=cmap)
        
show_coils(np.log(np.abs(volume_kspace[20]) + 1e-9), [0, 5, 10]) # This shows coils 0, 5, 10

 

• 각 coil 데이터를 log scale로 시각화하면 위와 같다.
• Multi-coil k-space 데이터는 (num_slice, num_coils, height, width) 의 형태를 띄고 있다.

 

 

5) image 시각화

 

def ifft2(img, norm='ortho'):
    return np.fft.fftshift(np.fft.ifft2(np.fft.ifftshift(img), norm=norm))

show_coils(np.abs(ifft2(volume_kspace[20])), [0, 5, 10], cmap='gray')

 

• 각 coil 데이터에 ifft를 적용해 image domain으로 변환하면 위와 같다.
• ifft 코드는 fastMRI Github repo에서 확인할 수 있다.

 

 

volume_rss = hf['reconstruction_rss'][()]
print(volume_rss.dtype)
print(volume_rss.shape)

>> float32
>> (40, 320, 320)

plt.imshow(volume_rss[20], cmap='gray')

 

• 코일 이미지들을 모두 합쳐 만든 이미지는 reconstruction_rss라는 이름으로 저장되어 있다.
• 크기는 (num_slice, r_height, r_width)이며, knee 데이터의 경우 r_height = r_width = 320으로 crop되어 있다.