[h5py] hdf5 소개, h5py 사용법 간단 정리

Manual: https://docs.h5py.org/en/stable/

HDF5 for Python — h5py 3.5.0 documentation

 

h5py는 HDF5 데이터 포맷을 Python으로 다룰 수 있는 패키지이다.

HDF5를 이용하면 대량의 NumPy 데이터 등을 손쉽게 관리할 수 있다.

 

 

 

About HDF5

HDF는 Hierarchical Data Format의 약자이다.

HDF5의 모든 object는 각자의 'name'이 있고, 다음과 같이 계층적인 구조로 관리된다.

https://www.neonscience.org/resources/learning-hub/tutorials/about-hdf5

 

일반적인 운영체제의 파일시스템을 생각하면 된다. 폴더와 파일로 이루어져 있는 것처럼, 각 계층은 / separator에 의해 분리된다 (POSIX-style).

 

 

HDF5 구조에서, 각 폴더는 'Group'이라고 불린다. Root 폴더 역시 하나의 폴더인 것처럼, 생성한 HDF file 역시 하나의 group이다.

파일의 역할을 하는 것은 'Dataset'과 'Attribute'이다.

Dataset은 HDF5 file에 담겨져 있는 데이터를 말한다. 예를 들면 numpy array가 될 수 있다.

Attribute는 데이터의 metadata라고 생각할 수 있다. 데이터에 대한 정보들을 함께 보관할 수 있다.

 

 

 

Install

Conda나 pip를 이용해 설치할 수 있다.

conda install h5py

pip install h5py

 

 

 

Import & create HDF file

Python에서 다음과 같이 import하여 사용할 수 있다.

import h5py

 

HDF5 파일을 다루는 법은 일반적인 Python file object를 다루는 방법과 동일하다.

다음과 같이 w 모드로 HDF5 파일을 생성할 수 있다.

with h5py.File('myfile.hdf5', 'w') as f:
    ...

 

사용할 수 있는 모드는 다음과 같다.

 

 

 

Group

Group을 생성하는 방법은 다음과 같다.

group_a = f.create_group('group_a')

 

다음과 같이 group의 name을 확인할 수 있고, group 하위에 group을 생성할 수도 있다.

#group name 확인
print(group_a.name)
>> '/group_a'

#하위 group 생성
group_b = group_a.create_group('group_b')
print(group_b.name)
>> '/group_a/group_b

 

생성된 group들은 Python dictionary와 같은 방식으로 관리된다.

각 group의 name이 key가 되어, name을 이용해 각 group에 접근할 수 있고,

마찬가지로 dictionary의 여러 기능들을 이용할 수 있다.

#group 접근
group_b = f['/group_a/group_b'] #이미 생성되어 있는 group만 가능

#group들의 list 확인
print(list(f.keys())
>> ['group_a']
print(list(grou_a.keys())
>> ['group_b']

#group 삭제
del f['/group_a/group_b']
print(list(grou_a.keys())
>> []

 

 

 

Dataset

Dataset을 생성하는 방법은 다음과 같다. 첫 번째 인자로 dataset의 name이 들어가고, data와 dtype 등을 지정할 수 있다. 아래에서는 group_a에 dataset을 생성했지만, root에도 dataset을 생성할 수 있다 (f.create_dataset)

import numpy as np

data = np.arange(100)
group_a.create_dataset('data_a', data=data, dtype=np.int16)

 

생성된 dataset은 group과 마찬가지로 name으로 접근할 수 있다.

data_a = f['data_a']

 

 

 

Attribute

Attribute는 dataset과 마찬가지로 파일의 역할을 하지만, .attrs를 통해 접근할 수 있다.

Group에 attribute를 추가하는 방법은 다음과 같다. Dataset의 생성 방법과 거의 동일하며, dtype 역시 지정해줄 수 있다.

group_a.attrs.create('attr_a', data='hello')

 

Dataset과 다른 점은, attribute의 경우 접근과 동시에 생성을 할 수도 있다.

group_a.attrs['attr_b'] = 'hi'