IBOK

Gradient clipping은 너무 크거나 작은 gradient의 값을 제한하여 vanishing gradient나 exploding gradient 현상을 방지하는 방법이다. 특히 RNN에서 자주 발생하는 현상인데 이외에도 깊은 네트워크에서 유용하게 사용될 수 있는 방법이다. 중간에 loss가 너무 뛰면서 weight update가 이상한 방향으로 진행된다면 사용해볼 수 있다. 아래 글을 참고하였다. https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem Understanding Gradient Clipping (and How It Can Fix Exploding Grad..

문제: complex tensor을 input으로 받는 모델을 사용 중이었고, forward method를 테스트 할 때는 잘 돌아가다가 전체 train 코드를 돌렸더니 tensor 차원이 안맞는다는 에러를 내뱉었다.. RuntimeError: The size of tensor a (2) must match the size of tensor b (232) at non-singleton dimension 3 바로 이렇게.. 디버깅을 해보니 complex tensor가 model 내부로 들어가면 float으로 변환되면서 real-imag part가 분리되는 것이었다,, 따로 model forward 코드만 돌릴때는 잘만 돌아갔는데 ? 원인: 결론은.. nn.DataParallel이 문제였다 nn.DataPa..

폴더 내의 dicom 파일들을 nifti 파일로 바꿔주는 파이썬 라이브러리이다. https://github.com/icometrix/dicom2nifti GitHub - icometrix/dicom2nifti Contribute to icometrix/dicom2nifti development by creating an account on GitHub. github.com 이렇게 편리한 라이브러리가 있었다니.. 역시 파이썬은 찾으면 편리한 것들이 너무 많다 그동안 일일이 전처리했던건 머리가 멍청하면 손이 고생하기 때문.. Install conda: conda install -c conda-forge dicom2nifti pip: pip install dicom2nifti Usage command line..

논문: https://arxiv.org/abs/1910.09217 코드: https://github.com/facebookresearch/classifier-balancing [ENG] https://bo-10000.tistory.com/110 [Review] Decoupling Representation and Classifier for Long-Tailed Recognition (ICLR 2020) Paper: https://arxiv.org/abs/1910.09217 Code: https://github.com/facebookresearch/classifier-balancing [KOR] https://bo-10000.tistory.com/109 [딥러닝 논문리뷰] Decoupling Represe..

Manual: https://docs.h5py.org/en/stable/ HDF5 for Python — h5py 3.5.0 documentation © Copyright 2014, Andrew Collette and contributors Revision fb9989a7. docs.h5py.org h5py는 HDF5 데이터 포맷을 Python으로 다룰 수 있는 패키지이다. HDF5를 이용하면 대량의 NumPy 데이터 등을 손쉽게 관리할 수 있다. About HDF5 HDF는 Hierarchical Data Format의 약자이다. HDF5의 모든 object는 각자의 'name'이 있고, 다음과 같이 계층적인 구조로 관리된다. 일반적인 운영체제의 파일시스템을 생각하면 된다. 폴더와 파일로 이루어져 있는..

세상에 이런 편리한 함수도 있었다니.. 하는 함수들 모음 🙊 (모으는 중) 1. numpy.rint(a) array의 각 원소를 반올림한다. a = np.array([-1.1, -2.7, 3.0, 4.3, 5.5, 6.5]) print(np.rint(a)) >> [-1. -3. 3. 4. 6. 6.] 2. numpy.around(a, decimals=0) array의 각 원소를 주어진 소수점 위치(decimals)에서 반올림한다. a = np.array([1.2345, 2.3456, 3.4567, -4.5678]) print(np.around(a, 2)) >> [ 1.23 2.35 3.46 -4.57] 3. numpy.clip(a, a_min, a_max) array의 각 원소를 주어진 범위로 clip한..

[출처] https://mrimaster.com MRI resolution and image quality | how to manipulate mri scan parameters Introduction Resolution is the ability of human eyes to distinguish one structure from other. In MRI the resolution is determined by the number of pixels in a specified FOV. The higher the image resolution, the better the small pathologies can be diagnosed mrimaster.com Resolution은 하나의 structure을 ..

[출처] mrimaster.com signal-to-noise ratio (SNR) in MRI | factors affecting SNR | calculating snr mri Introduction Signal-to-noise ratio (SNR) is a standard used to describe the performance of an MRI system. An MRI image is not created by pure MRI signals but from a combination of MRI signals and unavoidable background noise. MRI image = signal + noise Noi mrimaster.com Signal-to-noise ratio (SNR)..

출처 : https://fixexception.com/tensorflow/memory-growth-cannot-differ-between-gpu-devices/ 메모리 증가를 허용을 결정하는 함수인 tf.config.experimental.set_memory_growth를 이용할 때 다음과 같은 에러가 발생할 수 있다. ValueError: Memory growth cannot differ between GPU devices 이는 gpu가 여러 개 있을 때, 모든 gpu에 대해 memory growth를 동일하게 세팅해주지 않아서 발생하는 에러이다. 예를 들어 gpu가 두 대 있는데 하나의 gpu에만 set_memory_growth를 True로 설정해주었을 경우이다. 이 경우에는 모든 gpu에 대해 se..

Tensorflow 1.x 버전을 사용 중임에도 불구하고, Tensorflow 2에서 사라진 함수들을 호출할 때 warning 메세지가 떴다. 첨에는 그냥 무시하고 진행하려 했지만.. 너무 거슬린다 다음 Tensorflow issue에 여러 가지 해결 방법들이 나와 있다 (그냥 TF2.0을 사용하라는 답변이 비추 72개를 받았다) https://github.com/tensorflow/tensorflow/issues/27023 TF 1.x: remove the "deprecated" warning messages · Issue #27023 · tensorflow/tensorflow I know the functional APIs, such as tf.layers.dense, will disappear in..