IBOK

1. 문제 VSCode에서 Remote-SSH를 이용해 윈도우 서버로 원격연결을 하려고 하는데 downloading server에서 계속 멈춰있고 진행이 안됐다. 이상한건 리눅스 서버는 연결이 잘 되고, 또 터미널에서 ssh로 윈도우 서버에 접속하면 잘되는데 Remote-SSH로 윈도우에 접속할 때만 접속할 때만 안되는 것.. 구글에 검색해보니 Remote-SSH 버전을 낮추라는 얘기도 있어서 해봤는데 똑같았다. 2. 해결과정 윈도우 서버의 vscode-server에서 뭔가 문제가 있어보여서 크롬 원격 데스크탑으로 보면서 다시 Remote-SSH를 실행해 봤다. V3에서 vscode-server을 설치하려는 powershell을 악성 행위라고 탐지해서 강제종료시켰다. 그래서 계속 downloading에서..

문제: complex tensor을 input으로 받는 모델을 사용 중이었고, forward method를 테스트 할 때는 잘 돌아가다가 전체 train 코드를 돌렸더니 tensor 차원이 안맞는다는 에러를 내뱉었다.. RuntimeError: The size of tensor a (2) must match the size of tensor b (232) at non-singleton dimension 3 바로 이렇게.. 디버깅을 해보니 complex tensor가 model 내부로 들어가면 float으로 변환되면서 real-imag part가 분리되는 것이었다,, 따로 model forward 코드만 돌릴때는 잘만 돌아갔는데 ? 원인: 결론은.. nn.DataParallel이 문제였다 nn.DataPa..

출처 : https://fixexception.com/tensorflow/memory-growth-cannot-differ-between-gpu-devices/ 메모리 증가를 허용을 결정하는 함수인 tf.config.experimental.set_memory_growth를 이용할 때 다음과 같은 에러가 발생할 수 있다. ValueError: Memory growth cannot differ between GPU devices 이는 gpu가 여러 개 있을 때, 모든 gpu에 대해 memory growth를 동일하게 세팅해주지 않아서 발생하는 에러이다. 예를 들어 gpu가 두 대 있는데 하나의 gpu에만 set_memory_growth를 True로 설정해주었을 경우이다. 이 경우에는 모든 gpu에 대해 se..

Tensorflow 1.x 버전을 사용 중임에도 불구하고, Tensorflow 2에서 사라진 함수들을 호출할 때 warning 메세지가 떴다. 첨에는 그냥 무시하고 진행하려 했지만.. 너무 거슬린다 다음 Tensorflow issue에 여러 가지 해결 방법들이 나와 있다 (그냥 TF2.0을 사용하라는 답변이 비추 72개를 받았다) https://github.com/tensorflow/tensorflow/issues/27023 TF 1.x: remove the "deprecated" warning messages · Issue #27023 · tensorflow/tensorflow I know the functional APIs, such as tf.layers.dense, will disappear in..

pip를 이용해 inplace-abn을 설치하려고 했는데 다음과 같은 오류가 발생했다. >> pip install inplace-abn Collecting inplace-abn Using cached inplace-abn-1.1.0.tar.gz (137 kB) Building wheels for collected packages: inplace-abn Building wheel for inplace-abn (setup.py) ... error ERROR: Command errored out with exit status 1: command: /home/user/anaconda3/bin/python -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'..

훈련을 시키다가 loss가 자꾸 nan이 되는 현상이 발생했다. 디버깅을 해보니 loss가 잘 줄어들다가 갑자기 nan으로 바뀌어서 학습 과정 자체의 문제는 아닌 것 같았고, 살펴보니 모델 내부에서 값이 nan이 되는 경우가 있었다. 모델에서 torchaudio.transforms.SpectralCentroid를 이용해 데이터의 spectral centroid를 추출하는 과정이 있었는데, 일부 데이터의 spectral centroid가 nan을 포함하고 있었다. 코드를 살펴보니 spectral centroid를 계산하는 과정에서 spectrogram의 sum으로 값을 나눠주는 과정이 있었는데, (마지막 줄) 이 값이 0이 되어서 nan값이 나온 것이었다. Solution torch.nan_to_num을 ..

멀쩡하게 잘 돌아가던 코드가 갑자기 알 수 없는 에러가 나면서 실행이 안됐다.. ============================================================================ [libprotobuf FATAL ../3rdparty/protobuf/src/google/protobuf/stubs/common.cc:68] This program requires version 3.8.0 of the Protocol Buffer runtime library, but the installed version is 3.5.1. Please update your library. If you compiled the program yourself, make sure that you..