IBOK

T test란? T test는 두 group간의 차이가 얼마나 "significant"한지를 의미한다. 즉, 두 group간의 차이가 "우연히" 일어난 일일 확률을 측정할 수 있다. 보통 데이터 수가 적은 경우에 사용한다. 하나의 예시는 다음과 같다. 제약회사에서 새로운 항암제를 개발해 이것이 기대수명에 미치는 영향을 조사하고 싶다고 하자. 이러한 실험을 진행할 때에는, 항상 대조군(placebo 복용)이 존재한다. 실험 결과 대조군의 기대수명이 평균적으로 5년 증가했고, 실험군(실제 항암제 복용)의 기대수명이 평균적으로 6년 증가했다고 한다면, 언뜻 보기에는 항암제가 실제로 기대수명을 늘려주는 효과가 있어 보인다. 실제로 이것이 우연에 의해 발생한 일인지, 아닌지를 T test는 확률을 통해 알려줄 수..

Multiclass 문제의 경우 sensitivity(민감도)와 specificity(특이도)를 각 class마다 계산해야 한다. sklearn.metrics.confusion_matrix를 이용해 각 class의 sensitivity와 specificity를 계산할 수 있다. from sklearn.metrics import confusion_matrix y = y.argmax(axis=-1) y_pred = y_pred.argmax(axis=-1) y_i = np.where(y==y_class, 1, 0) y_pred_i = np.where(y_pred==y_class, 1, 0) cfx = confusion_matrix(y_i, y_pred_i) y_i와 y_pred_i는 y_class에 속하는 s..

흔히 Cross validation은 Train data와 Validation data를, 혹은 Train data와 Test data를 k회 각각 다른 방법으로 분할하여 모델 성능을 검증하는 방법이다. 아래 그림은 5-fold Train-Test cross validation을 설명하고 있다. Train data와 Validation data의 분할에 cross validation을 사용한다면, 다양한 validation data를 이용해 최적의 model parameter을 탐색하기 위함이고, Train data와 Test data의 분할에 cross validation을 사용한다면, 다양한 test data에 대해 model의 성능을 평가하기 위함이다. Nested Cross validation은 ..