파이썬 및 딥러닝 개념3 [Label Noise] PENCIL 기법 데이터의 라벨이 잘못 부여된 경우에 대해서도 기존 학습 방법보다 대처가 가능한 PENCIL에 대해 짧게 알아보려고 한다. 기존 method와 달리 PENCIL은 clean 데이터셋과 같은 label noise으로 학습을 하기 위해 사전에 추가로 필요한 정보가 없다. PENCIL의 main 아이디어는 PENCIL에서는 역전파를 통해 라벨 분포를 업데이트해주고 반복적으로 image label을 correct 한다. Compatibility Loss : label에는 noise도 있지만, correct 한 label도 있으므로 라벨 distribution이 noise가 들어있는 labels와 완전히 다르지 않게 하도록 compatibility loss를 사용한다. Classification Loss : 라벨 .. 2022. 5. 14. [Label Noise] Mix-Up 기법 데이터의 라벨이 잘못 부여된 경우에 대해서도 기존 학습 방법보다 대처가 가능한 Mix-Up에 대해 짧게 알아보려고 한다. VRM principle : 기존 ERM과 달리, 훈련 데이터셋만 학습하는 것이 아닌 훈련 데이터셋의 근방(vicinal) 분포를 함께 활용하는 방법이다. 즉, VRM 학습은 가상의 데이터를 근방 분포로부터 sampling하여 신경망 학습의 도움을 주는 전략, 데이터 증강과 동일한 방법을 취한다. Mixup : Mixup 데이터 증강 기법은 VRM 학습의 한 종류이다. xi , xj 는 raw input vectors, yi , yj 는 one hot label encodings 이고, x_tilde와 y_tilde 는 virtual feature-target vector 즉 data.. 2022. 5. 14. [개념 정리] 신경망 모델 정의하기 Pytorch로 신경망 모델을 정의할 때 생각해야 하는 것 3가지 Model 디자인 loss와 최적화 설계 Train Cycle (forward, backward, update) 첫 번째로 Class와 변수 정의 방법을 알아보자 사용자 정의 nn 모듈 nn.Module을 상속한 Class 이용 Pytorch 모델의 기본 구조 import torch import torch.nn as nn import torch.nn.functional as F class Model_Name(nn.Module): def __init__(self): super(Model_Name, self).__init__() self.conv1 = nn.Conv2d() self.conv2 = nn.Conv2d() def forward(se.. 2022. 3. 31. 이전 1 다음
