[Label Noise] Mix-Up 기법

데이터의 라벨이 잘못 부여된 경우에 대해서도 기존 학습 방법보다 대처가 가능한 Mix-Up에 대해 짧게 알아보려고 한다.

 

VRM principle : 기존 ERM과 달리, 훈련 데이터셋만 학습하는 것이 아닌 훈련 데이터셋의 근방(vicinal) 분포를 함께 활용하는 방법이다. 즉, VRM 학습은 가상의 데이터를 근방 분포로부터 sampling하여 신경망 학습의 도움을 주는 전략, 데이터 증강과 동일한 방법을 취한다.

 

Mixup : Mixup 데이터 증강 기법은 VRM 학습의 한 종류이다. xi , xj 는 raw input vectors, yi , yj 는 one hot label encodings 이고, x_tilde와 y_tilde 는 virtual feature-target vector 즉 data augmentation으로부터 만들어진 값이다. 

랜덤하게 i,j번째 데이터를 골라 이를 augment 하는 것으로 생각하면 될 거 같다.

 

Mixup은 다음과 같이 정의 된다. ( λ 값은 beta distribution으로부터 추출된 값)

위 식과 같이 vicinal distribution을 이용하여 데이터에 대한 분포를 정의 할 수 있고, 이에 대해 새로운 기대 위험을 아래 식과 같이 계산할 수 있다.

 

---

 

아래 그림과 같이 오른쪽 그림은 ERM 기반으로 학습한 것이고 왼쪽 그림은 mixup을 이용하여 학습한 결과다. 학습 결과의 decision boundary 차이를 볼 수 있는데, ERM은 boundary가 뚜렷한 반면 mixup은 이에 비해 부드럽다. 따라서 label noise가 섞인 train dataset에 대한 강한 의존도와 이로 인하여 생기는 성능 저하를 개선할 수 있다.

 

 

따라서 위와 같이 두개의 데이터가 mix된 형태로 나타난 것을 확인 할 수 있다.

 

 

 

 

reference : https://techy8855.tistory.com/19

https://blog.airlab.re.kr/2019/11/mixup