전체 글27 [논문 구현] Learning both weights and connections for efficient Neural Network 해당 코드를 참고하여 작성하였습니다. https://github.com/jack-willturner/deep-compression GitHub - jack-willturner/deep-compression: Learning both Weights and Connections for Efficient Neural Networks https://arxiv.org Learning both Weights and Connections for Efficient Neural Networks https://arxiv.org/abs/1506.02626 - GitHub - jack-willturner/deep-compression: Learning both Weights and Connections for Efficien.. 2022. 6. 2. [논문 리뷰] Learningn both Weights and Connections for Efficient Neural Network https://arxiv.org/pdf/1506.02626.pdf Learning both Weights and Connections for Efficient Neural Network, 논문을 바탕으로 작성하였습니다. https://github.com/jack-willturner/deep-compression 코드 참고 1 Abstract 기존 Network들은 학습을 하기 이전에 architecture들을 고정시키기 때문에 학습 단계에서 구조를 발전시키는 방법에 제한이 있었다. 이 제한을 해결하기 위해서 본 논문은 Accuracy를 낮추지 않으면서, 중요한 connection만 학습시켜 저장공간을 줄이고 계산량을 줄이는 방법을 제안한다. 불필요한 connections 들을 없애는 작업인 pruning.. 2022. 5. 23. [코드 구현] CIFAR100 Image Classification with Noisy Labels Code using mixup : https://github.com/shshin1210/cv-proj-withmixup/blob/main/README.md Code using PENCIL : https://github.com/shshin1210/pencil_cifar100 Data : https://www.kaggle.com/c/cifar100-image-classification-with-noisy-labels/data CIFAR100 image classification with Noisy Labels | Kaggle www.kaggle.com Kaggle에서 시행한 대회 중 Noisy Label이 있는 CIFAR100 데이터를 가지고 Image Classification 하고자 한다. Noisy l.. 2022. 5. 14. [Label Noise] PENCIL 기법 데이터의 라벨이 잘못 부여된 경우에 대해서도 기존 학습 방법보다 대처가 가능한 PENCIL에 대해 짧게 알아보려고 한다. 기존 method와 달리 PENCIL은 clean 데이터셋과 같은 label noise으로 학습을 하기 위해 사전에 추가로 필요한 정보가 없다. PENCIL의 main 아이디어는 PENCIL에서는 역전파를 통해 라벨 분포를 업데이트해주고 반복적으로 image label을 correct 한다. Compatibility Loss : label에는 noise도 있지만, correct 한 label도 있으므로 라벨 distribution이 noise가 들어있는 labels와 완전히 다르지 않게 하도록 compatibility loss를 사용한다. Classification Loss : 라벨 .. 2022. 5. 14. [Label Noise] Mix-Up 기법 데이터의 라벨이 잘못 부여된 경우에 대해서도 기존 학습 방법보다 대처가 가능한 Mix-Up에 대해 짧게 알아보려고 한다. VRM principle : 기존 ERM과 달리, 훈련 데이터셋만 학습하는 것이 아닌 훈련 데이터셋의 근방(vicinal) 분포를 함께 활용하는 방법이다. 즉, VRM 학습은 가상의 데이터를 근방 분포로부터 sampling하여 신경망 학습의 도움을 주는 전략, 데이터 증강과 동일한 방법을 취한다. Mixup : Mixup 데이터 증강 기법은 VRM 학습의 한 종류이다. xi , xj 는 raw input vectors, yi , yj 는 one hot label encodings 이고, x_tilde와 y_tilde 는 virtual feature-target vector 즉 data.. 2022. 5. 14. 이전 1 2 3 4 5 6 다음
