Label Smoothing & Calibration 논문 리뷰

서론

Rethinking the Inception Architecture for Computer Vision에서 처음 제시되고 현재 여러 SOTA 모델들의 훈련에 활용된 Label Smoothing 기법에 대해 정리한다. Label Smoothing 기법이 모델 학습에 미치는 영향들이 제시된 When Does Label Smoothing Help?를 바탕으로 포스트가 작성되었다. https://arxiv.org/pdf/1906.02629.pdf

Continue reading

Noisy Student Traning for ASR 논문 리뷰

서론

크기가 큰 딥러닝 모델에서 좋은 성능을 보이고 있는 Noisy Student Training 에 대해 알아본다. Improving Noisy Sutdent Training for Automatic Speech Recognition을 리뷰해 볼 것이다. 논문을 바탕을 한 모델은 현재 LibriSpeech 벤치마크에서 현재(2022.05) 1위와 4위를 기록하고 있다.

Continue reading

Pagination


© 2021.06. by ekspertos

Powered by theorydb