Noisy Student Traning 논문 리뷰

서론

컴퓨터 비전, 음성인식 모델에서 좋은 성능을 보이고 있는 Noisy Student Training 에 대해 알아본다 NST 기법이 처음 제시된 논문 Self-training with Noisy Student improves ImageNet classification을 리뷰해 볼 것이다. https://hoya012.github.io/blog/Self-training-with-Noisy-Student-improves-ImageNet-classification-Review/ 참고

Continue reading

정보이론[1]

개요

통신, 신호처리, IOT, 정보보안, 머신러닝 등 다양한 분야와 밀접하게 관련 있는 정보이론을 알아본다 머신러닝에서 주요하게 사용되는 Cross-Entropy 또한 정보이론에 바탕을 두고 있다

Continue reading

Information Theory 4

확률 및 불규칙 신호론

Lecture 18

결합 특성 함수 (Joint Characteristic Function)

  • 두 개의 랜덤변수 X와 Y의 결합 특성 함수

Continue reading

ESPnet Conformer

espnet에서 conformer가 어떻게 implement 되어 있는지 알아본다

https://github.com/espnet/espnet/blob/master/espnet2/asr/encoder/conformer_encoder.py

https://github.com/espnet/espnet/blob/master/egs2/ksponspeech/asr1/conf/tuning/train_asr_conformer8_n_fft512_hop_length256.yaml

https://www.youtube.com/watch?v=DwaBQbqh5aE

Continue reading

Conformer

서론

Librispeech 데이터셋에서 8위에 위치한 conformer에 대해 알아본다 https://paperswithcode.com/paper/conformer-convolution-augmented-transformer https://github.com/espnet/espnet/blob/master/espnet2/asr/encoder/conformer_encoder.py

Continue reading

Pagination


© 2021.06. by ekspertos

Powered by theorydb