Transformer-Preparing-Data
in projects on Blog, Github, Pages, Jekyll, Spacy
서론
다음 글을 참고 했습니다. 트랜스포머를 구현해보기에 앞서 우리가 사용할 데이터들을 준비해 주어야 합니다. 학습과정은
TorchText의 Multi30k 데이터셋를 이용 할 것이며 중간 토큰화 과정에spaCy를 사용할 것입니다.
Transformer-Encoder
in projects on Blog, Github, Pages, Jekyll, Spacy, Transformer
서론
다음 글을 참고해 작성했습니다.
Preparing The Data에서는 데이터 셋의 토큰화 및 정수 인코딩 주었습니다. 그 다음 과정인 트랜스포머의인코더`를 구현해 볼 것입니다.
Transformer Decoder
서론
Transformer
in projects on Blog, Github, Pages, Jekyll, Spacy, Transformer
개요
논문 ‘Attention is All You Need’에서 설명하는 Transformer을 구현해 볼 것이다. 전체적인 내용은 다음 글을 참고 했습니다.
Normalization Layer
서론
딥러닝을 공부하다보면 Normalization, DropOut, Residual Connection 등이 학습시간을 단축 시키기 위해 사용됩니다. 우리는 그 중에서 딥러닝에서 사용되는
정규화 계층에 대 정리해 볼 것입니다. 정규화 기법들로 Batch Normalization, Layer Normalization, Instance Normalization, Group Normalization이 있습니다.
Covariate Shift
서론
Internal Coviative Shift
Normalization 기법이 사용되는 가장 큰 이유는
Covatiate Shift를 없애주기 위해서 입니다. 그래서 Covatiate Shift란 무엇일까요? 다음 블로그 내용을 참고했습니다.
Batch Normalization Layer
마크다운 사용해보기
in Unclassified on Blog, Github, Pages, Jekyll, Markdown
개요
Github 첫 글을 장식해봅시다 TheoryDB님의 글을 참고하여 작성했습니다
20210604 Git version 3.20.0 오류
in EnvOps on Blog, Github, Pages, Jekyll, Git, Push, Openssh
개요
TheoryDB님의 글을 보며 Github 블로그를 구축하는 와중 직면한 발생한 Git에러와 해결 방법을 제시하고자 합니다.
