논문리뷰/기초2 [논문리뷰] Attention is All You Need (Transformer) 시작하기 전에해당 논문은 2017년 6월 NIPS에서 발행된 논문이다. Link논문: https://arxiv.org/pdf/1706.03762코드: https://github.com/huggingface/transformersI. IntroductionRecurrent model은 순차적으로 진행된다는 특징으로 인해 병렬 실행이 불가능했다. 또한 Attention은 recurrent network와 같이 사용되어왔다.Transformer는 온전히 attention 메커니즘만으로 되어있는 모델이며, 병렬 실행이 가능하고 번역 퀄리티도 매우 좋았다. 아래에서 더 자세히 살펴보자.II. ModelTransformer 모델[Figure 1]과 같다. 5개의 메인 구성을 살펴볼 것이다.Encoder and De.. 2024. 8. 17. [논문리뷰] Denoising Diffusion Probabilistic Models (DDPM) 시작하기 전에해당 논문은 2020년 12월에 NIPS에서 발행된 논문이다.(수식이 많은 관계로 핸드폰으로 보기엔 힘들 수 있습니다) Link논문: https://arxiv.org/pdf/2006.11239코드: https://github.com/hojonathanho/diffusionI. IntroductionDDPM이 할 수 있는 것?이 논문은 Diffusion model의 기초다. Diffusion model은 쉽게 말해, 온전한 이미지(\(x_{0}\))에 Gaussian noise를 추가하는 과정을 반복해 균일한 분포의 이미지(\(x_{T}\))로 변환하고, denoise하는 과정을 반복해 다시 이미지를 생성하게 된다. Denoise하는 과정만 보면 균일한 분포의 이미지, 즉 입력 이미지 없이도 .. 2024. 8. 15. 이전 1 다음
