논문리뷰
-
CV#1 A ConvNet for the 2020s 논문 리뷰REVIEW 2022. 4. 26. 23:08
논문 링크 : https://arxiv.org/abs/2201.03545 회사에서의 업무가 Computer Vision의 Document Analysis 쪽을 하게 되면서, 모델 성능 개선을 위해 찾던 중 읽은 논문을 요약하여 정리하려고 한다. 이 논문의 주요 포인트는 CV 분야에서 Transformer 기반의 모델이 좋은 성능을 보이는데, 이것이 Transformer가 CNN 보다 좋음을 의미하지 않는다는 것을 말하려고 하는 것이다. 현재 Image Classification 에서는 VIT 모델이, Semantic Segmentation 등의 모델에서는 hierarchical Transformers를 사용한 Swin Transformers 모델이 가장 좋은 성능을 보인다. 본 논문에서는 이 모델들에서 ..
-
Attention #1 Attention의 첫 등장REVIEW 2020. 2. 27. 01:50
최근 기술 면접을 여러 번 했다. 최근 프로젝트 중 Seq2seq 모델을 사용하였기 때문에 Attention관련 질문을 많이 받았었고, 컨셉적인 것이 아니라 디테일 한 내용을 이해하기 위해 논문 리딩을 시작하였다. 그 내용을 글로 정리해 본다. 먼저, 처음으로 Attention이 제안된 논문을 리뷰한다. NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio (궁금한분이 계실진 모르겠지만, 직접 정리한 논문 링크 NLP를 넘어서서 너무나도 많은 곳에서 사용되는 Attention Mechanism을 처음부터 훑어보고자 시작하는 글이다. 해당 논문의 저자에..