NLP
-
DataSet paper 리뷰 #1 CoQA : A Conversational Question Answering ChallengeREVIEW 2020. 4. 16. 11:32
abstract 127k Q and A , 8K conversation pasages, QA에 대한 Evidence존재. 대화형 질문이기에 기존의 지문보다 다른 현상을 보임 Introduction 전체 데이터 셋이 대화가 아니라 QA부분만 대화형식 첫번째 목표. 대화 속에서 자연스러운 질문을 찾는것. → 질문이 짧아도(ex. Who?) 의미를 찾을 수 있도록. 두번째 목표. 대화에 자연스러운 답변을 하는 것. 기존의 QA는 주어진 passage에서 부분을 찾아내는 것임. → Free From answer. (dataset ex. MS MARCO, NarrativeQA) → BLEU, ROUGE metric 세번째 목표. 여러 도메인에 적용 가능. 해당 데이터 셋은 Children's stories, li..
-
Attention #1 Attention의 첫 등장REVIEW 2020. 2. 27. 01:50
최근 기술 면접을 여러 번 했다. 최근 프로젝트 중 Seq2seq 모델을 사용하였기 때문에 Attention관련 질문을 많이 받았었고, 컨셉적인 것이 아니라 디테일 한 내용을 이해하기 위해 논문 리딩을 시작하였다. 그 내용을 글로 정리해 본다. 먼저, 처음으로 Attention이 제안된 논문을 리뷰한다. NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio (궁금한분이 계실진 모르겠지만, 직접 정리한 논문 링크 NLP를 넘어서서 너무나도 많은 곳에서 사용되는 Attention Mechanism을 처음부터 훑어보고자 시작하는 글이다. 해당 논문의 저자에..