Practice makes perfect!

1. Introduction to Dense Embedding TF-IDF와 같은 sparse embedding은 벡터의 크기는 아주 크지만 그 안에 0이 아닌 숫자는 아주 적음 벡터의 차원 수가 매우 큰 것은 compressed format으로 극복 가능하지만, 유사성을 고려하지는 못함. 이 단점을 극복하기 위해 dense embedding이 많이 사용됨 1) Complementary to sparse representations by design 더 작은 차원의 고밀도 벡터 (length = 50-1000) 각 차원이 특정 term에 대응되지 않음. 차원이 모두 합쳐져 벡터 스페이스 상에서의 위치가 의미를 나타내도록 복합/부분적인 의미를 가짐 대부분의 요소가 non-zero값 (의미있는 값을 가짐) ..

1. Introduction to Passage Retrieval 1) Passage Retrieval 질문(query)에 맞는 문서(passage)를 찾는 것 질문이 들어왔을 때 웹 또는 위키피디아 상에서 관련된 문서를 가져오는 시스템 2) Passage Retrieval with MRC MRC에서 지문이 주어졌다고 가정 후 지문 내에서 답변을 찾는 형태의 모델을 만들 때, 지문을 주는 모델도 필요함. Open-domain Question Answering: 대규모의 문서 중에서 질문에 대한 답을 찾기 Passage Retrieval과 MRC를 이어서 2-Stage로 만들 수 있음 Passage Retrieval은 질문, 질문에 대한 답, 질문과 관련된 내용을 포함할 것 같은 지문을 MRC 모델에 넘김..

1. Generation-based MRC 1) 문제 정의 주어진 지문과 질의 (question)를 보고, 답변을 생성 ⇒ 생성 문제 (generation) 모든 Extraction-based mrc 문제는 generation-based mrc 문제로 치환할 수 있음 정답이 주어진 지문 내에 있다할지라도, 그 위치를 파악하는 것이 아니라 모델이 해당 정답을 생성할 수 있도록 유도함. 2) Overview 시작,끝점으로 예측했던 것과 달리 모델이 바로 정답까지 생성해줌 일종의 seq-to-seq 모델 BERT는 encoder만 있고 decoder가 없기 때문에 generation-based mrc에 활용할 수 없음 3) Generation-based MRC & Extraction-based MRC 비교 M..

1. Extraction-based MRC 1) 문제 정의 질문(question)의 답변(answer)이 항상 주어진 지문(context)내에 span으로 존재 text를 생성하는 것이 아닌 위치만 파악하는 것으로 문제 formulate할 수 있음. ex) SQuAD, KorQuAD, NewsQA, Natural Questions, etc. 2) 모델 overview context와 question이 토크나이저를 활용해 쪼개짐. 이것들을 word embedding을 이용해 벡터화시킴. 벡터들이 모델 안에 들어감 모델은 시작점과 끝점을 내보냄 (context와 question의 각 단어에 해당하는 contextualize vector를 스칼라 값으로 내보낸 것) 시작과 끝 사이의 span을 가져와 답으로 ..

1. Machine Reading Comprehension (MRC)의 개념 기계 독해 (Machine Reading Comprehension) : 주어진 지문 (Context)를 이해하고, 주어진 질의 (Query/Question)의 답변을 추론하는 문제 1) Extractive Answer Datasets : 질의(question)에 대한 답이 항상 주어진 지문 (context)의 segment(or span)으로 존재 2) Descriptive/Narrative Answer Datasets : 답이 지문 내에서 추출한 span이 아니라,질의를 보고 생성 된 sentence(orfree-form)의 형태 3) Multiple-choice Datasets : 질의에 대한 답을 여러 개의 answer c..

1. GPT 언어 모델 (1) GPT 모델 소개 - BERT는 자연어에 대한 임베딩 모델, GPT는 자연어 생성에 특화된 모델 - BERT는 트랜스포머의 인코더를, GPT는 트랜스포머의 디코더를 사용한 모델 - GPT1의 입력 문장의 context vector를 출력하고, 그 뒤에 linear layer를 붙여 분류 task에 적용하기 위한 모델 - [자연어 문장 -> 분류] 성능이 아주 좋은 디코더인 GPT - 덕분에 적은 양의 데이터에서도 높은 분류 성능을 나타낸다. - BERT가 나오기 전에는 다양한 자연어 task에서 SOTA를 달성했다. - Pre-train 언어 모델의 새 지평을 열었음. large scale의 pre-train 모델을 사용하고, 뒷단에 classification layer 하..

1. BERT 언어 모델 기반의 두 문장 관계 분류 1) 두 문장 관계 분류 task 주어진 2개의 문장에 대해, 두 문장의 자연어 추론과 의미론적인 유사성을 측정하는 task 두 문장의 [CLS] 토큰에 classification layer를 부착시켜 두 문장의 관계 분류 2) 두 문장 관계 분류를 위한 데이터 Natural Language Inference(NLI) 언어 모델이 자연어의 맥락을 이해할 수 있는지 검증하는 task 전제 문장(Premise)과 가설 문장(Hypothesis)을 Entailment(함의), Contradiction(모순), Neutral(중립)으로 분류 (3개의 label) Semantic text pair 두 문장의 의미가 서로 같은 문장인지 검증하는 task (두개의 ..

1) BERT 모델 학습 BERT 학습 단계 Tokenizer 만들기 데이터셋 확보 : BERT는 모델 사이즈가 매우 크기 때문에 모델의 파라미터를 하나로 수렴하기 위해서는 대용량의 corpus를 필요로 함 Next sentence prediction (NSP) Masking BERT [MASK] token 공격 BERT 모델은 [MASK] token을 잘 예측하기 위해 학습한다. 그래서 [MASK] token을 예측하는 task를 통해 개인정보를 획득할 수도 있다. 따라서 언어모델 학습 시 반드시 개인 정보가 마스킹 처리 되거나 없는 데이터를 이용해야 한다!