Practice makes perfect!

1. Machine Reading Comprehension (MRC)의 개념 기계 독해 (Machine Reading Comprehension) : 주어진 지문 (Context)를 이해하고, 주어진 질의 (Query/Question)의 답변을 추론하는 문제 1) Extractive Answer Datasets : 질의(question)에 대한 답이 항상 주어진 지문 (context)의 segment(or span)으로 존재 2) Descriptive/Narrative Answer Datasets : 답이 지문 내에서 추출한 span이 아니라,질의를 보고 생성 된 sentence(orfree-form)의 형태 3) Multiple-choice Datasets : 질의에 대한 답을 여러 개의 answer c..

1. GPT 언어 모델 (1) GPT 모델 소개 - BERT는 자연어에 대한 임베딩 모델, GPT는 자연어 생성에 특화된 모델 - BERT는 트랜스포머의 인코더를, GPT는 트랜스포머의 디코더를 사용한 모델 - GPT1의 입력 문장의 context vector를 출력하고, 그 뒤에 linear layer를 붙여 분류 task에 적용하기 위한 모델 - [자연어 문장 -> 분류] 성능이 아주 좋은 디코더인 GPT - 덕분에 적은 양의 데이터에서도 높은 분류 성능을 나타낸다. - BERT가 나오기 전에는 다양한 자연어 task에서 SOTA를 달성했다. - Pre-train 언어 모델의 새 지평을 열었음. large scale의 pre-train 모델을 사용하고, 뒷단에 classification layer 하..

1. BERT 언어 모델 기반의 두 문장 관계 분류 1) 두 문장 관계 분류 task 주어진 2개의 문장에 대해, 두 문장의 자연어 추론과 의미론적인 유사성을 측정하는 task 두 문장의 [CLS] 토큰에 classification layer를 부착시켜 두 문장의 관계 분류 2) 두 문장 관계 분류를 위한 데이터 Natural Language Inference(NLI) 언어 모델이 자연어의 맥락을 이해할 수 있는지 검증하는 task 전제 문장(Premise)과 가설 문장(Hypothesis)을 Entailment(함의), Contradiction(모순), Neutral(중립)으로 분류 (3개의 label) Semantic text pair 두 문장의 의미가 서로 같은 문장인지 검증하는 task (두개의 ..

1) BERT 모델 학습 BERT 학습 단계 Tokenizer 만들기 데이터셋 확보 : BERT는 모델 사이즈가 매우 크기 때문에 모델의 파라미터를 하나로 수렴하기 위해서는 대용량의 corpus를 필요로 함 Next sentence prediction (NSP) Masking BERT [MASK] token 공격 BERT 모델은 [MASK] token을 잘 예측하기 위해 학습한다. 그래서 [MASK] token을 예측하는 task를 통해 개인정보를 획득할 수도 있다. 따라서 언어모델 학습 시 반드시 개인 정보가 마스킹 처리 되거나 없는 데이터를 이용해야 한다!

1) 강의 내용 이미지 Autoencoder - encoder : 입력된 이미지를 압축된 형태로 표현 - decoder : 원본을 다시 복원 - compressed data는 입력 이미지에 대한 벡터값이 될 수 있음. (본인 스스로를 가장 잘 표현할 수 있게 학습된 모델이기 때문) BERT - self attention(transformer)를 사용한 모델 - 입력된 정보를 다시 입력된 정보로 representation하는 것을 목적으로 학습됨 - masking 기술을 사용해 어렵게 만든 문제를 해결하도록 함. - BERT는 mask된 자연어를 원본 자연어로 복원하는 과정으로 학습 - GPT-2 는 원본 이미지를 특정 sequence로 자르고 모델이 그 next를 예측하는 것을 목적으로 학습 - sent..

1. 자연어 단어 임베딩 1) 특징 추출과 분류 - 분류를 위해서는 데이터를 수학적으로 표현해야 함. - 먼저 분류 대상의 특징을 파악하고(Feature extraction), 이를 기준으로 분류 대상을 그래프 위에 표현하고 경계를 수학적으로 나눌 수 있음 (Classification) - 이러한 특징을 컴퓨터가 스스로 찾고, 스스로 분류하는 것이 '기계학습'의 핵심 2) Word2Vec - word2vec 알고리즘 : 자연어의 의미를 벡터 공간에 임베딩 - 한 단어의 주변 단어들을 통해, 그 단어의 의미를 파악 - 주변부의 단어를 예측하는 방식으로 학습 수행(Skip-gram 방식) - CBOW : 주변 단어들을 통해서 중간의 단어를 예측하는 모델 - Skip-Gram : 중심 단어를 통해 주변 단어를..