Practice makes perfect!

1. 자연어 단어 임베딩 1) 특징 추출과 분류 - 분류를 위해서는 데이터를 수학적으로 표현해야 함. - 먼저 분류 대상의 특징을 파악하고(Feature extraction), 이를 기준으로 분류 대상을 그래프 위에 표현하고 경계를 수학적으로 나눌 수 있음 (Classification) - 이러한 특징을 컴퓨터가 스스로 찾고, 스스로 분류하는 것이 '기계학습'의 핵심 2) Word2Vec - word2vec 알고리즘 : 자연어의 의미를 벡터 공간에 임베딩 - 한 단어의 주변 단어들을 통해, 그 단어의 의미를 파악 - 주변부의 단어를 예측하는 방식으로 학습 수행(Skip-gram 방식) - CBOW : 주변 단어들을 통해서 중간의 단어를 예측하는 모델 - Skip-Gram : 중심 단어를 통해 주변 단어를..

1. 자연어 처리란 NLP (Natural Language Processing)는 자연어를 처리하는 분야, 우리의 말을 컴퓨터에게 이해시키기 위한 기술이다. 영어, 한국어와 같은 자연어는 기계적이고 고정된 프로그래밍 언어와 달리 같은 의미의 문장도 여러 형태로 표현할 수 있고, 그 의미나 형태가 유연하게 바뀔 수 있다. 활용되는 예로 검색엔진, 기계번역, 질의응답 시스템, IME(입력기 전환), 문장 자동요약, 감정분석 등이 있다. 자연어를 컴퓨터에게 이해시키는 데는 '단어의 의미'를 이해시키는 것이 중요하다. 시소러스를 활용, 통계 기반, 추론 기반(word2vec) 이렇게 세 가지 기법이 있다. 2. 시소러스 먼저 시소러스는 사람이 직접 단어의 의미를 정의하는 방식이다. 시소러스는 '동의어'와 '유의..

# 데이터 입력 df_pre = pd.read_csv('../dataset/wine.csv', header=None) # sample()는 원본 데이터에서 정해진 비율만큼 랜덤으로 뽑아오는 함수. # frac=1은 100% df = df_pre.sample(frac=1) # 모델 업데이트 모델 저장 폴더 설정 (에포크마다 모델의 정확도를 저장할 폴더) MODEL_DIR = './model/' if not os.path.exists(MODEL_DIR): # 폴더가 존재하지 않으면 os.mkdir(MODEL_DIR) # 이 이름의 폴더 생성 # checkpointer에 모니터할 값 지정 val_loss : 테스트 오차(케라스 내부에서 기록되는 값) 모델이 저장될 곳 : 위에서 생성한 modelpath ver..

과적합 모델이 학습 데이터셋 안에서는 일정 수준 이상의 예측 정확도를 보이지만, 새로운 데이터에 적용하면 잘 맞지 않는 것을 말함 층이 너무 많거나 변수가 복잡해서, 또는 테스트셋과 학습 셋이 중복될 때 발생 해결방법 학습 데이터셋과 테스트 데이터셋을 완전히 구분한 후, 학습과 테스트를 동시에 병행하며 진행 머신러닝의 최종 목적은 과거의 데이터를 토대로 새로운 데이터를 예측하는 것 -> 테스트셋을 만들어 정확한 평가를 병행하는 것이 중요! -학습이 깊어져서 학습셋 내부에서의 성공률은 높아져도 테스트셋에서는 효과가 없다면 과적합이 일어나고 있는 것. 학습을 진행해도 테스트 결과가 더 이상 좋아지지 않는 지점에서 학습을 멈춰야 함. # 학습 셋과 테스트 셋의 구분 테스트 셋을 30%로 설정 X_train, ..

# species 데이터에 문자열이 있기 때문에 numpy대신 pandas를 이용해 데이터 불러옴 df = pd.read_csv('../dataset/iris.csv',names = ["sepal_length","sepal_width","petal_length","petal_width","species"]) print(df.head()) import seaborn as sns import matplotlib.pyplot as plt # pairplot 함수를 이용해 데이터 전체를 한번에 보는 그래프 출력 sns.pairplot(df,hue='species') plt.show() # 꽃잎과 꽃받침의 크기와 너비가 품종별로 차이가 있음을 확인할 수 있음. # 문자열을 숫자로 변환 클래스 이름(문자열)을 숫자..

csv 파일에는 데이터를 설명하는 한 줄이 맨 처음에 나옴(헤더) 우리가 가진 csv 파일에는 헤더가 없기 때문에, name 함수를 통해 속성별 키워드 지정 df = pd.read_csv('../dataset/pima-indians-diabetes.csv',names=["pregnant","plasma","pressure","thickness", "insulin","BMI","pedigree","age","class"]) # 정보별 특징을 더 자세히 확인 샘플수, 평균, 표준편차, 최솟갑, 백분위 수에 해당하는 값, 최댓값 보여줌. print(df.describe()) import matplotlib.pyplot as plt # 그래프를 그리기 위한 라이브러리 import seaborn as sns # ..

# 헤드라인 "마이데이터 속빈 강정 우려"…핀테크업계 '속앓이' news.naver.com/main/read.nhn?mode=LPOD&mid=sec&oid=015&aid=000454123 # 본문 정보제공 범위에 송금인·수취인 빠지나 당국, 개인정보 침해 가능성에 '적요' 서비스 제외 잠정 결론 업계 "반쪽짜리 서비스로 전락" 오는 8월 본인신용정보관리업(마이데이터) 서비스 본격 시행을 앞둔 가운데, 송금인과 수취인 정보를 뜻하는 ‘적요(摘要)’가 정보제공 범위에 포함되지 않아 핀테크업계가 속앓이를 하고 있다. 적요가 빠지면 반쪽짜리 마이데이터 서비스로 전락한다는 것이 핀테크업계 주장이다. 4일 금융권에 따르면 금융위원회는 적요를 마이데이터 사업 정보제공 범위에서 제외하기로 잠정 결론냈다. 마이데이터 서..

# 헤드라인 AI 믿었는데…은행 퇴직연금 운용 첫 오류 news.naver.com/main/read.nhn?mode=LPOD&mid=sec&oid=015&aid=0004539652 # 본문 우리은행 로보어드바이저 매도·매수 주문 처리 안해 은행측 "고객 금전 손실 없어" 업계, AI금융 신뢰 하락 우려 우리은행에서 퇴직연금 시스템 오류로 주문이 처리되지 않는 사태가 벌어졌다. 일부 고객이 퇴직연금 운용 상품 만기에 맞춰 매도 주문을 넣고, 새 상품 매수 주문을 넣었지만 은행의 인공지능(AI) 시스템 오류로 이 주문이 처리되지 않았다. 국내 금융회사가 퇴직연금 운용 오류를 낸 건 이번이 처음이다. 30일 우리은행에 따르면 일부 고객이 로보어드바이저(로봇+자문)를 통해 퇴직연금 운용 상품에 대한 매수·매도 ..