Practice makes perfect!

과적합 모델이 학습 데이터셋 안에서는 일정 수준 이상의 예측 정확도를 보이지만, 새로운 데이터에 적용하면 잘 맞지 않는 것을 말함 층이 너무 많거나 변수가 복잡해서, 또는 테스트셋과 학습 셋이 중복될 때 발생 해결방법 학습 데이터셋과 테스트 데이터셋을 완전히 구분한 후, 학습과 테스트를 동시에 병행하며 진행 머신러닝의 최종 목적은 과거의 데이터를 토대로 새로운 데이터를 예측하는 것 -> 테스트셋을 만들어 정확한 평가를 병행하는 것이 중요! -학습이 깊어져서 학습셋 내부에서의 성공률은 높아져도 테스트셋에서는 효과가 없다면 과적합이 일어나고 있는 것. 학습을 진행해도 테스트 결과가 더 이상 좋아지지 않는 지점에서 학습을 멈춰야 함. # 학습 셋과 테스트 셋의 구분 테스트 셋을 30%로 설정 X_train, ..

# species 데이터에 문자열이 있기 때문에 numpy대신 pandas를 이용해 데이터 불러옴 df = pd.read_csv('../dataset/iris.csv',names = ["sepal_length","sepal_width","petal_length","petal_width","species"]) print(df.head()) import seaborn as sns import matplotlib.pyplot as plt # pairplot 함수를 이용해 데이터 전체를 한번에 보는 그래프 출력 sns.pairplot(df,hue='species') plt.show() # 꽃잎과 꽃받침의 크기와 너비가 품종별로 차이가 있음을 확인할 수 있음. # 문자열을 숫자로 변환 클래스 이름(문자열)을 숫자..

csv 파일에는 데이터를 설명하는 한 줄이 맨 처음에 나옴(헤더) 우리가 가진 csv 파일에는 헤더가 없기 때문에, name 함수를 통해 속성별 키워드 지정 df = pd.read_csv('../dataset/pima-indians-diabetes.csv',names=["pregnant","plasma","pressure","thickness", "insulin","BMI","pedigree","age","class"]) # 정보별 특징을 더 자세히 확인 샘플수, 평균, 표준편차, 최솟갑, 백분위 수에 해당하는 값, 최댓값 보여줌. print(df.describe()) import matplotlib.pyplot as plt # 그래프를 그리기 위한 라이브러리 import seaborn as sns # ..

# 헤드라인 "마이데이터 속빈 강정 우려"…핀테크업계 '속앓이' news.naver.com/main/read.nhn?mode=LPOD&mid=sec&oid=015&aid=000454123 # 본문 정보제공 범위에 송금인·수취인 빠지나 당국, 개인정보 침해 가능성에 '적요' 서비스 제외 잠정 결론 업계 "반쪽짜리 서비스로 전락" 오는 8월 본인신용정보관리업(마이데이터) 서비스 본격 시행을 앞둔 가운데, 송금인과 수취인 정보를 뜻하는 ‘적요(摘要)’가 정보제공 범위에 포함되지 않아 핀테크업계가 속앓이를 하고 있다. 적요가 빠지면 반쪽짜리 마이데이터 서비스로 전락한다는 것이 핀테크업계 주장이다. 4일 금융권에 따르면 금융위원회는 적요를 마이데이터 사업 정보제공 범위에서 제외하기로 잠정 결론냈다. 마이데이터 서..

# 헤드라인 AI 믿었는데…은행 퇴직연금 운용 첫 오류 news.naver.com/main/read.nhn?mode=LPOD&mid=sec&oid=015&aid=0004539652 # 본문 우리은행 로보어드바이저 매도·매수 주문 처리 안해 은행측 "고객 금전 손실 없어" 업계, AI금융 신뢰 하락 우려 우리은행에서 퇴직연금 시스템 오류로 주문이 처리되지 않는 사태가 벌어졌다. 일부 고객이 퇴직연금 운용 상품 만기에 맞춰 매도 주문을 넣고, 새 상품 매수 주문을 넣었지만 은행의 인공지능(AI) 시스템 오류로 이 주문이 처리되지 않았다. 국내 금융회사가 퇴직연금 운용 오류를 낸 건 이번이 처음이다. 30일 우리은행에 따르면 일부 고객이 로보어드바이저(로봇+자문)를 통해 퇴직연금 운용 상품에 대한 매수·매도 ..

1. xml html과 sgml의 단점을 보완한 특수목적 마크업 언어 2. wsdl 웹 서비스에 대한 상세 정보가 기술된 xml 형식의 언어 3. 데이터 마이닝 대규모로 저장된 데이터 안에서 통계적 규칙이나 데이터 간의 관계, 패턴을 찾아 의미있는 데이터로 변환하는 기술 4. 인스펙션 원시 코드등의 저작자 외의 다른 전문가 또는 팀이 오류를 찾는 공식적 검토기법 5. 워크스루 회의 전 검토 자료를 배포하고 짧은 시간동안 오류를 검출하는 비공식적 기법 6. ESB 서로 다른 플랫폼 또는 애플리케이션을 하나의 시스템으로 관리하기 위한 서비스 중심의 통합을 지향하는 연계 기술 7. 정규화 데이터의 중복을 최소화하고, 이상현상을 방지하기 위해 무손실 분해하는 데이터 모델링 기법 8. 티어 드롭 IP 패킷 재조합..

* 모델 정의 #딥러닝을 구동하는 데 필요한 케라스 함수 호출 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense #필요한 라이브러리 불러옴 import numpy as np import tensorflow as tf #실행할 때 마다 같은 결과를 출력하기 위한 설정 np.random.seed(3) tf.random.set_seed(3) #준비된 수술 환자 데이터 불러옴 Data_set = np.loadtxt("../dataset/ThoraricSurgery.csv",delimiter=",") #환자의 기록과 수술 결과를 X와 Y로 구분하여 저장 X = Data_set[:,0:17] Y = Data..

# 헤드라인 '대출 중개' 네이버, 금융사처럼 규제 받는다 news.naver.com/main/read.nhn?mode=LPOD&mid=sec&oid=009&aid=0004778982 # 본문 핀테크도 금융소비자법 적용 부적합 상품 고객에 통보해야 위반땐 수입 50%까지 과징금 ◆ 빅테크 금융 규제 ◆ 네이버 금융 진출의 교두보 역할을 담당하는 네이버파이낸셜이 금융소비자보호법 규제 대상이 된다. 이에 따라 네이버파이낸셜은 대출 상품을 팔 때 소비자 정보를 파악해 적합한 상품을 권유하고, 부적합한 상품에 가입할 때 그 사실을 알려줘야 한다. 이를 위반하면 수입의 최대 50%를 과징금으로 내야 한다. 금융사와의 제휴 등 '우회전략'으로 금융업에 진출하던 네이버가 금융소비자보호법 규제 대상에 들어온 것은 이번..