머신러닝/비지도학습3 [머신러닝(비지도)] #3 - Anomaly Detection (이상 탐지) ## 들어가기전 Anomaly Detection은 지도학습인 Classification과 같은 문제유형으로,모델을 만들고, 정상(normal)과 비정상(abnormal)을 평가한다.하지만 대체로 비지도학습에 가까운데,그 이유는 비정상 (Abnormal) 데이터가 너무 부족하기 때문이다.또한 그나마 있는 데이터도 Class를 대표하기 어렵다.=> 따라서, 정상(Normal) 데이터를 가지고 어디까지가 정상인지 추정한다. 1. 이상탐지의 몇 가지 Challenge (1) Label을 어떻게 확보할 것인가? - 보통, Normal Data는 자동으로 수집하고, Abnoraml Data는 수동관리하는 경우가 많음 - 비지도 학습이지만, 모델을 평가하려면 Label이 필요함. (2) 낮은 성능 문제 -.. 2024. 10. 22. [머신러닝(비지도)] #2 - Clustering_241021 1. K-means (1) KMeans 함수 사용 - k : n_clusters - n_inti : 초기값은 무작위 지정하여 결과가 조금씩 차이가 남. - 지정된 회수 만큼 수행하여 가장 좋은 군집모델 선택 - 'auto' 데이터 크기와 군집 수에 맞게 적정하게 지정 (권장사항) - 학습 시 x만 입력# K means 학습model = KMeans(n_cluster=2, n_init='auto')model.fit(x)# 예측pred = model.predict(x) (2) 클러스터 개수(k) 지정 ① Inertia value : 군집화가 된 후에, 각 중심점에서 군집의 데이터 간의 거리를 합산한 값 - 값이 작을수록 군집화.. 2024. 10. 21. [머신러닝(비지도)] #1 - 차원축소_241021 더보기미니프로젝트 + 공모전 때문에 제대로 복습하지 못했던 3주..!너무 블로그가 밀려서 호다닥 업데이트 해야겠다.담주는 ADsP 시험인데 오또카지 ( ఠ్ఠ ˓̭ ఠ్ఠ )** 들어가기 전 **Target이 있는 데이터로 학습하는 지도학습과 다르게, 비지도학습은 Target 변수가 없는 경우에 사용된다.- 주어진 데이터에서 유사한 특을 가진 데이터 포인트들을 묶어 군집(Cluster)를 형성하는 것- 학습시 x만 사용하며, 비지도 학습으로 끝나는게 아니라 차원축소, 클러스터링, 이상탐지 등 후속작업이 필요[차원축소]고차원 데이터를 축소하여 새로운 Feature 형성 => 시각화, 지도학습 연계[클러스터링]고객별 군집 생성 => 고객 집단의 공통 특성 도출을 위한 추가 분석[이상탐지]정상 데이터 범위 지.. 2024. 10. 21. 이전 1 다음
