𝑁𝑜𝑡𝑒𝑏𝑜𝑜𝑘

범주형 변수# 필요한 라이브러리 importimport pandas as pdimport scipy.stats as stats# 허위매물여부에 따른 다른 범주형 변수들과의 카이제곱 검정 수행categorical_features = ['제공플랫폼', '주차가능여부', '방향', '매물확인방식']def perform_chi_square_test_with_false_listing(train, feature): """허위매물여부와 특정 범주형 변수 간의 관계를 카이제곱 검정을 통해 분석""" # 허위매물여부 vs 특정 컬럼의 분할표 생성 contingency_table = pd.crosstab(train['허위매물여부'], train[feature]) # 카이제곱 검정 수행 chi2_..

[ 목차 ]  실루엣 계수 비지도 학습 특성 상 답이 없이 때문에 그 평가를 하긴 쉽지 않습니다. 다만, 군집화가 잘되어 있다는 것은 다른 군집간의 거리는 떨어져 있고 동일한 군집끼리는 가까이 있다는 것을 의미함  이를 정량화 하기 위해 실루엣 분석(silhouette analysis)이란 간 군집 간의 거리가 얼마나 효율적으로 분리되어 있는지 측정합니다. 수식은 다음과 같지만 그냥 이해하는 용도로 !실루엣 계수$a(i)$ : 데이터 포인트 $i$ 과 같은 군집에 속한 다른 포인트들과의 평균 거리$b(i)$ : 데이터 포인트 $i$ 와 가장 가까운 다른 군집 간의 평균 거리 해석: 1로 갈수록 잘 군집화 되어 있음. -1에 가까울수록 잘 못 군집화 되어 있다 수식을 해석해보자면 특정한 데이터 i의 실루엣..

[ 목차 ]  머신러닝 종류 복습1.지도학습: 문제 (x)와 정답(y)가 주어지고 문제 (x)가 주어졌을 때 정답(y)을 맞추는 학습 2.비지도학습: 답(y)을 알려주지 않고 데이터 간 유사성을 이용해서 답(y)을 지정하는 방법 머신러닝 개요 비지도 학습 예시고객 특성에 따른 그룹화ex) 헤비유저, 일반유저구매 내역별로 데이터 그룹화ex) 생필품 구매비지도 학습은 데이터를 기반으로 레이블링하는 작업이라고 하면 정답이 없는 문제이기 떄문에 지도 학습보다 조금 어렵고 주관적인 판단이 개입하게 된다 비지도 학습 k-평균 알고리즘k-means clustering 이론1. k개 군집 수 설정2. 임의의 중심을 선정3. 해당 중심점과 거리가 가까운 데이터를 그룹4. 데이터의 그룹의 무게 중심으로 중심점을 이동5. ..

[ 목차 ] 최근접 이웃 알고리즘 (KNN): 주변의 데이터를 보고 내가 알고 싶은 데이터를 예측하는 방식 k=3 이라면 별 1개와 세모 2개이므로 ? 는 세모로 예측될 것k=7 이라면 별 4개와 세모 3개이므로 ? 는 별로 예측될 것✔️ 위와 같이 확일할 주변 데이터 k개를 선정 후에 거리 기준으로 가장 많은 것으로 예측하는 것이 바로 knn의 기본 원리이다 그럼 k는 몇으로 정해야 하는 걸까? 또 거리는 어떻게 측정 해야 하는 것일까? 하이퍼 파이미터의 개념 파라미터(Parameter): 머신러닝 모델이 학습 과정에서 추정하는 내부 변수이며 자동으로 결정 되는 값ex) 선형회귀에서 가중치와 편향 Python에서는 함수 정의에서 함수가 받을 수 있는 인자(입력 값)를 지정하는 개념 하이퍼 파라미터(Hy..

[ 목차 ]  의사결정나무 (Decision Tree, DT) : 의사결정규칙을 나무 구조로 나타내어 전체 자료를 몇 개의 소집단으로 분류하거나 예측을 수행하는 분석 방법성별의 기준으로 의사결정나무 시각화타이나닉의 예시성별의 기준으로 의사결정나무 시각화명칭 루트 노드(Root Node): 의사결정나무의 시작점. 최초의 분할조건 리프 노드(Leaf Node): 루트 노드로부터 파생된 중간 혹은 최종 노드 분류기준(criteria): sex는 여성인 경우 0, 남성인 경우 1로 인코딩. 여성인 경우 좌측 노드로, 남성인 경우 우측 노드로 분류 불순도(impurity) 샘플(samples): 해당 노드의 샘플 개수(891개의 관측치) 값(value): Y변수에 대한 배열. 549명이 죽었고(Y = 0..

[ 목차 ] 로지스틱 회귀: 데이터가 어떤 범주에 속할 확률을 0에서 1사이의 값으로 예측한 뒤 그 확률에 따라서 가능성이 특정 기준치 이상인 경우 해당 클래스로 분류해주는 지도 학습 알고리즘 x가 연속형 변수이고, y가 특정 값이 될 확률이라고 설정한다면, 왼쪽 그림과 같이 선형으로 설명하긴 쉽지 않아 보인다 확률은 0과 1사인데, 예측 값이 확률 범위를 넘어 갈 수 있는 문제가 있다하지만 오른쪽 그림은 s자 형태의 함수를 적용하면 잘 설명한다고 할 수 있을 것 같다   함수시그모이드 함수 중 하나로 립러닝에서 다시 활용 = 값을 계산하면 확률이 도출 ‼️위 식을 p에 대해서 정리하여 다음과 같이 표현 가능 🟢로짓의 장점 : 어떤 값을 가져오더라도 반드시 특정 사건이 일어날 확률      (Y값이 특..