최근접 이웃

 

   [ 목차 ]

 

최근접 이웃 알고리즘 (KNN)

: 주변의 데이터를 보고 내가 알고 싶은 데이터를 예측하는 방식

 

• k=3 이라면 별 1개와 세모 2개이므로 ? 는 세모로 예측될 것
• k=7 이라면 별 4개와 세모 3개이므로 ? 는 별로 예측될 것

✔️ 위와 같이 확일할 주변 데이터 k개를 선정 후에 거리 기준으로 가장 많은 것으로 예측하는 것이 바로 knn의 기본 원리이다 그럼 k는 몇으로 정해야 하는 걸까? 또 거리는 어떻게 측정 해야 하는 것일까?

 

하이퍼 파이미터의 개념

• 파라미터(Parameter): 머신러닝 모델이 학습 과정에서 추정하는 내부 변수이며 자동으로 결정 되는 값
  • ex) 선형회귀에서 가중치와 편향
  • Python에서는 함수 정의에서 함수가 받을 수 있는 인자(입력 값)를 지정하는 개념
• 하이퍼 파라미터(Hyper parameter): 데이터 과학자가 기계 학습 모델 훈련을 관리하는데 사용하는 외부 구성변수이며 모델 학습과정이나 구조에 영향을 미침

여기서 Data Science 학문과 연관되는 것이 바로 하이퍼 파라미터이다
근래의 머신러닝 모델은 정확성과 동시에 복잡성이 증가해서, 왜 좋은 결과가 나왔는지 그 원리는 정확하게 파악하지 못하는 경우가 생기거든요. 이때 모델의 하이퍼 파라미터 변수를 바꾸면서 좋은 평가 지표가 나올 때까지 실험하고 원리를 밝혀내는 것이 바로 데이터 사이언스의 기반이고 과학이라는 단어가 붙은 이유이다

 

거리의 개념

• 2차원 그래프에서 두 점의 거리를 설정하는 것은 쉬워 보인다 ( 직선의 거리르 구하면 되기 때문)
• 우리는 두 점의 좌표가 주어지면 피타고라스의 정리를 구할 수 있다 ➡️ 유클리드 거리(Euclidean Distance)
• 그 외에도 맨해튼 거리 등 다양한 거리 계산 방법이 있다 거리 개념은 데이터간의 유사도를 측정할 때 자주 등장하는 개념이니 한번 이해해보는 걸로 !
• 유클리드 거리 공식

 

표준화는 필수 ‼️

기본적으로 거리 기반의 알고리즘이기 때문에 단위의 영향을 크게 받는다
따라서 피처에 대한 표준화가 반드시 수반되어야 한다
이 부분은 데이터분석 프로세스 - 스케일링 부분 참고

 

knn 모델의 정리

• 장점
  • 이해하기 쉽고 직관적
  • 모집단의 가정이나 형태를 고려하지 않음
  • 회귀, 분류 모두 가능
• 단점
  • 차원 수가 많을 수록 계산량이 많아짐
  • 거리 기반의 알고리즘이기 때문에 피처의 표준화가 필요함
• Python 라이브러리
  • sklearn.neighbors.KNeighborsClassifier
  • sklearn.neighbors.KNeighborsRegressor

부스팅 알고리즘 이론

: 여러 개의 약한 학습기 (weak learner)를 순차적으로 학습하면서 잘못 예측한 데이터에 가중치를 부여하여 오류를 개선해나가는 학습 방식이다

• 빨간색과 초록색을 분류하는 문제의 경우 1개의 선(learner)으로 구별되지 않는 경우가 있다
• 이를 통해 여러 개의 learner를 합친 ensemble을 통해 성능을 올리는 방법이다

• 부스팅 알고리즘 종류
  • Gradient Boosting Model
    • 특징
      • 가중치 업데이트를 경사하강법 방법을 통해 진행
    • Python 라이브러리
      • sklearn.ensemble.GradientBoostingClassifier
      • sklearn.ensemble.GradientBoostingRegressor
  • XGBoost
    • 특징
      • 트리기반 앙상블 기법으로, 가장 각광받으며 Kaggle의 상위 알고리즘
      • 병렬학습이 가능해 속도가 빠름
    • Python 라이브러리
      • xgboost.XGBRegressor
      • xgboost.XGBRegressor
  • LightGBM
    • 특징
      • XGBoost와 함께 가장 각광받는 알고리즘
      • XGBoost보다 학습시간이 짧고 메모리 사용량이 작음
      • 작은 데이터(10,000건 이하)의 경우 과적합 발생
    • Python 라이브러리
      • lightgbm.LGBMClassifier
      • lightgbm.LGBMRegressor