선형회귀

   [ 목차 ]

 

 

선형회귀

• 공통
  • Y는 종속 변수, 결과 변수
  • X는 독립 변수, 원인 변수, 설명 변수
• 통계학에서 사용하는 선형회귀 식

• $\beta_0$ : 편향 
• $\beta_1$ : 회귀 계수
• $\varepsilon$ : 오차(에러), 모델이 설명하지 못하는 Y의 변동성

 

머신러닝/딥러닝에서 사용하는 선형회귀 식

• w: 가중치
• b: 편향(Bias)

결국 두 수식이 전달할려는 의미는 같음
회귀 계수 혹은 가중치를 값을 알면 x가 주어졌을 때 y를 알 수 있다는 뜻 !
우리의 편의를 위해 x의 계수는 가중치라고 지칭

 

질문

Q1) 가중치(w)를 알게 되면 X값에 대하여 Y값을 예측할 수 있다는 것은 이해가 되는데, 그럼 가중치는 어떻게 구하죠?

• 데이터가 충분히 있다면 가중치를 '추정'할 수 있다 자세한 설명은 다음 블로그에서 

회귀 평가지표 - MSE

• 에러 정의방법
  • 방법1) 에러 = 실제 데이터 - 예측 데이터 로 정의하기
  • 방법2) 에러를 제곱하여 모두 양수로 만들기, 다 합치기
  • 방법3) 데이터만큼 나누기
• 에러 정의 방법 수식화

1️⃣ 방법

2️⃣ 방법

3️⃣방법

y값의 머리에 있는 ^ 표기를 hat이라고 하며, 예측(혹은 추정)한 수치에 표기함

 

• Mean Squared Erorr(MSE)라고 정의

• 기타 평가 지표
• RMSE: MSE에 Root를 씌워 제곱 된 단위를 다시 맞추기

• MAE: 절대 값을 이용하여 오차 계산하기

 

데이터 사이언스 파이썬 라이브러리

• scikit-learn : Python 머신러닝 라이브러리
• numpy : Python 고성능 수치 계산을 위한 라이브러리
• pandas : 테이블 형 데이터를 다룰 수 있는 라이브러리
• matplotlib : 대표적인 시각화 라이브러리, 그래프가 단순하고 설정 작업 많음
• seaborn : matplot기반의 고급 시각화 라이브러리, 상위 수준의 인터페이스를 제공

자주 쓰는 함수

• sklearn.linear_model.LinearRegression : 선형회귀 모델 클래스
  • coef_ : 회귀 계수
  • intercept : 편향(bias)
  • fit : 데이터 학습
  • predict : 데이터 예측