[회귀 분석] 단순 회귀 모형 추정, 방정식 유도

부제: 회귀 방정식 유도

​

안녕하세요 파키노랩입니다. 여러분 잘 지내셨나요? 저는 요새 바쁜 일정에 치여 정신을 못차리고 있답니다. 

​

​+ 제가 글씨를 굉장히 못씁니다. 그래도 나름 잘 읽히도록 정리해봤으니 읽어주세요.

​

1. Introduction

회귀분석은 머신러닝의 기초라고 불리우는 학문입니다. 직관적이게도, 손실 함수나 계수 추정 등 머신러닝에서 필수로 요구하는 요소들을 전부 가지고 있죠. 네이버에 '회귀 분석'이라고 치면 수 많은 자료가 나오는 것을 알 수 있는데요, 아쉽게도 회귀 방정식 유도에 대한 게시물은 다소 적은 걸 알 수 있었답니다.

​

​

2. LSE (least square method)

LSE는 오차항의 제곱을 가장 작게 줄여주는 모형을 추정하는 방식입니다. 여기서 오차항의 제곱이 손실함수가 될 것이고, 오차항의 제곱이 커진다는 것은 그 만큼 모델 정확도가 떨어진다는 뜻입니다. 즉, 머신러닝에서 말하는 손실함수는 오차항의 제곱과 같이 '모델 설명력을 떨어트리는 요소'를 최소로 하는 함수라는 뜻과 같습니다.

​

3. 방정식 유도

최소 자승 추정량의 개념

위에서 말했다 시피, Q( 오차항의 제곱)을 가장 작게 해주는 회귀 계수 B0과 B1을 찾아가는 여정입니다.

​

위 오차항을 각각의 계수에 대해 편미분

Q가 최소가 되는 계수를 추정하기 위해, 편미분 방식을 사용합니다. 함수에서 기울기가 0이 된다는 점은 변곡점을 의미하기 때문이죠.

​

정규식의 형태로 변환

위의 두 가지 식을 계산하기 편하게 정리 해줍니다. 편의상 위의 식을 1번식, 아래 식을 2번 식이라고 칭하겠습니다.

​

1번 식을 정리하여 B0 계수에 대한 추정량을 구할 수 있고, 2번 식에 1번 식을 정리하여 B1에 대한 최소 자승 추정량을 구할 수 가 있습니다.

​

여기서 위에 모자처럼 생긴 기호를 hat(헷) 이라고 부르는데요, B0의 추정값, B1의 추정값이라는 의미를 가지고 있습니다.

​

​

4. Conclusion

언뜻 보기에는 이런 식 유도 과정이 왜 필요하나 라고 생각하실 수 있는데요, 이런 유도과정을 알고 있어야 선형대수로 표현하기 쉽고, 이는 컴퓨팅적 사고를 하는데 유연하게 작용할 수 있습니다! . 또한 기술 면접시 회귀식 유도를 요구하는 기업도 있다고 하니, 많은 도움이 될것 같네요. 다음 시간에는 선형대수학을 이용한 회귀식 유도를 배워보겠습니다.!

​

​

5. Appendix