Deep Learning - Wk2 (1) Linear Statistical Model

* 서울시립대 AI 대학원 딥러닝 강의를 바탕으로 공부한 내용을 정리한 블로그입니다. 

 

 

1. Linear Statistical Model 선형 모형 알고리즘

Linear Statistical Model relating a random response Y (dependent variable, target variable) to a set of independent variables(input variable, input feature) x1, x2, ...xk is of the form Y=β0+β1x+β2x2+...+ㅌ (노이즈) where β0,...βk are unknown parameters, ㅌ is random variable, and the x1, x2... assume know values. We will assume that E[ㅌ]=0 (기댓값을 취한다) and hence that E(Y)=β0+β1x+β2x2+..βkxk

 

 

(1) 선형 모형  E(Y)=β0+β1x+β2x2+..βkxk Overview
트레이닝 상태에서는 x, y 모두 주어져있다. 테스트 상태에서는 x만 아는 상태에서 y 추정하기테스트할 때 새로운 x가 들어왔을 때 적절한 y를 제시할 수 있도록 한다. 트레이닝 과정에서 선형 모형은 계수 β의 정체를 학습해 모델링한다.  (베타가 구하고자 하는 것) => 베타에 대해서 선형이다.

(2) Example
- 은행 고객 A의 대출 한도를 정할 때
x1 - A의 신용도, x2 - A의 월급, x3 - A의 자산 => Y (대출 한도)
-> 다양한 피쳐에 대한 선형 모델을 나타내고 싶다면, Multiple linear regression 

- x가 주어졌을 때 y를 예측하는 문제 (강수량 예측 등)

(3) Goal
x, y의 관계를 가장 잘 설명하는 (=SSE, Sum of Squares for Error, 가 최소인) 선형 모형을 발견하기 

 

 

A. Simple Linear Regression ; E(Y) = β0+β1x, feature가 하나

 

B. Multiple Linear Regression

 

C. Problem

feature의 개수 k가 늘어나면 역행렬을 구하는 시간 복잡도가 k의 3승씩 늘어난다. 

> 최적의 베타햇은 이차함수의 최솟값이 되는 지점에서 미분 = 0 되는 값이라고 생각했지만 문제가 있으니, 경사도 그 자체를 보자. 

> Gradient Descent

 

 

 

2. Logistic Regression

- Classification

- 0-1 분류 - 정상인지, 비정상인지, 도난된 것인지, 원주인의 것인지