공부 기록

벡터 사영: U로 V를 사영한 벡터: $$\operatorname{proj}_UV=\frac{V\cdot U}{\left|\left|{U}\right|\right|^2}U$$ $$y=w^Tx$$ |w|=1, w의 방향은 x와 곱할 때 정해져 있어서 따로 붙히지 않고, y는 1차원 벡터(스칼라) 클레스가 2개일 때 클래스 i의 평균 벡터: $$m_i=\frac{1}{n_i}\sum _{x\in D_i\ }^{\ }x\tag{1}$$ 직선에 projection 시킨 클래스 i의 평균 벡터: $$\tilde{m_i}=\frac{1}{n_i}\sum _{y\in Y_i\ }^{\ }y=\frac{1}{n_i}\sum _{x\in D_i\ }^{\ }w^Tx=w^Tm_i\tag{2}$$ 클레스 1, 2 사이의 거..

용어 $$W_{t,i}:\ t\ 시점의\ i\ 번째\ 파라미터$$ $$\\ \nabla _{W_t}J\left(W_{t,\ i}\right)\ =\ g_{t,\ i}\ :\ t\ 시점의\ W_{t,\ i}에\ 대한\ gradient\ 벡터$$ SGD $$W_{t+1,\ i}=W_{t,\ i}-\eta \cdot g_{t,\ i}$$ Adagrad $$G_{t,\ ii}=g_{1,\ i}^2+g_{2,\ i}^2\ +\ ..\ +\ g_{t,\ i}^2$$ $$G_t=\begin{bmatrix}G_{t,\ 11}&0&..&00\\0&G_{t,\ 22}&0&..\\..&0&..&0\\0&..&0&G_{t,\ ii}\end{bmatrix}$$ $$W_{t+1,\ i}=W_{t,\ i}-\frac{\eta }{..

다중공선성이란 입력 변수들 간의 상관 정도가 높은 상태를 말한다. $$Y=w_0+w_1X_1+w_2X_2+...+w_nX_n$$ 상관 정도가 높은(피어슨 상관계수로 1에 가까운) 변수가 X_1 ≃ X_2라면, 아래와 같이 나타낼 수 있고, Y가 다르게 가정된다. $$Y\ \backsimeq \ w_0+\left(w_1+w_2\right)X_1+w_3X_3+...+w_nX_n$$ 그렇게 되면, 변수의 중요성을 설명할 때 올바른 설명을 하지 못하게 된다. 다중 공선성이 높은 변수를 몇 개 제거 후 분석하면 된다. 출처: https://ai-times.tistory.com/268