Maximum likelihood의 통계적 접근

Maximum likelihood Maximum Likelihood Methods는 통계에서 파라미터를 추정하는 통계 방법이다. Likehood를 최대화하는 파라미터를 찾아 그것을 $\hat{\theta}$로 추정하는 것이다. mle는 통계학에서 만들어졌지만 사실 거의 모든 분야에서 볼 수 있을 정도로 많이 쓰이는 방법이다. 기계학습, 딥러닝에서도 물론 mle를 통해 파라미터를 추정한다. Mle는 통계의 아버지라고 불리는 Fisher에 의해 제안되었다. 그 이전에서 Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele, [...]

딥러닝을 위한 수학, Eigen vector, decomposition

Decomposition 수학을 공부하다 보면 어떠한 것을 쪼개서 봐야 이해가 되는 때가 많다. 고등학생 때까지는 아마 다항식을 쪼개면서 함수를 이해해왔을 것이다. 당시 배우던 식을 쪼개지 않으면 이해하기 어렵고 그것이 무엇을 나타내는 지 이해하기도 어렵다. 또 12와 같은 정수를 223과 같이 쪼개면서 수의 성질을 보기도 하였다. 물론 행렬도 쪼갤 수 있다. 행렬 역시 쪼개면 보이지 않던 특성들이 [...]

딥러닝을 위한 수학, Norms

Norms 고등학교에서 배웠듯이 벡터의 크기를 측정할 수 있다. 수학과 기계학습에서는 norm이라고 불리는 함수를 이용해서 벡터의 크기를 측정한다. Norm은 그 형태에 따라서 몇가지 이름이 있는데 일반적인 형태의 norm은 $L_{p}$ norm이라고 부르고 $|| \mathbb{x} || _ {p} = (\sum _ {i} | x _ {i} | ^ {p})^{ \frac{1}{p} }, for ~ p \in \mathbb{R},~ p \geq [...]

딥러닝을 위한 수학, 선형대수, 벡터

본 포스팅은 Deep learning - Ian goodfellow, Linear algebra and its applications 을 보며 정리한 포스팅입니다. 기계학습, 딥러닝을 위한 수학 이 시리즈는 딥러닝을 이해하기 위한 기본적인 수학 개념 소개이다. 많은 변수들을 정의할 수 있게 하는 수학적 방법, 최고점과 최저점을 찾는 방법, 이것들의 신뢰성을 정량화하는 방법을 본다. 다음으로 기계학습의 본질적인 목적을 설명한다. 모델을 어떻게 만듦으로 그 목적을 [...]