Variational Inference, 베이지안 딥러닝

네이버 커넥트 재단에서 최성준 박사님이 강의한 베이지안 딥러닝의 내용입니다. Variational Inference Variational inference 라는 단어를 들어 본 지는 사실 꽤 되었다. 이게 뭘까 하면서 한 번 본 적은 있지만, 난무하는 수식에 그냥 하던거나 하자는 생각으로 덮었다. 그래서 사실 variational inference가 뭔지도 모르고 이 variational이 variance와 관련 있는건가 하는 궁금증도 들고 그랬다. 어쨋든 이 둘은 다른 […]

집합에서 부터 정의하는 확률 , 네이버 커넥트 재단 Bayesian deep learning

네이버 커넥트 재단에서 진행한 베이지언 딥러닝의 최성준님 강의를 듣고 인상적인 부분에 관한 내용입니다. Probability 거의 모든 사람들은 초등학교, 중학교를 거치며, 혹은 그냥 살면서 확률에 대한 개념을 습득해간다. 동전과 주사위만 있으면 되는게 확률 아닌가. 고등학교에 진학하면 이제 확률을 좀 더 배우지만, 내 기억으론 확률을 설명하라면 설명하지 못했을 것이다. 단지 어떤 사건이 일어나는 것에 대한 믿음의 정도라고 […]

Affine, Convex set

Line, line segments Affine, convex set을 보기 전에 이 둘을 이루는 line, 선이 뭔지 보자. 중학교 때, 선은 두 점을 이용하여 만든다고 배웠다. 여기서도 그렇다. 서로 다른 두점이 존재할 때, $y = \theta x_ {1} + (1 – \theta) x _ {2}$ 은 x1, x2를 지나는 선이다. 그리고 $\theta$ 는 0~1사이의 값으로 line segment를 하는 […]

Convex optimization. Chapter 1, Intro

Intro to convex optimization 데이터 사이언스, 딥러닝 혹은 실제 산업에서의 문제를 해결하려 하다보면 대부분의 문제가 최적화 문제임을 알게 되었다. 최적화에도 여러 종류의 방법이 있다. linear programming, integer programming etc. 나는 그 중에서 가장 많이 쓰이고, 데이터 사이언스 공부에도 많이 보게 될 convex optimization을 공부하려고 한다. 강의와 교재는 Stanford 대학에서 제공하는 강의와 교재로 진행을 한다. 현재 […]

Maximum likelihood의 통계적 접근

Maximum likelihood Maximum Likelihood Methods는 통계에서 파라미터를 추정하는 통계 방법이다. Likehood를 최대화하는 파라미터를 찾아 그것을 $\hat{\theta}$로 추정하는 것이다. mle는 통계학에서 만들어졌지만 사실 거의 모든 분야에서 볼 수 있을 정도로 많이 쓰이는 방법이다. 기계학습, 딥러닝에서도 물론 mle를 통해 파라미터를 추정한다. Mle는 통계의 아버지라고 불리는 Fisher에 의해 제안되었다. 그 이전에서 Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele, […]

딥러닝을 위한 수학, 확률과 통계

Intro 본 포스팅은 Deep Learning – Ian goodfellow, Mathematical statistic – Hogg 를 공부하며 정리한 내용입니다. 이번에는 확률과 정보 이론에 관한 내용이다. 확률 이론은 불확실성을 나타내는 수학적 방법으로 불확실성을 정량화하고 예측하는 공리를 제공한다. 확률은 기본적으로 많은 공학, 과학 분야에서 사용되는 기본적인 도구이고 인공지능 분야에서 확률은 크게 두가지 방법으로 쓰인다. 1. 인공지능 시스템은 확률 법칙을 이용하여 […]

딥러닝을 위한 수학, Eigen vector, decomposition

Decomposition 수학을 공부하다 보면 어떠한 것을 쪼개서 봐야 이해가 되는 때가 많다. 고등학생 때까지는 아마 다항식을 쪼개면서 함수를 이해해왔을 것이다. 당시 배우던 식을 쪼개지 않으면 이해하기 어렵고 그것이 무엇을 나타내는 지 이해하기도 어렵다. 또 12와 같은 정수를 223과 같이 쪼개면서 수의 성질을 보기도 하였다. 물론 행렬도 쪼갤 수 있다. 행렬 역시 쪼개면 보이지 않던 특성들이 […]

딥러닝을 위한 수학, Norms

Norms 고등학교에서 배웠듯이 벡터의 크기를 측정할 수 있다. 수학과 기계학습에서는 norm이라고 불리는 함수를 이용해서 벡터의 크기를 측정한다. Norm은 그 형태에 따라서 몇가지 이름이 있는데 일반적인 형태의 norm은 $L_{p}$ norm이라고 부르고 $|| \mathbb{x} || _ {p} = (\sum _ {i} | x _ {i} | ^ {p})^{ \frac{1}{p} }, for ~ p \in \mathbb{R},~ p \geq […]

딥러닝을 위한 수학, 선형대수, 벡터

본 포스팅은 Deep learning – Ian goodfellow, Linear algebra and its applications 을 보며 정리한 포스팅입니다. 기계학습, 딥러닝을 위한 수학 이 시리즈는 딥러닝을 이해하기 위한 기본적인 수학 개념 소개이다. 많은 변수들을 정의할 수 있게 하는 수학적 방법, 최고점과 최저점을 찾는 방법, 이것들의 신뢰성을 정량화하는 방법을 본다. 다음으로 기계학습의 본질적인 목적을 설명한다. 모델을 어떻게 만듦으로 그 목적을 […]