AI

소개 신경망은 학습 데이터를 주면 손실을 출력한다. 이 때, 우리가 얻고 싶은것은 각 매개변수에 대한 '기울기$^{gradient}$' 이다. 바로 여기서 오차역전파법이 등장하고, 이 오차역전파법을 이해하기 위해서 연쇄법칙$^{chain\, rule}$ 을 알아야 한다. 연쇄법칙 자체는 어렵지 않다. 예로, 아래와 같은 함수가 둘 있다고 가정 해 보자. $$ z = g(y) $$ $$ y = f(x) $$ 이를 치환하면 $z = g(f(x))$ 가 되어, 최종 출력 $z$는 두 함수를 조합해서 계산할 수 있다. 이때 이 합성함수의 미분은 아래와 같이 구할 수 있다. $$ {\partial z \over \partial x} = {\partial z \over \partial y} {\partial y \..

분명 4년전 쯤에는 윈도우에서도 Tensorflow(GPU) 를 잘 사용했던 기억이 있었는데. 최근들어서 다시 인공지능 공부를 하면서 끄적여 보는데 GPU가 인식되질 않는다. 그래서 한 2시간 남짓 뻘짓을 했는데 다른 분들 뻘짓하지 말시라구 포스팅 해 둔다. 윈도우에 Tensorflow-GPU(2.5.0) 설치하기 - 그래픽카드 버전, CUDA 버전 등등 목차 텐서플로우만 설치해서 CPU버전으로 사용하는 것은 매우 쉽습니다. 하지만 gpu연동하는 것은 정말 쉽지 않은 것 같아요. 하나라도 잘못하면 안돌아가는 경우가 다반사입니다. 주의해서 꼭 chancoding.tistory.com 여러 블로그 글들도 뒤져보고... StackOverflow, Reddit 등등 커뮤니티도 여럿 둘러봤지만 해결법을 찾지 못하..

배치 정규화는 각 층에서의 활성화 값이 적당하게 분포되도록 조정하는 것을 의미한다. 배치 정규화는 학습 시 '미니배치' 단위로 정규화한다. 이 때, 평균이 0, 분산이 1이 되도록 정규화 한다. 수식은 아래와 같다. $ \Large \mu_B \leftarrow { 1 \over m } \sum_{i = 1}^{m}{x_{i}} $ $ \Large \sigma^{2}_{B} \leftarrow {1 \over m} \sum_{i=1}^{m}{(x_{i} - \mu_{B})^2} $ $ \Large \hat x_{i} \leftarrow { x_{i} - \mu_{B} \over \sqrt{\sigma_B^2 + \varepsilon}} $ $B = {x_1, x_2, ..., x_m}$ 는 $m$ 개의 ..