lec 08-1: 딥러닝의 기본 개념

시작과 XOR 문제

궁금적인 꿈 : 생각하는 기계

: 인간의 뉴런을 지켜보니 생각보다 너무 단순하다.

: 신호가 임계치를 넘지 못하면 활성화되지 않고 넘으면 활성화되는 단순함.

: 이걸 본 사람들이 기계적으로, 수학적으로 만들었다.- Activation Functions

: 

AND / OR Problem : Linearly Separable?

: 문제가 선형적으로 구분할 수 있을 때에는 해결할 수 있어서 큰 가능성을 보았지만,

XOR Problem

: XOR과 같은 비 선형적 문제는 해결할 수 없음.

: XOR는 수학적을오 풀수없다라고 정의하고 MLP를 통해 해결할 수 있다고 주장. 하지만, 이때는 MLP를 학습시킬 수 없다고 주장하여 찬물을 끼얻음.(50년대)

: 그러나, Backpropagation (1974,1982 Paul Werbos 이때는 각광받지 못했지만, 1986 Hinton 다시 발표함으로써 주목받음) 이 개발되어 해결할 수 있게됨.

: Convolutional Neural Networks - Hubel&Wiesel(1959) 교수가 고양이가 그림을 볼 때 뇌가 부분적으로 작동한다는 것에 착안하여 그림을 쪼개어 점점 합쳐가는 식의 기법이 나옴.

: 그러나, Backpropagation 이 10개 이상의 MLP에서는 학습이 잘 안됨에 따라 문제점이 발생

: 또, SVM이나 RandomForest 와 같은  머신러닝 알고리즘이 다양하게 나옴에 따라 MLP는 찬바람을 맞게됨 

Back-propagation 과 2006/2007 '딥'의 출현

CIFAR

: 돈이 안되더라도 딥러닝에 대해 연구하라고 밀어준 단체

Breakthrough 

: 초기값을 잘 주면 MLP도 좋은 성능을 낼 수 있다.

: 이를 딥러닝으로 이름을 바꾸자

: 이 후 그림을 맞추는 문제에 대해 사람보다 더 낮은 오류를 보이게 되었다.

: 엄청난 발전을 이루게 되었다.

왜 지금 공부해야 하는가?

: 학생/연구자

: 지금도 세계적 전문가가 되기에 늦지 않았다.

: 수학적으로 너무 복잡하지는 않다.

: 실용자

: 충분히 실생활에 쓸 수 있다.

: 텐서플로우 같은 툴들이 많다.

: 파이썬같은 많은 간단한 프로그래밍 언어로 가능하다.

아래 URL을 필기한 내용입니다.

https://www.youtube.com/watch?v=n7DNueHGkqE&feature=youtu.be

https://www.youtube.com/watch?v=AByVbUX1PUI