What is convolution

하트시그널을 봤다.
그 무엇보다도 치열한(..) 구애 행위와 두뇌게임을 봤다.
내가 누군가한테 구애 행위를 하는 것은 구애 받는 사람의 상태에 따라 YES, 혹은 NO가 나올 거다.
이렇게 우리는 항상 누군가와 상호작용을 하고, 그 결과에 관심이 있다.
여기서 구애하는 사람이 하는 행위를 Signal
구애 받는 사람의 상태를 System
그리고 이 두가지의 상호작용을 통한 결과를 도출하는 것을 Convolution 이라 한다.

EXAMLPLE

난로가 있다.
이 난로는 처음에 많이 따뜻했다가 점점 열기가 식는다. 이렇게
이번에는 온풍기가 있다.
이 녀석도 처음에는 따뜻한 바람이 나오다가 점점 세기가 줄어든다. 이렇게

특별히 이 녀석은 1초부터 작동시켰다.
이제 이 두 개의 연관관계로 인한 t초에서의 상황을 알고 싶다.
여기서 사용되는 연산이 컨볼루션이다.
그런데, 상식적으로 생각해 봤을때, 우리는 시작하는 시간이 빠른 순서대로 이 두개가
서로 엮임을 알고 있다. 그래서 곱하기전에 둘중 하나를 뒤집어주자.
그런데 타우는 뭐지?
그걸 이해하기 위해서는 가정이 필요하다.
지금 상황에서 내가 난로를 System , 온풍기를 Signal 로 생각해보면,
system은 그대로 두고, signal을 멀리서 부터 데리고 온다고 생각해보자.
그걸 가능하게 하는 녀석이 타우!
제대로 알기 위해서는 t에 대한 함수를 만들어주기 위해 타우라는 더미변수로 적분을 해준다고 이해하면 되겠다.
자 이것들을 그림으로 알아보면 이렇게 된다.
자 그런데, 앞의 하트시그널 예를 들어보아도, 우리는 한번의 시그널로 인한 결과가 바로 YES로 이어지지는 않는다.
결국 시작한 시점부터 누적한 결과가 현재 결과로 다가온다.
그래서 겹쳐지는 부분에서 각각의 시간값을 곱한다음 모두 더해준다!
이 과정을 식으로 나타낸 것이 컨볼루션이다.

Why Convolution Neural Networks?

완전 연결 신경망은 변수의 개수가 너무 많다.
사물인식의 관점에서 사물은 시야의 전부를 차지하는 경우가 적다.
부분을 판단해야한다.
즉 모든 뉴럴 연결하는 것이 비효율적일 수 있다.
같은 사진에 다른 스타일을 적용하고 싶을때 이걸 가능케한다.

Edge Detection

이미지를 구분하는 데 있어 모서리를 구분하자.

왼쪽은 픽셀의 값이다.
RGB 채널을 신경쓰지 않을때, 그냥 밝기의 정도만 알려주는 값이라 생각해보자.
이 픽셀을 아까 컨볼루션을 이해할 때 사용했던 시스템으로 생각해보자
그리고 그 다음에 보이는 3x3 짜리 행렬을 신호라고 생각해보자.
이렇게 생각해볼때 이 두개의 행렬을 컨볼루션 한다는 것은,
왼쪽행렬의 파란색으로 칠해놓은 것과 같이 행렬을 포개고
이를 각각 곱한뒤 모두 더해서 맨 오른쪽 행렬의 -5 를 출력하는 과정이다.
이 상호작용 이후 나온 결과는 4 x 4 의 행렬로 표현이 되는 것이다.
여기서 3x3 행렬을 Filter , Kernel 이라 한다.

참고

사실 여기서 Convolution을 한다고 할 때, Signal을 반대방향을 바꿔주는 과정이 있어야한다.
그런데 이 뉴럴네트워크를 구성하는데 있어 이것이 핵심적인 역할을 하지 않기 때문에
우리는 이 연산자체를 그냥 관습적으로 convolution이라 하고 넘어간다.
사실 지금 하는 연산은 정확하게 말하면 Cross-correlation (교차상관) 이라 한다.
신호와 시스템에서는 이 연산의 차이가 중요하다..! 다시공부하자.
그런데 이 이미지에 대해서 우리가 신경망을 구성하여 Detection 한다는 사실을 안다면,
3x3 의 행렬을 이루는 요소는 각각 가중치를 나타내고 있으며,
이를 각각의 픽셀값에 곱하고 더하는 행위는 노드의 연결로 인한 값들을 더해주는 것과 같음을 알 수 있다.
노드로 생각한다면,

완전연결 신경망과 같이 모든 노드가 연결되는 것이 아니고 위 그림처럼 4개에 대해서만 노드 연결이

이루어 진다고 생각할 수 있다.