Pooling이란?

'Convolution 연산을 거쳐서 나온 activation map이 있을 때, 이를 이루는 convolution layer를 resizing 하여 새로운 layer를 얻는 것' 으로 pooling이 convolution의 후속과정처럼 정의하는 분이 있는가 하면, (김성훈 교수)

 

'Convolution이 matrix 연산에 의해 얻는 것이라면 Pooling은 matrix 연산을 사용하지 않고 각 pixel에서 하나의 값을 뽑아내는 과정' 으로 pooling이 convolution의 후속과정이 아닌 별도의 개념으로 정의하는 분도 있다.

 

우리는 여기서 다음의 그림을 통해 더 쉽게 이해해보도록 하자.

pooling 에는 최대값을 뽑아내는 max pooling, 평균값을 뽑아내는 mean pooling등 다양한 종류가 있는데, 그 중에서 max pooling을 예시로 들며 알아보도록 하자.

Max Pooling

위와 같은 data가 주어져있다 하고, stride가 2일 때 2x2 filter를 통하여 max pooling을 하려고 한다. (stride란?)

방법은 간단하다.

첫 번째 빨간색 사각형 안의 숫자 1,1,5,6 중에서 가장 큰 수인 6을 찾는다. 초록색 사각형 안의 숫자인 2,4,7,8 중에서 가장 큰 수인 8을 찾고… 이 과정을 반복하면 오른쪽 상자 6,8,3,4를 얻을 수 있다.

 

왼쪽 사각형은 Convolution 연산을 통해 추출된 feature map이고, 오른쪽 사각형은 왼쪽의 feature map의 색칠된 구역별로 가장 큰 값을 추출한 것이다. feature map의 feature map이라고도 할 수 있다.(위의 예는 Max Pooling을 예로 들었다.)

Pooling layer에서는 이 과정, 즉 Convolution 연산을 통해 추출된 feature map에서의 feature map을 추출하는 것이라 할 수 있다.