개요

style transfer에서는 input의 style을 target의 style과 맞게 만들어주는 방법이 필요한데, 이에 대한 방법론의 핵심을 담당하는 Gram Matrix에 대해 알아본다.

수식

먼저, 논문에서 제안하고 있는 Gram Matrix의 형태는 다음과 같다.

$G_{c d}^{l} = \frac{\sum _{ij} F _{ij c}^{l} ( x ) F _{ij d}^{l} ( x )}{I J}$

우리는 쉬운 이해를 위해서 채널, 정규화 과정을 제거한 채로 살펴보자.

$G_{ij}^{l} = \sum_{k} F_{ik}^{l} (x) F_{jk}^{l} (x)$

수식으로 들어온다면 여기까지만 읽으면 된다.

이미지 $x$ 가 있다고 하자. 해당 벡터는 2차원 이미지가 있을 때, 이를 1차원으로 faltten 한 것이다. 이 이미지의 크기를 M=3이라 하자.

x = [x_{0}, x_{1}, x_{2}]

각 이미지가 통과하는 필터(M=2)가 2개 있다고 하자. 해당 필터는 $F$ 로 표기한다. 각각의 filter에 image를 통과시킨 결과를 $F$ 라 하자.

F = [F_{1} (x_{0}) F_{2} (x_{0}) F_{1} (x_{1}) F_{2} (x_{1}) F_{1} (x_{2}) F_{2} (x_{2})]

F_{ik} = F_{i} (x_{k})

$F_{ik}$ 는 $F_{i}$ 필터에 $x_{k}$ 픽셀을 넣었을 때의 activation(response)이다. 그렇다면 Gram Matrix의 의미가 무엇인지 알아보자. 일단

G_{ij}^{l} = all term \sum [F_{00} F_{00} + F_{01} F_{01} + F_{11} F_{11} F_{10} F_{00} + F_{10} F_{01} + F_{12} F_{02} F_{00} F_{10} + F_{01} F_{11} + F_{02} F_{12} F_{10} F_{10} + F_{11} F_{11} + F_{12} F_{12}] = all term \sum k \sum [F_{0 k}^{2} F_{0 k} F_{1 k} F_{0 k} F_{1 k} F_{0 k}^{2}]

어디서 많이 본 모양이다. pixel별 filter activation의 Covariance이다! 결과적으로 발생하는 모든 항을 더하게되면 다음의 의미이다.

pixel의 filter activation들에 대한 covariance 모든 항의 합

이렇게 발생한 값을 가지고 input의 filter가 원하는 target filter의 gram matrix 값과 같도록 학습을 진행한다.

E_{l} = \frac{1}{4 N _{e} ^{2} M _{e} ^{2}} ij \sum (G_{ij}^{l} - \hat{G_{ij}^{l}})^{2}

최종적으로는 밀도로 나누어서 사용해야 한다.