Deformable Conv 이해

다른 Deformable에 대한 글이 많아 간단하게 실제로 어떻게 적용 하는지 정리 해보겠습니다. 

컨불루션이라는게 사실은 아래 식 같이 나타낼 수 있고 즉, 1의 거리들과 연산을 한 결과라고 할 수 있습니다.

여기서 offset을 줘서 1이 아닌 (0, 1.5), (-0.5,  3)도 될 수 있습니다. 그래서 도입된게 델타 Pn입니다.(대부분 소수)

Fig1. Illustraion of 3x3 deofrmable conv

Offset을 구하기 위한 Branch 하나가 나와서 Conv layer를 통과시켜 Offset을 구하고 이걸 적용해서 Conv 해서 Output이 나옵니다.(파란 선 부분분과 offset field가 만나는 곳에서 Conv를 한다고 생각하시면 됩니다.) 

 

추가적으로 Deformable RoI Pooling도 마찬가지로 Offset을 주는 것인데 차이점은 Conv 대신 Fully Connected Layer를 통해 offset을 학습합니다.

기존의 Conv 결과를 보시면 특징을 수집하는 구역이 단순하게 커지지만 Dconv의 결과는 물체에 맞게 구역이 형성된 것을 보실 수 있습니다.