Dropout 과 DropConnect의 차이

Dropout과 Dropconnect은 둘 다 co-adaptation을 방지하는 방법입니다. 

즉, 다른 뉴런에 의존하지 않는 독립적인 특징을 추출하기 위해 사용합니다. 

 

아래와 같은 network가 존재할 때, 노란색 부분인 hidden units의 co-adaptation을 방지하고 싶다고 가정해봅시다.

Dropout

드랍아웃은 input과 상관 없이 하위 units(nodes)을 무작위로 선택하여 출력을 0으로 떨구는 방법입니다.

다음 training example이 주어질 때 마다 다시 무작위로 하위  units을 선택 합니다.

DropConnect

같은 방식이지만 Dropconnect는 weights를 비활성화 시키고, node는 그대로 활성화 되어 있는 방법입니다.

두 방법 모두 동시에 여러 모델을 확습시키는 효과를 얻을 수 있어 효과적입니다. 

 

2번째 노드를 비활성화 시키는 것은 2번째 노드와 연결된 모든 weights를 비활성화 시키는 것과 같습니다.   

즉, Dropout은 DropConnect에 포함되어 있어 DropConnect은 DropOut의 일반화입니다.

 

 

 

출처: stats.stackexchange.com/questions/201569/what-is-the-difference-between-dropout-and-drop-connect