Deep CV

이 글은 딥러닝을 배우기 시작하고 공부하면서 정리해본 글로 잘못된 부분이 있을 수도 있으며 지적해주시면 감사하겠습니다. 논문 저자의 코드와 답변 글을 바탕으로 B0 버전을 구현해봤습니다.github.com/mingxingtan/efficientnet mingxingtan/efficientnetEfficientNets snapshot. Contribute to mingxingtan/efficientnet development by creating an account on GitHub.github.compytorch로 구현하는 과정에서 아래 코드를 참고하였습니다.compound scaling을 어떤 식으로 했는지는 다음 포스팅에서 설명하고,이번에는 EfficientNetB0의 구조와 구현 방법을 설명하겠습니..

Dropout과 Dropconnect은 둘 다 co-adaptation을 방지하는 방법입니다. 즉, 다른 뉴런에 의존하지 않는 독립적인 특징을 추출하기 위해 사용합니다. 아래와 같은 network가 존재할 때, 노란색 부분인 hidden units의 co-adaptation을 방지하고 싶다고 가정해봅시다. Dropout 드랍아웃은 input과 상관 없이 하위 units(nodes)을 무작위로 선택하여 출력을 0으로 떨구는 방법입니다. 다음 training example이 주어질 때 마다 다시 무작위로 하위 units을 선택 합니다. DropConnect 같은 방식이지만 Dropconnect는 weights를 비활성화 시키고, node는 그대로 활성화 되어 있는 방법입니다. 두 방법 모두 동시에 여러 모델..