🔴 요약

최근 연구에 따르면 입력 레이어와 출력 레이어 사이 shorter connections를 포함한 CNN은 더 깊고, 더 정확하며, 학습 효율 뛰어날 수 있음이 밝혀짐

DenseNet은 이 통찰을 바탕으로 모든 레이어를 feed-forward 방식으로 서로 직접 연결하는 구조를 가짐

<aside> 💡

전통적인 CNN은 L개의 layer → L개의 connections만 존재

DenseNet은 총 L(L + 1) / 2개의 직접 연결을 가짐

각 레이어는 이전의 모든 레이어의 feature map을 입력으로 사용,

자신의 출력도 이후 모든 레이어의 입력으로 전달

</aside>

장점

기울기 소실 문제(vanishing gradient) 완화

특징 전달(feature propagation)을 강화

특징 재사용(feature reuse)을 유도

전체 파라미터 수를 크게 줄임

평가

4개의 대표적인 객체 인식 벤치마크(CIFAT-10, CIFAT-100, SVHN, ImageNet)에서 평가

DenseNet은 대부분의 벤치마크에서 SOTA 달성

더 적은 연산량으로 높은 성능 달성

코드와 사전학습된 모델 : https://github.com/liuzhuang13/DenseNet

🔴 Introduction (서론)

(그림 1)

이전 CNN은 depth 깊어질수록 vanishing gradient 문제 발생

이를 해결하기 위해

ResNet, HighwayNetwork

identity connection으로 신호를 다음 레이어로 직접 전달

Stochastic Depth

학습 중 레이어를 무작위로 생략(drop)해 정보 및 기울기 더 잘 흐르도록

FractalNet

여러 개의 병렬 레이어 시퀀스를 반복적으로 조합해 이론적으로 깊은 네트워크를 만들면서도 동시에 짧은 경로(short paths)를 많이 유지하는 구조 제안

모두 초기 레이어에서 후반부 레이어로 이어지는 short paths를 만든다는 공통점

dense connectivity 구조는 기존 CNN보다 더 적은 params 사용

중복된 feature map을 반복해서 학습할 필요가 없기 때문

Traditional feed-forward architectures

각 layer는 일종의 state를 갖고 있으며 이를 다음 layer로 전달

이 과정에서 일부 정보는 변경되지만 중요 정보는 유지되어야 함

ResNet

정보 유지(preservation)를 명시적인 identity 연결을 통해 구현

이후 ResNet 변형 구조 모델

많은 layers가 실제로는 기여가 적으며 학습 중 무작위로 생략해도 문제가 없다는 것을 보여줌

The state of ResNets similar(ResNet의 상태 흐름)가 unrolled RNN처럼 동작하게 하지만 각 layer가 고유의 weights를 가지므로 params는 훨씬 더 많음