Densenet 한 단 추가하기 (+ mish 사용)

[chanyub]

실험 1 :
가설 : 레이어가 한 단 더 깊어지면 성능이 향상 되지 않을까?
방법 : SATRN모델의 인코더로 쓰이는 DeepCNN300에 transition, block 하나씩 추가, 광원님이 올려주신 mini모델로 실험
결과 : 성능이 잘 나오는 듯 싶더니 30epoch 쯤부터 오히려 성능상승 곡선이 부진함 => 성능 하락 (wandb 있었는데 실수로 지움 ㅠㅠ)

실험 2 :
가설 : 성능 상승이 부진한 이유가 ReLU에서 0 이하 정보를 손실시키기 때문은 아닐까?
방법 : Densenet 한 단 추가한 모델의 activation function을 ReLU대신 mish로 변경
결과 : 아래 사진처럼 기존 mini 모델보다 안정적으로 상승

실험 2 코드
(DeepCNN300 대신 이거 사용하면 됩니다)

class Densenet(nn.Module):
    """
    This is specialized to the math formula recognition task
    - three convolutional layers to reduce the visual feature map size and to capture low-level visual features
    (128, 256) -> (8, 32) -> total 256 features
    - transformer layers cannot change the channel size, so it requires a wide feature dimension
    ***** this might be a point to be improved !!
    """

    def __init__(
        self, input_channel, num_in_features, output_channel=256, dropout_rate=0.2, depth=16, growth_rate=24
    ):
        super(Densenet, self).__init__()
        self.conv0 = nn.Conv2d(
            input_channel,  # 3
            num_in_features,  # 48
            kernel_size=7,
            stride=2,
            padding=3,
            bias=False,
        )
        self.norm0 = nn.BatchNorm2d(num_in_features)
        self.mish = Mish()
        self.max_pool = nn.MaxPool2d(
            kernel_size=2, stride=2
        )  # 1/4 (128, 128) -> (32, 32)
        num_features = num_in_features

        self.block1 = DenseBlock(
            num_features,  # 48
            growth_rate=growth_rate,  # 48 + growth_rate(24)*depth(16) -> 432
            depth=depth,  # 16?
            dropout_rate=0.2,
        )
        num_features = num_features + depth * growth_rate
        print("DEBUG1",num_features)
        self.trans1 = TransitionBlock(num_features, num_features // 2)  # 16 x 16
        num_features = num_features // 2
        print("DEBUG depth1", depth)
        self.block2 = DenseBlock(
            num_features,  # 128
            growth_rate=growth_rate,  # 16
            depth=depth,  # 8
            dropout_rate=0.2,
        )
        num_features = num_features + depth * growth_rate
        print("DEBUG2",num_features)
        self.trans2 = TransitionBlock(num_features, num_features // 2)
        num_features = num_features // 2
        print("DEBUG depth2", depth)
        self.block3 = DenseBlock(
            num_features,
            growth_rate=growth_rate,
            depth=depth,
            dropout_rate=0.2,
        )
        num_features = num_features + depth * growth_rate
        print("DEBUG3",num_features)
        self.trans3_norm = nn.BatchNorm2d(num_features)
        self.trans3_mish = Mish()
        self.trans3_conv = nn.Conv2d(
            num_features, num_features // 2, kernel_size=1, stride=1, bias=False  # 128
        )

    def forward(self, input):
        out = self.conv0(input)  # (H, V, )
        out = self.mish(self.norm0(out))
        out = self.max_pool(out)
        out = self.block1(out)
        out = self.trans1(out)
        out = self.block2(out)
        out = self.trans2(out)
        out = self.block3(out)
        out_before_trans3 = self.trans3_mish(self.trans3_norm(out))
        out_A = self.trans3_conv(out_before_trans3)
        return out_A  # 128 x (16x16)

실험 2 GPU 사용량 (batch_size = 360)

---

실험 3 :
가설 : Densenet한 단을 더 쌓아서가 아니라 그냥 mish가 좋은게 아닐까?
방법 : Densenet 안 쌓고 mish를 사용한 모델을 돌려봄
결과 : 아래 사진처럼 안 쌓고 mish를 쓴게 가장 좋은 결과가 나옴

=> 결론 : Densenet을 한 단 추가하지말고 ReLU를 mish로 바꾸는게 성능 향상될 것

[remaindere]

"방법 : SATRN모델의 인코더로 쓰이는 DeepCNN300에 transition, block 하나씩 추가," -> 이 부분 코드도 같이 올려주시면 좋을 것 같습니다~~