TJNet 논문 해석ing

[SHEYCHAE]

AXNet=> 실험 결과에서 제안한 AXNet은 7.699개월과 108.869개월로 가장 낮은 평균 절대오차와 평균제곱오차를 달성하였다.2 , 각각. 따라서 제안된 AXNet은 골 연령을 객관적으로 평가하는 전문가나 방사선 전문의를 돕기 위해 1년 미만의 오류로 실제 임상 사용 가능성을 입증

골연령 평가는 아이의 뼈 성장에 이상을 감지하기 위한 표준 임상 절차이다.
평가된 뼈 나이는 실제 성장 수준을 나타냄. 평가된 나이와 실제 나이의 차이가 크면 성장 장애를 갖고 있는 것으로 판단가능.
따라서 골연령평가는 성장이상, 유전문제 및 내분비장애 가능성 선별에 사용됨.
GP또는 TW을 사용함.
GP는 standard hand atlas를 사용, TW는 ROI 정보를 이용하여 Score를 냄.
두 방식은 도메인,전문지식에 크게 의존하며, 관찰자간 결과에서 편향이 나타남..

따라서 AXNet (Attention Xception Network)이라고 하는 자동 골연령 평가 시스템 제안 - 골연령 자동으로 정확하게 예측
AXNet은 이미지 정규화 모듈, 골연령 회귀모듈 총 2가지로 구성되어있음
이미지 정규화 모듈: Xray 이미지를 표준화된 형식으로 변환하여 회귀 network가 더 나은 입력 이미지를 사용해 훈련하도록 해줌
배경에서 손 영역 추출한 다음 4개 BigROI에서 계산된 각도를 사용해 수직 위치로 회전
mask & 회전된 손을 이미지 중앙에 위치하도록 함
mask & 회전된 손을 이미지는 모두 기존의 최첨단 딥러닝 방법 사용..?
골연령 회귀 모듈: 중요 기능 강조를 위해 여러 계층의 공간 주의 메커니즘(?)을 통합하는 AX네트워크를 통해 골연령 예측

아이의 뼈는 18세까지 변화가 많음.
손가락 지골 관절/ 손목부위/ 요골,척골

CNN 전처리작업은 multiple layers 컨볼루션, 정규화 계층 및 활성화함수의 직접적인 조합을 활용
적용된 residual or feed-forward layer가 없어서 파라미터의 역전파 업데이트가 기울기 소실 문제 일으킬 수 있음

GoogleNet만 다양한 커널 크기 조합을 가진 더 넓은 cnn필터 세트를 활용
전처리작업에서 xception 아키텍쳐를 통해 분리 가능한 컨볼루션과 결합된 잔여 skip connection이 있는 cnn네트워크를 구현함

but TW는 뼈 나이를 결정하는데 더 많은 정보를 제공하는 특정 부위가 있음을 입증함
따라서 네트워크가 이미지의 전략적 위치를 학습하여 더 많은 가중치가 할당되도록 하는 주의 메커니즘이 Xception 아키텍처와 통합됨

---

이미지 정규화 모듈은::
손의 xray이미지를 표준화된 형태로 적절히 정렬하기 위해 개발됨
모듈은 mask된 손 영역만 나중에 처리되도록 손 영역을 먼저 분할함.
bigROI를 정해서 핸드마스킹된 이미지를 가지고 이미지가 한쪽으로 기울어지지 않도록 수직으로 적절히 회전시킴
and masked/ rotated image는 변환 정렬 장치?로 공급되어 정규화된 영상이 영상의 중앙에 배치

골연령회귀모듈은 ::
xray이미지 (다중 어텐션 메커니즘 레이어 통합하는) Attention Xception네트워크에 제공
주의?메커니즘을 사용하는 주요 동기는 TW 와 관련 있음. 따라서 ROI중요.
중요 영역에 더 많은 가중치를 할당하면 네트워크의 예측정확도가 향상됨
제안된 AXNet은 과적합 문제를 피하기 위해 8:1:1 비율로 12811개 이미지를 사용해 광범위하게 훈련검증테스트 되었다고함
그리고 골연령 예측 모듈은 훈련 과정에서 기울기 소실 문제 극복을 위해 3겹의 분리가능한 컨볼류션 방식도 구현

요약

1. 최적의 관심 영역? (ROI랑 다른건가?) 에 더 많은 가중치를 할당하는 것을 목표로 하는 공간적 주의 메커니즘의 통합.

2. 교육, 검증 및 시험 데이터가 각각 8:1:1의 비율로 분포되어 있는 경우 데이터의 분포가 개선됨

3. 세분화 및 관심 지점 지역화를 위한 최첨단 딥러닝 아키텍처를 다루는
   데이터 표준화 단계에 대한 광범위한 비교

이전에는 ...
특정 ROI에서 다양한 수작업 기능을 통해 분류기or 회귀를 훈련하여 골연령 예측함
골연령 예측에 널리 사용되는 알고리즘은 ANN과 SVM회귀
최종 뼈 예측을 위해 나중에 선형회귀로 전달되는 각 손가락의 관절에서 특징 세트를 추출하는 앙상블 기법
손가락 특징에 초점 ㄴㄴ 골연령 측정을 위해 손목부위 특징 활용에 힘씀

기능선택 최적화를 위해 .. 수작업 단점 완화를 위해 딥러닝 접근방식 채택
BoNet 아키텍쳐는 9.5개월의 최고 MAE로 Overfeat, GoogLeNet OxfordNet같은 딥러닝 모델 능가
BoNet은 전처리 파이프라인을 사용하여 입력 이미지 표준화, 불필요 노이즈 제거 전처리 단계를 수행ㄴㄴ
어떤 사람은 GoogLeNet이 그런 전처리를 수행하면서 정확도 모델향상시킬 방법 탐색하기도 했다 함... 어쩔이다

딥러닝 모델 과소적합 과적합 문제 피하기위해 아주많은 이미지 필요함
따라서 사전 훈련된 VGGNet 가중치 및 데이터 증대를 활용해 제한도니 훈련데이터 문제를 완화시킴
CNN간에 평균 기반 모델 융합 사용
손목 및 지골 영역을 포함하는 5개의 ROI를 정의함
특정 특징을 얻는것이 골연령 예측 회귀 능력을 향상 시킬 것이라 했다고 함
그런 다음 각 영역은 DenseNet-121, Inception-V3 InceptionResnet-V2 세가지 딥러닝 모델을 사용해 훈련되었고
Randomforest 회귀기에 입력될 것임 .
근데 누구는 RSNA데이터셋 활용하여 CNN사용해 구성된 TJnet 아키텍처를 먼저 사전교육함으로써 전송 학습 기술을 채택함

정리

Spampinato et al. [28] :: BoNet

• 5개 컨볼루션 레이어만 있는 간단한 CNN 아키텍쳐 사용
• 전처리 파이프라인 사용 x / 잔여or 피드포워드 연결 사용 x

Lee et al. [29] :: GoogLeNet

• 전처리파이프라인 적용하여 표준화된 이미지 생성
• 실험에는 골연령 예측성능에 이점을 줄 훈련과정에 대한 방사선 전문의 보고서 포함됨

Zhou et al. [39] :: CNNs

• 도메인 지식 기반 다양한 ROI 사용해 모델 정확도 높임
• 훈련이 종료되기 전까지 모델 정확도가 계속 증가하기 때문에 수렴할 때까지 모델 훈련이 되지 않음

Wibisono and Mursanto [40] ::DenseNet-121, InceptionResnet-V2

• 엑스레이를 5개의 다른 딥러닝 모델로 나누어 feature maps를 생성하는데 사용
• Rendom Forest regressor기법을 사용해 골연령예측 수행하므로 end2end 모델이 아님

Tang et al. [41] ::CNNs

• 적은 훈련 데이터 단점 완화를 위해 전이학습 적용
• 하이퍼파라미터 튜닝 수행 x

Iglovikov et al. [1] :: VGGNet

• 손 분할, 대비 정규화 및 키포인트 감지를 포함하는 이미지 등록 파이프라인 소개
• 잔여 , 피드포워드 연결 적용 x

Chen et al. [42] :: InceptionV3

• 주의 유도 방법?을 적용하여 이미지 수준 레이블을 사용해 3개의 다른 영역을 지역화함
• 시스템은 성별 정보를 적용해 골나이 예측성능에 유리

Reddy et al. [44] :: CNNs

• CNN 아키텍쳐 훈련을 위해서만 검지 정보 활용
• 전처리파이프라인 사용 x

Marouf et al. [45] :: CNNs

• 모델 훈련 과정에서 성별 정보를 적용
• 훈련의 정확도와 손실은 훈련이 끝나기 전에 많이 변동함

Pan et al. [46] :: InceptionResnet-V2

• 능동 학습을 사용/ 전이 학습 기법 적용
• Hand Masked Segmentation과 Prediction Module의 Ensembling 과정으로 인해 계산 복잡도가 큼

Hao and Li[47] :: EfficientNet

• 크기 조정, 정규화 및 데이터 향상을 포함하는 전처리 파이프라인을 적용해 편향을 제거하고 교육 데이터 수를 늘림
• 실험에 골연령 예측에 도움될 성별 정보 포함

---

input - 관심 영역 세분화(정규화단계) - 회전 정렬(정규화단계) - 번역 정렬? (정규화단계) - 골연령 회귀(예측단계) - output( 예측 골연령)

Ti = xray 개수
I masked = 의료 기기, 참조 플레이트, 참조 번호, 관련 없는 신체 부위 등과 같은 모든 배경 정보를 제거한 분할된 손 부위.

( U-Net ,PSPNet , DenseDeepLab V2 , FCN , DeepLab V1 , DeepLabV2 , DenseDeepLab V3+ , SegNet , FC DenseNet , U-Net , and DeepLabV3+ 를 포함하는 최적의 수작업 세그먼트 영역을 찾기 위해 여러 최신 세분화 아키텍처가 테스트되고 검증됨 )
목표는 마스크 이미지를 생성하는 것

8p
이런거 왜 해석하고 있지 .... 결론만 말해줬음 좋겠다..

[hye-jj]

TJ-Net을 제안하는 논문 (2020)

이 논문에서 우리는 방사선 사진 기반 뼈 나이 예측을 위한 다중 스케일 잔여 신경망(a multi-scale residual neural network, 이 논문에서는 TJ-Net이라고 함)을 제안하고 연령 그룹 분류에 중요한 특징을 강조하는 주의 메커니즘(Attention mechanism)을 소개합니다.

논문제목: Automatic Radiographic Bone Age Assessment Using Deep Joint Learning with Attention Modules

논문보기 : 링크

논문요약 :
대부분의 현재 연령 분류 DNN은 VGG, Inception 및 ResNet과 같은 다른 컴퓨터 비전 표현 및 이해 애플리케이션을 위해 개발된 기존 네트워크를 직접 탐색합니다.
이 논문에서는 골 연령 예측을 위해 설계되고 대상의 연령과 성별을 공동으로 학습하도록 훈련된 컨볼루션 신경망이 있는 다중 스케일 주의 강화 분류기(a multi-scale attention-enhanced classifier)를 제시합니다.
제안된 분류기는 RSNA 데이터에 대해 0.41년, Tongji 데이터에 대해 0.36년의 MAD를 달성하여 동일한 테스트에 대한 다른 단일 모델 최신 기술 및 베이스라인 알고리즘을 능가합니다.
이는 성별 정보의 공동 학습이 골연령 평가를 개선하는 데 중요한 역할을 하는 반면, 컨볼루션 기반 주의 메커니즘(convolution-based attention mechanism)은 주요 특징을 검색하는 데 도움이 된다는 것을 보여준다.

#키워드 : Attention mechanism, bone age, convolutional neural networks, joint learning

Introduction

일반적으로 방사선 전문의는 GP(Greulich and Pyle) 방법에 따라 X선 영상과의 유사성을 시각적으로 검사하여 일치하는 항목을 Greulich/Pyle Atlas에서 검색.
Tanner와 Whitehouse(TW) 방법은 방사선 사진의 보다 구체적인 영역 간의 평가를 요구하고 체계적인 점수화를 위한 일련의 세부 기능을 도입.

아틀라스 기반 뼈 나이 평가는 표준 아틀라스와 개인 판단에 의존.
다양한 심층 신경망은 의사가 많은 질병을 진단하는 데 도움이 될 가능성이 입증됨.
데이터 라벨링 프로세스는 힘들고 비용이 많이 들어서 대안으로 전이학습을 이용.

*전이학습은 미리 훈련된 CNN 모델을 가지고 와서 우리의 목적에 맞도록 모델 가중치들을 재보정해줘서 사용하는 것을 의미.
대규모 데이터 세트를 개발하는 부담을 덜어줌.

심층 신경망 방법(Deep neural network methods)은 이 도전에서 경쟁자보다 인상적인 이점을 얻었으며 몇 가지 최상의 결과를 얻었음.

골연령은 특정 연령대의 아이들의 뼈의 평균 발달단계만을 나타내기 때문에 경제, 지역, 인종에 따라 큰 편차를 보임.
그러므로 대상 그룹이 RSNA 소스와 다를 경우 모델 개선이 필요함.

이전 연구에서는 뼈 나이 평가를 위한 기능이 의미 있는 성별 분류를 제공할 수 있다고 보고[6,Improved Automatic Radiographic Bone Age Prediction with Deep Transfer Learning].
이 작업에서 우리는 이 발견을 공동 성별 및 뼈 연령(a joint sex and bone age learning ) 학습 프레임워크로 확장함.
학습된 기능이 기존의 아틀라스 기반 평가와 일치하고 다른 데이터 세트로 전송할 수 있음(transferrable)이 확인됨.

*프레임워크 : Python 개발자라면 Django, 소프트웨어의 구체적인 부분에 해당하는 설계와 구현을 재사용이 가능하게 끔 일련의 협업화된 형태로 클래스들을 제공하는 것 -> 개발에 바탕이 되는 템플릿 같은 역활을 하는 클래스 및 인터페이스들의 집합.

1. Related Work

• CNN을 사용[7, 8].
• CNN을 서포트 벡터 기계의 특징 추출기로 사용하여 골격 연령 분류[10]
• 대부분의 심층 골연령 평가는 VGG16, Inception V3 및 ResNet50과 같은 기존 CNN 모델 을 backbone(: 입력이 처음 들어와서 출력에 관련된 모듈에 처리된 입력을 보내주는 역할 [출처] 딥러닝에서 Backbone Network란?)으로 사용하고, 회귀 또는 분류를 수행하기 위해 두 개의 밀집 레이어를 사용.[11], [12], [13]
• 사전 검증된 ImageNet을 취하고 분류기를 추가로 미세 조정하여 인간 전문가가 사용하는 주의 맵을 생성.[14]
• 방사선 사진의 중요한 특정 영역에 초점을 맞추기 위해, 사전 처리 단계에서 사람들은 손 골격에서 이러한 영역을 수동으로 또는 자동으로 탐지.[16], [17],[18]
• 데이터 확대에는 일부 모델의 과적합을 완화하는 데 도움이 될 수 있으므로 많은 모델이 이미지 전처리를 위해 무작위 플립, 자르기 및 대비 조정함.[11]
• 추정치를 세 손 섹션으로 통합하는 앙상블을 제안함.[12]
• 방사선 사진의 픽셀 외에도, 성별 정보 입력은 뼈 연령 평가를 개선하는 데 도움이 되는 것으로 입증됨.[5].
• 모델 간의 상관 관계를 탐색하고 상관 관계가 낮은 모델을 앙상블로 결합하여 향상된 성능을 달성.[19]

*관련작업 출처는 논문 마지막페이지에 있음.

2. Proposed Method (TJ-Net)

제안된 골연령 분류망은 TJ-Net이라고 하며, 여러 기능 블록으로 구성되어 있음.

#그림 2는 TJ-Net의 두 갈래 아키텍처를 보여주고, 구성 요소와 함께 네트워크 매개변수를 나열함.

입력 영상(이미지)을 77개의 골연령 클래스 중 하나로 매핑함.(3개월 기본 단위를 가진 0-19세에 해당). 이진 성별 라벨(즉, 블록 5는 테스트 단계에서 폐기됨)도 마찬가지로 매핑.

• TJ-Net의 처음 4개의 계단식 블록은 입력에서 중요한 특징을 추출함.

• 블록 5는 성 분류를 마무리하기 위해 고밀도 레이어를 위해 다중 스케일 특징을 고수준 피처와 융합함.

• 블록6은 연령분류기로 이미지 특징과 성별 입력을 미리 정의된연령에 일치시킴.

• 별도의 성별 입력, 결과를 조정할 수 있는 연령 분류기에 대한 추가 정보를 제공함.

• 성별 분류는 연령 추정과 성별 라벨링 모두에게 적용되는 뼈 특징을 학습시키는 데 도움이 됨.

• 네트워크의 각 블록 1-4는 cnvolutional/pooling 부분으로 구성함.

• 최종 출력은 softmax 함수에서 나오며 블록 5와 6에는 완전연결계층이 있음.

TJ-Net에 CBAM(Convolutional Block Attention Module), lncRes(Inception ResNet) 모듈을 도입하여 the attention mechanism, residual learning, and multi-scale 을 탐색하여 뼈 나이 관련 특징 추출을 강화함.

2-1 Convolution-based Attention Modules

컨볼루션 블록의 정면에서 검출된 채널 및 공간 특징 중에서 필터링된 특징은 뼈 나이를 구별하는데 있어서 다양한 중요성을 가짐.

CBAM의 도입은 채널과 공간 차원의 전체적인 목표와 더 관련있는 기능을 강화하기 위한 것.
[20]의 논문에 따라서 TJ-Net의 세 개의 CBAM 각각은 순차적으로 쌓인 두 개의 구성요소로 구성됨: 채널 주의 및 공간 주의 모듈( channel attention and spatial attention modules).

입력 기능은 먼저 평균 및 최대 풀링 레이어( the average and maximum pooling layers )를 *병렬로 통과한 다음 완전 연결된 두 레이어(two fully connected layers)가 시그모이드 활성화(sigmoid activation) 로 채널 주의 스케일 벡터(a channel attention scale vector)를 생성함.

*데이터 병렬처리(Data Parallelism)와 모델 병렬처리(Model Parallelism) 방법이 있음. 데이터 병렬처리란 학습해야 하는 입력 데이터 셋을 다수의 컴퓨터가 나누어 트레이닝하는 방법이고, 모델 병렬처리란 딥러닝 모델을 나누어 다수의 컴퓨터들이 트레이닝하는 방법, 위 내용에서는 그림3과 같이 모델 병렬처리를 의미하는 것 같음.

1)척도에 의해 가중된 original input features은 새로운 텐서를 형성.
2)이 정제된 텐서는 이후 이전 모듈과 동일한 두 개의 병렬 풀링 레이어(two parallel pooling layers)를 통과함(그림 3 참조).
3)그런 다음 연결된(concatenate:입력목록을 연결하는 클래스 함수) 결과는 1 x 7 x 7 컨볼루션 커널에 의해 처리됨.
4)마지막으로 시그모이드 활성화 함수는 공간 주의 스케일 매트릭스(a spatial attention scale matrix)를 출력함.
-출력 특징 맵(합성곱 계층의 입출력 데이터를 의미함) 은 척도 행렬 및 입력 특성(the scale matrix and the input features)의 곱임.

2-2 Inception Residual Modules

TJ-Net에는 두 개의 Inception Residual Modules이 있으며 약간 변형된 구조를 가지고 있음.
Block lncResl은 다양한 컨볼루션 커널 크기를 가진 여러 분기(several branches)로 구성됨 (그림 4 참조).
다중 스케일 가지(multi-scale branches)는 1 x 1 과 3 x 3 컨볼루션 커널을 특별한 방법으로 결합함.

추가적으로, lncRes2는 각각 1 x 1, 3 x 3, 1 x 3 및 3 x 1의 4개의 인셉션 분기(inception branches)를 가지고 있음.

인셉션과 인셉션2 모듈 각각은 4개의 다중 스케일 분기를 가지고 있으며, 1 x 1, 3 x 3, 3 x 1, 5 x 5, 1 x 7, 7 x 1의 조합.
컨볼루션 출력은 후기 단계(the later stage)에서 연결(concatenate) 됨.

2-3 Loss Function for Joint Learning

• (이부분은 통째로 잘 모르겠습니다. 이해가 되시는 분이 계시면 comment 부탁드립니다.)

제안된 손실 함수는 훈련 세트에 대한 전역 분류 오류와 지역 성별/연령 배치별 교차 엔트로피를 통합함.
MAD =

Cross-entropy =

특정 연령에서 여아는 남아보다 뼈 발달이 약 2년 앞서지만 손 방사선 사진이 두 성별의 차이를 어떻게 구별하는지 명확하지 않음. 그러나 [5]에서 주장한 바와 같이 성별 라벨은 골연령 평가를 향상시킬 수 있음.

주어진 엑스선 영상 I에 대한 조건부 확률 P(agelgender, I)는 정확한 성별 입력으로 나이를 정확하게 판단하는 데 도움이 됨.
성별과 뼈 연령 모두에 대한 배치에서 교차 엔트로피를 동시에 최소화하여 훈련 데이터에서 공동 분포 P(나이, 성별)를 학습시킴.

=> 비율 가중치를 도입한 것으로 배치 내에서 서로 다른 클래스의 영향력을 평준화하기 위한 것.

3. Experiments

3-1 Datasets and Preprocessing

RSNA 데이터와 훨씬 더 작은 Tongji 데이터 세트 모두에서 논문에서 제안한 TJ-Net을 평가함.

X-ray 사진:
RSNA 데이터 세트는 14236개 (12611개는 훈련, 1425개는 검증, 200개는 테스트에 사용), 대회가 종료되어 테스트 데이터를 더 이상 사용할 수 없게됨. 따라서 원본 훈련데이터를 0.8:0.1:0.1 비율로 훈련, 검증 및 테스트 세트로 분할하고 테스트에 샘플 1261개를 사용.

Tongji X-ray 이미지는 Huazhong University of Science and Technology 부속의 주요 교육 병원인 Tongji Hospital의 숙련된 방사선 전문의 그룹에 의해 수집되고 수동으로 분석됨. 이 데이터에는 O에서 22세 사이의 피험자의 (대부분 왼쪽) 손의 방사선 사진이 포함됨. 개인 정보를 제거하기 위해 원본 X-ray 이미지를 마스킹함.
원래 Tongji annotations(인식 대상에 대한 정답을 달아 주는 작업, 여기에서는 아마도 나이)이 몇 년 단위였기 때문에 몇 년 단위로 클래스 레이블을 출력하도록 네트워크를 수정했습니다.

원시 X선 이미지에서 손이 임의의 방향을 향할 수 있어서 손의 방향을 일관되게 위쪽으로 만들기 위해 이 이미지를 회전.

품질이 좋지 않은 방사선 사진을 포기 -> 실험을 위해 1385개의 이미지만 보관. Tongji 데이터는 여성의 경우 768개, 남성의 경우 617개로 성별 분포에서 거의 균등하게 분포함.

RSNA 데이터와 Tongji 데이터는 해상도가 다르기 때문에 둘 다 500x500픽셀 크기로 축소함. 두 이유로 의 균형을 맞추기 위해 이 크기를 사용.
1)작은 이미지는 방사선 전문의가 정보에 입각한 결정을 내리는 데 필요한 자세한 정보를 생략함.
2),고해상도 이미지는 우리 연구실의 제한된 컴퓨팅 리소스로 학습 프로세스를 느리게 할 수 있음.
또한 무작위 자르기, 밝기 변경, 대비 변화 및 뒤집기를 포함하여 온라인 단계에서 정기적인 데이터 증강이 활용됨.(Also, regular data augmentations were exploited in the online stage, including random crops, brightness changes, contrast variations, and flips.)

3-2 Implementation, 구현

TensorFlow I .7 프레임워크를 사용, Python 3.6에서 TJ-Net 및 기타 모델을 개발.하드웨어는 1개의 NVIDIA 2080Ti GPU 카드가 장착된 데스크탑 컴퓨터.

-모든 모델은 ADAM 옵티마이저를 사용하여 학습 됨.
-batch size는 16이고 초기 학습률은 1마이너스³.
-훈련이 안정화에 가까워지면 학습률을 초기 값으로 줄임.
-RSNA 데이터셋에 대한 훈련에는 약 15시간이 걸렸고, Tongji 데이터로 미세 조정하는 데는 5시간이 걸림.
-TJ-Net을 다른 방법과 비교하기 위해 별도의 성별 입력 모듈과 분류를 위한 조밀한 계층을 사용하여 서로 다른 backbone(base모델, 예: VGG16, ResNet50 및 Inception V4)을 사용하는 모델도 개발[5]. RSNA 데이터에서 훈련되고 테스트됨.
-우리는 모든 실험에서 동일한 프로토콜(체계)을 따름. 무작위로 데이터의 80%를 학습용으로 선택하고 10%는 검증용으로, 나머지 10%는 테스트용.
-공정한 비교를 위해 RSNA 챌린지 1위인 16bit(https://www.16bit.ai/bone-age)에서 제공하는 온라인 서버의 RSNA 데이터로 Inception V3를 테스트함.

TJ-Net에서 처음 두 개의 컨볼루션 블록은 이미지의 정보 손실(loss)을 줄이기 위해 작은 3 x 3 커널을 특징으로 함.
일반적으로 첫 번째 레이어에서 추출된 기능은 주로 낮은 수준의 비전 세부 정보(the low-level vision details)를 캡처(capture)함.
+) Feature 관점에서 layer의 의미 : Feature를 "변환"("학습") 시키는 것으로 입력층에 가까운 layer에서는 low-level 표현, 출력층에 가까운 layer에서는 high-level 표현됨.

다층의 스케일 배치(Multi-scale deployment)는 여러 구조적 특성을 추출할 수 있으며 잔차 링크(residual link, residual Connection : *잔차연결)는 네트워크를 훈련하는 데 도움이 됨.

*잔차 연결: 하위 층의 출력을 상위 층의 특성 맵에 더함. 최근에는 모델에 잔차 연결 을 추가하는 경향도 있음. ResNet 계열의 네트워크들이 이런 방식을 사용하기 시작. 잔차 연결은 하위 층의 출력 텐서를 상위 층의 출력 텐서에 더해서 아래층의 표현이 네트워크 위쪽으로 흘러갈 수 있도록 함. 하위 층에서 학습된 정보가 데이터 처리 과정에서 손실 되는 것을 방지.

block 5의 이진 성별 분류에서 우리는 256개의 뉴런으로 구성된 하나의 완전연결 레이어만 사용.
표준 softmax 함수를 사용하여 성별을 예측.
추가 성별 입력 블록은 64개의 뉴런을 사용.

연령 분류인 block 6에는 각각 512개 및 256개 노드가 있는 두 개의 조밀한 계층이 있으며 그 뒤에 정규화된 소프트맥스 함수가 있음.

매개변수 α는 초기에 1.5로 설정되었다가 손실이 안정되면 77(클래스 수)로 증가함.

3-3 Results and Analysis, 결과 및 분석

표 1은 다른 모델의 비교 결과를 나열한 것.

먼저 RSNA 데이터로 TJ-Net을 훈련하고 일부 블록의 매개변수를 보존하면서 나머지 모델은 Tongji 훈련 세트로 \***fine-tuning** 함. *fine-tuning: 사전학습 된 모델 (pre-trained model) 을 활용하여 새로운 모델을 학습하는 과정을 말함.

block 1~3이 동결된 테스트 세트의 MAD는 0.36년이라는 최상의 결과를 달성(표 2).

TJ-Net 모델이 방사선 뼈 나이를 평가하는 데 있어 중요한 특징을 포착할 수 있다는 것을 보여줌. 그리고 이러한 낮은 수준의 특징들로(these low-level features) 먼 지역의 다른 인종 집단에게 적용 가능함을 보여줌.

그림 6은 RSNA와 Tongji 데이터 모두에 대한 예측이 기본적으로 편향되지 않았음을 나타냄.

거의 편향되지 않지만 TJ-Net에 공동 학습을 추가하면 대부분의 연령대에 대해 보다 정확한 예측이 가능함.

TJ-Net에서 다양한 구성 요소의 효율성을 확인하기 위해 기능 부품에 대한 *ablation 분석을 수행함.

*ablation은 모델이나 알고리즘의 feature들을 제거해나가면서 그 행위가 성능에 얼마나 영향을 미치는지 확인해 보는 것, machine learning system의 building blocks을 제거해서 전체 성능에 미치는 효과에 대한 insight를 얻기 위한 과학적 실험.

[ablation 분석]
TJ-Net모델에 대해 RSNA 데이터 세트를 사용하여 결과 MAD와 RMSE를 비교했으며 매번 하나의 구성 요소를 제외했음.
lncRes 모듈에서 바로 가기를 제거한 후 재학습된 모델은 0.571년의 MAD를 얻었고 유사하게, CBAM 없이 단순화된 TJ-Net은 0.578년의 MAD를 생성하여 주의 모듈(attention modules) 의 긍정적인 역할을 제안함.
훈련된 모델에 대한 CBAM의 영향을 시각화하기 위해 블록 4에서 학습한 활성화된 기능의 히트 맵을 그림.
CBAM이 있는 활성화 맵은 TW 방법(그림 1)으로 조사한 ROI와 유사한 주요 위치를 정확히 지적하지만 주의 메커니즘 없이 발견된 두드러진 지점은 넓은 영역에 퍼짐.
마지막으로 성별 분류와 관련 손실(loss)을 빼면 MAD는 0.578년으로 증가함.

이것은 공동 학습이 뼈 나이를 평가하는 데 성 입력의 기여도를 향상시켰음을 나타냄(This indicates that joint learning improved the contribution of sex input in assessing bone age.)
뼈 나이에 대한 성별 입력의 영향 패턴을 강화한다는 것을 알 수 있음.

4. Conclusions

이 연구에서 우리는 자동 X-ray 사진 뼈 나이 평가를 위해 특별히 설계된 딥 러닝 신경망 TJ-Net을 제안함. TJ-Net에서 Attention 모듈은 인간 전문가가 탐구한 초점과 유사한 기능을 찾는 데 도움이 되었으며, 공동 성별/연령 학습은 성별 레이블의 조건에 대한 연령 예측을 향상시킴.
실험 결과는 RSNA 데이터 세트에서 학습한 low-level features 이 중국 병원에서 현지 피험자로부터 얻은 데이터로 이전될 수 있음을 보여줌.
RSNA 및 Tongji 데이터에 대한 MAD 0.41년 및 0.36년으로 제안된 모델은 다른 단일 모델 최신 방법보다 우수한 성능을 보임.

[SHEYCHAE]

• 모델 간의 상관 관계를 탐색하고 상관 관계가 낮은 모델을 앙상블로 결합하여 향상된 성능을 달성

[SHEYCHAE]

Attention map (글에 주의맵이라고 나와있는거)

:CNN 계열에서 Attention 개념은 주로 Image Captuioning 처럼 multi-modal 간의 관계를 이용한 feature selection 에서 많이 사용되었다고 한다. Attention 이라는 것 자체가 어떠한 특성에 대하여 "집중"하는 것인데, Image Classification 이나 Detection 문제에서 입력 영상에 따라 중요한 부분에 집중하는 것이 필요하다.

기존의 신경망 설계 측면에서는 depth / width / height 등의 관점에서 연구가 이루어졌지만, 최근 들어 Residual Attention Networks, Squeeze-and-Excitation, Non-local Neural Network 등에서 Attention 방법이 주목받고 있다. 이와 같이 CBAM 에서 제안한 Attention Module 은 아주 적은 오버헤드로도 매우 유의미한 성능 향상을 이끌어낸다고 한다.

https://k.kakaocdn.net/dn/uxLg5/btqEGDr0jMB/iBbCntxiWk1Gki1yzyoPg0/img.png

BAM 과 CBAM 모두 conv feature 를 입력으로 받고, 그에 대한 attention 을 계산한다. Sigmoid 로 normalize 된 attention map 은 conv feature 에 element-wise 곱 해진다. Sigmoid 대신 Softmax 같은 방식이 있겠지만 가장 중요한 특징을 찾는 것이 목적이 아니기 때문에 softmax 대신 sigmoid 를 사용한다. 아래 식에서 F 는 conv feature, M(F)는 생성된 attention map 을 나타낸다.

https://k.kakaocdn.net/dn/Zesvf/btqEGho9wvx/VEDrKPEDznkK0EXWH2bfkK/img.png

Residual Attension Networks 에서 encoder-decoder 방식을 이용해서 3D attention map 을 생성하는데 이는 연산량이 매우 많다는 단점을 가진다고 한다. 그래서 이 논문에서는 attention 의 효과를 입증하기 위해 적은 연산량으로도 큰 성능 향상을 이끌어내는 것이 중요하기 때문에 BAM 과 CBAM 은 3d attention map 을 channel-wise / spatial-wise 로 분해하여 계산하였다. 이는 단순한 pooling conv 로 이루어져 있으며, self-attention 을 모듈화 하여 어떠한 CNN 에 쉽게 끼워 넣을 수 있게 하였다고 한다. 그리고 두 모듈 다 기존 네트워크와 함께 end-to-end 학습이 가능하다고 한다.

---

BAM (Bottleneck Attention Module)

https://k.kakaocdn.net/dn/kOGns/btqEFCueN0S/nsqhJ8oIvZEsqgxD2lKFl1/img.png

• bottleneck 이라 함은 spatial pooling 이 이루어지는 부분인데, 이러한 과정은 feature map 의 spatial resolution 이 작아지게 된다. 이러한 구간에서 정보량이 줄기 전에 BAM 을 추가하여 attention 으로 중요한 부분의 값을 키우고, 덜 중요한 부분의 값을 줄이도록 하는 것이 BAM 의 핵심 특징이다.

• BAM 은 3d conv feature 를 입력으로 받고 attention 으로 refine 된 conv feature 를 출력한다. channel 축과 saptial 축의 attention 을 나누어 계산하고, 각 output 값을 더하고 sigmoid 를 통해서 입력과 같은 사이즈의 3d attention map 을 생성하게 된다.

• 입력 시 conv feature 와 attention map 을 곱해준 값을 기존 입력에 더해주는 형태로 진행된다. channel 축은 global average pooling 을 통해 각 채널의 global context 를 모아준다. - 그리고 2-layer MLP(Multi-Layer Perceptron) 를 통과하여 입력 채널과 같은 사이즈를 출력하게 된다. spatial 축은 채널이 갖는 의미를 유지하기 위해서 conv 만으로 최종 2d attention 을 계산하게 된다

• BAM 에서는 2개의 하이퍼파라미터가 있는데 채널의 압축 정도(r)와 공간 attention에서의 dilation value (d) 가 있다. 공간 attension 을 계산할 때는 일반적인 3x3 conv 보다 dilated(atrous) conv 가 더 넓은 context 모은다고 한다.

CBAM (Convolutional Block Attention Module)

https://k.kakaocdn.net/dn/bp1lZw/btqEFKFFRBS/CgPQKKJmKSPRqDKRQEd0K0/img.png

• CBAM 은 BAM 의 후속 연구로서 기존 BAM 은 channel 과 spatial 을 하나의 3차원으로 더해서 구현하였지만, CBAM 은 순차적으로, channel 을 적용한 다음 spatial 을 적용하는 것이 더 나은 성능을 보인다고 한다.

• Channel Attention Module / Spatial Attention Module
  channel attension 의 경우 기존 BAM 은 average pooling 을 사용하였지만, CBAM 은 average pooling, max pooling 두 가지를 결합하여 사용하였다. 두 가지 pooled feature 는 같은 의미를 공유하는 값이기 때문에 하나의 공유된 MLP 를 사용할 수 있으며, 파라미터 양을 줄일 수 있다. spatial attention 의 경우 단 하나의 conv 로 spatial attention 을 계산한다. spatial attention 이 channel attention 과 다른 점은 정보가 어디에 있는지를 중점으로 둔다는 것이다.

https://k.kakaocdn.net/dn/HwmN9/btqEGUAf11Q/MvpbEYYkmWg710goSRnDOK/img.png

[SHEYCHAE]

지금 밖이라 이미지 url로 보이는건 집가서 수정하겠음

[kikiru328]

Loss Function for Joint Learning

MAD : Mean Absolute Deviation ( 평균 절대 오차 ) ; MSE 보다 관대한 결과를 보임
초기 훈련 단계에서 보이는 배치 학습 오류를 강조하기 위해서 적응적 가중치 α > 0 (양수) 값을 적용시킨다. 이로인해 배치 손실이 안정화되면 적응적 가중치 값을 증가시켜 전역 오류를 학습단계에서 적용되게 함.

[kikiru328]

MAD = MAE 이건 2기가 사용했어요

[hye-jj]

참고

TJ-Net 모델 구축에 공부하면 좋을 것 같은 코드.

In the field of object detection, the improvement of model performance after the introduction of CBAM is also very obvious. Model code implemented by keras:

: https://blog.spacepatroldelta.com/a?ID=01800-b81e15f2-118b-4de3-b1af-958d8a1b2df4

공부하면 좋을 것 같은 영상. ResNet 코드실습
(tj-net에 잔차연결이 있는데 ResNet 계열의 네트워크로 보임...정확하지는 않습니다)
: https://www.youtube.com/watch?v=671BsKl8d0E&list=PLR_75pUmpJSdUQ7bO7eFMPXwOsT01btUh&index=7

[hye-jj]

대부분의 ResNet 계열의 Architecture에서, CBAM을 추가했을 경우에 성능이 향상된다고 합니다.

[hye-jj]

TJ-Net을 제안하는 논문 (2019)

제안된 네트워크 아키텍처인 TjNet은 Inception V4 및 ResNet 50과 비교하여 RSNA 데이터 세트로 교육 및 테스트했을 때 최상의 결과를 얻었음이 분명합니다.
본 논문에서는 뼈 나이 분류에 필요한 표현을 얻기 위해 손 골격 방사선 사진에 포함된 특징을 추상화하도록 특별히 설계된 CNN 기반 네트워크 TjNet을 제안했습니다.

논문제목: Improved Automatic Radiographic Bone Age Prediction with Deep Transfer Learning

논문보기 : #15 선행연구자료에 승혜님께서 올려주신 논문.

논문요약 : 방사선 사진 기반 소아 골연령 평가는 많은 의료 및 사법 업무에서 핵심적인 역할을 합니다.
GP 방법 및 TW 스코어링과 같은 전통적인 뼈 연령 식별 기술은 인간 전문가에 의존하여 손 골격의 X-선 이미지를 표준 지도와 비교하고 유사성을 시각적으로 검사하므로 개인의 경험과 판단에 영향을 받습니다.
최근 심층 신경망(DNN)의 발전으로 컴퓨터 비전 표현 및 이해의 도움으로 보다 정확한 뼈 나이 추정이 가능해졌습니다.
DNN은 일반적으로 훈련을 위해 대규모 주석이 달린 이미지 데이터 세트를 요구하지만 발생 비용과 개인 정보 보호 문제로 인해 뼈 나이 추정에 대해 보장되지 않습니다.
본 논문에서는 CNN(Convolutional Neural Network) 기반의 골연령 분류기를 개발하고 RSNA(Radiological Society of North America) 데이터 세트에서 학습한 낮은 수준의 손 방사선 사진 특징을 지역 병원에서 수집한 소규모 데이터 세트로 전송하는 작업을 보고합니다.
제안된 네트워크의 처음 몇 레이어는 특성 추출기로 처리되고 나머지 부분은 전송 성능을 향상시키기 위해 더 미세 조정됩니다.
실험 결과, 제안된 전이 학습 프레임워크는 0.16년의 평균 절대차(MAD)를 달성하여 다른 최첨단 알고리즘보다 성능이 우수함을 보여줍니다.

색인 용어 - 골연령, 심층 신경망, 전이 학습

1. INTRODUCTION

X선 및 기타 의료 영상 장비는 현대 의학에서 매우 중요한 것으로 입증되었습니다. 컴퓨터 지원 분석의 도움으로 많은 병변 및 질병과 관련하여 임상 진단의 품질을 향상시키는 데 계속 도움이 됩니다.
X선 방사선 사진의 한 가지 특정 적용은 소아과 의사에게 뼈의 성숙 정도를 반영하는 어린이의 뼈 나이를 추정할 수 있는 증거를 제공하는 것입니다. 대부분의 어린이의 경우 골연령은 생물학적 연령과 동일하지만 유전적 요인, 호르몬 수치, 식이 습관 및 특정 질병과 같은 다른 많은 요소가 개인의 뼈 성장을 진행하거나 지연시킬 수 있습니다. 따라서 골연령의 정확한 평가는 여러 성장 문제를 식별하는 데 도움이 될 수 있습니다[1], [2].
그러나 골 연령 평가는 소아과 의사에게 여전히 어려운 과제입니다. X선 이미지 기반 뼈 나이 예측의 초기 방법에는 특정 연령에 대해 실측으로 주석이 달린 표준 손 골격 X선 지도 세트가 필요합니다. Greulich and Pyle(GP) 방법에서 의사는 단순히 손 X 방사선 사진을 아틀라스와 비교하고 결과로 가장 유사한 것을 선택합니다[3].
비교 과정에서 주관적인 편향을 줄이기 위해 Tanner와 Whitehouse(TW) 방법은 평가를 위한 더 미세한 입도를 도입하여 체계적인 점수 체계와 함께 개별 뼈에 대한 일련의 세부적인 특징을 제공합니다[4]. 이러한 기존 방법은 이미지 유사성에 대한 인간의 판단을 포함하기 때문에 개인 오류가 발생하기 쉽습니다. 결과적으로 한 그룹의 의사들이 주어진 X선 영상의 골연령에 대해 의견이 일치하지 않는 경우는 드물지 않습니다. 북미방사선학회(RSNA)는 2017년부터 소아 골연령 머신러닝 챌린지를 조직합니다.

이 도전 과제는 등록된 참가자에게 스탠포드 대학과 콜로라도 대학에서 개발한 데이터 세트를 제공했으며 여러 전문가 관찰자가 주석을 달았습니다. 데이터 세트에는 총 14236개의 손 방사선 사진이 포함되어 있으며 그 중 12611개는 훈련에, 1425개는 검증에, 200개는 테스트에 사용됩니다. 심층 신경망 방법은 MAD[8]에서 4개월이 약간 넘는 기간 동안 최고의 5개 결과와 함께 이 도전에서 경쟁자보다 인상적인 이점을 얻었습니다.
골연령은 특정 연령 아동의 평균 뼈 발달 단계만을 나타내기 때문에 지역, 인종, 민족에 따라 큰 차이를 보입니다[9]. 따라서 대상 그룹이 RSNA 소스와 명백하게 다를 경우 개선이 필요합니다.

이 논문에서는 RSNA 데이터 세트에서 학습한 지식을 다른 데이터 세트로 이전하는 조사를 제시합니다. 우리 작업의 기여에는 다음 두 가지 사항이 포함됩니다.
먼저 [8]에서 보고된 방법을 능가하는 RSNA 데이터 세트에서 2.3개월의 MAD를 평균하여 뼈 나이를 예측하기 위해 합성곱 신경망 backbone이 있는 네트워크(이 백서에서는 TjNet으로 명명)를 고안했습니다.
둘째, 첫 번째 단계에서 훈련된 TjNet의 처음 4개 블록을 특징 추출기로 적용하고 나머지 TjNet을 중국 우한에 있는 병원에서 수집한 작은 데이터 세트로 미세 조정하여 뼈 나이에서 1.9개월 ​​MAD의 결과를 보여줍니다.
우리 실험에서 흥미로운 관찰 중 하나는 이러한 방식으로 추출된 특징이 성별 식별에 사용될 때 분류된 레이블이 RSNA 데이터의 경우 93%의 경우 정확하여 이러한 특징이 뼈 나이 추정에 필요한 것보다 더 많은 정보를 캡처한다는 것을 보여줍니다.

이 문서의 나머지 부분은 다음과 같이 구성됩니다.
2장 에서 우리는 골 연령 추정에서 최근의 심층 신경망 개발을 검토합니다.
3장에서는 손 X선 영상에서 뼈 나이를 분류하기 위해 설계한 모델과 작은 데이터 세트에 적용할 전이 학습 프레임워크에 대해 설명합니다.
4장에서는 지역 병원에서 얻은 데이터셋으로 재조정하여 전송된 DNN에 대한 실험 결과를 제시합니다.
그리고 5장에서 우리는 몇 가지 언급으로 이 논문을 마무리합니다.

2. RELATED WORK

먼저 TW 방법을 기반으로 한 자동 뼈 나이 예측 알고리즘을 검토한 다음 DNN을 사용한 뼈 나이 분류의 최근 진행 상황에 대해 설명합니다.

• TW 방법에 명시된 채점 지표 덕분에 TW 방법을 컴퓨터 프로그램으로 쉽게 변환할 수 있음[10].
• TW 점수에서 두 가지 클래스의 제안이 개발됨.
  • 이미지 처리 기반 알고리즘 및 사전 지식 기반 알고리즘[11]
• 수년 동안 많은 이미지 처리 방법이 도입[12], [13], [14], [15], [16].
  • 예를 들어, [17]에서 이미지 분할(EMROI)은 골단 및 골간단의 영역을 추출하는 데 사용, 이러한 영역에 대해 TW 유사 스코어링이 수행되기 전에 [18] 분석(CROI).
  • EMROI와 CROI 기술의 통합 [15], [19], [20]
• 사전 지식 기반 알고리즘
  • 퍼지 분류기[21], [22] 및 베이지안 네트워크[23]

TW 점수 기반 방법은 복잡한 처리가 필요하며 예측 정확도가 전문가 평가와 일치하지 않아 결과를 임상 실습으로 확장할 수 없습니다. 초기 연구에서 얕은 신경망과 지지 벡터 기계는 손가락 관절을 식별하기 위한 이미지 분할에 사용된 다음 [25], [26], 입자 무리[18]와 같은 최적화 기술이 뼈 나이 결정에 적용되고, 더 많은 연구자들이 [28], [29], [31]에서 제안한 것처럼 자동화된 뼈 나이 평가를 위해 DNN 기반 모델, 특히 CNN의 변형을 사용합니다.
그러나 이 논문의 대부분에서 저자는 크기가 수백에서 수천 엑스레이 이미지 범위인 개인 데이터 세트로 네트워크를 훈련했으며 성능이 일반화 또는 실제 응용 프로그램에 충분히 강력하지 않습니다(표 I 참조).

표 I에는 소스(공개 또는 비공개) 및 데이터 세트의 크기, 뼈 연령 범위, MAD 또는 평균 제곱 오차(MSE)의 성능을 포함하는 일부 DNN 기반 뼈 나이 예측에 대한 설정이 나열되어 있습니다.

분명히 위에서 언급한 방법에는 몇 가지 제한 사항이 있습니다.

첫째, TW 또는 GP 방법을 사용하여 이미지에서 추출한 특징이 이후에 컴퓨터 비전 처리 알고리즘에 대한 입력으로 사용될 때 의미론적 세부 사항의 상당 부분이 손실 되었을 것입니다. 이러한 손으로 고른 특징은 다양한 형태의 X선 필름에 적용할 때 제안하는 기계 학습 방법의 일반화 능력을 방해할 수 있습니다.

둘째, 골연령 결정을 위해 복잡한 DNN을 채택하는 경우 훈련을 시작하기 전에 대규모 데이터 세트를 준비해야 합니다. 노력을 더 많이 요구하는 것은 데이터 세트가 일반적으로 필요한 조정 없이 다른 지역이나 인종으로 확장될 수 없다는 것입니다.

RSNA 챌린지는 주석이 달린 큰 데이터 세트로 인해 이전 연구에 비해 상당한 진전을 가져왔기 때문에 이러한 결과를 중국 우한에서 개발된 소규모 개인 데이터 세트로 이전하려고 합니다.

3. DATA PROCESSING AND NETWORK ARCHITECTURE

RSNA 및 Tongji 데이터 세트에서 뼈 나이 예측에 사용되는 X-방사선 사진은 해상도와 형식이 다릅니다. 어느 쪽도 연령 그룹과 성별에 대해 균일한 분포를 나타내지 않습니다. 제안된 CNN 기반 뼈 연령 학습 네트워크를 훈련하기 위해 이러한 데이터를 입력하기 전에 데이터 세트를 사전 처리해야 합니다.

3-1) Datasets and Preprocessing

2017년에 RSNA는 12612개의 주석이 달린 X 방사선 사진으로 구성된 교육 세트에 대한 액세스를 소아 뼈 연령 기계 학습 챌린지의 등록된 참가자에게 공개했습니다. 샘플 이미지는 8비트 그레이 레벨에서 2000 × 1500 해상도의 PNG 파일 형식입니다.
각 이미지에는 어린이의 성별과 예상 뼈 나이(개월 단위)가 표시됩니다.

RSNA 데이터 세트에서 학습한 지식을 다른 어린이 그룹에 이전하는 효과를 테스트하기 위해 Huazhong 과학 기술 대학교 부속 Tongji 병원 아카이브에서 1385개의 손 골격 X선 이미지(Tongji 데이터라고 함)를 얻었습니다. Tongji 데이터는 32비트 RGB 색상에서 1024 x 1024 해상도의 BMP 형식입니다. 각 Tongji 이미지에는 어린이의 생년월일, 소아과 의사가 추정한 어린이의 뼈 나이(년), 어린이의 성별 및 엑스레이 촬영 날짜가 표시되어 있습니다.
Tongji 데이터를 위해 어린이의 모든 개인 정보를 마스킹했습니다.

골연령 추정치는 RSNA 데이터에서 0세에서 19세 사이이며 우리는 골연령 단위를 1개월에서 3개월로 변환하여 Tongji 데이터와 더 호환되도록 하고 많은 의료에서 ​​아틀라스의 표준을 따릅니다.
왼쪽 엄지손가락이 오른쪽을 가리키고 다른 모든 손가락이 위쪽을 가리키도록 모든 이미지를 재조정 했습니다.
성별 분포와 관련하여 RSNA 데이터에는 여성이 5778개, 남성이 6833개 있습니다. 뼈 나이 추정치는 Tongji 데이터에서 0에서 22세 사이입니다. 이미지는 먼저 준비된 RSNA 데이터와 일치하도록 회전 및 변환으로 처리됩니다.
성별 분포의 경우 Tongji 데이터는 여성에게 약간 편향되어 있습니다. 여성의 경우 768개, 남성의 경우 총 617개입니다. 원본 Tongji 이미지에는 소아과 의사의 주석이 포함되어 있으므로 먼저 이미지에서 텍스트 레이블을 제거하고 손 골격만 유지하도록 여백을 잘라내는 전처리 알고리즘을 개발했습니다(자세한 내용은 그림 1 참조).

두 데이터 세트에서 처리된 이미지의 예가 그림 2에 표시되어 있으며, 여기서 왼쪽 상단 모서리의 검은색 상자는 원본 텍스트 레이블을 덮는 마스크를 나타냅니다. RSNA 데이터와 Tongji 데이터의 이미지는 이제 크기와 품질이 다릅니다.
두 데이터셋의 해상도 차이를 감안할 때 다음 전처리에서 이미지를 같은 크기로 표준화하는 것은 당연합니다. 대부분의 RSNA 데이터는 큰 직사각형 손 골격이지만 Tongji 이미지는 그림 1에서 특성화한 단계 후에 크기가 다양합니다. 차이를 해결하기 위해 이미지의 크기를 조정하여 500×500 크기로 균일하게 만듭니다.

이 솔루션의 근거는 다음과 같습니다.
첫째, 작은 이미지(예: 물체 감지/분류 작업에 자주 사용되는 224 × 224 크기)는 소아과 전문가가 뼈 나이를 시각적으로 판단하기 어렵게 만들 수 있습니다.
둘째, 이미지 크기가 크면 저가 하드웨어에서 네트워크 교육 시간이 길어질 수 있습니다.
따라서 우리는 조건과 기대의 균형을 맞추기 위해 이 절충 된 크기를 사용합니다.

그림1

앞서 논의한 바와 같이 RSNA 데이터 세트와 Tongji 데이터 세트 모두에서 연령과 성별의 불균형이 존재합니다. 이러한 불균형은 학습 프로세스의 느린 수렴을 초래하고 모델의 예측 정확도를 감소시킬 수 있습니다[30].
일반적으로 의료 영상 애플리케이션에서 명확하고 정확하게 주석이 달린 데이터는 비용이 많이 들기 때문에 데이터 향상은 제한된 데이터 세트에 대한 필수 보상이 됩니다. 이 통찰력을 기반으로 무작위 수평/수직 변환(이미지 크기의 최대 10%), 반전 및 가장 가까운 이웃을 사용하여 분포를 평준화합니다.

3-2) CNN-based Bone Age Prediction Network (TjNet)

CNN 기반 네트워크(이 백서에서는 TjNet으로 표시)를 구성하여 입력 이미지를 뼈 나이 범주 중 하나로 매핑 합니다.
TjNet의 아키텍처는 그림 3에 나와 있습니다.

이 네트워크는 별도의 젠더 처리 레이어와 6개의 캐스케이딩 블록으로 구성되며, 각각은 일부 컨볼루션 레이어, 풀링 레이어 및 완전 연결 레이어를 포함하며 최종 출력은 소프트맥스 분류에 의해 생성됩니다. 네트워크 설정은 각 레이어와 함께 나열됩니다.

패딩에 대해 동일한 옵션을 사용하는 세 번째 컨볼루션 레이어를 제외하고 다른 모든 패딩은 유효하게 설정됩니다.
Max pooling과 Average pooling은 서로 다른 계층에 대해 별도로 사용되며 모든 계층에 일괄 정규화를 적용합니다.
RSNA 골 연령 챌린지[8]의 최고 성과자에게서 영감을 받아, 우리는 또한 합성곱 구조 외에 골 연령 분류에서 별도의 입력으로 어린이의 성별에 의존합니다.

성별 입력은 먼저 64개의 뉴런이 장착된 조밀한 계층에 공급되며, 이후에 마지막 풀링 계층의 출력 특성과 연결되어 골 연령 분류 계층에 대한 다음 입력을 형성합니다.

요약하면 TjNet의 아키텍처는 다음 요소를 고려하도록 설계되었습니다.

1. 처음 두 블록의 연속적인 커널은 하위 수준 기능이 대부분 비전 세부 사항에 관한 것이기 때문에 set to the smaller size of 3×3 로 설정됩니다.
   우리는 이미지 정보의 조기 손실을 피하기 위해 작은 커널을 사용합니다.
2. 뒤이어 오는 두 개의 컨볼루션 블록은 a pooling layer와 1 × 1 컨볼루션 레이어가 추가되어 구조적 특징을 추출하면서 객체의 방향 및 위치 변화에 둔감하게 만듭니다.
   1 × 1 컨볼루션이 추가되어 다양한 기능 맵의 선형 조합을 구현하여 채널 수를 줄이고 비선형성을 증가시킵니다.
3. 3 × 3, 5 × 5 컨볼루션 및 8 × 8 풀링이 제공되어(The 3 × 3, 5 × 5 convolutions and 8 × 8 pooling are presented) 높은 수준의 개요 기능을 캡처하기 위해 수신 필드를 점진적으로 확장합니다.
4. 성별 입력과 완전히 연결된 레이어는 성별 정보가 뼈 성장에 기여한다는 사실을 반영하기 위해 취해집니다. 일반적으로 대부분의 지역에서 여아는 남아보다 2년 정도 뼈 발달이 빠릅니다.
5. 분류 네트워크는 각각 1024개 및 512개 뉴런으로( two dense layers of 1024 and 512 neurons) 구성된 두 개의 조밀한 계층으로 구성됩니다. 우리는 뼈 나이 예측을 얻기 위해 softmax를 사용합니다.
6. ReLU 비선형 활성화는 각 컨볼루션 레이어에서 사용됩니다.
   그리고 완전연결층( fully connected layers) 각 레이어에 0.5 드롭아웃(apply 0.5 dropout) 비율을 적용합니다.

3-3) Transfer Learning Framework (전이 학습 프레임워크)

일반적인 딥 러닝 작업이 불가피하게 성공할 수 있는지 여부는 ImageNet에서 사용하는 것과 같은 대규모 실제 데이터 세트의 개발에 달려 있다는 것은 잘 알려진 사실입니다. 게다가 ImageNet(일부)에서 학습한 특정 지식은 상당한 비용 없이 다른 도메인의 다른 작업으로 쉽게 이전 될 수 있습니다.
그럼에도 불구하고 의료 영상의 목표는 더 전문적이기 때문에, 낮은 수준의 비전 관련 기능이 ImageNet에 의해 발견된 것과 비슷할 수 있지만, 특정 애플리케이션에서는 더 높은 수준의 의미가 매우 멀리 있을 수 있습니다.
RSNA 데이터 세트에서 학습한 지식을 전달하려면 제한된 수의 Tongji X 방사선 사진을 감안할 때 사전 훈련할 수 있는 매개변수와 미세 조정해야 할 매개변수를 결정해야 합니다.

TjNet 블록에서 추출된 특징을 조사하기 위해, 전치 컨볼루션(transpose convolutions)과 업샘플링 기술(up-sampling techniques)을 사용하여 중간 특징 맵(intermediary feature maps)을 시각화합니다.

그림 4에서 볼 수 있듯이 서로 다른 블록에 의해 캡처된 특징은 뼈 나이를 예측을 돕는 데 서로 다른 의미 정보를 나타냅니다(represent different semantics information). 그림 4의 블록 1과 블록 2는 주로 기본적인 시력 관련 정보(가장자리 및 단순한 모양)를 검색하는 반면 블록 3과 블록 4는 분명히 관절 기능에 중점을 둡니다. 따라서 적절하게 결합되면 이러한 기능은 TW 방법의 점수 시스템에서 사용하는 포인트와 일치할 수 있습니다(그림 5).

실험에서 우리는 강력하고 효과적인 결과를 달성하기 위한 최상의 설정을 확인하기 위해 RSNA 데이터에서 학습한 다른 블록을 수정하고 나머지 TjNet을 미세 조정(fine tuning)하는 시나리오를 테스트합니다.
또한 전송 효율성(transferring effectiveness)을 비교하기 위해서 TjNet과 두 가지 고전적인 심층 신경망인 Inception V4 및 ResNet50도 구현합니다.
테스트에서 처음 4개 블록은 각각 Inception V4 및 ResNet50으로 대체되었으며 성별 부분과 밀집 레이어(gender part and dense layers)는 변경되지 않은 상태로 유지됩니다.

4. RESULT

4-1) Experiment Setting and Bone Age Prediction Results

우리의 실험에서 TjNet은 먼저 RSNA 데이터 세트로 훈련되고 테스트 되었습니다.
샘플의 85%는 훈련 세트로 무작위로 선택되었고 15%는 검증에 사용되었으며 나머지 15%는 테스트 목적으로 사용되었습니다.

• 샘플의 85% (훈련 세트, 15% 검증), 15% 테스트

검증을 위해 데이터의 일부를 가져오는 목적은 슈퍼 매개변수를 조정하여 해당 에포크에서 최상의 매개변수 설정을 찾는 것입니다.

RSNA 데이터 세트에서 매개변수를 학습한 후 TjNet의 처음 몇 블록을 사전 훈련된 특징 추출기로 고정하여 전이 학습의 성능을 테스트하고 나머지 부분을 Tongji 데이터의 85%로 미세 조정합니다. 그리고 15% Tongji 샘플을 사용하여 예측 결과를 확인합니다.

Python 3.6 및 TensorFlow 1.7로 TjNet을 구현했으며, NVIDIA 2080Ti GPU가 설치된 컴퓨터에서 교육 및 테스트를 모두 수행했습니다.

일반적인 작업보다 해상도가 높은 이미지에 대한 새로운 아키텍처를 설계해야 했고 RSNA 데이터의 양이 충분히 큰 것으로 간주되었기 때문에, 무작위 이니셜라이저(random initializer)를 사용하여 TjNet에서 훈련(training )을 시작했습니다.

실험에 사용된 옵티마이저는 손실 함수의 교차 엔트로피를 최소화하기 위해 ADAM입니다.

• optimizer : ADAM
  ADAM 옵티마이저의 매개변수는 다음과 같습니다.
• beta_1= 0.9, beta_2= 0.999, epsilon = 1e-08
• L2 조절 가중치는 0.00004
• 매개변수 감쇠 계수(decay)는 0.9997로 설정

훈련에서 미니 배치 크기를 16으로 설정하고 초기 학습률이 0.0001이고 검증 손실이 안정화된 후 0.00001로 줄였습니다.

• mini-batch size to 16 (training)
• initial learning rate : 0.0001 reduced to 0.00001

epoch 수는 학습 및 검증을 위해 160(약 40시간)으로 설정되었습니다.

• epochs =160

전이 학습 단계에서 초기 학습률은 0.00001이었고 손실이 안정적으로 보이기 시작한 후 0.000001로 감소했습니다. 전송 프로세스는 50 에포크(약 15시간) 동안 지속되었습니다.

• transfer process, initial learning rate : 0.00001 reduced to 0.000001
• epochs = 50

모든 모델에 대해 레이블이 지정된 뼈 나이 사이의 MAD 예측이 평가에 사용되었습니다.
시험은 5회 반복하였고 결과의 평균을 평가 및 비교에 사용하였다. 예측 결과는 위의 표 II에 나열되어 있습니다.
제안된 네트워크 아키텍처인 TjNet은 Inception V4 및 ResNet 50과 비교하여 RSNA 데이터 세트로 교육 및 테스트했을 때 최상의 결과를 얻었음이 분명합니다. 0.19년의 결과 MAD는 RSNA가 보고한 최고 결과를 능가합니다[8].

섹션 3에서 언급했듯이 TjNet의 처음 몇 블록은 점진적으로 추상적인 수준에서 손 골격 방사선 사진의 표현을 학습할 수 있습니다.

구체적으로 말하면, 블록 1에서 엣지 피처가 주요 초점이고,
블록 2에서 TjNet은 모양의 윤곽에 주목합니다.
블록 3에서 관절이 추출되고 블록 4에서 TjNet은 핵심 부분의 조합을 학습하려고 시도합니다. 따라서 TjNet을 별개의 지역에 있는 어린이의 뼈나이 추정으로 전환할 때 일부 기능은 유효성이 유지되지 않을 수 있습니다.
흥미롭게도 Tongji 데이터에 대한 결과는 RSNA에 대한 결과보다 일관되게 더 우수합니다. 가능한 설명은 RSNA 데이터가 시험 대상 아동의 보다 다양한 배경을 반영한다는 것이다.

일반적으로 훈련 정확도와 검증 정확도가 균형을 이룰 때 최상의 성능을 얻을 수 있습니다. Table III은 고정 블록을 1 ~ 4로 선택했을 때 전이 학습이 MAD에서 0.169년의 오차를 달성했음을 시사합니다. 이것은 TjNet의 처음 4개 블록이 지역과 인종에 걸쳐 손 골격의 주요 표현을 캡처했음을 보여줍니다.
이에 반해 블록 1 ~ 6이 동결되면 출력 MAD는 테스트에서 1.39년으로 하향 조정됩니다(성능 내려감). 두 데이터 세트의 차이를 무시할 수 없다는 사실을 의미합니다.

4-2) Sex Prediction with Features Learned in RSNA Dataset

또한, 뼈 나이에 대한 RSNA 데이터 세트에서 학습한 기능을 다른 영역으로 전송하여 탐색합니다. 많은 영상의학과 전문의들이 갖고 있는 믿음과는 반대로, 우리는 손 골격 방사선 사진에서만 성별 정보를 복원할 수 있다는 결론을 내립니다.
먼저 성별 입력과 밀집 계층을 삭제하여 TjNet을 수정하고 이진 레이블을 출력하도록 softmax 부분을 수정합니다. TjNet의 처음 세 블록을 고정한 다음 나머지는 성별 분류를 위해 RSNA 데이터 세트(무작위 초기 값 포함)로 교육합니다.
뼈 나이 예측과 동일한 데이터 세트 파티션을 유지하면서 성별 식별 테스트를 반복했습니다. 그 결과 성별 예측 정확도는 93.64%로 나타났다. RSNA 데이터 세트로 훈련된 TjNet에서 고정 블록 1~3의 Tongji 데이터에 성별 식별을 적용하고 Tongji 데이터의 일부로 네트워크를 미세 조정했을 때 테스트에서 95.67%가 올바르게 분류된 사례가 있었습니다.
이 조사는 TjNet에서 캡처한 손 골격 특징이 다른 의료 작업에 적용될 수 있음을 나타냅니다.

5. CONCLUSIONS AND DISCUSSIONS

의료 영상은 수년 동안 매력적이고 유익한 분야였습니다.
레이블이 잘 지정된 큰 데이터 세트를 사용할 수 있는 경우 다양한 형태의 심층 신경망이 여러 도전적인 작업을 성공적으로 수행한 것으로 입증되었습니다.
어떤 상황에서는 인건비나 사법적 문제로 인해 고품질의 대용량 데이터 세트의 가용성이 문제가 되므로 다른 문제를 해결하기 위해, 공개 데이터 세트에서 학습한 지식을 이전하는 것이 실질적인 해결책이 됩니다.

본 논문에서는 뼈 나이 분류에 필요한 표현을 얻기 위해 손 골격 방사선 사진에 포함된 특징을 추상화하도록 특별히 설계된 CNN 기반 네트워크 TjNet을 제안했습니다.

RSNA 데이터 세트로 TjNet을 사전 훈련하고 Tongji 데이터로 튜닝한 TjNet을 사용한 전이 학습 프레임워크는 뼈 나이 추정을 위한 MAD에서 0.169년을 달성했습니다.

이 연구의 결과는 성능을 두 가지 측면에서 설명할 수 있음을 시사합니다. 먼저 데이터 전처리 단계에서 두 데이터 세트를 모두 향상했습니다. 둘째, TjNet의 아키텍처는 손 골격의 기본 기능을 찾을 수 있었습니다.
후자는 성별 분류로의 확장에 의해 더욱 입증되었습니다. 93% 이상의 성 식별 정확도로 이러한 기능은 소아과 의사가 손 방사선 사진을 더 잘 이해하는 데 도움이 될 수 있습니다.

[Jjongu]

TJ-Net 정리 - 진행중

TJ-Net은 2019년(2기가 사용한 방식), 2020년(1기가 사용한 방식)이 있다.
2019년과 2020년의 차이라 함은 병렬 구조 레이어와 CBAM이 있다.
2019년에 비해 2020년에 제안된 TJ-Net은 MaxPooling 레이어(2,2)를 지나 크기가 줄어든다. 이것을 급격히 크기를 줄여야 하기에 데이터 손실이 크게 일어난다. 예를 들면 유튜브 화질 1048인가 그걸로 보다가 갑자기 240으로 바뀌었을때를 생각하면 생각하기 쉽다. 크기가 줄어들어 그 사이사이 세밀한 데이터들이 소실 되어 이미지가 뭉개질 수 있다. 이것을 Attention기반 CBAM모듈을 사용하여 크기를 줄이지만 남기는 데이터를 특징에 더욱 초점을 맞추어 이미지의 분류에 도움이 되는 특징이라고 생각되는 것들을 오히려 더 강조하는 것이다.