Preprocess Code Break

[kikiru328]

Preprocess Code Break

[kikiru328]

Kernel

• Kernel은 이미지에서 (x,y)의 픽셀과 (x,y) 픽셀 주변을 포함한 작은 크기의 공간을 의미.
• 이 영역 각 픽셀에 특정한 수식이나 함수 등을 적용해 새로운 이미지를 얻는 알고리즘에서 사용.
• 파란색 사각형 내부가 커널, 파란색 사각형 크기가 3x3이므로 커널의 크기는 3x3이 됨.

[hye-jj]

기존에 커널을 생성할때는 numpy 함수를 사용해서 생성했습니다.

• <Numpy의 ones 와 zeros 함수>​ 를 이용해서 커널을 생성할 수 있습니다.
  행렬모양 커널을 만드는데 유용한 함수이지만, opencv 에도 커널을 생성할 수 있는 함수가 있습니다.

cv2.getStructuringElement()를 활용해 구조요소(커널)를 생성

• cv2.getStructuringElement(커널의 형태, 커널의 크기, 중심점)로 구조 요소을 생성

1. shape, 커널의 형태

• 직사각형(Rect) : cv2.MORPH_RECT
• 십자가(Cross) : cv2.MORPH_CROSS
• 타원(Ellipse) : cv2.MORPH_ELLIPSE

2. ksize, 커널의 크기

• 구조요소의 크기를 의미함.

2. anchor, 고정점

• 커널 중심 위치를 나타냄, 필수 매개변수는 아님. 설정하지 않을 경우 사용되는 함수에서 값이 결정됨.
• default 값 (-1,1) << 해당 점은 MORPH_CROSS 모양을 사용할 때만 영향을줌, cv2.MORPH_CROSS의 경우 해당 기준점이 있는 열과 행의 값만 1로 채워짐.

(kernel 예시)

+tip) 고정점을 할당하지 않을 경우 더 유동적인 커널이 될 수 있습니다.

[hye-jj]

• [ Q. 새로운 이미지를 얻는 알고리즘에서 커널이 사용된다고 하셨는데, 구체적인 예시가 있으신지 궁금합니다. ]

저는 코드에서 모폴로지라는 단어가 있어서 모폴로지 기법을 공부하다가 커널을 알게 되었습니다.

모폴로지 기법은 커널과 같은 구조요소를 이용하여 이미지 필터링을 통해 영역을 변화 시키는 방법 중 하나라고 인식할 수 있다고 합니다.
모폴로지 변환 이라고도 하며 영상이나 이미지를 형태학적 관점에서 접근하는 기법을 의미하며, 이미지를 분할하여 단순화, 제거, 보정을 통해 형태를 파악하는 목적으로 사용된다고 합니다.
기본적으로 바이너리(이진법, '1'과 '0'만을 사용함) 이미지 상에서 이루어지며, 원본 이미지와 이미지에 가해지는 변형을 결정하는 구조화된 요소를 이용합니다.

• 집합의 포함 관계, 이동(translation), 대칭(reflection), 여집합(complement), 차집합(difference) 등의 성질을 사용합니다.
• 노이즈 제거, 요소 결합 및 분리, 강도 피크 검출 등에 이용됩니다.
• 기본적인 모폴로지 변환으로는 팽창(dilation)과 침식(erosion)과 이 두개를 조합한 Opening 과 Closing이 있습니다.

---

모폴로지(Morphology) 기법

Morphology == 형태학, 형태론

1. 영상의 형태(shape)를 분석하고 처리하는 기법
   미리 기하학적 형태를 알고 있는 대상 물체의 정보를 반영하여 영상 내 원하는 부분만 추출하는데 이용

2. 영상 내의 물체 구조를 연구하는데 적합
   영상의 경계, 골격, 블록 등의 형태를 표현하는데 필요한 요소 추출하는데 이용

3. 영상 내 물체의 구조를 명확하게 함
   홀 채우기, 잡음 제거 등 영상의 이진화 과정에서 발생하는 불명확한 물체 영역을 명확하게 나타내줌.

---

모폴로지 기법 1) 침식(Erosion) 연산

• 커널(구조요소, element) 영역 안에 존재하는 모든 픽셀의 값을 커널 내부의 **극솟값(local minimum)**으로 대체합니다. 즉, 하나라도 0이 있으면, 대상 픽셀을 제거(마스킹처리)합니다.

(위의 이미지에서는 침식 마스크라는 표현을 이용하였는데 저는 커널과 비슷한 역할이라고 생각하여, 커널이라는 표현을 이용하겠습니다.
커널은 윈도(window), 필터(filter), 마스크(mask)라고도 부른다고 합니다.)

즉, 침식 커널에 1인 성분과 커널 범위의 입력 영상(이미지) 화소값을 비교합니다. -> 침식 커널에서 1 값을 가지는 위치는 입력 영상(이미지)에서 모두 1이어야 결과 영상(이미지)의 화소값도 1이 됩니다. 하나라도 일치하지 않으면 화소값은 0으로 반환합니다.

• 형태소(element)의 크기에 따라 침식되는 정도가 결정되며 크기가 크면 침식되는 정도가 커집니다.
• 같은 형태소를 반복 적용하면 객체가 완전히 제거될 수 있습니다.
• 바이너리 이미지에서는 1이였던 밝은 영역이 줄어들고 0값의 어두운 영역이 늘어납니다. << 검은색의 영역이 흰색을 침식해서 들어갑니다!!
• 어두운 영역이 늘어나 스펙클(speckle, 작은반점)이 사라지며, 객체 내부의 홀(holes, 구멍)이 커집니다.
• 침식연산은 노이즈 제거에 주로 사용되며, 작은 object 를 제거하는데 효과가 있습니다.

cv2.erode(src, kernel [,dst [,anchor [,iterations [,borderType[, borderValue]]]]) -> ouput : dst

[특정 구조화 요소를 사용하여 이미지를 침식시키는 함수]

1. src : 입력이미지. 채널 수는 상관없으나 다음과 같은 이미지 데이터만 사용할 수 있음.
   ¹(CV_8U, CV_16U, CV_16S, CV_32F, CV_64F)

2. kernel : 침식에 사용할 구조화 요소 커널, 앞의 cv2.getStructuringElement, np.ones 등으로 생성된 kernel 입력 가능, None을 지정하면 3x3 사각형 구성 요소를 사용.

3. anchor : 구조화 요소 안에서 사용할 기준점. default로 (-1,-1) 이 지정되어 있어 구조화 요소 중심을 기준으로 잡음. 앞의 filter2D에서의 anchor처럼 침식할 픽셀의 위치가 구조화 요소 안에서 어디에 위치해야 하는지 지정해줌. ( =고정점)

4. iterations : 침식을 반복할 횟수를 지정. 기본값은 1

5. borderType : 패딩 방식. 가장자리 픽셀 확장 방식. 기본값은 cv2.BORDER_CONSTANT. ( = 테두리 외삽법 )

6. borderValue : borderType이 BORDER_CONSTANT인 경우, 확장편 가장자리 픽셀을 채울 값. ( = 테두리 색상)

¹이미지 형태 :
CV_8U : uchar(unsigned char) : 0
CV_16U : unsigned short int : 2
CV_16S : signed short int : 3
CV_32F : float : 5
CV_64F : double : 6

모폴로지 기법 2) 팽창(Dilation) 연산

• 커널(구조요소, element) 영역 안에 존재하는 모든 픽셀의 값을 커널 내부의 **극댓값(local maximum)**으로 대체합니다. 즉, 구조 요소(element)를 활용해 이웃한 픽셀들을 최대 픽셀값으로 대체합니다.

(위에서 설명했던 것과 같은 이유로 이미지에서의 마스크 표현을 저는 커널이라고 표현하겠습니다.)

• 팽창 커널과 커널 범위의 입력 영상(이미지)화소를 비교할 때, 팽창 마스크에서 1인 성분을 가지는 위치에 입력 영상(이미지)화소가 한 곳이라도 1 값을 가진다면 결과 영상(이미지)는 1이 반환됩니다.
• 배경에 있는 잡음이 확대되는 단점이 있고, 객체 내부의 잡음은 제거(극댓값으로 채워짐)되는 장점이 있습니다.
• 객체의 크기가 커지고 배경이 줄어드는 효과가 있습니다.
• 교환법칙과 결합법칙이 성립됩니다.
• 어두운 영역이 줄어들고 밝은 영역이 늘어나는 것을 확인할 수 있습니다.
• 커널의 크기나 반복 횟수에 따라 밝은 영역이 늘어나 스펙클 커지며 객체 내부의 홀이 사라집니다.
• 팽창 연산은 노이즈 제거 이후 줄어든 크기를 복구하고자 할 때 주로 사용합니다.

cv2.dilate(src, kernel[,dst[,anchor [,iterations [,borderType[, borderValue]]]]) -> ouput : dst

[특정 구조화 요소를 사용하여 이미지를 팽창시키는 함수]
함수에 들어가는 내용은 위의 침식시키는 함수의 내용과 같습니다.

+) src는 입력 영상, dst는 출력 영상 - src와 같은 크기와 타입

---

위의 기본연산을 복합적으로 사용한 열림(Opening, 제거) 연산과 닫힘(Closing, 채움) 연산이 있습니다.

모폴로지 응용

1)열림(Opening, 제거연산)

• 제거연산은 침식 후 팽창을 사용하는 알고리즘입니다.
• 영역이 점점 둥글게 되어서 작은 물체, 돌기 등을 제거하는데 적합합니다.
• 흰색 노이즈를 제거하는데 사용된다고 합니다.
• 돌출 부분을 제거하거나 좁은 연결을 끊어서 영상(이미지)의 외곽선을 부드럽게 만들지만 물체의 형상과 크기는 보존됩니다.

2)닫힘(Closing, 채움연산)

• 채움연산은 팽창 후 침식을 사용하는 알고리즘입니다.
• 오목하게 들어간 부분이나 작은 구멍을 채웁니다.
• 제거연산과 마찬가지로 영상의 외곽선을 부드럽게 만들지만 객체의 형태와 크기는 보존됩니다.
• 영역과 영역이 서로 붙기 때문에 이미지의 전체적인 윤곽을 파악하기에 적합합니다.

cv2.morphologyEx(src, op, kernel[,dst[,anchor [,iterations [,borderType[, borderValue]]]]]) -> ouput : dst

1. src : 입력이미지, 채널 수는 상관없으나 위에서 언급된 이미지 형태의 데이터만 사용할 수 있습니다.
2. op : 형태학적 연산의 종류 (팽창과 침식연산도 포함되어 있습니다.)

op 연산 종류
cv2.MORPH_DILATE : 팽창 연산
cv2.MORPH_ERODE : 침식 연산
cv2.MORPH_OPEN : 열림 연산
cv2.MORPH_CLOSE : 닫힘 연산
cv2.MORPH_GRADIENT : 그레이디언트 연산, 이진영상에 적용시 영역의 외곽선만 남기는 효과
cv2.MORPH_TOPHAT : 탑햇 연산, 원본 이미지와 열림 연산의 결과 뺀 것.
cv2.MORPH_BLACKHAT : 블랙햇 연산, 닫힘 연산 결과에서 원본을 뺀 것. 주변보다 어두운 영역만 강조
cv2.MORPH_HITMISS : 히트미스 연산, 모서리 검출

나머지 입력 내용은 위의 함수 내용과 같습니다.

v Closed and Opened 에 해당하는 이미지에 열림, 혹은 닫힘을 여러 번 적용해도 아무런 효과를 얻을 수 없다고 합니다.

[hye-jj]

멘토님께서 공유해주신 이미지 전처리 code에서 #모폴로지 에 이용된 내용입니다.

1)뼈 강조하고 마스크랑 비트연산 - 탑햇 연산 사용.
k = cv2.getStructuringElement(cv2.MORPH_RECT, (90, 90))
img1 = cv2.morphologyEx(img1, cv2.MORPH_TOPHAT, k)

• 커널은 cv2.MORPH_RECT 직사각형의 (90,90) 크기로 만들어 이용
• 모폴로지 기법 : cv2.MORPH_TOPHAT , 탑햇 연산, 원본 이미지와 열림 연산의 결과를 뺀 것으로 밝기 값이 크게 튀는 곳을 강조할 수 있는 기법!

+) Tip : 탑햇 연산은 열림 연산에서 사라질 요소들을 표시합니다.​

• Top-hat 변환 연산과 Bottom-hat 변환 연산
  둘다 특정 관심 물체를 추출하기 위한 모폴로지 기법으로,
  비균일 조명을 가진 영상을 보정하는 효과를 가지므로 효과적인 이진화 결과물을 얻기 위해 전처리 작업으로 사용하기도 한다고 합니다.

2)마스크 만들기 - 팽창 연산 사용
k = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
mask = cv2.dilate(mask,k)

• 커널은 cv2.MORPH_RECT 직사각형의 (5, 5) 크기로 만들어 이용
• 팽창연산, 객체의 크기가 커지고 배경이 줄어드는 효과를 가져옴. **객체 내부의 잡음은 제거(극댓값으로 채워짐)**되는 장점이 있음. << 객체 내부 잡음 제거를 위해 사용된 것으로 보여짐 (@kikiru328 comment)

[hye-jj]

dst = np.concatenate((src, dilate, erode), axis=1)

Numpy 함수 중 연결 함수(np.concatenate)로 원본 이미지, 팽창 결과, 침식 결과를 하나의 이미지로 연결할 수도 있습니다.

np.concatenate(연결할 이미지 배열들, 축 방향)

+) Tip : axis=0으로 사용할 경우, 세로 방향으로 연결
+) Tip : OpenCV의 함수 중, 수평 연결 함수(cv2.hconcat)와 수직 연결 함수(cv2.vconcat)`로도 이미지를 연결할 수 있습니다.

[kikiru328]

와우 선생님 감사합니다

[kikiru328]

윤곽(contour)

cv2.findContours( src; 이미지 , 검색방법 , 근사화방법)

• 윤곽(contour) 를 검출하는 주된 요소는 하얀색 객체. (배경은 검은색, 검출 물체는 흰색을 띄게 끔 변형. 이진화 처리 후 반전시켜 검출 객체를 흰색으로 변환)
• cv2. findContours()이용. 이진화 이미지에서 윤곽선 검색.
• 반환값으로 윤곽선 (ret ; return) 그리고 계층 구조(hierarchy) 반환.
• 윤곽선 - numpy array (윤곽선 지점) / 계층구조 - contour 의 속성정보

• 검색방법
  

• 근사화 방법
  

drawContours() 검출된 윤곽선을 그림

cv2.drawContours( src ; 이미지 / [ 윤곽선 ] / 윤곽선 인덱스 / ( B, G, R) / 두께 / 선형 타입)
윤곽선 ; findContours에서 얻은 return 값
윤곽선 인덱스 : 검출된 윤곽선 배열에서 몇 번째 인덱스의 윤곽선을 그릴지 의미.

[hye-jj]

contrast

img = cv2.imread('img.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
out = gray.copy()
height, width = gray.shape

high = gray.max()
low = gray.min()

---

for i in range(width):
for j in range(height):
out[i][j] = (gray[i][j] - low) * 255/ (high - low)

cv2.imshow("streching", out)

=> 명암(밝고 어두움)의 분포를 넓게 만드는 작업.
(1기 이미지 전처리에 적혀있는 여러 사용자함수 contrast 중에 하나)

히스토그램과 정규화(Normalize), 평탄화(Equalization), CLAHE

[히스토그램] : 도수 분포표를 그래프로 나타낸 것
hist = cv2.calcHist([img], [0], None, [256], [0,256])
plt.plot(hist)

정규화(Normalization), cv2.normalize()

특정 영역에 몰려 있는 경우 화질을 개선하기도 하고, 이미지 간의 연산 시 서로 조건이 다른 경우 같은 조건으로 만듦

dst = cv2.normalize(src, dst, alpha, beta, type_flag)

• src: 정규화 이전의 데이터
• dst: 정규화 이후의 데이터
• alpha: 정규화 구간 1
• beta: 정규화 구간 2, 구간 정규화가 아닌 경우 사용 안 함
• type_flag: 정규화 알고리즘 선택 플래그 상수

평탄화(Equalization)

정규화는 분포가 한곳에 집중되어 있는 경우에는 효과적이지만 그 집중된 영역에서 멀리 떨어진 값이 있을 경우에는 효과가 없습니다. 이런 경우 평탄화가 필요, 평탄화는 각각의 값이 전체 분포에 차지하는 비중에 따라 분포를 재분배하므로 명암 대비를 개선하는 데 효과적

dst = cv2.equalizeHist(src, dst)

• src: 대상 이미지, 8비트 1 채널
• dst(optional): 결과 이미지

img = cv2.equalizeHist(img)

CLAHE (Contrast Limited Adaptive Histogram Equalization)

평탄화를 하면 이미지의 밝은 부분이 날아가는 현상이 발생, 이런 현상을 막기 위해 이미지를 일정한 영역(아래 코드에서 tileGridSize 파라미터)으로 나누어 평탄화를 적용, 어떤 영역이든 지정된 제한 값(아래 코드에서 clipLimit 파라미터)을 넘으면 그 픽셀은 다른 영역에 균일하게 배분하여 적용 - CLAHE

clahe = cv2.createCLAHE(clipLimit, tileGridSize)

• clipLimit: 대비(Contrast) 제한 경계 값, default=40.0
• tileGridSize: 영역 크기, default=8 x 8
• clahe: 생성된 CLAHE 객체

clahe.apply(src): CLAHE 적용

• src: 입력 이미지

왼쪽이 원본 사진, 가운데가 CLAHE를 적용한 사진, 오른쪽이 단순한 평탄화를 적용한 사진

[hye-jj]

출처 : https://bkshin.tistory.com/entry/OpenCV-10-%ED%9E%88%EC%8A%A4%ED%86%A0%EA%B7%B8%EB%9E%A8,

기본적인 명암비 조절:
https://deep-learning-study.tistory.com/121?category=946336
(1기 이미지 전처리에 적혀있는 여러 사용자함수 contrast 중에 알파값 조절했던 하나)
`src = cv2.Imread('lenna.bmp', cv2.IMREAD_GRAYSCALE)

if src is None:
print('Image load failed!')
sys.exit()

alpha = 1 # 기울기
dst = np.clip((1 + alpha) * src - 128 * alpha), 0, 255).astype(np.unit8)

cv2.imshow('src', src)
cv2.imshwo('dst', dst)
cv2.waitKey()

cv2.destroyAllWIndows()`

명암대비 스트레칭(streching) :
https://marisara.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC-openCV-5-%EB%AA%85%EC%95%94%EB%8C%80%EB%B9%84-%EC%8A%A4%ED%8A%B8%EB%A0%88%EC%B9%ADstreching