💡Segmentation

Watershed 알고리즘 (워터쉐드)

⭐개념⭐

이미지를 그레이스케일로 변환하면 픽셀의 값(0~255)은 높고 낮음을 구분할수 있다.
이것을 지형의 높낮이로 가정하고 높은 부분을 봉우리 , 낮은 부분을 계곡이라고 표현한다.
그곳에 물을 붓는다고 생각하면 물이 섞이는 부분이 생길것이다.
그 부분에 경계선을 만들어 서로 섞이지 않게 해준다.
그 경계선을 이미지의 구분지점으로 파악하여 이미지 분할을 한다.

Untitled

영상 분할(Image Segmentation)

디지털 영상을 여러개의 영역으로 분할하는 과정으로 Object classification에 활용된다.

Untitled

Thresholding

영상을 분할하는 방법에는 Thresholding이 있는데 이를 수행하기 위해서는 다음과 같은 두가지 가정을 한다.

분할하고 싶은 물체와 배경의 밝기값은 다르다.
배경 영역 내에서와 물체 영역 내에서의 밝기값의 차이가 별로 없다.

주석 2021-01-10 181015

💡Labeling

이진화 한 이미지에서 형체를 알아보기 위해 같은 픽셀 값들끼리 그룹화하여 번호를 매긴 것을 레이블링이라고 한다.
레이블링은 크게 4방향과 8방향으로 나누어진다.
4방향은 한 픽셀을 중심으로 좌우상하로 인접한 픽셀을 그룹화하고, 8방향은 좌우상하에 대각선4방향과 인접한 픽셀을 그룹화한다.

Untitled Untitled2

C++

💡Image Segmentation

✅Basic method

임의로 하나의 threshold T를 정한다.
T를 이용해 하나의 영상을 두개의 영역으로 분할한다.
각각의 영역에 해당하는 픽셀의 평균 m1, m2를 구한다.
m1, m2의 평균으로 새로운 threshold T를 구한다. T = 0.5X(m1+m2)
첫번째와 두번째 threshold T의 값이 유사하다면 종료하고, 그렇지 않으면 2~4단계를 반복한다.

#include <opencv2/opencv.hpp> 
#include <opencv2/core.hpp> 
#include <opencv2/videoio.hpp> 
#include <opencv2/highgui.hpp> 
#include <stdio.h> 
#include <iostream> 
using namespace cv; 
using namespace std;

int main() 
{ 
	Mat image, thresh; 
	int thresh_T, low_cnt, high_cnt, low_sum, high_sum, i, j, th; 
	thresh_T = 200; // 초기 threshold 값 
	th = 10; // 초기 threshold와 나중 threshold의 값의 차이의 기준 
	low_cnt = high_cnt = low_sum = high_sum = 0; 
	image = imread("111.jpg", 0); 
	cout << "threshold value:" << thresh_T << endl; 
	while(1) { 
		for(j = 0; j < image.rows ; j++) { 
			for(i = 0; i < image.cols; i ++) { 
				if(image.at<uchar>(j, i) < thresh_T) { 
					low_sum += image.at<uchar>(j, i); 
					low_cnt++; 
				} else {
					high_sum += image.at<uchar>(j, i); 
					high_cnt++; 
				} 
			} 
		} if(abs(thresh_T - (low_sum / low_cnt + high_sum / high_cnt) / 2.0f) < th) 
		{ 
			break; 
		} else { 
			thresh_T = (low_sum / low_cnt + high_sum / high_cnt) / 2.0f; 
			cout << "threshold value:" << thresh_T << endl; 
			low_cnt = high_cnt = low_sum = high_sum = 0; 
		} 
	} 

	threshold(image, thresh, thresh_T , 255, THRESH_BINARY); 
	imshow("Input image", image); 
	imshow("thresholding", thresh); 
	waitKey(0); 

}

📁[출력결과]

Untitled1 Untitled2

✅Otsu's method

//Otsu's method
#include <opencv2/opencv.hpp> 
#include <opencv2/core.hpp> 
#include <opencv2/videoio.hpp> 
#include <opencv2/highgui.hpp> 
#include <stdio.h> 
#include <iostream> 

using namespace cv; 
using namespace std; 

int main() { 

	Mat image, result; 
	image = imread ("111.jpg", 0); 

	threshold(image, result, 0, 255, THRESH_BINARY | THRESH_OTSU); // 0과 255는 minimum & maximum 

	imshow("Input image", image); 
	imshow("result", result); 

	waitKey(0); 

}

📁[출력결과]

Untitled

✅Local (adaptive) thresholding

//Local (adaptive) thresholding
#include <opencv2/opencv.hpp> 
#include <opencv2/core.hpp> 
#include <opencv2/videoio.hpp> 
#include <opencv2/highgui.hpp> 
#include <stdio.h> 
#include <iostream> 

using namespace cv; 
using namespace std; 

int main() { 

	Mat image, binary, adaptive_binary; 
	image = imread("111.jpg", 0); 

	threshold(image, binary, 150, 255, THRESH_BINARY); 
	adaptiveThreshold(image, adaptive_binary, 255, ADAPTIVE_THRESH_MEAN_C, THRESH_BINARY, 85, 15); // 85 : 85X85, 15 : C 

	imshow("Input image", image); 
	imshow("binary", binary); 
	imshow("adaptive binary", adaptive_binary); 

	waitKey(0); 

}

📁[출력결과]

Untitled4 💡Labeling

#include <iostream>  
#include <opencv2/core/mat.hpp>  
#include <opencv2/imgcodecs.hpp>  
#include <opencv2/imgproc.hpp>  
#include <opencv2/highgui.hpp>  

using namespace cv;
using namespace std;

int main() {
    Mat img_gray, img_color, img_binary;

    img_gray = imread("111.jpg", IMREAD_GRAYSCALE);

    threshold(img_gray, img_binary, 127, 255, THRESH_BINARY);
    cvtColor(img_gray, img_color, COLOR_GRAY2BGR);

    Mat img_labels, stats, centroids;
    int numOfLables = connectedComponentsWithStats(img_binary, img_labels,
        stats, centroids, 8, CV_32S);

    //라벨링된 이미지중 특정 라벨을 컬러로 표현해주기  
    for (int y = 0; y < img_labels.rows; ++y) {

        int* label = img_labels.ptr<int>(y);
        Vec3b* pixel = img_color.ptr<Vec3b>(y);

        for (int x = 0; x < img_labels.cols; ++x) {

            if (label[x] == 3) {
                pixel[x][2] = 0;
                pixel[x][1] = 255;
                pixel[x][0] = 0;
            }
        }
    }

    //라벨링 된 이미지에 각각 직사각형으로 둘러싸기 
    for (int j = 1; j < numOfLables; j++) {
        int area = stats.at<int>(j, CC_STAT_AREA);
        int left = stats.at<int>(j, CC_STAT_LEFT);
        int top = stats.at<int>(j, CC_STAT_TOP);
        int width = stats.at<int>(j, CC_STAT_WIDTH);
        int height = stats.at<int>(j, CC_STAT_HEIGHT);

        rectangle(img_color, Point(left, top), Point(left + width, top + height),
            Scalar(0, 0, 255), 1);

        putText(img_color, to_string(j), Point(left + 20, top + 20),
            FONT_HERSHEY_SIMPLEX, 1, Scalar(255, 0, 0), 2);
    }

    imshow("result", img_color);
    waitKey(0);
}

📁[출력결과]

Untitled5

🌐C++ 참고 레퍼런스 자료

https://yeoeun-ji.tistory.com/17

https://sss20-02.tistory.com/26

라벨링

https://webnautes.tistory.com/823

https://eehoeskrap.tistory.com/279

https://poorman.tistory.com/176

Python

세그먼테이션

Watershed 알고리즘은 노이즈 등으로 인해서 영상 분할이 필요 이상으로 될수 있다.

그래서 OpenCV에서는 마커 기반 watershed 알고리즘을 구현한다

병합이 될 계곡점과 병합이 되지 않을 계곡점을 지정해주는 방법이다.

Watershed 알고리즘을 적용하기 전에 영역을 나누어 라벨을 부여해준다.

오브젝트라고 생각되는 영역과 배경이라고 생각되는 영역에 라벨을 부여한다.

확실하지 않은 영역은 라벨을 0으로 부여한다.

→ 이런식으로 이미지에 라벨을 부여하는 것을 마커 라고 한다.

이제부터 Watershed 알고리즘을 적용한다.

마커 지점부터 시작하여 라벨값이 0인 영역에 대한 라벨값을 업데이트한다.

오브젝트 사이의 경계의 라벨은 -1이 된다.

Untitled

이 이미지는 동전이 서로 붙어 있다.

watershed 알고리즘과 Distance Transform을 사용하여 서로 붙어있는 동전을 분리해보겠습니다.

import numpy as np
import cv2 as cv

img = cv2.imread("C:/Users/ParkSangHoon/Desktop/OpenCV_ img_files/coins2.png")
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray, 0, 255, cv.THRESH_BINARY_INV + cv.THRESH_OTSU)
 
cv.imshow("result", thresh)
cv.waitKey(0)

출력화면

Untitl2ed

이제 오프닝을 적용하여 노이즈를 제거하고 팽창(dilate) 연산을 적용하여 동전 영역 내에 있을 수 있는 공백을 매꾼다.

동전이 검출될 수 있는 배경 영역 = sure_bg

kernel = np.ones((3,3),np.uint8)
opening = cv.morphologyEx(thresh,cv.MORPH_OPEN,kernel, iterations = 2)

sure_bg = cv.dilate(opening,kernel,iterations=3)

동전 중앙 부분을 검출하기 위해서 distance transform를 적용한 후 이진화를 합니다

오른쪽 이미지가 동전 영역이 확실한 동전 중앙 영역(sure_fg)입니다.

dist_transform = cv.distanceTransform(opening, cv.DIST_L2, 5)
result_dist_transform = cv.normalize(dist_transform, None, 255, 0, cv.NORM_MINMAX, cv.CV_8UC1)
ret, sure_fg = cv.threshold(dist_transform, 0.7*dist_transform.max(),255, cv.THRESH_BINARY)

Untitl3ed

배경 영역(sure_bg)에서 동전 중앙 영역(sure_fg)를 뺀다.

sure_fg = np.uint8(sure_fg)
unknown = cv.subtract(sure_bg,sure_fg)

아래 이미지처럼 동전인지 배경인지 아직은 알 수 없는 영역이 존재하게 된다.

Untit4led

동전 중앙 영역 이미지를 라벨링한 후 아직 동전인지 배경인지 알 수 없는 영역의 라벨값을 0으로 지정한다.

배경이 확실한 영역은 1이 된다.

# Marker labelling
ret, markers = cv.connectedComponents(sure_fg)

# Add one to all labels so that sure background is not 0, but 1
markers = markers+1

# Now, mark the region of unknown with zero
markers[unknown==255] = 0

watershed 알고리즘을 적용하면 동전 외곽은 라벨값으로 -1을 가지며 배경은 라벨값으로 1을 갖게됩니다.

markers = cv.watershed(img, markers)

img[markers == -1] = [255, 0, 0]
img[markers == 1] = [255, 255, 0]

Unt5itled

전체코드

import numpy as np
import cv2 as cv

img = cv.imread("C:/Users/ParkSangHoon/Desktop/OpenCV_ img_files/coins2.png")
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray, 0, 255, cv.THRESH_BINARY_INV + cv.THRESH_OTSU)

# noise removal
kernel = np.ones((3,3),np.uint8)
opening = cv.morphologyEx(thresh,cv.MORPH_OPEN,kernel, iterations = 2)

# sure background area
sure_bg = cv.dilate(opening,kernel,iterations=3)

# Finding sure foreground area
dist_transform = cv.distanceTransform(opening, cv.DIST_L2, 5)
result_dist_transform = cv.normalize(dist_transform, None, 255, 0, cv.NORM_MINMAX, cv.CV_8UC1)
ret, sure_fg = cv.threshold(dist_transform, 0.7*dist_transform.max(),255, cv.THRESH_BINARY)

# Finding unknown region
sure_fg = np.uint8(sure_fg)
unknown = cv.subtract(sure_bg,sure_fg)

# Marker labelling
ret, markers = cv.connectedComponents(sure_fg)

# Add one to all labels so that sure background is not 0, but 1
markers = markers+1

# Now, mark the region of unknown with zero
markers[unknown==255] = 0

markers = cv.watershed(img, markers)

img[markers == -1] = [255, 0, 0]
img[markers == 1] = [255, 255, 0]

cv.imshow("dist_transform", result_dist_transform)
cv.imshow("unknown", unknown)
cv.imshow("sure_fg", sure_fg)
cv.imshow("sure_bg", sure_bg)
cv.imshow("result", img)
cv.waitKey(0)

🌐참고 레퍼런스

https://leechamin.tistory.com/281

https://blog.naver.com/samsjang/220601488606

https://webnautes.tistory.com/1281

https://opencv-python.readthedocs.io/en/latest/doc/27.imageWaterShed/imageWaterShed.html

라벨링

라벨링(labeling)이란?

이진화한 이미지에서 객체를 각각 분별하기 위해 인접한 픽셀 값들끼리 그룹화하여 번호를 매긴 것이다.
라벨링은 좌측 상단부터 우측 상단 방향으로 이동하면서 번호를 부여한다.

2247AC38530DCCF731 4방향 라벨링은 한 픽셀을 중심으로 십자가 모양으로 인접한 픽셀을 그룹화한다.

8방향 라벨링은 십자가 모양에 대각선 방향까지 고려하여 인접한 픽셀을 그룹화하는 방식이다. _2021-01-08__7 03 35

Labeling 구현하기

레이블링(라벨링) 알고리즘에서 0은 배경 1이상은 객체(Object)로 판단한다.

레이블링 함수 cv2.connectedComponents()

레이블링 함수를 이용하여 레이블맵을 생성할 수 있다.

레이블링 함수

retval, labels = cv2.connectedComponent(image, lable=None, connectivity=None, ltype=None)

return
- retval: 객체 개수 +1(배경) 을 반환
- labels: 레이블맵 행렬 반환
parameter
- image: 8비트 1채널 영상
- labels: 레이블 맵 행렬(입력 영상과 같은 크기, numpy.ndarray)
- connectivity: 4 또는 8(default)
- type: label 타입. cv2.CV_32S(default) 또는 cv2.CV_16S

import cv2 as cv

#이미지를 흑백으로 불러온 후 바이너리로 변환(이진화)
img = cv.imread("test.jpg", cv.IMREAD_GRAYSCALE)
ret, binar = cv.threshold(img, 0, 255, cv.THRESH_OTSU)

#레이블링
retval, labels = cv2.connectedComponent(binar)

객체 정보를 함께 반환하는 레이블링 함수

객체 정보를 함께 반환하는 레이블링 함수 cv2.connectedComponentsWithStats()

object의 위치와 크기, 중심위치, 픽셀면적을 반환한다

retval, labels, stats, centroids = cv2.connectedComponentsWithStats(image, labels=None, stats=None, centroids=None, connectivity=None, ltype=None)

return
- retval: 객체 개수 +1(배경) 을 반환
- labels: 레이블맵 행렬 반환
- stats: N행 5열, N은 retval 값이며, 5열에는 x, y, width, height, area 순으로 저장됨
- centroids: N행 2열, 2열에는 무게중심 좌표인 x, y가 저장됨
parameter
- image: 8비트 1채널 영상
- labels: 레이블 맵 행렬(입력 영상과 같은 크기, numpy.ndarray)
- stats: 각 Object의 바운딩 박스, 픽셀 면적을 담은 행렬(numpy.ndaeeay.shape(N, 5), dtype=numpy.int32)
- centroids: 각 객체의 무게 중심 위치 정보를 담은 행렬 numpy.ndarray. shape=(N, 2), dtype=numpy.float64.
- connectivity: 4 또는 8(default)
- ltype: label 타입. cv2.CV_32S(default) 또는 cv2.CV_16S

import cv2 as cv

#이미지를 흑백으로 불러온 후 바이너리로 변환(이진화)
img = cv.imread("test.jpg", cv.IMREAD_GRAYSCALE)
ret, binar = cv.threshold(img, 0, 255, cv.THRESH_OTSU)

#레이블링
retval, labels, stats, centroids = cv2.connectedComponentWithStats(binar)

예제

import cv2 as cv
import random

def setRandColor(min=0, max=255): #랜덤색상을 반환하는 함수
    while True:
        r = random.randrange(0, max)
        g = random.randrange(0, max)
        b = random.randrange(0, max)
        if not(r < min and g < min and b < min):
            return r, g, b

source = "source/test.jpeg"
origin = cv.imread(source, cv.IMREAD_COLOR)
origin = cv.resize(origin, (720, 720))
img = cv.cvtColor(origin, cv.COLOR_BGR2GRAY)
img = cv.GaussianBlur(img, (9, 9), 0)

ret, binar = cv.threshold(img, 0, 255, cv.THRESH_OTSU)
cv.imshow("binar", binar)
cnt, labels, stats, centroid = cv.connectedComponentsWithStats(binar)
count = 0
for i in range(0, cnt):
    (x, y, w, h, area) = stats[i]
    if area < 100:
        continue
    if area > 1500:
        continue
    if w > 700:
        continue
    if h > 700:
        continue

    cv.rectangle(origin, (x, y, w, h), (0, 255, 255))
    count += 1
    string = str(count)
    cv.putText(origin, string, (x, y), cv.FONT_HERSHEY_PLAIN, 1.2, setRandColor(128, 255))

cv.imshow("Labeling", origin)
cv.waitKey(0)
cv.destroyAllWindows()

참조

https://eehoeskrap.tistory.com/279

https://webnautes.tistory.com/823

https://poorman.tistory.com/176

https://jvvp.tistory.com/1085

https://deep-learning-study.tistory.com/228

https://devmonster.tistory.com/22

OpenCV_Segmentation,Labeling - chloe73/openCV GitHub Wiki

💡Segmentation

Watershed 알고리즘 (워터쉐드)

⭐개념⭐

영상 분할(Image Segmentation)

Thresholding

💡Labeling

C++

💡Image Segmentation

✅Basic method

📁[출력결과]

✅Otsu's method

📁[출력결과]

✅Local (adaptive) thresholding

📁[출력결과]

📁[출력결과]

🌐C++ 참고 레퍼런스 자료

Python

세그먼테이션

🌐참고 레퍼런스

라벨링

Labeling 구현하기

레이블링 함수

객체 정보를 함께 반환하는 레이블링 함수

예제

참조

⚠️ GitHub.com Fallback ⚠️

OpenCV_Segmentation,Labeling - chloe73/openCV GitHub Wiki

💡Segmentation

Watershed 알고리즘 (워터쉐드)

⭐개념⭐

영상 분할(Image Segmentation)

Thresholding

💡Labeling

C++

💡Image Segmentation

✅Basic method

📁[출력결과]

✅Otsu's method

📁[출력결과]

✅Local (adaptive) thresholding

📁[출력결과]

📁[출력결과]

🌐C++ 참고 레퍼런스 자료

Python

세그먼테이션

🌐참고 레퍼런스

라벨링

Labeling 구현하기

레이블링 함수

객체 정보를 함께 반환하는 레이블링 함수

예제

참조

⚠️ **GitHub.com Fallback** ⚠️

⚠️ GitHub.com Fallback ⚠️