[컴퓨터비전] 4. 지역 특징 검출

4.1 지역 특징 검출의 기초

지역 특징의 필요성

대응점 찾기 문제 해결을 위한 핵심: 영상 간 매칭을 위한 ‘고유하고 반복 가능한’ 포인트 필요
에지는 경계 정보는 제공하지만 반복성/구별성이 부족함
지역 특징은 작고 국소적이며, 다른 영역과 구별 가능해야 하며, 다양한 환경(조명, 뷰포인트 등)에서도 강건성을 가져야 함

좋은 지역 특징 조건

구별성(Discriminability): 다른 특징과 뚜렷하게 구별
재현성(Repeatability): 다른 영상에서도 동일한 위치에서 검출
정확한 위치성(Localization)
불변성(Invariance): 회전, 이동, 스케일 변화에 강함
풍부한 정보량(Information richness)

4.2 이동과 회전에 불변한 특징점 검출

1. 모라벡 알고리즘 (Moravec, 1977)

기본 개념: 여러 방향으로 밝기 변화가 큰 지점을 코너로 간주
방법:
문제점: 동서남북 4방향만 고려 → 회전 불변성 없음, 잡음에 민감

2. 해리스 코너 (Harris Corner, 1988)

모라벡을 개선한 대표적인 코너 검출기
가우시안 가중치를 적용하여 WSSD (Weighted SSD) 사용

S(u,v) = \sum_{(x,y)} G(x,y) \cdot [I(x+u,y+v) - I(x,y)]^2

미분을 활용한 해석적 접근:

A = \begin{bmatrix} I_x^2 & I_x I_y \\ I_x I_y & I_y^2 \end{bmatrix}

특징 점수 계산:

C = \det(A) - k \cdot (\text{trace}(A))^2

특징점은 C가 큰 지점 → 여러 방향으로 밝기 변화가 큰 점

3. 슈산

미분 기반 방식과 달리, 밝기 유사성을 이용해 특징점을 찾는 대표적인 코너 검출기
영상의 중심 픽셀과 주변 픽셀들 간의 밝기 유사성을 비교하여 USAN 영역을 정의

💡 특징 검출 방식

중심 픽셀과 주변 픽셀들 간의 밝기 유사성 측정

s(r, r_0) = \begin{cases} 1, & \text{if } |f(r) - f(r_0)| < t_1 \\ 0, & \text{otherwise} \end{cases}

USAN 영역 (유사 밝기 영역) 계산:

\text{usan\_area}(r_0) = \sum_{r \in \text{마스크}} s(r, r_0)

USAN 크기가 클수록 주변과 유사한 픽셀이 많음 → 평탄한 영역

🔍 특징 점수 계산

C = \begin{cases} q - \text{usan\_area}(r_0), & \text{if } \text{usan\_area}(r_0) \le t_2 \\ 0, & \text{otherwise} \end{cases}

$q$ : 마스크 내 전체 픽셀 수 (예: 37)
t2t_2t2: 임계값 (보통 $q \cdot 0.5$ 또는 $q \cdot 0.75$ )
C가 클수록 특징 강도가 높음

🎯 특징점 판단 기준

에지: USAN 영역이 마스크의 50% 이하
코너: USAN 영역이 50%보다 더 작은 경우
즉, 중심점과 밝기가 유사하지 않은 점들이 많으면 코너 가능성 ↑

4.3 비최대 억제

특징 가능성 맵에서 지역 최대값(local maximum)만을 최종 특징점으로 선택
즉, 해당 픽셀이 이웃 픽셀들보다 크면 → 특징점으로 판단

C(x, y) > T \quad \text{and} \quad C(x, y) > C(x', y') \quad \forall (x', y') \in \text{이웃}

이웃 기준: 4-연결 또는 8-연결 방식 사용
비최대면 억제되어 후보에서 제외됨 → 이 과정을 비최대 억제이라 부름

주의할 점

특징 가능성 값이 퍼진 경우, 중심이 모호할 수 있음
단순 최대값이 아닌 주변 대비 얼마나 두드러지는가를 기준으로 삼기도 함

알고리즘 요약 (의사코드)

plain text

1. 특징 가능성 맵 생성 (예: 해리스 응답 맵 C(x, y))
2. 모든 픽셀에 대해:
    - 이웃보다 값이 크고
    - 임계값보다 크면
    → 특징점으로 판단

회전/이동/스케일에 대한 민감도

회전에 대해서는 일부 연산자는 불변성 있음
스케일 변화에는 민감함

4.4 스케일에 불변한 특징점 검출

왜 스케일에 불변해야 하는가?

물체의 크기는 거리나 시점에 따라 달라짐
스케일이 다르면 동일한 물체도 영상 내에서 크기/해상도가 달라짐
기존 고정된 연산자(필터)로는 스케일이 바뀐 물체를 안정적으로 검출하기 어려움
이를 해결하기 위해 스케일 공간(Scale Space) 개념이 등장

스케일 공간

영상에 다양한 크기의 가우시안 필터를 적용하여 여러 스케일의 영상을 생성
각 스케일에서 특징점 검출 수행
특징점이 여러 스케일에서 반복적으로 등장하면 진짜 특징일 가능성 ↑

수식 정의

스케일 공간에서 영상 $L(x, y, \sigma)$ :

L(x, y, \sigma) = G(x, y, \sigma) * I(x, y)

여기서 GGG: 가우시안, $\sigma$ : 스케일(표준편차), ∗: 컨볼루션
여러 $\sigma$ 값을 통해 연속적 스케일을 다룸

3차원 극점 탐색 (x, y, σ 공간)

각 스케일에서 정규 라플라시안 적용:

\nabla^2 f = f_{xx} + f_{yy}

또는 정규화된 라플라시안:

\nabla^2_{\text{norm}} f = \sigma^2 (f_{xx} + f_{yy})

(x, y, σ) 공간에서 극값 탐색 → 특징점 위치 + 스케일 정보 동시 확보

다중 스케일 영상 생성 방법

가우시안 스무딩 방식
피라미드 방식 (Pyramid)

해리스-라플라스 특징 검출

영상 공간(x, y)에선 해리스 응답 함수 사용
스케일 축(σ)에선 정규 라플라시안 사용

구분 이유

해리스 응답은 스케일 축에서 극값을 잘 만들지 못함

스케일 공간 해리스 응답 정의

해리스 응답을 스케일 공간에 적용하려면, 스케일 공간의 2차 모멘트 행렬 $A_{\text{scale space}}$ 정의:

A_{\text{scale space}} = \sigma_D^2 \cdot G(\sigma_I) \otimes \begin{bmatrix} (d_x^2) & (d_x d_y) \\ (d_x d_y) & (d_y^2) \end{bmatrix}

여기서 $\sigma_D = s \cdot \sigma_I$ , 보통 $s = 1.4, \sigma_I = 0.7$

해리스 응답 점수 계산

C = \det(A) - k \cdot (\text{trace}(A))^2 = pq - r^2 - k(p + q)^2

이 점수는 기존 해리스 방식과 동일하게 작동

알고리즘 개요

여러 스케일로 가우시안 블러 처리
각 스케일에서 해리스 응답 계산
(x, y)에서 극값, (σ)에서 정규 라플라시안 극값 검출
극값 위치에서 최종 특징점 판단

SIFT 검출

David Lowe가 제안한 지역 불변 특징 검출 알고리즘 (2004)
스케일, 회전, 조명 변화에 강인
반복성, 정확도, 효율성 모두 우수하여 현재까지도 널리 사용

스케일 공간 구성

옥타브(Octave): 원본 영상에서 가우시안 블러 후 다운샘플링하여 구성
한 옥타브는 여러 장의 이미지로 구성됨 (예: 4~5장의 블러된 이미지)

DOG (Difference of Gaussian)

정규 라플라시안 대신 DOG 사용

DOG(\sigma) = G(k\sigma) - G(\sigma)

각 옥타브의 DOG들 사이에서 (x, y, σ) 극값 탐색 → 특징점 후보 검출

지역 극점 판단 방식

DOG에서의 (x, y, σ) 위치가 주변 26개의 이웃보다 최대 or 최소일 때

미세 조정 (Sub-pixel Localization)

테일러 전개 기반 미분으로 극값 위치 정밀화
(x, y, σ) → 실수 단위 보정하여 정확한 위치 + 스케일 계산

(y', x') = (y \times 2^o, x \times 2^o), \quad s = 1.6 \times 2^{\frac{o + i}{s}}

여기서 $o$ : 옥타브 번호, $i$ : DOG 인덱스

SURF 검출

SIFT보다 속도 개선을 목표로 한 알고리즘
SURF (Speeded-Up Robust Features)는 가우시안 스무딩 없이 빠르게 특징 검출 가능
예: 800×640 영상 기준

핵심 아이디어

가우시안 미분 연산자 대신 정수 필터 사용
적분 영상 (Integral Image) 기반으로 계산 효율 대폭 향상
반복 없이 빠른 연산을 통해 해시안 행렬 구성 및 응답 계산 가능

해시안 행렬 계산

SURF는 해시안 기반 특징 검출 방식으로, 행렬 요소는 다음과 같이 구성됨:

H(\sigma) = \begin{bmatrix} D_{xx}(\sigma) & D_{xy}(\sigma) \\ D_{xy}(\sigma) & D_{yy}(\sigma) \end{bmatrix}

이때 $D_{xx}, D_{yy}, D_{xy}$ 는 2차 미분 필터를 정수 형태로 근사하여 빠르게 계산

근사 필터 예시

정수 필터 $D_{yy}, D_{xx}$ 는 1×3, 3×5, 9×2 블록을 결합하여 구성
필터 중심은 음수 가중치로, 좌우/상하 대비를 수행
계산 결과는 기존 2차 미분과 유사한 효과를 냄

적분 영상 (Integral Image)

블록 영역의 누적 합을 한 번의 계산으로 얻을 수 있는 영상 구조
가우시안 대신 Haar-like 필터를 누적합 방식으로 빠르게 적용
특정 영역의 합은 4개 점 연산으로 처리 가능 → 속도 매우 빠름

스케일 공간 처리 방식

SIFT: 여러 크기의 이미지 생성 (옥타브) + DOG
SURF: 원본 영상 그대로 사용, 대신 필터 크기만 확장하여 스케일 표현
스케일 증가 시, 정수 근사된 필터를 확장하여 적용

특징점 검출 방식

해시안 행렬의 응답값을 기반으로 극값 검출
스케일 공간에서 (x, y, σ) 극점을 찾음
응답값이 가장 큰 지점을 특징점으로 선택

지역 특징 검출 알고리즘 특성 비교

대표 알고리즘

해리스-라플라스: 정확하지만 느림
SIFT: 정확도, 반복성, 변환 불변성 모두 우수
SURF: 속도 빠르며 실시간 적용 가능

기타 알고리즘

최근 등장한 알고리즘들: FAST, ORB, BRISK 등
다양한 실험 환경(조명, 물체 위치, 기하 변화 등)에서 비교됨

성능 비교 기준

선택 가이드

사용 목적, 환경, 처리 시간 제약 등을 고려하여 적절한 알고리즘 선택
실제 데이터를 통한 실험 기반 선택이 가장 바람직

4.1 지역 특징 검출의 기초

지역 특징의 필요성

좋은 지역 특징 조건

4.2 이동과 회전에 불변한 특징점 검출

1. 모라벡 알고리즘 (Moravec, 1977)

2. 해리스 코너 (Harris Corner, 1988)

3. 슈산

💡 특징 검출 방식

🔍 특징 점수 계산

🎯 특징점 판단 기준

4.3 비최대 억제

주의할 점

알고리즘 요약 (의사코드)

회전/이동/스케일에 대한 민감도

4.4 스케일에 불변한 특징점 검출

왜 스케일에 불변해야 하는가?

스케일 공간

수식 정의

3차원 극점 탐색 (x, y, σ 공간)

다중 스케일 영상 생성 방법

해리스-라플라스 특징 검출

구분 이유

스케일 공간 해리스 응답 정의

해리스 응답 점수 계산

알고리즘 개요

SIFT 검출

스케일 공간 구성

DOG (Difference of Gaussian)

지역 극점 판단 방식

미세 조정 (Sub-pixel Localization)

SURF 검출

핵심 아이디어

해시안 행렬 계산

근사 필터 예시

적분 영상 (Integral Image)

스케일 공간 처리 방식

특징점 검출 방식

지역 특징 검출 알고리즘 특성 비교

대표 알고리즘

기타 알고리즘

성능 비교 기준

선택 가이드

함께 읽으면 좋은 글

[컴퓨터비전] 12. 장면 이해

[컴퓨터비전] 11. 3차원 비전

[컴퓨터비전] 10. 모션

[컴퓨터비전] 9. 인식