• https://en.wikipedia.org/wiki/Degrees_of_freedom_(mechanics)

• 원본

• 자유도 4

• OpenCV Extra Modules 소개

1. 다음 사이트에 가면, OpenCV Extra Modules에 대해 잘 소개되어 있다.
• https://github.com/Itseez/opencv_contrib
2. 내용인즉슨, 새로운 API가 OpenCV에 추가되는 경우, 아직 안정성이나 성능이 검증되지 않았으므로, 처음에는 공식 배포본 대신, Extra Modules(opencv_contrib)에 포함시킨다.
3. 이후 안정성이 검증되고 사용 빈도가 많아지면, 메인 모듈(공식 배포본)에 포함되어 배포된다.

• OpenCV Extra Modules 빌드 방법

1. 다음 사이트의 [Download ZIP] 버튼을 통해, opencv-contrib-master.zip 파일을 다운로드 받는다.
2. 압축을 해제한다.
3. 다음 사이트 내용을 참고하여, OpenCV 빌드를 준비한다.(7번까지 진행)
• http://pgmaru.tistory.com/53
4. CMake GUI화면의 'OPENCV_EXTRA_MODULES_PATH'항목에 [opencv-contrib-master폴더]/modules를 선택해 준다.
5. http://pgmaru.tistory.com/53의 8번부터 계속 진행한다.

• VisualStudio2008로 빌드할 경우의 문제해결 방법
• CMake를 통해 솔루션이 생성된 다음, VisualStudio2008로 빌드를 진행하게 되면, 몇몇 파일에서 컴파일 에러가 발생한다.
• 빌드 진행을 위해서는, 다음과 같이 소스를 수정해 주어야 한다.
1. [opencv-contrib-master폴더]/modules/line_descriptor/samples/knn_matching.cpp의 114행
• result += (uchar) ( bin_vector[i] * pow( 2, i ) );
• 을
• result += (uchar) ( bin_vector[i] * pow( 2.0, i ) );
• 으로 변경해 준다
2. [opencv-contrib-master폴더]/modules/optflow/samples/optical_flow_evaluation.cpp의 10행
• 다음 내용을 추가해 준다.

#ifdef WIN32

    #ifndef NAN

        static const unsigned long __nan[2] = {0xffffffff, 0x7fffffff};

        #define NAN (*(const float *) __nan)

    #endif

#endif

Image Blurring & Sharpening

Imaeg Sharpening은, 흐릿한 이미지를 보다 선명한 이미지로 개선해 주는

영상처리 기술이다.

반대로 Image Blurring은, 마치 안개라도 낀 것처럼 

영상을 흐릿하게 해 주는 기술이다.

구현 방법은 여러가지가 있겠지만,

그중의 하나가, GaussianBlur를 이용하는 방법이다.

OpenCV 함수를 이용하여 다음과 같이 구현할 수 있다.

1. Image Blurring

※ sigma를 통해, 흐려지는 정도를 조절할 수 있다.

2. Image Sharpening

※ 1. 이미지가 흐린 정도에 따라, sigma 값을 조절한다.

※ 2. 1.5, -0.5등의 계수 역시 이미지의 흐린 정도에 맞게 조절한다..

위의 두가지 예에서 알 수 있듯이, Image Sharpening은 

선명한 이미지에 안개 등과 같은 흐린 레이어가 덧붙여졌다고 가정하고

덧붙여진 레이어를 제거하는 방법이다.

위 소스들을 테스트해 보면,

이미 흐려진 이미지를 원상태로 깨끗하게 되돌리기에는 한계가 있지만,

계수 조정을 통해 어느 정도 윤곽선이 뚜렷해 지는 것을 확인할 수 있다.

그리고 다음은, Image Deblurring과 관련된 사이트들이다.

참고 사이트

• http://yuzhikov.com/articles/BlurredImagesRestoration1.htm
• http://rosaec.snu.ac.kr/publish/2009/ID/ChLe-SIGGRAPH-2009.pdf
• http://blogs.mathworks.com/steve/2007/08/13/image-deblurring-introduction/
• http://jacobwinick.me/imagedeblurring/

Restart

이제 다시 2차 개발로 들어가야 할 시기이다.

1차에서 미비한 점들을 보완해서 개선된 결과물을 만들어 보려 한다.

1차 개발에서 마지막에 발목을 잡은 것은 성능 문제였다.

특히나 떨림보정에서 FPS가 많이 저하되었으며,

안개보정에서도 어느 정도 FPS 저하 현상이 발행하였다.

그래서, 2차 개발의 목표는 다음과 같이 설정하려 한다.

• 떨림보정, 안개보정에서의 FPS향상
• 객체 추적 보완

특히나, 이번에는 FPS향상을 위해서 GPU 및 병렬처리 등을 이용할 계획인데,

그러기 위해서는 OpenCV 환경을 다시 설정해야 한다.

따라서, 처음 한주는 새로운 환경 설정을 위해 사용할 것이고,

그 이후로는 각 1차와 마찬가지로 각 기능별 2주씩 잡을 것이다.

review

계획한 일정에 맞추어, 1차 개선작업을 완료하였다.

물론, '완료'라고는 하지만 '완료'라고 할 수 없는 '완료'이다.

생각보다는 잘 된 측면도 분명히 있다. 

하지만 또한, 품질과 성능 면에서 새로운 과제를 부여받기도 하였다.

그 내용들을 점검해 보면, 다음과 같다.

1. 떨림보정
• 생각보다 잘된 측면이 있다. 이전 알고리즘과 비교해 보면, 확실히 보정이 잘 된다.
• 하지만, 속도 측면에서 개선의 여지가 많다.
• 또한, 여러가지 다양한 환경에서도 잘 작동하는지는 두고 볼 일이다.
2. 객체 추적
• 사실상 개선이라고 보기는 어려울 것 같다.
• 템플릿 매칭의 한계를 넘어서기 위해, 다른 알고리즘을 검토해 봐야 할 것 같다.
3. 안개보정
• 역시 생각보다는 잘 되었다.
• 문제는, 떨림보정 만큼은 아니지만 속도 문제가 좀 있다.
• 또한, 보정 후 영상의 품질을 좀더 좋게 만들기 위한 연구가 필요하다.

안개보정

안개보정은, Retinex 알고리즘을 응용하였다.

Retinex에 대한 설명은, 다음 블로그에 잘 나와 있다.

• https://flowergom.wordpress.com/2011/11/01/retinex-algorithm/

이번 버전에서는, 속도 향상을 위해 몇가지 변형을 하였다.

테스트를 해 보니, 확실히 이전보다 개선된 결과를 얻을 수 있었다.

원본1

보정1

원본2

보정2

원본3

보정3

원본4

보정4

원본5

보정5

원본6

보정6

원본7

보정7

Tracking

객체추적은, 개선을 위해 노력했지만 큰 성과를 얻지 못했다.

일단, 이번에 시도했던 내용은 다음과 같다.

• 기존 모듈의 문제점으로 생각했던 템플릿 변형을 해결하기 위해, 매 프레임마다 템플릿을 갱신하되, 최초 템플릿과의 거리가 일정치 이상 벌어지면 다시 최초 템플릿으로 복귀

결과는 다음과 같다.

샘플1. 기존 버전

샘플1. 신규 버전

샘플2. 기존 버전

샘플2.신규 버전

샘플3.기존 버전

샘플3.신규 버전

* 영상 출저

[VTD] http://cv.snu.ac.kr/research/~vtd/

시작이

반이다

일정에 따라, 떨림보정 개선 작업부터 시작하였다.

기본적인 흐름은, 기존과 동일하다.

• 1단계 : 매칭 영역 선정 또는 특징점 추출
• 2단계 : 이전 프레임과의 연산을 통해, 이동 거리 계산
• 3단계 : 현재 프레임 역이동을 통한 보정

• 1단계 : 템플릿 매칭 영역 설정 => OpticalFlow를 위한 특징점 추출
• 2단계 : 템플릿 매칭을 통한 dx, dy 계산 => OpticalFlow 결과를 통해 Homography 계산
• 3단계 : dx,dy 만큼 역이동 => warpPerspective를 통한 위치 보정

개선을 통해 얻은 결과는 다음과 같다.

온고지신

일단 개발 환경을 설정하고, 기존 모듈을 다시 컴파일한 다음,

기존 모듈을 링크하여 테스트하기 위한 프로그램을 작성하여

오랜만에 테스트를 시행해 보았다.

Plan

그동안 손을 놓고 있던 영상처리를 다시 시작하려니,