▌RealityCapture 튜토리얼2편, 인트로(Intro)
포토그라메트리 스캐닝 방법에 대한 기초 지식과 알아야 할 주요 사항들에 대해 확인합니다.
▌포토그라메트리 스캐닝의 세가지 핵심 원칙
가장 간단한 방법으로 포토그라메트리 스캐닝을 설명하자면, "컴퓨터를 사용하여 피사체를 디지털 방식의 3D데이터로 재현하기 위해, 피사체를 다양한 각도에서 많은 사진 이미지를 촬영하는 것입니다.
스캐닝 과정에는 피사체를 가능한 모든 각도에서 70~80% 중첩된 구간을 가진 사진을 촬영하는 것입니다. 촬영 장비로는 Drone(드론)을 이용한 사진으로 스캐닝하거나 디지털카메라(DSLR or Mirorrless)로 스캐닝할 수 있습니다. 포토그라메트리 스캐닝 방법을 적용한 특별히 설계된 포토스캔부스도 활용될 수 있습니다. 심지어 아이폰, 갤럭시와 같은 스마트폰에서도 자연스러운 이미지 해상도로 구성된 경우 포토그라메트리 스캐닝이 가능합니다.
포토그라메트리 스캐닝에서 가장 크게 고려해야할 세가지 사항은 바로 이미지 품질, 피사체를 커버한 사진촬영 범위 및 사진 중첩 구간입니다.
① 이미지 품질
RealityCapture는 사람이 눈으로 보는 방식으로 사진 이미지를 보는 것이 아니라 픽셀(색상 정보)과 그 배열을 봅니다. 첫 번째 고려 사항인 이미지 품질은 RealityCapture가 픽셀 데이터를 올바르고 정확하게 읽을 수 있도록 보장하기 위해 필요한 요구 사항입니다. 포토그라메트리를 위해 촬영된 사진 이미지는 보다 선명하고 초점이 잘 맞아야 하며 피사계 심도가 깊어야 합니다. 사진에 흐릿함이나 디지털 노이즈가 없어야 함을 의미합니다.
쉽게 말하면, 초점이 잘 맞아서 선명하게 찍힌 사진이어야 합니다. 피사계 심도가 깊어, 대상체와 배경이 모두 선명한 사진이어야 합니다. (보케효과가 없는 사진이 요구됨) 그리고 노이즈가 최소화된 사진이어야 합니다. 그리고 중첩된 구간으로 찍은 모든 사진들이 비슷한 색감, 밝기로 찍힌 사진이어야 합니다.
② 피사체를 커버한 사진촬영 범위
두 번째 고려 사항은 피사체를 커버한 사진촬영 범위입니다. 쉽게 말하여 피사체를 어느 하나 누락된 부분 없이 다양한 각도에서 잘 촬영을 했는지가 중요합니다. 리얼리티캡쳐가 피사체를 인식하려면 피사체의 모든 부분들이 일련의 중첩된 사진들 내에 누락된 구간 없이 포착되어야 합니다. 촬영된 사진에 공백이 있거나 정보가 누락된 경우 리얼리티캡처가 해당 공백을 채울 수 없습니다. 이러한 이유로 이미지 내에서 피사체가 100% 포함되도록 하기 위해 다양한 각도에서 피사체에 대한 많은 사진을 촬영합니다.
③ 사진과 사진의 중첩구간
세 번째 고려 사항은 스캐닝 시 촬영한 사진과 사진간의 중첩 구간입니다. RealityCapture가 동일 피사체를 중첩 구간을 두고 촬영한 연속되는 2개의 사진 이미지를 서로 정합시키려면, 한 이미지의 색상 정보를 다른 이미지의 색상 정보와 비교하여 이미지가 어떻게 연결되는지 결정하는 프로세스를 거칩니다.
피사체의 모양이 3D 좌표상의 디지털 모델로 완전히 형성될 때까지 RealityCapture는 이미지들을 계속해서 "접습니다(folding)". 이 작업을 완료하기 위해 충분한 정보를 RealityCapture에 제공해야 하는데요, 그 조건이 바로 이미지 간 중첩구간이 약 70% 정도로 겹쳐 있어야 합니다.
아래 사진과 같이 70~80%의 중첩 구간을 둔 사진을 연속해서 찍어 나가는 과정이 포토그라메트리 스캐닝이며, 누락되거나 중첩구간이 적은 부분이 발생할 시 데이터의 품질이 문제되거나 구멍이 발생할 수 있습니다.
▲ 사진들 간에 공통으로 촬영되는 부분이 최소 70% 이상 되어야 Image Align(이미지 정합)이 문제없이 진행됩니다. 아래 이미지를 보시기 바랍니다.
▲3개의 사진에서 모두 창문이 있는 공통구간(빨간 상자)이 보입니다. 그리고 창문이 보이는 각도가 살며시 왼쪽 또는 오른쪽 으로 틀어지며 사진을 연속적으로 찍은 모습을 확인할 수 있습니다.
▲드론으로 촬영한 3개의 사진입니다. 고도(높이)를 바꿔가며 촬영한 3개의 사진에 모두 공통구간이 70%이상 되며, 이 경우에는 매우 많은 공통구간을 만들어 촬영한 사례입니다.
▌포토그라메트리 프로세스 및 품질
스캐닝한 사진 이미지들이 3D로 재구성하는 소프트웨어(RealityCapture)로 처리되면 컴퓨터는 스캔 데이터에 있는 각 이미지의 픽셀을 비교하여 피사체를 결정합니다. 사진 이미지가 흐리거나 왜곡되거나, 적용 범위에 차이가 있거나, 중첩구간이 충분하지 않은 경우 컴퓨터는 이 "잘못된" 스캔 데이터를 피사체의 일부로 해석하고 3D 모델(또는 디지털 자산)에 왜곡을 포함하여 데이터를 만들어냅니다. RealityCapture의 프로세스 흐름의 간단한 예는 다음과 같습니다.
▲스캐닝한 중첩구간의 사진을 프로세싱 하여 나오는 3D데이터 (OBJ, FBX, PLY, STL)
피사체를 여러 방향에서 고해상도 이미지 품질로 촬영하고, 피사체를 충분하게 커버하는 사진을 촬영하고, 사진과 사진 사이에 70% 정도의 충분한 중첩구간을 준다면 포토그라메트리 스캐닝은 누구나 도전해 볼 만한 작업입니다.
다만 포토그라메트리 스캐닝을 통해 좋은 품질의 데이터가 나올 수도 있으며, 데이터가 제대로 나오지 않을 수도 있습니다. 보다 최고 품질의 포토그라메트리 스캔 데이터를 생성해 내려면 다음 지식과 개념을 알아야 합니다.
- Photography (카메라 사진 촬영 방법)
- Equipment (카메라 장비)
- Lighting (조명)
▌RealityCapture 튜토리얼 2편 : Outro(나가며..)
2편을 통해 포토그라메트리 스캐닝의 핵심 3가지 주요사항에 대해 간단히 알아보았습니다. 3편에서는 보다 높은 품질의 데이터를 생성해 내기 위해 정말 중요한 카메라 세팅 및 조명과 관련한 내용을 알아보겠습니다.
▌RealityCapture 튜토리얼2편, 인트로(Intro)
포토그라메트리 스캐닝 방법에 대한 기초 지식과 알아야 할 주요 사항들에 대해 확인합니다.
▌포토그라메트리 스캐닝의 세가지 핵심 원칙
가장 간단한 방법으로 포토그라메트리 스캐닝을 설명하자면, "컴퓨터를 사용하여 피사체를 디지털 방식의 3D데이터로 재현하기 위해, 피사체를 다양한 각도에서 많은 사진 이미지를 촬영하는 것입니다.
스캐닝 과정에는 피사체를 가능한 모든 각도에서 70~80% 중첩된 구간을 가진 사진을 촬영하는 것입니다. 촬영 장비로는 Drone(드론)을 이용한 사진으로 스캐닝하거나 디지털카메라(DSLR or Mirorrless)로 스캐닝할 수 있습니다. 포토그라메트리 스캐닝 방법을 적용한 특별히 설계된 포토스캔부스도 활용될 수 있습니다. 심지어 아이폰, 갤럭시와 같은 스마트폰에서도 자연스러운 이미지 해상도로 구성된 경우 포토그라메트리 스캐닝이 가능합니다.
포토그라메트리 스캐닝에서 가장 크게 고려해야할 세가지 사항은 바로 이미지 품질, 피사체를 커버한 사진촬영 범위 및 사진 중첩 구간입니다.
① 이미지 품질
RealityCapture는 사람이 눈으로 보는 방식으로 사진 이미지를 보는 것이 아니라 픽셀(색상 정보)과 그 배열을 봅니다. 첫 번째 고려 사항인 이미지 품질은 RealityCapture가 픽셀 데이터를 올바르고 정확하게 읽을 수 있도록 보장하기 위해 필요한 요구 사항입니다. 포토그라메트리를 위해 촬영된 사진 이미지는 보다 선명하고 초점이 잘 맞아야 하며 피사계 심도가 깊어야 합니다. 사진에 흐릿함이나 디지털 노이즈가 없어야 함을 의미합니다.
쉽게 말하면, 초점이 잘 맞아서 선명하게 찍힌 사진이어야 합니다. 피사계 심도가 깊어, 대상체와 배경이 모두 선명한 사진이어야 합니다. (보케효과가 없는 사진이 요구됨) 그리고 노이즈가 최소화된 사진이어야 합니다. 그리고 중첩된 구간으로 찍은 모든 사진들이 비슷한 색감, 밝기로 찍힌 사진이어야 합니다.
② 피사체를 커버한 사진촬영 범위
두 번째 고려 사항은 피사체를 커버한 사진촬영 범위입니다. 쉽게 말하여 피사체를 어느 하나 누락된 부분 없이 다양한 각도에서 잘 촬영을 했는지가 중요합니다. 리얼리티캡쳐가 피사체를 인식하려면 피사체의 모든 부분들이 일련의 중첩된 사진들 내에 누락된 구간 없이 포착되어야 합니다. 촬영된 사진에 공백이 있거나 정보가 누락된 경우 리얼리티캡처가 해당 공백을 채울 수 없습니다. 이러한 이유로 이미지 내에서 피사체가 100% 포함되도록 하기 위해 다양한 각도에서 피사체에 대한 많은 사진을 촬영합니다.
③ 사진과 사진의 중첩구간
세 번째 고려 사항은 스캐닝 시 촬영한 사진과 사진간의 중첩 구간입니다. RealityCapture가 동일 피사체를 중첩 구간을 두고 촬영한 연속되는 2개의 사진 이미지를 서로 정합시키려면, 한 이미지의 색상 정보를 다른 이미지의 색상 정보와 비교하여 이미지가 어떻게 연결되는지 결정하는 프로세스를 거칩니다.
피사체의 모양이 3D 좌표상의 디지털 모델로 완전히 형성될 때까지 RealityCapture는 이미지들을 계속해서 "접습니다(folding)". 이 작업을 완료하기 위해 충분한 정보를 RealityCapture에 제공해야 하는데요, 그 조건이 바로 이미지 간 중첩구간이 약 70% 정도로 겹쳐 있어야 합니다.
아래 사진과 같이 70~80%의 중첩 구간을 둔 사진을 연속해서 찍어 나가는 과정이 포토그라메트리 스캐닝이며, 누락되거나 중첩구간이 적은 부분이 발생할 시 데이터의 품질이 문제되거나 구멍이 발생할 수 있습니다.
▲ 사진들 간에 공통으로 촬영되는 부분이 최소 70% 이상 되어야 Image Align(이미지 정합)이 문제없이 진행됩니다. 아래 이미지를 보시기 바랍니다.
▲3개의 사진에서 모두 창문이 있는 공통구간(빨간 상자)이 보입니다. 그리고 창문이 보이는 각도가 살며시 왼쪽 또는 오른쪽 으로 틀어지며 사진을 연속적으로 찍은 모습을 확인할 수 있습니다.
▲드론으로 촬영한 3개의 사진입니다. 고도(높이)를 바꿔가며 촬영한 3개의 사진에 모두 공통구간이 70%이상 되며, 이 경우에는 매우 많은 공통구간을 만들어 촬영한 사례입니다.
▌포토그라메트리 프로세스 및 품질
스캐닝한 사진 이미지들이 3D로 재구성하는 소프트웨어(RealityCapture)로 처리되면 컴퓨터는 스캔 데이터에 있는 각 이미지의 픽셀을 비교하여 피사체를 결정합니다. 사진 이미지가 흐리거나 왜곡되거나, 적용 범위에 차이가 있거나, 중첩구간이 충분하지 않은 경우 컴퓨터는 이 "잘못된" 스캔 데이터를 피사체의 일부로 해석하고 3D 모델(또는 디지털 자산)에 왜곡을 포함하여 데이터를 만들어냅니다. RealityCapture의 프로세스 흐름의 간단한 예는 다음과 같습니다.
▲스캐닝한 중첩구간의 사진을 프로세싱 하여 나오는 3D데이터 (OBJ, FBX, PLY, STL)
피사체를 여러 방향에서 고해상도 이미지 품질로 촬영하고, 피사체를 충분하게 커버하는 사진을 촬영하고, 사진과 사진 사이에 70% 정도의 충분한 중첩구간을 준다면 포토그라메트리 스캐닝은 누구나 도전해 볼 만한 작업입니다.
다만 포토그라메트리 스캐닝을 통해 좋은 품질의 데이터가 나올 수도 있으며, 데이터가 제대로 나오지 않을 수도 있습니다. 보다 최고 품질의 포토그라메트리 스캔 데이터를 생성해 내려면 다음 지식과 개념을 알아야 합니다.
▌RealityCapture 튜토리얼 2편 : Outro(나가며..)
2편을 통해 포토그라메트리 스캐닝의 핵심 3가지 주요사항에 대해 간단히 알아보았습니다. 3편에서는 보다 높은 품질의 데이터를 생성해 내기 위해 정말 중요한 카메라 세팅 및 조명과 관련한 내용을 알아보겠습니다.