RealityCapture 자료실

리일리티캡쳐 소프트웨어의 튜토리얼 및 정보 기술자료

교육 및 튜토리얼RealityCapture 튜토리얼3편 - 꼭 알아야 할 카메라 지식 (파트.1)

2024-03-07
조회수 363


▌RealityCapture 튜토리얼3편, 인트로(Intro)


포토그라메트리 스캐닝을 위해 필요한 사진기술 및 카메라 세팅방법에 대한 기초 지식을 확인합니다. 내용이 길어 파트1과 파트2로 나누어 글을 올립니다.


 

█ 사진기술 Photography



디지털 카메라로 촬영한 사진의 품질은 어떤 카메라를 사용하는지 그리고 누가 찍는가에 따라 그 결과물이 다릅니다. 동일한 카메라를 사용하더라도 카메라를 든 사진작가의 기술과 경험을 바탕으로 이미지 품질은 크게 달라집니다. 숙련된 사진작가는 어떤 카메라를 사용하던지 피사체와 환경에 따라 카메라의 설정을 제대로 조정함으로써 포토그라메트리 스캐닝에 적합한 고품질의 이미지를 촬영할 수 있습니다.

포토그라메트리 스캐닝을 위해서는 어떤 카메라를 사용하시던지 사진의 이미지 해상도와 품질에 영향을 주는 카메라 세팅에 대한 요소들을 이해하는 것이 매우 중요합니다. 하나하나 살펴 보도록 하겠습니다.



 

▌촬영된 사진의 해상도는 어때야 하나요?


사진 이미지 해상도는 촬영된 사진의 화소(픽셀수)를 이야기합니다. 포토그라메트리 스캐닝을 위해서는 일반적으로 이미지 해상도가 높을수록 사진을 정합하는 과정에서 정렬이 더욱 정확해 집니다. (정렬이 정확해 진다는 말은, 데이터가 뒤틀리는 오류없이 더욱 잘 형성된다는 말입니다.)

RealityCapture 소프트웨어가 중첩된 대량의 사진을 통해 피사체를 식별할 때, 각각의 사진마다의 픽셀 정보를 비교하며 데이터를 만들어 갑니다. 촬영된 사진이 고해상도일수록 사진에 더 자세하고 선명한 픽셀정보를 갖고 있기 때문에 오류없이 더 선명한 매쉬와 선명한 컬러 텍스처를 가진 데이터가 생성됩니다.

☢️ 주의: 일부 카메라의 이미지 처리 장치(프로세서)는 이미지의 시각적 품질을 향상시키기 위해 해상도 업스케일링을 적용합니다. 이미지 해상도를 확대하기 위해 AI 업스케일링 도구(또는 초해상도 브라케팅)를 사용하지 마십시오. 이러한 소프트웨어 도구는 이미지의 픽셀 매트릭스를 이동시켜 포토그라메트리 스캐닝(사진 측량)에 사용할 수 없게 만듭니다.




▌촬연된 사진의 후보정 해도 되나요?

RealityCapture는 촬영된 중첩된 사진들의 픽셀을 감지하고 공통된 픽셀을 3D모델로 컴파일합니다. 이 때문에 적용한 사진 이미지는 왠만하면 후보정하여 색감, 노출, 대비값 및 선명도 등이 변경되지 않은(또는 처리되지 않은) 상태로 유지되어야 합니다. 소스 이미지에 대해 수행되는 모든 이미지 후보정 처리는 이미지 픽셀의 원래 배열을 변경합니다. 이로서 RealityCapture에서 정합 및 매쉬화 진행 시 오류발생으로 데이터가 어느 부분은 누락되어 구멍이 있거나 노이즈가 많이 끼거나 할 수 있습니다.

📋 참고: 스마트폰 카메라는 종종 센서시프트 기능을 사용하여 카메라 센서의 해상도를 인위적으로 높입니다. 스마트폰 카메라로 포토그라메트리 스캔을 RealityCapture로 진행하고자 하신다면, 카메라 센서의 해상도를 기본 세팅(해상도)로만 촬영하세요.



 

▌카메라(CAMERA)는 어떤 것을 써야 하나요?

사진 측량에서는 카메라의 성능이 중요한 고려 사항입니다. 고해상도 카메라는 저해상도 카메라보다 이미지당 더 많은 픽셀을 캡처할 수 있습니다. 리얼리티캡쳐와 같은 포토그라메트리 소프트웨어는 촬영된 여러 이미지의 픽셀 데이터를 컴파일하여 피사체를 디지털 방식으로 구현합니다. 카메라가 제공하는 더 높은 해상도는 더 적은 수의 이미지로 더 자세한 픽셀을 캡처합니다.

📋 참고: 사진 측량에는 저해상도 카메라를 사용할 수 있지만 고해상도 카메라와 동일한 정확도를 생성하려면 더 촘촘하게 겹치는 더 많은 이미지가 필요합니다.

포토그라메트리(사진 측량)에 이상적인 카메라는 RAW 파일 형식으로 캡처할 수 있는 '고해상도 풀프레임 카메라'입니다. 크롭 센서 카메라를 사용할 수도 있지만 풀프레임 카메라는 더 넓은 동적 범위를 캡처합니다. RAW 파일 형식으로 이미지를 캡처할 수 있는 카메라는 파일 형식 변환에 의해 변경되지 않는 좋은 이미지를 생성합니다. 스캔할 카메라를 결정할 때 주요 고려 사항은 다음과 같습니다.

  • RAW 파일 유형
  • 렌즈
  • 셔터 유형
  • 카메라 센서
  • 다이내믹 레인지



 ▌RAW 파일 이미지


인위적인 후보정 처리가 되지않은 원본 RAW 파일의 사진 촬영 이미지는 가끔 녹색 필터를 사용한 것처럼 녹색으로 편향되어 보일 겁니다. 이는 카메라 센서 내에 녹색 픽셀이 빨간색과 파란색 픽셀보다 두 배나 많이 있기 때문입니다. 이 카메라 센서의 픽셀 조합은 인간의 눈에 가장 가까운 사진을 촬영합니다. RAW 파일은 기본적으로 이미지 후처리가 되지 않은 원본 형태의 사진입니다. 반면에 JPEG 파일에는 화이트 밸런스, 색상 밸런스 등에 대한 조정을 포함하여 어느 정도의 가공된 이미지 후처리의 흔적이 있습니다.

RealityCapture에서는 후보정이 되지 않아서 픽셀배열이 변형되지 않은 원본 RAW 파일 이미지를 사용할 경우 오류 없이 더욱 품질이 좋은 3D데이터를 얻어낼 수 있답니다.

추가적으로 RAW 촬영 파일에는 여러 가지 이점들이 있습니다. 그 중에서 가장 중요한 것을 꼽자면 RAW 파일 형식을 사용하면 사진의 보정 처리를 촬영자가 완벽하게 제어할 수 있다는 것입니다. JPG 형식의 이미지는 일반적으로 한정된 일부 수준의 보정 처리가 가능합니다. (너무 어두운 환경에서 사진촬영을 했다면 RAW파일 이미지로 촬영 후 노출 및 밝기값을 추후에 보정하여 RealityCapture에 임포팅하여 사용하여도 됩니다.)

📋참고: 포토그라메트리 스캔을 위해서는 가능한 경우 카메라에서 렌즈 프로파일 적용을 비활성화하는 것을 추천 드립니다.

 




▌카메라 렌즈(LENS)


포토그라메트리 스캐닝을 위해서 어떤 카메라 렌즈를 사용하던지 보다 선명한 이미지를 촬영해 주는 렌즈라면 상관없습니다. 프라임 렌즈들은 더 선명한 이미지를 생성하므로 가장 바람직합니다. 다만 가변 줌 렌즈는 다양한 크기를 가진 여러 피사체를 스캔할 때 줌인 줌아웃을 통해 다양하게 활용할 수 있어 좋습니다. 어떠한 렌즈를 쓰던지 왜곡을 잡아주는 기능이 RealityCapture에 담겨 있어 큰 문제가 없답니다.

다만 렌즈를 선택해서 사용해야 한다면, 피사체를 한 사진에 얼마나 커버할 수 있는가를 생각하며 렌즈를 선택하시기 바랍니다. 포토그라메트리 스캔의 최종 목표는 피사체를 사진으로 놓치는 부분 없이 중첩구간을 두고 100% 모든 부분을 촬영하는 것입니다. 따라서 렌즈를 선택할 때 어떤 렌즈가 피사체를 가장 잘 커버하여 효율적으로 사진 촬영이 가능한지를 고려하시면 됩니다.

그래서 중요한 점은, 피사체 크기를 보고 촬영해야 할 범위 수준에 따라 카메라 렌즈를 선택하시는게 좋습니다. 포토그라메트리 스캔의 최종 목표는 스캔 데이터에서 피사체의 시각적 정보를 놓치는 부분 없이 중첩구간을 두고 100% 캡처하는 것입니다. 따라서 렌즈를 선택할 때 어떤 렌즈가 피사체를 가장 잘 커버하는 확인해야 합니다. 프라임 렌즈를 선택하는 경우 35mm 렌즈는 초점 거리 대비 더 넓은 시야각을 제공합니다(추천). 피사체를 좀 더 줌인하여 촬영할 수 밖에 없는 렌즈를 사용하게 된다면 피사체를 100% 커버하기 위해 더 많은 양의 사진이 필요합니다.

아래 그래픽에 표시된 것처럼, 넓은 시야각(그리고 피사체에 더 가까운)을 가진 렌즈 A(피사체 가까이 있는 사람)는 좁은 시야각을 가진 렌즈 B(멀리 떠어진 사람)만큼 많은 표면을 캡처합니다. A 렌즈가 정답입니다. 더 가까이 찍을때 더 선명고 픽셀이 높은 사진을 찍을 수 있습니다. 그리고 가까이에서 더 넓은 시야각으로 피사체의 형상 디테일을 잘 추적해 가며 촬영할 수 있습니다.

▲ 가까이서 보는 넓은 시야 VS 먼 거리에서 보는 좁은 시야





▌카메라 셔터(Shutter) 타입


일반적으로 카메라 셔타 타입에는 Electronic shutter(전자식 셔터)와 Mechanical shutter(기계식 셔터)가 있는데요, 여기에 추가하여 Hybrid Shutter(하이브리드 셔터)가 있습니다. 각각 장단점이 있습니다.



전자식 셔터는 스틸 이미지 촬영에 매우 유리합니다. 다만 움직이는 피사체의 경우 모션 블러를 일으킬 수 있으며 이미지에 밴딩효과(실제 피사체보다 구부러진 이미지를 내는 효과)를 일으킬 수 있습니다.

반면 기계식 셔터는 움직이는 피사체를 촬영할 때 유리합니다. 그리고 기계식이라 오류가 날 확률이 적습니다. 다만 셔터 스피드가 전자식 셔터보다는 느린 편입니다.

포토그라메트리에서는 기계식 또는 하이브리드 셔터가 있는 카메라를 사용하고 전자식 셔터가 있는 카메라는 피하는 것이 좋습니다. 이는 전자식 셔터가 이미지에 밴딩 효과를 만들어 포토그라메트리 소프트웨어에 방해가 되기 때문입니다.

 


 

▌카메라 센서

포토그라메트리를 위한 카메라를 고르는 가장 좋은 방법은 카메라 센서의 해상도가 가장 높은 제품을 선택하는 것입니다. 그러나 센서 해상도가 높아지면 모션 블러와 디지털 노이즈가 발생할 가능성도 높아집니다. 디지털 노이즈와 모션 블러 모두 포토그라메트리를 위해 촬영된 사진들을 심각하게 왜곡합니다.

모션블러 혹은 노이즈가 있는 사진들은 RealityCapture 상에서 3D 모델을 재구성할 시 심각한 오류를 발생합니다. 데이터 정합이 실패하여 100장을 넣었는데 50장만 정합되거나 하는 문제가 발생하기도 하고.... 정합이 되었지만 데이터가 틀어지거나 하는 오류들이 생깁니다. 이를 방지하기 위한 해결책은 다음과 같습니다.



① Motion blur (카메라 흔들림으로 인한 모션 블러 발생)시 해결책

  • 사진을 수동모드로 촬영하고, 셔터스피드는 1/250 혹은 이보다 짧은 셔터 스피드를 적용하여 모션 블러를 제거합니다.
  • 가능하다면 삼각대를 이용하는게 가장 이상적입니다. 삼각대와 원격 트리거를 사용하여 촬영하는 것이 모션 블러 제거에는 효과적입니다.


② Digital noise (노이즈 발생)시 해결책

  • ISO값을 높일 수록 노이즈는 많이 낍니다. ISO를 왠만하면 1,000이하로 두고 촬영하는게 바람직합니다. 가장 이상적인 세팅은 사실 ISO값을 100 혹은 100 아래로 두고 촬영하는 것입니다. 하지만 이럴 경우 어두운 사진이 나올 수 밖에 업죠. 그래서 피사체 주변에 플랫한 평면의 확산광 라이트(flat/diffuse)로 조명세팅을 하는게 좋습니다.

너무 어두운 곳에서 촬영은 삼가하시기 바랍니다. 부득이 하게 동굴과 같은 어두운 환경이라면 조명설치를 권장하며, 조명설치가 어려울 경우 카메라에 플래쉬를 달고 촬영을 추천 드립니다.

모션 블러 및 디지털 노이즈를 고려할 때 근접 스캐닝에는 24mpx 센서를 사용하고 원거리(또는 드론을 사용하는 경우)에는 42mpx 센서(또는 그 이상)를 사용하는 것이 좋습니다.

크롭센서를 가진 바디보다 풀프레임 센서를 가진 카메라를 사용해야 좋습니다. 풀프레임 센서를 가진 카메라는 데이터 손실 없이 가장 상세한 픽셀정보를 제공하기 때문입니다.

📋 참고: 일부 카메라에서 비디오 모드를 사용할 때 카메라는 풀 프레임 센서에서 Super 35로 이미지를 자를 수 있습니다. 이 이미지 자르기는 이미지에서 필요한 원근 정보를 제거합니다. 정렬 중에 최상의 결과를 얻으려면 모든 형태의 자르기를 사용하지 마세요.

☢️️ 주의: 이미지 해상도를 확대하기 위해 해상도 향상 기능이나 도구(예: AI 업스케일링 또는 초해상도)를 사용하지 마십시오. 이러한 기능은 사람의 눈으로 볼 수 있는 이미지를 향상시키지만 소프트웨어로 읽을 때는 이미지가 흐릿해집니다.

📋 참고: 다양한 카메라 센서 별 유형의 장점과 단점은 다음 표를 검토하세요.


▲ 카메라 센서 유형별 장단점 : 풀프레임 카메라를 추천합니다.



▌RealityCapture 튜토리얼 3편 : Outro(나가며..)


3편을 통해 포토그라메트리 스캐닝을 위한 카메라 지식을 공부했습니다. 카메라 센서 정보라던가 노이즈와 블러를 방지하기 위한 해결책 등 다양한 정보를 확인할 수 있었습니다. 다만 아직 못다룬 조명, 피사계 심도, 선명도 및 HDR 등 다양한 카메라 정보가 남아있습니다. RealiyCapture 튜토리얼 4편에서 더 다루어 보도록 하겠습니다. 그럼 4편에서 볼께요.



 


카카오톡 채널 채팅하기 버튼