Richard Minsoo Go

Posted on Nov 14

Calibration Engineering — Ch.09: Multi Sensor Calibration [KR]

#ai #algorithms #education #statera

STATERA Library · Series 07 · Volume 10 · Chapter 09 · KR
Source: https://github.com/Statera-Library/07_Vol_10_Calibration_Engineering/blob/main/Chapter_09_Multi_Sensor_Calibration/Chapter_09_Multi_Sensor_Calibration_KR.md

Volume 10 Calibration Engineering

Chapter 09. Multi Sensor Calibration

09.01. Timestamp Alignment

타임스탬프 정렬(Timestamp Alignment)은 서로 다른 센서에서 측정된 데이터를 공통 시간 기준(Common Temporal Reference)에 배치하여 동일한 물리적 사건(Physical Event)을 나타내는 관측값을 함께 해석할 수 있도록 하는 과정이다. 다중 센서 캘리브레이션(Multi-Sensor Calibration) 시스템에서는 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 관성 측정 장치(IMU), 위성항법시스템(GNSS), 액추에이터(Actuator) 데이터가 서로 다른 시점에 획득된다면 기하학적 정확도(Geometric Accuracy)만으로는 충분하지 않다. 로봇이나 주변 객체가 움직이는 상황에서는 매우 작은 시간 오프셋(Time Offset)도 공간 캘리브레이션 오차(Spatial Calibration Error)처럼 나타날 수 있다.

센서 타임스탬프(Sensor Timestamp)는 측정 과정에서 명확하게 정의된 특정 시점을 나타내야 한다. 장치에 따라 노출 시작(Exposure Start), 노출 중간점(Exposure Midpoint), 스캔 시작(Scan Initiation), 패킷 전송(Packet Transmission), 측정 완료(Measurement Completion), 호스트 수신(Host Reception) 시점 등이 될 수 있다. 이러한 시점들은 서로 동일하지 않으므로 신뢰할 수 있는 정렬을 위해서는 각 타임스탬프가 어디에서 생성되는지 확인하고, 실제 물리적 샘플링 시점(Physical Sampling Instant)을 나타내는지 아니면 단순히 데이터가 소프트웨어에 전달된 시점을 나타내는지 판단해야 한다.

타임스탬프 오차(Timestamp Error)는 오프셋(Offset), 드리프트(Drift), 지터(Jitter), 가변 전송 지연(Variable Transport Delay)으로 구분할 수 있다. 오프셋은 두 센서 클록(Sensor Clock) 사이의 거의 일정한 시간 차이를 의미하며, 드리프트는 서로 다른 클록 주파수(Clock Frequency)로 인해 시간 차이가 점진적으로 변화하는 현상을 의미한다. 지터는 단기적인 타임스탬프 변동을 발생시키며, 통신 또는 처리 지연(Processing Latency)은 추가적인 비결정적 지연(Non-Deterministic Delay)을 만들 수 있다. 하나의 고정 시간 보정만으로 모든 시간 불일치를 보상할 수 없으므로 캘리브레이션에서는 이러한 오차를 구분해야 한다.

클록 동기화(Clock Synchronization)는 타임스탬프 정렬의 기반을 제공한다. 센서는 공통 하드웨어 트리거(Shared Hardware Trigger), 초당 펄스(Pulse Per Second, PPS) 기준, 정밀 시간 프로토콜(Precision Time Protocol, PTP), 동기화된 이더넷 클록(Synchronized Ethernet Clock), GNSS 타이밍 소스(GNSS Timing Source) 또는 기타 공통 시간 기준을 사용할 수 있다. 높은 시간적 대응 정확도가 요구되는 경우 실제 측정 사건과 가까운 위치에서 시간 기준을 설정할 수 있기 때문에 일반적으로 하드웨어 동기화(Hardware Synchronization)가 선호된다. 소프트웨어 동기화(Software Synchronization)도 유용하지만 운영체제 스케줄링(OS Scheduling)과 통신 지연이 포함될 수 있다.

하드웨어 트리거링(Hardware Triggering)은 외부 동기화 입력(External Synchronization Input)을 지원하는 카메라 및 기타 센서에서 특히 중요하다. 공통 트리거 신호(Common Trigger Signal)를 이용하면 알려진 시간 관계에 따라 측정을 시작할 수 있어 독립적인 센서 클록으로 인해 발생하는 불확실성을 줄일 수 있다. 그러나 트리거 신호가 동시에 발생한다고 해서 실제 관측도 반드시 동시에 이루어지는 것은 아니다. 노출 시간(Exposure Duration), 내부 버퍼링(Internal Buffering), 센서 파이프라인(Sensor Pipeline), 롤링 셔터(Rolling Shutter), 스캐닝 메커니즘(Scanning Mechanism) 등을 고려하여 유효 측정 시점(Effective Measurement Time)을 정의해야 한다.

라이다 타이밍(LiDAR Timing)은 포인트 클라우드(Point Cloud)가 일반적으로 하나의 순간에 획득되는 것이 아니라 일정한 스캔 구간(Scan Interval)에 걸쳐 누적되기 때문에 특별한 주의가 필요하다. 각각의 레이저 반사값(Laser Return)은 서로 다른 획득 시점에 대응할 수 있다. 따라서 회전식 라이다(Rotating LiDAR)의 전체 스캔에 하나의 타임스탬프만 할당하면 차량 이동 중 모션 왜곡(Motion Distortion)이 발생할 수 있다. 정확한 다중 센서 캘리브레이션을 위해 포인트별(Per-Point) 또는 패킷별(Per-Packet) 타이밍을 유지하고 획득 과정에서 발생한 플랫폼 움직임에 따라 측정값을 변환할 수 있다.

카메라 타임스탬프(Camera Timestamp)는 노출 타이밍(Exposure Timing)과 이미지 판독 구조(Image Readout Architecture)의 영향을 받는다. 글로벌 셔터 카메라(Global-Shutter Camera)의 경우 프레임 타임스탬프(Frame Timestamp)를 비교적 명확하게 정의된 노출 구간과 연결할 수 있다. 반면 롤링 셔터 카메라(Rolling-Shutter Camera)는 이미지의 각 행(Row)이 서로 다른 시점에 샘플링되기 때문에 더 복잡하다. 따라서 시간 정렬에는 완성된 이미지 프레임에 첨부된 타임스탬프뿐만 아니라 노출 시작, 프레임 주기(Frame Period), 행 판독 시간(Row Readout Time), 유효 노출 중간점(Effective Exposure Midpoint)에 대한 정보가 필요할 수 있다.

레이더 측정(Radar Measurement) 역시 내부적인 시간 구조(Temporal Structure)를 가진다. 탐지 목록(Detection List) 또는 레이더 프레임(Radar Frame)은 호스트 컴퓨터(Host Computer)로 전송되기 전에 여러 처프(Chirp)에 걸쳐 신호를 누적하고 처리한 결과일 수 있다. 따라서 패킷 도착 시간(Packet Arrival Time)은 실제 물리적 측정 구간과 다르다. 레이더를 카메라 또는 라이다와 캘리브레이션할 때는 후단 네트워크 수신 시점보다 레이더 탐지 결과를 생성하는 데 사용된 실제 센싱 구간(Sensing Interval)에 가능한 한 가까운 타이밍 기준을 사용해야 한다.

관성 측정 장치(IMU)는 일반적으로 카메라, 라이다, 레이더보다 훨씬 높은 주파수로 동작하기 때문에 동적 캘리브레이션(Dynamic Calibration)을 위한 중요한 시간 기준을 제공한다. 각속도(Angular Velocity)와 선형 가속도(Linear Acceleration)는 빠른 플랫폼 움직임을 나타내므로 작은 시간 오프셋도 드러낼 수 있다. IMU 측정값을 이용하여 센서 관측값을 보간(Interpolation)하거나 모션 보상(Motion Compensation)함으로써 후보 시간 오프셋(Candidate Temporal Offset)을 적용했을 때 측정값들이 얼마나 잘 대응하는지 평가할 수 있다.

실용적인 타임스탬프 정렬 모델(Timestamp Alignment Model)은 센서 i의 보정 시간을 tᵢ′ = aᵢtᵢ + bᵢ로 표현할 수 있다. 여기서 bᵢ는 클록 오프셋(Clock Offset)을 나타내고 aᵢ는 상대적 클록 속도 오차(Relative Clock-Rate Error)를 보정한다. 짧은 캘리브레이션 세션에서는 오프셋만 추정해도 충분할 수 있지만 장시간 동작에서는 클록 드리프트(Clock Drift)를 고려해야 한다. 초기화 시점에 정렬된 시스템이라도 독립적인 발진기(Oscillator)의 시간 차이가 누적되면서 점차 동기화를 잃을 수 있기 때문이다.

시간 오프셋(Temporal Offset)은 서로 연관된 물리적 움직임(Correlated Physical Motion)을 이용해서도 추정할 수 있다. IMU가 관측한 회전 운동(Rotational Motion)을 카메라 영상이나 라이다 기하 구조에서 추정한 자세 변화(Orientation Change)와 비교할 수 있으며, 차량 움직임을 레이더, 오도메트리(Odometry), 위치추정(Localization) 신호와 비교할 수도 있다. 독립적으로 측정된 이러한 움직임 패턴 사이의 일관성을 최대화하는 상대적 시간 이동(Relative Time Shift)을 이용하면 모든 장치가 동일한 타임스탬프 하드웨어를 사용하지 않더라도 센서 간 시간 오프셋을 추정할 수 있다.

동기화된 센서가 서로 다른 샘플링 주파수(Sampling Frequency)로 동작할 경우 보간(Interpolation)이 필요하다. 예를 들어 200 Hz IMU, 30 Hz 카메라, 10 Hz 라이다, 20 Hz 레이더가 정확히 동일한 타임스탬프에서 샘플을 제공하는 경우는 일반적이지 않다. 단순히 가장 가까운 측정값을 선택하는 대신 융합(Fusion) 또는 캘리브레이션 파이프라인(Calibration Pipeline)은 필요한 기준 시간(Reference Time)에 맞추어 적절한 상태를 보간할 수 있다. 특히 회전(Rotation), 자세(Pose), 속도(Velocity), 비동기 측정값(Asynchronous Measurement)의 경우 각 변수의 물리적 의미를 고려한 보간 방법을 사용해야 한다.

타임스탬프 정렬과 외부 파라미터 캘리브레이션(Extrinsic Calibration)은 동적 환경(Dynamic Environment)에서 강하게 결합되어 있다. 잘못된 시간 오프셋이 잘못된 공간 변환(Spatial Transformation)에 의해 부분적으로 보상되면서 최적화 잔차(Optimization Residual)가 실제보다 작게 나타날 수 있다. 예를 들어 일정한 회전 운동 중에는 시간 오차가 센서의 요 각도 오차(Yaw Error)와 유사하게 나타날 수 있다. 따라서 캘리브레이션 절차에서는 타임스탬프가 완벽하다고 가정한 채 공간 파라미터만 무조건 최적화해서는 안 되며, 잔차 패턴이 시간적 오정렬(Temporal Misalignment)을 나타내는지 평가해야 한다.

시간 캘리브레이션 파라미터(Temporal Calibration Parameter)를 식별하려면 충분한 운동 여기(Motion Excitation)가 중요하다. 정지된 플랫폼에서는 측정값을 시간적으로 조금 이동시켜도 거의 변하지 않기 때문에 시간 오프셋에 관한 정보가 부족하다. 따라서 캘리브레이션 궤적(Calibration Trajectory)은 안전성과 반복성을 유지하면서 관측 가능한 병진 운동(Translation)과 회전 운동(Rotation)을 포함해야 한다. 특히 각속도와 가속도의 변화는 고정된 공간 변위(Spatial Displacement)와 센서 지연으로 발생한 시간적 변위(Temporal Displacement) 사이의 모호성을 줄이는 데 유용하다.

검증(Validation)은 제어된 캘리브레이션 시퀀스에서만 수행하는 것이 아니라 실제 운용을 대표하는 조건에서도 동기화 상태를 확인해야 한다. 가속, 제동, 회전, 진동 및 센서 처리 부하 변화 상황에서 잔여 정렬 오차(Residual Alignment Error)를 평가할 수 있다. 플랫폼 속도나 각속도가 증가할수록 오차가 커진다면 타임스탬프 오프셋 또는 지연이 원인일 가능성이 있다. 반대로 시간이 경과함에 따라 정렬 상태가 점차 악화된다면 클록 드리프트 또는 동기화 손실(Synchronization Loss)을 우선적으로 의심할 수 있다.

호스트 수신 타임스탬프(Host-Reception Timestamp)는 센싱 자체와 무관한 지연을 포함할 수 있으므로 네트워크 아키텍처(Network Architecture) 역시 고려해야 한다. 이더넷 스위치(Ethernet Switch), 게이트웨이(Gateway), 장치 드라이버(Device Driver), 직접 메모리 접근(DMA), 미들웨어 큐(Middleware Queue), 운영체제 스케줄링, 애플리케이션 버퍼링(Application Buffering)은 모두 실제 측정 시점과 처리 시점 사이의 차이를 증가시킬 수 있다. 가능한 한 센서 획득 사건 가까이에서 타임스탬프를 생성하면 이러한 불확실성을 줄일 수 있으며, 동기화된 하드웨어 클록을 사용하면 통신 지연을 센싱 지연으로 잘못 해석하지 않고 측정값을 비교할 수 있다.

견고한 다중 센서 캘리브레이션 시스템(Robust Multi-Sensor Calibration System)은 시간 정보를 단순히 덮어쓰는 대신 원본 장치 타임스탬프(Original Device Timestamp)와 보정 또는 동기화된 타임스탬프(Corrected or Synchronized Timestamp)를 모두 보존해야 한다. 캘리브레이션 메타데이터(Calibration Metadata)에는 클록 도메인(Clock Domain), 동기화 소스(Synchronization Source), 추정 오프셋, 드리프트 모델(Drift Model), 타임스탬프 정의, 적용 가능한 유효 구간(Validity Interval)을 기록해야 한다. 이러한 추적성(Traceability)은 시간 보정을 재현 가능하게 하며 센서 펌웨어, 네트워크 토폴로지(Network Topology), 획득 소프트웨어 또는 동기화 하드웨어가 변경되었을 때 문제를 진단할 수 있도록 한다.

로보틱스(Robotics) 및 피지컬 AI(Physical AI) 플랫폼에서 타임스탬프 정렬은 궁극적으로 센싱(Sensing), 상태 추정(State Estimation), 의사결정(Decision Making), 물리적 운동(Physical Motion) 사이에 일관된 시간 관계를 구축한다. 정확한 동기화를 통해 카메라 픽셀(Camera Pixel), 라이다 포인트(LiDAR Point), 레이더 탐지(Radar Detection), IMU 측정값, GNSS 상태, 휠 오도메트리(Wheel Odometry), 제어 신호(Control Signal)가 하나의 일관된 세계 상태(Coherent World State)를 표현할 수 있다. 따라서 타임스탬프 정렬은 좌표 프레임 캘리브레이션(Coordinate-Frame Calibration)의 시간적 대응 요소이며, 이후의 다중 센서 외부 파라미터 최적화(Multi-Sensor Extrinsic Optimization), 타깃리스 캘리브레이션(Targetless Calibration), 온라인 캘리브레이션 모니터링(Online Calibration Monitoring)이 신뢰성 있게 동작하기 위한 기반을 제공한다.

09.02. Extrinsic Parameter Optimization

외부 파라미터 최적화(Extrinsic Parameter Optimization)는 개별 센서의 내부 특성(Intrinsic Characteristics)이 캘리브레이션된 이후 여러 센서 사이의 강체 공간 관계(Rigid Spatial Relationship)를 결정하는 과정이다. 다중 센서 시스템(Multi-Sensor System)에서 각각의 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 관성 측정 장치(IMU)는 자체 좌표 프레임(Coordinate Frame)을 기준으로 환경을 측정한다. 외부 캘리브레이션(Extrinsic Calibration)은 이러한 측정값을 로봇 바디(Robot Body) 또는 차량 좌표계(Vehicle Coordinate System)와 같은 공통 기준 프레임(Common Reference Frame)으로 변환하기 위한 회전(Rotation)과 병진(Translation)을 추정한다.

두 센서 프레임 사이의 기본적인 외부 변환(Extrinsic Transformation)은 회전 행렬(Rotation Matrix) R과 병진 벡터(Translation Vector) t를 포함하는 강체 변환(Rigid-Body Transformation)으로 표현할 수 있다. 따라서 센서 프레임 A에서 측정된 점은 p_B = R_BA p_A + t_BA 관계를 통해 센서 프레임 B에서 표현할 수 있다. 동차 좌표(Homogeneous Coordinates)에서는 회전과 병진을 하나의 4 × 4 변환 행렬(Transformation Matrix)로 결합하며, 센서 아키텍처 전체에서 다른 변환들과 연쇄적으로 연결할 수 있다.

초기 외부 파라미터(Initial Extrinsic Parameters)는 일반적으로 기계적 치수(Mechanical Dimensions), CAD 형상(CAD Geometry), 캘리브레이션 타깃(Calibration Target), 설치 측정값(Installation Measurement) 또는 이전의 캘리브레이션 절차를 통해 얻는다. 이러한 값은 정확한 변환값이라기보다 최적화를 위한 초기 추정값(Initial Estimate)을 제공한다. 제조 공차(Manufacturing Tolerance), 브래킷 변형(Bracket Deformation), 장착 간극(Mounting Clearance), 조립 편차(Assembly Variation), 진동(Vibration), 측정 불확실성(Measurement Uncertainty)으로 인해 명목 센서 자세(Nominal Sensor Pose)와 실제 장착 자세 사이에 차이가 발생할 수 있으므로 수치적 보정(Numerical Refinement)이 필요하다.

외부 파라미터 최적화는 서로 다른 센서에서 관측된 데이터 사이의 불일치를 최소화함으로써 초기 변환을 정밀하게 보정한다. 최적화 문제(Optimization Problem)는 현재의 회전 및 병진 추정값에서 대응 측정값이 얼마나 일치하지 않는지를 나타내는 잔차(Residual)를 정의한다. 목적 함수(Objective Function)는 일반적으로 가중 최소제곱법(Weighted Least-Squares) 또는 강건 추정(Robust Estimation)을 이용하여 이러한 잔차를 결합하고, 센서 간 기하학적 일관성(Cross-Sensor Geometric Consistency)을 최대화하는 변환 파라미터를 탐색한다.

잔차 정의(Residual Definition)는 센서 조합에 따라 크게 달라진다. 카메라-라이다(Camera--LiDAR) 캘리브레이션에서는 점-영상(Point-to-Image), 점-평면(Point-to-Plane), 에지(Edge), 특징점(Feature), 재투영 오차(Reprojection Error)를 최소화할 수 있다. 라이다-라이다(LiDAR--LiDAR) 캘리브레이션에서는 대응 표면이나 포인트 클라우드 정합(Point-Cloud Registration) 제약을 사용할 수 있다. 레이더-카메라(Radar--Camera) 캘리브레이션에서는 레이더 탐지값을 시각적 타깃 또는 기하학적 특징과 비교할 수 있으며, IMU 관련 캘리브레이션에서는 관성 측정값과 다른 센싱 모달리티(Sensing Modality) 사이의 운동(Motion), 자세(Orientation), 궤적 일관성(Trajectory Consistency)을 사용할 수 있다.

회전은 제약되지 않은 행렬을 사용할 경우 중복 변수가 포함되고 직교성 제약(Orthogonality Constraint)을 위반할 수 있기 때문에 최적화 과정에서 신중하게 파라미터화(Parameterization)해야 한다. 오일러 각(Euler Angles)은 직관적인 롤(Roll), 피치(Pitch), 요(Yaw) 파라미터를 제공하지만 특이점(Singularity)과 파라미터 결합(Parameter Coupling)이 발생할 수 있다. 회전 벡터(Rotation Vector), 축-각 표현(Axis-Angle Representation), 단위 쿼터니언(Unit Quaternion)이 수치 최적화에 더 적합한 경우가 많다. SE(3)에 기반한 리 군(Lie Group) 표현은 강체 변환의 기하학적 구조를 유지하면서 변환값을 갱신할 수 있는 또 다른 체계적인 방법을 제공한다.

병진 파라미터(Translation Parameters)는 선택한 기준 프레임에 대한 센서의 레버 암(Lever Arm)을 나타낸다. 이러한 파라미터의 관측 가능성(Observability)은 캘리브레이션 데이터에 포함된 기하 구조와 움직임에 따라 달라진다. 특정 캘리브레이션 장면은 횡방향 또는 수직 변위를 강하게 제한하면서 깊이 방향에 대해서는 상대적으로 약한 정보를 제공할 수 있다. 마찬가지로 제한된 플랫폼 움직임은 일부 회전과 병진 파라미터를 분리하기 어렵게 만들 수 있다. 따라서 캘리브레이션 데이터에는 필요한 모든 자유도(Degrees of Freedom)를 충분히 제한할 수 있는 다양한 기하 구조 또는 움직임이 포함되어야 한다.

대응 관계 품질(Correspondence Quality)은 최적화 정확도에 가장 큰 영향을 미치는 요소 중 하나이다. 캘리브레이션 타깃은 체커보드 코너(Checkerboard Corner), 평면 표면(Planar Surface), 반사형 레이더 타깃(Reflective Radar Target), 구조화된 라이다 특징(Structured LiDAR Feature)과 같이 센서 관측값 사이의 명시적인 기하학적 대응 관계를 제공할 수 있다. 대응 관계에 잘못된 매칭이나 노이즈가 포함되면 최적화기가 잘못된 변환으로 수렴할 수 있다. 따라서 최적화된 파라미터를 해석하기 전에 데이터 연관(Data Association), 특징 품질(Feature Quality), 타깃 가시성(Target Visibility), 측정 불확실성을 평가해야 한다.

강건 손실 함수(Robust Loss Function)는 대응 관계 필터링 이후에도 남아 있는 이상치(Outlier)의 영향을 줄일 수 있다. 일반적인 최소제곱 최적화(Least-Squares Optimization)는 큰 잔차에 높은 페널티를 부여하기 때문에 소수의 잘못된 관측값이 최종 변환을 크게 왜곡할 수 있다. 강건한 방식은 비정상적으로 큰 잔차의 기여도를 제한하여 이러한 민감도를 낮춘다. 이상치 제거(Outlier Rejection)와 강건 추정은 정교하게 제어된 캘리브레이션 타깃 대신 자연 환경 특징(Natural Environmental Feature)을 이용하는 캘리브레이션에서 특히 중요하다.

측정 불확실성(Measurement Uncertainty) 역시 최적화에 반영되어야 한다. 카메라 픽셀 측정(Camera Pixel Measurement), 라이다 거리(LiDAR Range), 레이더 탐지(Radar Detection), 관성 관측(Inertial Observation)은 동일한 정확도나 노이즈 특성을 갖지 않는다. 모든 잔차를 동일한 신뢰도로 처리하면 단순히 측정 개수가 많다는 이유로 낮은 품질의 측정값이 최적화 결과를 지배할 수 있다. 예상 불확실성, 공분산(Covariance), 거리, 관측 기하(Viewing Geometry), 신뢰도(Confidence)에 따라 잔차에 가중치를 부여하면 각 관측값이 가진 정보량을 목적 함수에 보다 적절하게 반영할 수 있다.

센서 또는 플랫폼이 움직이는 경우 신뢰할 수 있는 외부 파라미터 최적화를 위해 타임스탬프 정렬(Timestamp Alignment)이 선행되어야 한다. 시간 오프셋(Temporal Offset)이 존재하면 서로 다른 물리적 자세에서 획득된 측정값을 동시에 획득된 것처럼 비교하게 되며, 최적화기는 이러한 잔차를 회전이나 병진의 문제로 잘못 해석할 수 있다. 이와 같은 결합(Coupling)은 수치적으로는 잘 수렴했지만 물리적으로 잘못된 외부 파라미터를 생성할 수 있다. 따라서 동적 데이터(Dynamic Data)를 사용할 때에는 시간 캘리브레이션(Temporal Calibration)을 검증하거나 공간 파라미터와 함께 고려해야 한다.

최적화는 일반적으로 초기 외부 파라미터 추정값에서 시작하여 반복적으로 진행된다. 각 반복(Iteration)에서 예상 대응 관계 또는 변환된 측정값을 계산하고 잔차를 평가한 후 변환 파라미터에 대한 갱신값(Update)을 결정한다. 잔차 모델이 미분 가능할 경우 가우스-뉴턴 방법(Gauss--Newton Method)이나 레벤버그-마쿼트 방법(Levenberg--Marquardt Method)을 사용할 수 있다. 단순히 고정된 반복 횟수를 수행하는 대신 파라미터 갱신량, 목적 함수 감소량 또는 잔차 개선량이 적절한 임계값(Threshold) 이하로 감소했을 때 수렴(Convergence)한 것으로 판단한다.

낮은 최적화 비용(Optimization Cost)이 반드시 올바른 캘리브레이션을 의미하지는 않는다. 퇴화 기하 구조(Degenerate Geometry)에서는 여러 파라미터 조합이 유사한 잔차를 생성할 수 있다. 예를 들어 하나의 평면이 지배적인 관측 환경에서는 특정 변환을 결정하기 위한 정보가 부족할 수 있으며, 좁고 제한된 궤적을 따라 움직이는 경우 일부 파라미터의 관측 가능성이 낮아질 수 있다. 조건성(Conditioning), 파라미터 공분산(Parameter Covariance), 헤시안 구조(Hessian Structure), 반복 시험(Repeated Trial), 초기값에 대한 민감도(Sensitivity to Initialization)는 해의 신뢰성을 판단하기 위한 추가적인 근거를 제공한다.

다중 센서 캘리브레이션은 쌍별 최적화(Pairwise Optimization) 또는 공동 시스템 수준 최적화(Joint System-Level Optimization)로 구성할 수 있다. 쌍별 캘리브레이션은 선택된 센서 쌍 사이의 변환을 각각 추정한 후 기준 프레임을 중심으로 이들을 연결한다. 반면 공동 최적화(Joint Optimization)는 공유된 관측값과 제약 조건을 이용하여 여러 센서 자세를 동시에 추정한다. 공동 방식은 카메라, 라이다, 레이더, IMU, 차량 프레임 사이의 중복 관계를 동일한 최적화 문제 안에서 고려할 수 있기 때문에 전체적인 일관성(Global Consistency)을 향상시킬 수 있다.

센서 수가 증가할수록 변환 일관성(Transformation Consistency)은 더욱 중요해진다. 독립적으로 추정된 변환들이 폐쇄된 체인(Closed Chain)을 형성한다면 해당 체인을 따라 모든 변환을 합성했을 때 이상적으로는 항등 변환(Identity Transformation)으로 돌아와야 한다. 상당한 루프 폐쇄 오차(Loop-Closure Error)가 발생하면 쌍별 캘리브레이션 사이에 불일치가 존재한다는 것을 의미한다. 시스템 수준 최적화는 하나의 센서 쌍이 모든 불일치를 부담하도록 하지 않고 관련 변환들에 오차를 분산시켜 보다 일관된 캘리브레이션 그래프(Calibration Graph)를 생성할 수 있다.

검증(Validation)은 최적화된 파라미터를 생성하는 데 사용한 데이터에만 의존해서는 안 된다. 최종 변환은 대표적인 운용 조건에서 재투영 품질(Reprojection Quality), 포인트 클라우드 중첩(Point-Cloud Overlap), 타깃 정렬(Target Alignment), 궤적 일관성 또는 기타 교차 모달 잔차(Cross-Modal Residual)를 통해 평가할 수 있다. 하나의 캘리브레이션 구성에서 우수한 성능을 보이는 변환도 다른 조건에서는 체계적인 오차를 나타낼 수 있으므로 서로 다른 자세, 거리, 관측 방향, 플랫폼 움직임을 포함하여 검증해야 한다.

최적화된 파라미터는 회전과 병진 값만 저장하는 것이 아니라 품질 정보(Quality Information)와 함께 관리해야 한다. 유용한 캘리브레이션 기록에는 잔차 통계(Residual Statistics), 파라미터 불확실성(Parameter Uncertainty), 캘리브레이션 데이터셋 식별 정보, 타임스탬프 정렬 상태, 소프트웨어 버전, 센서 일련번호(Sensor Serial Number), 기준 좌표 프레임, 환경 조건(Environmental Conditions), 유효성 기준(Validity Criteria)이 포함된다. 이러한 정보는 추적성(Traceability)을 제공하며 이후 발생하는 변화가 최적화 불확실성 때문인지 실제 센서 이동 때문인지 판단할 수 있게 한다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 시스템에서 외부 파라미터 최적화는 서로 다른 센서들이 관측한 환경을 기하학적으로 일관된 표현(Geometrically Coherent Representation)으로 통합하는 기반을 구축한다. 정확한 변환을 통해 카메라 영상, 라이다 포인트 클라우드, 레이더 탐지값, IMU 움직임, 차량 상태를 서로 호환되는 좌표 프레임에서 해석할 수 있다. 정확한 타임스탬프 정렬과 결합된 이러한 공간 최적화(Spatial Optimization)는 타깃리스 캘리브레이션(Targetless Calibration), 온라인 캘리브레이션 모니터링(Online Calibration Monitoring), 성능 저하 감지(Degradation Detection), 센서 융합(Sensor Fusion), 위치추정(Localization), 인지(Perception), 신뢰성 높은 자율 운용(Reliable Autonomous Operation)을 위한 기반을 제공한다.

09.03. Targetless Calibration Method

타깃리스 캘리브레이션(Targetless Calibration)은 체커보드(Checkerboard), 반사형 타깃(Reflective Target), 캘리브레이션 보드(Calibration Board), 정밀하게 측량된 랜드마크(Precisely Surveyed Landmark)와 같은 전용 캘리브레이션 객체를 사용하지 않고 센서 사이의 공간적 관계를 추정한다. 대신 실제 운용 환경에 이미 존재하는 구조와 움직임을 활용한다. 이러한 방식은 특수한 캘리브레이션 시설을 구축하지 않고 자연 환경(Natural Scene)에서 캘리브레이션을 수행할 수 있기 때문에 로봇과 자율주행 차량에서 특히 유용하다.

핵심 원리는 서로 다른 센서가 독립적으로 관측하지만 동일한 물리적 환경에서 발생한 정보를 식별하는 것이다. 카메라(Camera)는 밝기(Intensity), 색상(Color), 에지(Edge), 의미론적 특징(Semantic Feature), 광학적 움직임(Optical Motion)을 제공하고, 라이다(LiDAR)는 3차원 기하 구조(Three-Dimensional Geometry)와 반사도(Reflectivity)를 제공한다. 레이더(Radar)는 거리(Range), 속도(Velocity), 희소 객체 응답(Sparse Object Response)을 제공하며, 관성 측정 장치(IMU)는 각속도(Angular Velocity)와 가속도(Acceleration)를 제공한다. 타깃리스 캘리브레이션은 이러한 이종 관측(Heterogeneous Observation) 사이의 일관성을 최대화하는 변환을 탐색한다.

타깃 기반 캘리브레이션(Target-Based Calibration)과 달리 명시적인 점 대 점 대응 관계(Point-to-Point Correspondence)를 항상 확보할 수 있는 것은 아니다. 카메라의 에지는 라이다 스캔의 깊이 불연속(Depth Discontinuity)에 대응할 수 있지만 정확한 픽셀과 포인트를 직접 연결하기는 어려울 수 있다. 따라서 타깃리스 방식은 에지 정렬(Edge Alignment), 표면 일관성(Surface Consistency), 상호 정보량(Mutual Information), 특징 유사도(Feature Similarity), 운동 일치(Motion Agreement), 의미론적 대응(Semantic Correspondence), 궤적 일관성(Trajectory Consistency)과 같은 상위 수준 관계로부터 잔차(Residual)를 구성하는 경우가 많다.

카메라-라이다(Camera--LiDAR) 타깃리스 캘리브레이션은 일반적으로 두 센싱 모달리티(Sensing Modality)에서 모두 관측되는 기하학적 경계(Geometric Boundary)를 활용한다. 현재 외부 파라미터 추정값(Extrinsic Estimate)을 이용하여 라이다 포인트를 카메라 좌표 프레임으로 변환한 후 영상에 투영할 수 있다. 최적화 과정에서는 깊이 불연속, 객체 윤곽(Object Contour), 표면 경계(Surface Boundary), 밝기 변화(Intensity Transition)가 대응되는 시각적 구조와 일치하는지를 평가한다. 이후 교차 모달 정렬(Cross-Modal Alignment)이 적절한 최적점에 도달할 때까지 외부 변환(Extrinsic Transformation)을 반복적으로 조정한다.

또 다른 접근법은 직접적인 영상 특징 대신 3차원 장면 기하 구조(Three-Dimensional Scene Geometry)를 이용한다. 평면(Plane), 선(Line), 코너(Corner), 기둥(Pole), 벽(Wall), 도로 표면(Road Surface), 건물 외벽(Building Façade)과 같은 지속적인 구조는 센서의 방향과 병진을 결정하기 위한 제약 조건을 제공할 수 있다. 서로 다른 관측 위치에서 반복적으로 측정하면 기하학적 다양성(Geometric Diversity)이 증가하고 하나의 장면에서 관측 가능성이 낮은 자유도(Degrees of Freedom)를 제한하는 데 도움이 된다. 일반적으로 풍부한 구조를 가진 환경은 특징이 부족한 공간보다 강한 캘리브레이션 정보를 제공한다.

정보 이론 기반 방법(Information-Theoretic Method)은 센서 측정값의 물리적 의미가 서로 달라 직접적인 특징 대응이 신뢰하기 어려운 경우 유용할 수 있다. 특정 라이다 포인트를 특정 카메라 픽셀에 직접 대응시키는 대신 캘리브레이션 과정에서 투영된 라이다 특성과 영상 특성 사이의 통계적 의존성(Statistical Dependence)을 측정한다. 상호 정보량 또는 관련 유사도 기준(Similarity Criterion)을 최적화 목적 함수로 사용할 수 있으며, 이러한 값이 최대가 되는 지점은 교차 모달 정렬이 향상되었음을 나타낸다.

운동 기반 타깃리스 캘리브레이션(Motion-Based Targetless Calibration)은 강체로 장착된 센서들이 서로 다른 방식으로 측정하더라도 동일한 플랫폼 움직임을 경험한다는 사실을 이용한다. 카메라 비주얼 오도메트리(Visual Odometry), 라이다 오도메트리(LiDAR Odometry), 레이더 오도메트리(Radar Odometry), 관성 센싱(Inertial Sensing)을 통해 추정한 상대 움직임을 연속된 시퀀스에서 비교할 수 있다. 알려지지 않은 외부 변환은 독립적으로 추정된 이러한 움직임을 기하학적으로 일관되게 만들어야 하므로 가시적인 물리적 캘리브레이션 타깃 없이 센서 간 캘리브레이션을 수행할 수 있다.

이러한 운동 관계는 핸드-아이 캘리브레이션(Hand--Eye Calibration)과 밀접하게 관련된다. 두 센서가 동일한 강체 플랫폼의 움직임을 관측한다면 여러 시간 구간에서 얻은 상대 변환을 이용하여 두 센서 좌표 프레임 사이의 고정 변환(Fixed Transformation)을 제한할 수 있다. 반복적인 직선 운동이나 거의 정지된 상태에서는 일부 파라미터의 관측 가능성이 낮아질 수 있으므로 다양한 회전 및 병진 여기(Rotational and Translational Excitation)가 중요하다. 따라서 캘리브레이션 궤적(Calibration Trajectory)은 방향과 위치의 충분히 유의미한 변화를 포함해야 한다.

타임스탬프 정렬(Timestamp Alignment)은 자연 환경의 대응 관계가 플랫폼이나 주변 환경이 움직이는 동안 획득되는 경우가 많기 때문에 타깃리스 캘리브레이션에서도 매우 중요하다. 시간 오프셋(Temporal Offset)은 시각적 에지와 라이다 기하 구조 사이의 위치를 어긋나게 하거나, 궤적 대응을 왜곡하거나, 레이더와 카메라 관측 사이의 불일치를 발생시킬 수 있다. 최적화기가 이러한 시간 오차를 외부 파라미터 변경으로 잘못 보상하면 수치적으로는 타당해 보이지만 물리적으로 잘못된 공간 변환이 생성될 수 있다.

동적 객체(Dynamic Object)는 또 다른 주요 과제를 발생시킨다. 차량, 보행자, 매니퓰레이터(Manipulator), 문, 기계 장치 또는 기타 움직이는 구조물은 서로 다른 시점의 관측값이 정적인 환경을 나타낸다는 가정을 위반한다. 따라서 타깃리스 방식은 가능한 경우 안정적인 배경 기하 구조(Stable Background Geometry)와 일시적인 움직임(Transient Motion)을 구분해야 한다. 의미론적 분할(Semantic Segmentation), 움직임 검출(Motion Detection), 추적(Tracking), 기하학적 일관성 검사(Geometric Consistency Test), 강건 추정(Robust Estimation)을 이용하여 동적 영역이 캘리브레이션 결과에 미치는 영향을 줄일 수 있다.

자연 환경에는 모호하고 반복적인 구조가 존재하기 때문에 이상치 처리(Outlier Handling)가 특히 중요하다. 잘못된 에지 대응, 부분 가림(Partial Occlusion), 반사 표면(Reflective Surface), 희소한 레이더 탐지, 식생(Vegetation), 그림자(Shadow), 약한 텍스처(Weak Texture)는 잘못된 잔차를 생성할 수 있다. 강건 손실 함수(Robust Loss Function)와 신뢰도 가중치(Confidence Weighting)를 사용하면 소수의 품질이 낮은 대응 관계가 최적화를 지배하는 것을 방지할 수 있다. 기하학적 또는 통계적 근거가 강한 측정값이 최종 추정에 더 큰 영향을 미치도록 해야 한다.

신뢰할 수 있는 타깃리스 절차는 일반적으로 적절한 초기 외부 파라미터 추정값(Initial Extrinsic Estimate)을 필요로 한다. 자연 환경 기반 목적 함수에는 여러 국소 최솟값(Local Minimum)이 존재할 수 있기 때문에 실제 변환에서 크게 벗어난 초기값으로 최적화를 시작하면 잘못된 정렬로 수렴할 수 있다. 기계적 설치 치수, CAD 데이터, 공장 캘리브레이션(Factory Calibration), 기존에 저장된 외부 파라미터를 초기 자세로 사용할 수 있다. 이후 타깃리스 최적화는 임의의 센서 방향에서 제한 없이 캘리브레이션을 수행하기보다는 기존 파라미터를 정밀하게 보정하는 메커니즘으로 동작한다.

다중 프레임 누적(Multi-Frame Accumulation)은 캘리브레이션 안정성을 크게 향상시킬 수 있다. 하나의 프레임에는 충분한 기하 구조가 없거나 가시성이 좋지 않을 수 있지만 여러 자세에서 수집된 관측값은 상호 보완적인 제약 조건을 제공한다. 캘리브레이션 시스템은 일정 시간 윈도(Time Window)에 걸쳐 잔차를 누적하고 전체 데이터셋에 대해 하나의 공통 외부 변환을 최적화할 수 있다. 이를 통해 특정 장면에 대한 의존성을 줄이고 일시적인 가림, 희소한 특징, 측정 노이즈에 대한 강건성을 높일 수 있다.

두 개 이상의 센서를 사용하는 경우 공동 최적화(Joint Optimization)가 유용하다. 카메라-라이다, 라이다-레이더, IMU-카메라를 각각 독립적으로 캘리브레이션하는 대신 센서를 캘리브레이션 그래프(Calibration Graph)의 노드(Node)로 표현하고 관측값을 센서 사이의 제약 조건으로 사용할 수 있다. 전체 그래프를 동시에 최적화하면 변환 일관성(Transformation Consistency)을 유지하면서 중복 정보를 활용할 수 있다. 폐쇄 변환 루프(Closed Transformation Loop)는 일관성이 없거나 제약이 약한 센서 관계를 탐지하기 위한 추가적인 근거를 제공한다.

최적화된 파라미터를 승인하기 전에 관측 가능성(Observability)을 평가해야 한다. 길고 평평한 복도, 특징이 부족한 도로, 정지된 플랫폼 또는 반복되는 평면 장면에서는 낮은 잔차가 나타나더라도 특정 병진 또는 회전 성분에 대한 불확실성이 클 수 있다. 파라미터 공분산(Parameter Covariance), 민감도 분석(Sensitivity Analysis), 헤시안 조건성(Hessian Conditioning), 서로 다른 데이터 구간을 이용한 반복 최적화, 여러 궤적 사이의 일관성을 이용하면 실제 환경에 필요한 변환을 결정하기에 충분한 정보가 존재했는지 평가할 수 있다.

가능하다면 검증(Validation)은 최적화에 사용된 관측 데이터와 분리하여 수행해야 한다. 새로운 장면에서 라이다 기하 구조를 카메라 영상에 투영하거나, 레이더와 비전(Vision) 사이의 객체 경계를 비교하거나, 포인트 클라우드 중첩(Point-Cloud Overlap) 또는 궤적 일관성을 평가하여 결과 변환을 검증할 수 있다. 성공적인 캘리브레이션은 하나의 캘리브레이션 시퀀스에서만 우수한 결과를 보이는 것이 아니라 서로 다른 거리, 방향, 속도, 조명 조건, 환경 구조, 플랫폼 움직임에서도 안정적인 성능을 유지해야 한다.

타깃리스 캘리브레이션은 전용 타깃 설치를 위해 운용을 중단하지 않고 일반적인 임무 데이터(Ordinary Mission Data)를 활용할 수 있기 때문에 현장 재캘리브레이션(Field Recalibration)과 장기간 로봇 운용(Long-Term Robotic Operation)에 특히 적합하다. 로봇은 주기적으로 적합한 관측값을 수집하고 충분한 캘리브레이션 정보가 존재하는지 평가한 후 필요할 경우 파라미터를 정밀하게 보정할 수 있다. 다만 열악한 환경 조건으로 인해 기존의 신뢰할 수 있는 캘리브레이션이 잘못 덮어써지는 것을 방지하기 위해 자동 갱신은 신뢰도 임계값(Confidence Threshold)과 검증 게이트(Validation Gate)로 보호되어야 한다.

캘리브레이션 결과에는 최적화된 변환 자체보다 더 많은 정보가 포함되어야 한다. 메타데이터(Metadata)에는 센서 식별 정보, 좌표 프레임, 타임스탬프 동기화 상태(Timestamp Synchronization Status), 환경 조건, 데이터셋 구간(Dataset Interval), 잔차 통계(Residual Statistics), 불확실성(Uncertainty), 관측 가능성 지표(Observability Indicator), 최적화 설정(Optimization Configuration), 유효성 상태(Validity Status)를 기록해야 한다. 이러한 정보를 유지하면 타깃리스 캘리브레이션의 추적성(Traceability)을 확보하고 이후 온라인 캘리브레이션 모니터링(Online Calibration Monitoring) 및 캘리브레이션 성능 저하 감지(Calibration Degradation Detection) 결과와 비교할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 시스템에서 타깃리스 캘리브레이션은 다중 센서 캘리브레이션을 통제된 유지보수 절차에서 실제 운용 능력(Operational Capability)으로 확장한다. 자연 환경의 기하 구조, 교차 모달 특징(Cross-Modal Feature), 공유된 움직임(Shared Motion), 시간적 일관성(Temporal Consistency), 중복 센서 관계(Redundant Sensor Relationship)를 활용함으로써 시스템은 전용 타깃에 지속적으로 의존하지 않고도 일관된 공간 모델(Coherent Spatial Model)을 유지할 수 있다. 타임스탬프 정렬과 외부 파라미터 최적화(Extrinsic Parameter Optimization)를 결합하면 확장 가능한 다중 센서 융합(Multi-Sensor Fusion), 위치추정(Localization), 인지(Perception), 자율 운용(Autonomous Operation)을 위한 중요한 기반을 제공한다.

09.04. Online Calibration Monitoring

온라인 캘리브레이션 모니터링(Online Calibration Monitoring)은 로봇이나 자율주행 차량이 운용되는 동안 기존에 캘리브레이션된 센서 관계가 여전히 유효한지를 지속적으로 평가한다. 작업장이나 생산 스테이션에서 주기적으로 수행하는 캘리브레이션과 달리 모니터링은 정상적인 센싱(Sensing)과 병행하여 실행되며 반드시 파라미터를 변경하지 않고도 캘리브레이션 건전성(Calibration Health)을 평가한다. 주요 목적은 센서 사이의 시간적 또는 공간적 관계가 불일치하기 시작하는 징후를 인지(Perception), 위치추정(Localization), 제어(Control)에 심각한 영향을 미치기 전에 탐지하는 것이다.

다중 센서 시스템(Multi-Sensor System)은 일반적으로 검증된 내부(Intrinsic), 외부(Extrinsic), 시간적(Temporal) 캘리브레이션 파라미터를 기반으로 운용을 시작한다. 이러한 파라미터는 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 관성 측정 장치(IMU), 위성항법시스템(GNSS), 로봇 또는 차량 좌표 프레임(Coordinate Frame) 사이의 예상 관계를 나타낸다. 온라인 모니터링은 검증된 캘리브레이션을 기준 상태(Reference State)로 설정하고 현재 관측값을 이 기준 상태로부터 생성된 예측값과 지속적으로 비교한다. 지속적인 불일치는 기존 캘리브레이션이 실제 센서 구성 상태를 더 이상 정확하게 나타내지 못한다는 것을 의미할 수 있다.

센서는 제조 단계에서 정확하게 캘리브레이션되었더라도 운용 중에 캘리브레이션 상태가 변할 수 있다. 기계적 충격(Mechanical Shock), 진동(Vibration), 열팽창(Thermal Expansion), 브래킷 변형(Bracket Deformation), 체결부 이완(Fastener Relaxation), 유지보수 작업(Maintenance Activity), 부품 교체(Component Replacement), 충돌(Collision), 장기적인 구조 노화(Structural Aging)는 센서 자세(Sensor Pose)를 변화시킬 수 있다. 또한 클록 드리프트(Clock Drift), 동기화 오류(Synchronization Fault), 펌웨어 업데이트(Firmware Update), 네트워크 부하(Network Loading), 처리 지연(Processing Latency)으로 시간 관계가 변할 수도 있다. 따라서 모니터링에서는 기하학적 요인과 시간적 요인에 의한 불일치를 모두 고려해야 한다.

모니터링 과정에서는 캘리브레이션 오차에 민감하게 반응하는 측정 가능한 지표(Measurable Indicator)를 사용한다. 카메라-라이다(Camera--LiDAR) 시스템에서는 영상 에지(Image Edge), 객체 경계(Object Boundary), 의미론적 구조(Semantic Structure)와 투영된 포인트 사이의 정렬 상태를 평가할 수 있다. 다중 라이다는 포인트 클라우드 중첩(Point-Cloud Overlap)과 표면 일관성(Surface Consistency)을 모니터링할 수 있으며, 레이더와 카메라는 객체 위치나 움직임을 비교할 수 있다. IMU 관계는 방향 및 궤적 일관성(Trajectory Consistency)을 통해 평가할 수 있다. 이러한 지표는 원시 센서 간 불일치를 지속적으로 평가할 수 있는 캘리브레이션 건전성 지표(Calibration-Health Metric)로 변환한다.

잔차(Residual)는 센서 간 일관성을 직접적으로 나타낸다. 캘리브레이션된 변환이 계속 유효하다면 잔차 분포(Residual Distribution)는 검증된 운용 상태에서 관측된 통계적 특성과 유사하게 유지되어야 한다. 평균 잔차, 분산(Variance), 방향성 편향(Directional Bias)이 점진적으로 증가한다면 캘리브레이션 드리프트(Calibration Drift)를 의미할 수 있으며, 갑작스러운 변화는 기계적 변위(Mechanical Displacement)나 동기화 실패(Synchronization Failure)를 나타낼 수 있다. 모니터링에서는 단순한 센서 노이즈나 환경적 모호성 때문에 발생할 수 있는 하나의 비정상 측정값에 반응하기보다 시간에 따른 잔차 변화 추세를 분석해야 한다.

온라인 모니터링은 캘리브레이션 문제와 환경 변화를 구분해야 한다. 동적 객체(Dynamic Object), 비, 안개, 먼지, 반사, 낮은 조도, 희소한 기하 구조(Sparse Geometry), 가림(Occlusion), 일시적인 센서 간섭(Sensor Interference)은 실제 캘리브레이션의 물리적 변화가 없어도 교차 모달 잔차(Cross-Modal Residual)를 증가시킬 수 있다. 따라서 강건한 시스템은 캘리브레이션 문제를 선언하기 전에 데이터 품질(Data Quality)과 환경 관측 가능성(Environmental Observability)을 평가한다. 관측 가능성이 낮은 장면의 측정값은 가중치를 낮추거나 제외하거나 신뢰할 수 있는 캘리브레이션 평가에 불충분한 데이터로 표시할 수 있다.

모든 운용 조건에서 동일한 수준으로 캘리브레이션을 평가할 수 있는 것은 아니므로 관측 가능성(Observability)은 특히 중요하다. 특징이 거의 없는 벽을 바라보며 정지한 로봇은 특정 병진 또는 회전 오차를 판단할 수 있는 정보가 부족할 수 있다. 반면 에지, 평면, 객체, 깊이 변화, 플랫폼 움직임을 포함하는 풍부한 장면은 더 강한 제약 조건을 제공한다. 따라서 온라인 모니터는 캘리브레이션 잔차와 함께 관측 가능성 또는 신뢰도(Confidence)를 유지해야 하며, 정보가 부족한 데이터에서 얻어진 낮은 잔차를 건전한 캘리브레이션의 증거로 잘못 판단해서는 안 된다.

시간적 모니터링(Temporal Monitoring)은 공간적 모니터링(Spatial Monitoring)을 보완한다. 플랫폼이나 관측 객체가 움직이는 상황에서 타임스탬프 오프셋(Timestamp Offset)은 기하학적 오차처럼 보이는 잔차를 발생시킬 수 있다. 시스템은 IMU, 카메라, 라이다, 레이더, 휠 오도메트리(Wheel Odometry), GNSS 사이의 운동 신호를 비교하여 시간적 대응 관계의 변화를 탐지할 수 있다. 잔차 크기가 차량 속도 또는 각속도(Angular Velocity)에 따라 체계적으로 증가한다면 고정된 공간 변위보다 타이밍 문제(Timing Problem)일 가능성이 높다. 이러한 구분을 통해 외부 캘리브레이션 문제를 잘못 진단하는 것을 방지할 수 있다.

캘리브레이션 건전성은 대부분의 개별 센서 측정값보다 느리게 변화하므로 통계적 필터링(Statistical Filtering)이 유용하다. 이동 평균(Moving Average), 슬라이딩 윈도 통계(Sliding-Window Statistics), 지수 가중 추정(Exponentially Weighted Estimate), 신뢰 구간(Confidence Interval), 변화 탐지(Change Detection) 기법을 이용하면 단기적인 노이즈를 억제하면서 지속적인 변화 추세를 유지할 수 있다. 모니터링 윈도는 일시적인 교란을 제거할 만큼 충분히 길어야 하지만 자율 기능이 저하되기 전에 의미 있는 변화를 탐지할 수 있을 만큼 짧아야 한다. 센서 쌍마다 갱신 주기와 노이즈 특성이 다르므로 서로 다른 모니터링 구간이 필요할 수 있다.

임계값 설계(Threshold Design)에서는 잔차 크기와 지속성을 모두 고려해야 한다. 예상 잔차는 거리, 움직임, 센서 해상도, 환경 구조, 운용 조건에 따라 달라지기 때문에 하나의 고정 임계값만 사용하는 것은 신뢰성이 떨어질 수 있다. 실제 모니터링에서는 정규화 잔차(Normalized Residual), 불확실성 인식 임계값(Uncertainty-Aware Threshold), 조건 의존적 한계값(Condition-Dependent Limit)을 사용할 수 있다. 작은 편차가 지속되면 관측을 강화하도록 경고 수준(Warning Level)을 설정하고, 크거나 빠르게 증가하는 편차에는 보다 강한 진단 또는 안전 대응을 수행하도록 고장 수준(Fault Level)을 별도로 설정할 수 있다.

캘리브레이션 건전성은 여러 독립적인 지표를 기반으로 한 신뢰도 점수(Confidence Score)로 표현할 수 있다. 기하학적 잔차, 시간적 일관성, 관측 가능성, 센서 진단(Sensor Diagnostics), 파라미터 불확실성(Parameter Uncertainty), 과거 변화 추세(Historical Trend)를 이 점수에 반영할 수 있다. 여러 지표를 결합하면 하나의 측정 모달리티에 대한 의존성을 줄일 수 있다. 최종 건전성 상태(Health State)는 유효(Valid), 불확실(Uncertain), 저하(Degraded), 무효(Invalid) 등으로 분류할 수 있으며, 상위 소프트웨어가 캘리브레이션을 단순히 정상 또는 비정상으로 처리하는 대신 적절한 운용 대응을 선택할 수 있게 한다.

잔차가 증가한다고 해서 모니터링 시스템이 자동으로 캘리브레이션 파라미터를 변경해서는 안 된다. 파라미터 적응(Parameter Adaptation)과 건전성 평가(Health Assessment)는 서로 다른 기능이다. 온라인 모니터는 먼저 캘리브레이션이 실제로 변화했다는 충분한 증거가 존재하는지 판단한다. 재캘리브레이션이 허용되는 경우 별도의 최적화 과정에서 타깃리스 캘리브레이션(Targetless Calibration) 또는 런타임 캘리브레이션(Runtime Calibration)을 이용하여 후보 파라미터(Candidate Parameter)를 추정할 수 있다. 후보 변환은 기존의 승인된 캘리브레이션을 대체하기 전에 신뢰도, 관측 가능성, 일관성, 검증 조건을 통과해야 한다.

이러한 분리는 제어되지 않은 온라인 최적화(Uncontrolled Online Optimization)로 인한 파라미터 드리프트(Parameter Drift)를 방지하기 위해 필수적이다. 일시적인 가림, 동적 교통 환경, 부족한 특징, 손상된 측정값으로 인해 캘리브레이션 알고리즘이 잘못된 해로 적응할 수 있기 때문이다. 보호된 갱신 메커니즘(Protected Update Mechanism)은 마지막으로 정상 확인된 캘리브레이션(Last Known-Good Calibration)을 유지하면서 후보 캘리브레이션을 독립적으로 계산하고 두 결과를 비교한 후 사전에 정의된 승인 기준(Acceptance Criteria)을 만족할 때만 갱신을 적용할 수 있다. 이후 모니터링에서 예상하지 못한 성능 저하가 발견될 경우 롤백 기능(Rollback Capability)이 추가적인 보호 수단을 제공한다.

센서 간 중복성(Cross-Sensor Redundancy)은 고장 분리(Fault Isolation) 능력을 향상시킨다. 여러 센서의 시야(Field of View)가 서로 중첩된다면 불일치 패턴을 이용하여 어떤 관계가 변화했는지 식별할 수 있다. 하나의 카메라가 서로 독립적으로 안정적인 두 개의 라이다와 모두 불일치하지만 라이다-라이다 관계는 정상적으로 유지된다면 카메라 장착 상태 또는 타이밍 경로(Timing Path)를 우선적으로 의심할 수 있다. 따라서 캘리브레이션 그래프(Calibration Graph)는 각각의 센서 쌍을 독립적으로 평가하는 대신 여러 변환 관계를 동시에 분석하여 문제를 진단할 수 있도록 한다.

온라인 캘리브레이션 모니터링은 전체 진단 및 안전 아키텍처(Diagnostic and Safety Architecture)와 연동되어야 한다. 중간 수준의 캘리브레이션 경고는 추가 관측을 요청하거나 재캘리브레이션 일정을 생성할 수 있으며, 심각한 오차가 발생하면 인지 소프트웨어가 해당 센서의 신뢰도를 낮추도록 할 수 있다. 안전 필수 기능(Safety-Critical Function)은 속도를 제한하고, 안전 마진(Safety Margin)을 증가시키고, 성능이 저하된 센서 융합 경로(Fusion Path)를 비활성화하거나 제어된 폴백 모드(Controlled Fallback Mode)로 전환할 수 있다. 적절한 대응 방식은 영향을 받은 센서, 캘리브레이션 불확실성, 운용 상황, 시스템 안전 요구사항에 따라 결정된다.

유지보수 또는 센서 교체 이후의 검증에도 모니터링 인프라(Monitoring Infrastructure)를 활용할 수 있다. 새롭게 설치된 부품이 이전 캘리브레이션을 그대로 유지한다고 가정하는 대신 시스템은 실시간 센서 간 관측값을 예상 관계와 비교하여 재캘리브레이션이 필요한지 판단할 수 있다. 저장된 기준 통계(Baseline Statistics)는 이러한 비교를 위한 유용한 참조 정보를 제공한다. 이 방식은 생산 캘리브레이션(Production Calibration), 현장 서비스(Field Service), 런타임 진단(Runtime Diagnostics), 장기 캘리브레이션 관리(Long-Term Calibration Management)를 하나의 공통 프레임워크로 연결한다.

캘리브레이션 모니터링 데이터는 엔지니어링 분석에 충분한 상황 정보(Context)와 함께 기록해야 한다. 유용한 기록에는 센서 식별 정보, 캘리브레이션 버전(Calibration Version), 좌표 프레임, 타임스탬프 동기화 상태(Timestamp Synchronization Status), 잔차 통계, 신뢰도와 관측 가능성 지표, 환경 조건, 탐지 이벤트(Detected Event), 후보 파라미터 변경, 검증 결과가 포함된다. 과거 변화 추세를 분석하면 갑작스러운 장착 상태 변화와 느린 기계적 또는 시간적 드리프트를 구분할 수 있으며, 캘리브레이션이 허용할 수 없는 수준에 도달하기 전에 예방 정비(Preventive Maintenance)를 수행할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 시스템에서 온라인 캘리브레이션 모니터링은 캘리브레이션을 일회성 설정 작업에서 지속적으로 감독되는 시스템 속성(Continuously Supervised System Property)으로 전환한다. 타임스탬프 정렬(Timestamp Alignment), 외부 파라미터 최적화(Extrinsic Parameter Optimization), 타깃리스 캘리브레이션은 센서 관계를 설정하고 정밀하게 보정하는 메커니즘을 제공하며, 온라인 모니터링은 이러한 관계가 실제 운용 중에도 신뢰할 수 있는지를 판단한다. 이러한 지속적인 감독(Continuous Supervision)은 캘리브레이션 성능 저하 감지(Calibration Degradation Detection)로 연결되는 기반을 제공하며 신뢰성 높은 다중 센서 융합(Multi-Sensor Fusion), 인지, 위치추정, 진단(Diagnostics), 자율 운용(Autonomous Operation)을 지원한다.

09.05. Calibration Degradation Detection

캘리브레이션 성능 저하 감지(Calibration Degradation Detection)는 이전에 검증된 센서 캘리브레이션이 다중 센서 시스템(Multi-Sensor System)의 정확도나 신뢰성을 위협할 정도로 저하되었는지를 판단한다. 이는 온라인 캘리브레이션 모니터링(Online Calibration Monitoring)을 지속적인 관찰에서 비정상 캘리브레이션 상태의 명시적 인식으로 확장한다. 목적은 단순히 잔차(Residual)의 변화를 관찰하는 것이 아니라 해당 변화가 진단(Diagnostic), 재캘리브레이션(Recalibration), 유지보수(Maintenance), 안전 조치(Safety Action)가 필요한 지속적인 공간적 또는 시간적 성능 저하를 의미하는지 판단하는 것이다.

성능 저하는 점진적 또는 갑작스러운 물리적 변화로 인해 발생할 수 있다. 장기간의 진동(Vibration), 열 사이클링(Thermal Cycling), 구조적 크리프(Structural Creep), 체결부 이완(Fastener Relaxation), 브래킷 피로(Bracket Fatigue), 오염(Contamination), 노화(Aging)는 센서 정렬을 서서히 변화시킬 수 있다. 충돌, 충격, 유지보수 작업, 센서 교체 또는 우발적인 접촉은 갑작스러운 변화를 발생시킬 수 있다. 또한 클록 드리프트(Clock Drift), 동기화 손실(Synchronization Loss), 통신 오류(Communication Fault), 펌웨어 변경(Firmware Change), 가변 처리 지연(Variable Processing Latency)으로 시간 캘리브레이션(Temporal Calibration)이 저하될 수도 있다.

성능 저하 감지기(Degradation Detector)는 일반적으로 검증된 캘리브레이션 기준선(Validated Calibration Baseline)에서 시작한다. 이 기준선에는 예상되는 외부 변환(Extrinsic Transformation), 시간적 관계(Temporal Relationship), 불확실성 추정(Uncertainty Estimate), 정상적인 운용 조건에서의 캘리브레이션 잔차 통계 특성이 포함된다. 현재 측정값을 이 기준과 지속적으로 비교하여 관측된 차이가 예상 변동 범위 내에 있는지 또는 캘리브레이션 상태가 검증된 운용 범위(Validated Operating Envelope)를 벗어났음을 나타내는지 평가한다.

센서 간 잔차(Cross-Sensor Residual)는 성능 저하를 판단하기 위한 중요한 근거를 제공한다. 카메라-라이다(Camera--LiDAR) 투영 오차, 라이다-라이다(LiDAR--LiDAR) 정합 오차, 레이더-카메라(Radar--Camera) 객체 불일치, IMU 궤적 불일치(IMU Trajectory Inconsistency), 기타 교차 모달 잔차(Cross-Modal Residual)는 공간 정렬의 변화를 나타낼 수 있다. 시간적 잔차(Temporal Residual)는 타임스탬프 또는 동기화 문제를 나타낼 수 있다. 하나의 잔차에만 의존하기보다 특정 고장 모드(Failure Mode)에 서로 다르게 반응하는 여러 독립 지표를 결합하는 것이 성능 저하 감지에 유리하다.

점진적인 성능 저하는 즉각적인 임계값 위반보다 지속적인 변화 추세(Persistent Trend)로 나타나는 경우가 많다. 예를 들어 진동으로 인해 카메라 브래킷이 서서히 회전하면 수 시간 또는 수일에 걸쳐 재투영 잔차(Reprojection Residual)가 증가할 수 있다. 클록 드리프트도 마찬가지로 시간 오프셋(Timing Offset)을 점진적으로 증가시킬 수 있다. 추세 추정(Trend Estimation), 이동 통계(Moving Statistics), 지수 가중 측정(Exponentially Weighted Measure), 누적 편차(Accumulated Deviation)를 이용하면 단순한 순간 임계값보다 이러한 변화를 조기에 탐지하여 예방 정비(Preventive Maintenance) 또는 제어된 재캘리브레이션을 위한 시간을 확보할 수 있다.

갑작스러운 성능 저하(Abrupt Degradation)는 다른 감지 대응을 필요로 한다. 기계적 충격(Mechanical Impact)은 센서 방향을 단계적으로 변화시킬 수 있으며, 동기화 오류는 타임스탬프 관계를 갑자기 이동시킬 수 있다. 변화점 감지(Change-Point Detection)를 이용하면 잔차 통계의 불연속적인 변화를 식별하고 이를 느린 드리프트(Slow Drift)와 구분할 수 있다. 영향을 받은 센서가 장애물 탐지, 위치추정, 내비게이션 또는 자율 동작에 직접적인 영향을 주는 기능에 사용된다면 신속한 감지가 특히 중요하다.

환경적 교란(Environmental Disturbance)은 실제 캘리브레이션 성능 저하와 구분해야 한다. 비, 안개, 먼지, 눈부심, 어둠, 반사 표면, 희소한 기하 구조(Sparse Geometry), 동적 교통 환경, 식생(Vegetation), 가림(Occlusion)은 일시적으로 센서 간 일관성을 감소시킬 수 있다. 모든 잔차 증가를 캘리브레이션 고장으로 해석하면 과도한 오경보(False Alarm)가 발생한다. 따라서 데이터 품질 지표(Data-Quality Indicator), 환경 상황(Environmental Context), 의미론적 필터링(Semantic Filtering), 강건 추정(Robust Estimation), 관측 가능성 평가(Observability Assessment)를 성능 저하 지표와 함께 사용해야 한다.

관측 가능성(Observability)은 현재 데이터가 성능 저하 판단을 뒷받침할 만큼 충분한 정보를 포함하고 있는지를 결정한다. 특징이 부족한 장면에서는 캘리브레이션이 실제로 변화했더라도 작은 요(Yaw) 또는 병진 오차(Translation Error)를 발견하지 못할 수 있다. 반대로 복잡한 기하 구조와 플랫폼 움직임은 오정렬(Misalignment)을 명확하게 드러낼 수 있다. 따라서 감지기는 각 성능 저하 추정값에 관측 가능성 또는 신뢰도(Confidence)를 함께 부여하고 현재 장면이 관련 캘리브레이션 파라미터를 충분히 제한하지 못한다면 강한 결론을 보류해야 한다.

공간적 성능 저하(Spatial Degradation)와 시간적 성능 저하(Temporal Degradation)는 유사한 증상을 만들 수 있으므로 가능한 한 구분해야 한다. 차량 회전 중 타임스탬프 오프셋(Timestamp Offset)은 카메라와 라이다 사이의 요 정렬 오차처럼 나타날 수 있으며, 병진 운동 중 네트워크 지연(Network Latency)은 종방향 변위(Longitudinal Displacement)처럼 보일 수 있다. 잔차를 속도(Velocity), 각속도(Angular Rate), 가속도(Acceleration)와 연관하여 분석하면 이러한 원인을 구분하는 데 도움이 된다. 움직임에 비례하여 증가하는 오차는 순수한 정적 외부 파라미터 변위보다 시간적 불일치의 증거일 가능성이 높다.

파라미터 수준 성능 저하 추정(Parameter-Level Degradation Estimation)은 하나의 건전성 점수(Health Score)보다 더 많은 진단 정보를 제공한다. 충분한 관측값이 확보된다면 시스템은 검증된 기준선에 비해 롤(Roll), 피치(Pitch), 요(Yaw), x·y·z 병진, 타임스탬프 오프셋, 클록 속도(Clock Rate) 파라미터가 변화했는지 추정할 수 있다. 일부 자유도(Degrees of Freedom)의 관측 가능성이 낮을 수 있으므로 이러한 추정값에는 신뢰 구간(Confidence Interval)이 함께 제공되어야 한다. 이를 통해 문제의 기계적 또는 동기화 관련 원인을 보다 구체적으로 식별할 수 있다.

통계적 가설 검정(Statistical Hypothesis Testing)은 성능 저하 판단을 위한 체계적인 프레임워크를 제공한다. 정상 가설(Normal Hypothesis)은 검증된 기준선과 일치하는 캘리브레이션 동작을 나타내며, 대립 가설(Alternative Hypothesis)은 의미 있는 변화를 나타낸다. 잔차 분포, 파라미터 편차(Parameter Deviation), 공분산(Covariance), 지속성(Persistence), 신뢰도를 이용하여 근거를 평가할 수 있다. 이러한 접근법은 하나의 노이즈 측정만으로 성능 저하를 선언하는 것을 방지하고 예상되는 캘리브레이션 불확실성과 감지 임계값을 연계할 수 있도록 한다.

모든 편차에 동일한 대응이 필요한 것은 아니므로 여러 심각도 수준(Severity Level)을 사용하는 것이 유용하다. 작지만 지속적인 변화는 초기 성능 저하(Early Degradation)로 분류하여 강화된 모니터링을 수행할 수 있다. 더 큰 편차는 재캘리브레이션이나 유지보수를 요구할 수 있으며, 심각한 변화는 캘리브레이션을 무효(Invalid) 상태로 분류할 수 있다. 경고(Warning), 성능 저하(Degraded), 위험(Critical) 상태를 구분하면 자율 시스템이 정상 운용에서 즉시 센서 전체를 배제하는 대신 문제의 심각도에 비례하여 대응할 수 있다.

센서 중복성(Sensor Redundancy)은 고장 위치 식별(Fault Localization)을 지원한다. 예를 들어 카메라-라이다와 카메라-레이더 일관성이 동시에 저하되지만 라이다-레이더 정렬은 안정적으로 유지된다면 두 개의 독립 센서보다 카메라 또는 카메라의 타이밍 경로(Timing Path)에 문제가 있을 가능성이 높다. 캘리브레이션 그래프(Calibration Graph)는 여러 센서 관계의 잔차 변화를 분석하여 이러한 추론을 체계화할 수 있다. 따라서 중복 제약(Redundant Constraint)은 단일 센서 캘리브레이션 고장과 광범위한 시스템 수준 동기화 또는 구조 문제를 구분하는 데 도움이 된다.

감지 과정에서는 센서 진단(Sensor Diagnostics) 및 시스템 이벤트(System Event)와의 일관성도 고려해야 한다. 유지보수, 부품 교체, 충격 감지(Impact Detection), 극단적인 온도 변화(Thermal Excursion), 동기화 리셋(Synchronization Reset) 직후 발생한 성능 저하 이벤트는 단독으로 발생한 잔차 증가보다 더 강한 진단적 맥락을 제공한다. 캘리브레이션 증거를 진단 고장 정보(Diagnostic Trouble Information), 온도, 진동, 네트워크 상태, 유지보수 이력, 소프트웨어 구성과 결합하면 근본 원인 식별(Root-Cause Identification)의 정확성을 크게 높일 수 있다.

성능 저하가 감지되면 시스템은 재캘리브레이션을 수행하는 것이 기술적으로 타당한지 판단해야 한다. 타깃리스 캘리브레이션(Targetless Calibration) 또는 런타임 외부 파라미터 최적화(Runtime Extrinsic Optimization)를 이용하여 정상 운용 데이터에서 후보 파라미터(Candidate Parameter)를 추정할 수 있지만, 관측 가능성과 데이터 품질이 충분한 경우에만 재캘리브레이션을 진행해야 한다. 후보 해(Candidate Solution)는 마지막 정상 캘리브레이션(Last Known-Good Calibration)과 비교하고 독립적으로 검증한 이후 활성화해야 한다. 이러한 보호 절차가 없는 자동 파라미터 변경은 일시적인 교란을 지속적인 캘리브레이션 오류로 전환할 수 있다.

안전 대응(Safety Response)은 성능 저하의 심각도와 영향을 받는 센서의 역할에 따라 달라진다. 경미한 성능 저하는 신뢰도를 낮추거나 정비 일정을 생성하는 정도로 대응할 수 있지만, 중간 수준의 성능 저하는 인지 마진(Perception Margin)을 증가시키거나 속도를 제한하거나 특정 센서 융합 관계(Fusion Relationship)를 비활성화할 수 있다. 심각한 성능 저하는 폴백 운용 모드(Fallback Operating Mode) 또는 제어된 정지(Controlled Stop)를 요구할 수 있다. 따라서 캘리브레이션 상태는 캘리브레이션 하위 시스템 내부에만 머무르지 않고 인지, 위치추정, 진단, 모션 계획(Motion Planning), 안전 감독(Safety Supervision)에 제공되어야 한다.

성능 저하 이력(Degradation History)은 추적성(Traceability)과 예측 정비(Predictive Maintenance)를 위해 보존해야 한다. 기록에는 캘리브레이션 버전(Calibration Version), 센서 식별 정보, 잔차 통계, 추정 파라미터 변화, 타임스탬프 상태, 신뢰도, 관측 가능성, 환경 조건, 감지된 변화점(Detected Change Point), 진단 이벤트, 재캘리브레이션 시도, 최종 검증 결과가 포함될 수 있다. 장기적인 추세를 분석하면 반복되는 기계적 취약성, 온도 민감성, 장착 불안정성(Mounting Instability), 동기화 문제를 발견하여 하드웨어 또는 시스템 아키텍처 개선으로 연결할 수 있다.

승인 및 복구 로직(Acceptance and Recovery Logic)은 고장 감지만큼 중요하다. 재캘리브레이션이나 유지보수 이후 시스템은 완전한 신뢰 상태를 복원하기 전에 잔차와 파라미터 추정값이 검증된 영역(Validated Region)으로 복귀했음을 입증해야 한다. 일반적으로 하나의 양호한 측정값보다 일정 시간 동안 지속되는 정상 근거가 복구 조건으로 요구되어야 한다. 성능 저하와 복구 임계값 사이에 히스테리시스(Hysteresis)를 적용하면 측정값이 판단 경계 근처에서 변동할 때 정상과 성능 저하 상태 사이를 반복적으로 전환하는 현상을 방지할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 플랫폼에서 캘리브레이션 성능 저하 감지는 타임스탬프 정렬(Timestamp Alignment), 외부 파라미터 최적화(Extrinsic Parameter Optimization), 타깃리스 캘리브레이션, 온라인 모니터링으로 이어지는 다중 센서 캘리브레이션 수명주기(Multi-Sensor Calibration Lifecycle)를 완성한다. 이는 캘리브레이션 건전성 정보를 드리프트, 변위 또는 동기화 실패에 대한 실행 가능한 판단(Actionable Recognition)으로 전환한다. 잔차 분석, 관측 가능성, 불확실성, 시간적 변화, 중복성, 진단, 검증을 결합함으로써 시스템은 장기간의 자율 운용(Long-Term Autonomous Operation) 동안 신뢰할 수 있는 센서 관계를 유지할 수 있다.

저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

DEV Community