부품마다 기준점 5개 이상 지정…5초간 일치하지 않으면 미확인 표시
핵심 요약
- 데브 커뮤니티에 소개된 카메라 기반 기계 모니터링은 광학 흐름과 잡음 비교로 부품의 이동을 판별한다. 가동·유휴 시간과 정지 이력을 산출하지만 가림과 닮은 부품에는 한계가 있다.
카메라 영상에서 기계 부품을 개별 추적해 교대 근무별 가동·유휴 시간과 시간당 왕복 동작 횟수를 산출하는 방법이 데브 커뮤니티(Dev Community)에 소개됐다. 부품별 학습 이미지 없이 사람이 지정한 상자와 기준점으로 위치를 측정하고, 영상 잡음과 실제 움직임을 구분하는 방식이다.
일반적인 동작 감지는 정지 상태의 영상과 새 프레임의 픽셀 차이를 찾는다. 조명 변화나 그림자, 지나가는 지게차에도 반응하며, 같은 영역에 있는 두 부품의 움직임을 구별하지 못한다. 라벨을 붙인 이미지로 학습한 검출기와 추적기를 결합하면 학습한 종류의 물체를 추적할 수 있지만, 기계마다 다른 부품의 학습 자료를 확보해야 한다. 글에서 설명한 부품 추적기는 일반 컴퓨터에서 작동하며, 부품별 위치와 이동 시작·종료 시점, 이동량을 측정한다.
설정할 때는 카메라의 한 프레임에서 부품을 상자로 둘러싸고 기준점을 5개 이상 선택한다. 브래킷 모서리나 볼트 머리처럼 두 방향으로 무늬가 구분되는 지점이 필요하며, 선택 도구는 클릭 위치를 이런 특징이 있는 인접 지점으로 보정한다. 소개된 기계에서는 헤드마다 8~15개 점을 사용했다. 매끈한 도장면이나 곧은 가장자리는 점의 이동을 구분하기 어렵다. 강체의 위치와 각도는 원리상 두 점으로 정할 수 있지만, 영상에서는 작은 위치 오차가 큰 각도 오차로 이어져 최소 4개 점이 남아 있을 때만 각도를 측정한다. 처음 지정한 프레임을 기준 영상으로 보관하고 다른 시간대나 레일 위치에서 촬영한 모습도 추가할 수 있다.
프레임 사이의 점 이동은 Lucas-Kanade 광학 흐름으로 계산한다. 점 주변의 픽셀 무늬가 이전 프레임과 가장 잘 맞는 위치를 찾되, 큰 이동도 작은 이동처럼 보이도록 축소 영상에서 먼저 계산한 뒤 원래 영상에서 정밀하게 조정한다. 각 점을 새 프레임에서 이전 프레임으로 역추적했을 때 시작 위치의 0.5픽셀 이내로 돌아오지 않으면 해당 프레임의 계산에서 제외한다. 남은 점을 하나의 강체로 맞춰 이동과 회전을 구하고, 배경으로 미끄러지거나 가려져 다른 점과 어긋난 점은 나머지 점이 가리키는 위치로 되돌린다. 상자는 크기를 유지한 채 부품과 함께 회전하며, 상자 중심을 위치로 측정한다.
매 프레임의 평균 이동량으로 상자를 옮기면 오차가 누적될 수 있어, 모든 점을 처음 지정한 프레임에 맞춰 계산한다. 점 추적만으로는 실제로 같은 부품을 따라가는지 알 수 없으므로 상자 내부 영상을 기준 영상들과 매 프레임 비교한다. 일치하는 모습이 없으면 영상에서 부품을 다시 찾고, 5초 동안 일치하지 않으면 부품을 미확인 상태로 표시한 뒤 검색으로 찾은 위치로 상자를 옮긴다.
움직임 판정에는 프레임별 이동을 누적해 측정 잡음과 비교하는 방식을 쓴다. 정지한 부품도 영상 잡음과 조명, 압축 때문에 위치가 프레임마다 수백분의 1픽셀씩 흔들릴 수 있다. 방향이 바뀌는 잡음의 누적값은 프레임 수의 제곱근에 비례해 느리게 커지지만, 같은 방향의 실제 이동은 프레임 수에 비례해 커진다. 누적 이동이 같은 프레임 수에서 잡음만으로 예상되는 산포의 4배를 넘으면 움직임으로 판정해 느린 이동도 감지한다. 잡음 수준은 같은 부품에 속한 점들의 불일치 정도로 계속 측정한다. 최근 2초간 이동이 잡음만으로 설명할 수 있는 범위에 머물면 동작이 끝난 것으로 본다.
잡음이 매우 작으면 미세한 흔들림도 동작으로 기록될 수 있다. 이를 줄이기 위해 부품이 분석 영상에서 출발 위치로부터 가장 멀리 떨어진 지점까지 2픽셀 이동해야 동작으로 집계한다. 나갔다가 원위치로 돌아오는 동작도 이 기준에 포함되며, 소개된 헤드의 실제 왕복 동작 이동량은 60~100픽셀이다. 측정 단위는 영상의 픽셀이며, 밀리미터로 바꾸려면 카메라와 기계 사이 거리 및 렌즈 정보가 필요하다. 이 글에서는 실제 길이로 환산하지 않았다.
추적 결과를 검증할 때는 추적기 자체의 출력만 믿지 않고 독립적인 기준과 비교한다. 작성자 측은 추적기의 규칙을 쓰지 않는 별도의 단순한 방식으로 각 프레임의 부품을 추적하고, 불확실한 프레임을 제외했다. 사람은 부품별로 정지 상태, 이동 폭이 큰 구간, 동작 시작 지점 등 오류 가능성이 높은 일부 프레임을 눈으로 확인한다. 헤드 영역 안에서 픽셀이 변한 위치도 별도로 측정해, 헤드가 움직이는데 상자는 정지했다고 보고하는 상황을 확인한다. 시스템이 불확실성을 알리는지, 비슷한 기계에서 독립적인 기준으로 검증했는지, 보지 못하는 상황을 어떻게 알리는지가 점검 항목이다.
카메라에는 시야와 영상 품질의 한계가 있다. 두 프레임 사이의 이동이 광학 흐름의 추적 범위를 넘으면 부품을 잠시 놓쳐 다시 찾아야 한다. 다른 물체에 가려진 동안에는 움직임을 확인할 수 없고, 같은 레일에 있는 동일한 헤드처럼 닮은 부품을 혼동할 수도 있다. 저조도나 해질 무렵, 야간에는 식별이 더 어려워진다. 화면 밖의 크레인 작업이나 자재 부족으로 기계가 멈추면 정지는 기록하지만 원인까지 알 수는 없다.
추적한 동작의 시작·종료·이동량을 교대 근무 단위로 합산하면 부품별 가동·유휴 시간과 시간당 왕복 동작 횟수를 얻는다. 정지 이력에는 발생 시각과 지속 시간, 당시 영상 클립을 남기며, 이를 바탕으로 가동률과 OEE(종합설비효율) 산출로 이어진다. 글은 공장 생산량을 좌우하는 병목 기계 한 대부터 관찰해 시간이 어디에 쓰이는지 파악하고 우선 개선할 정지를 찾는 접근을 제시했다. 개선의 가치는 해당 기계의 시간당 비용에 따라 달라진다.
