[Kinect - Lab Meeting] 스텔레톤 추출 - 2021.08.04.수

원래 7월 27일 화요일과 8월 3일 화요일에 각각 한 번씩 랩미팅을 했어야 하는데, 교수님이 바쁘시고 이런 저런 사정으로 이틀치를 8월 4일 수요일에 한 번에 하게 되었다. 준비 시간이 길어지긴 했지만 앞에 했던 내용이 가물가물해서 내 이해가 부족했다는 걸 깨달았다.

 

1

이번 랩미팅에서는 스켈레톤 정보를 추출하는 방법에 대해서 공부하고 발표하였다.

2

이 페이지에 다음부터는 논문 발행처?도 함께 적어달라고 하셨다.

3

1~4번이 원래 7월 27일 화요일에 발표하려던 내용이고, 5~6번이 8월 3일 화요일에 발표하기 위해 추가한 내용이다. 스켈레톤 정보를 추출하는 방법을 검색하다가 발견한 스켈레톤 트래킹과 OpenPose, Human skeleton detection 등에 대해 공부하였다. 이번에도 마찬가지로 발표를 하면서 공부가 부족하다는 걸 느꼈다.

4

첫 번째 내용이 스켈레톤 트래킹인데, 사실 이 내용에 대해 이해하지 못했다. 피피티 슬라이드를 만들 때까지만 해도 대충 겉핥기식으로 설명하고 넘어가면 될 거 같은 내용이라고 생각했다. 그런데 막상 내가 설명을 하려고 하니 전혀 이해를 못하고 있었고, 이 부분에 대해서 더 공부가 필요할 거 같다.

5

스켈레톤을 추출하는 방법은 아니고, 스켈레톤 정보를 이용해서 사람의 포즈를 추정하는 프로그램?인 OpenPose에 대해서 공부를 해봤다. OpenPose는 CPM(Convolutional Pose Machine)을 이용해서 관절의 위치를 추정하고, PAF(Part Affinity Fields)를 이용하여 관절들의 연결을 계산한다. CPM과 PAF의 내용을 알면 스켈레톤을 추정하는 방법에 대해 더 자세히 알 수 있을 것 같아 그 부분에 대해서도 공부를 했다.

6

CPM은 CNN을 이용해 관절의 위치를 파악한다. 각 신체부위에 대한 신뢰맵을 단계적으로 생성하여, 이전 단계보다 정확한 위치를 추정해낸다. 이전 단계에서 예측된 신체부위 좌표를 토대로 다시 예측을 하면서 관절의 위치에 대한 정확도가 높아지는 것이다. 단계가 진행될수록 탐지 영역이 넓어지고, 탐지 영역이 넓어지면서 정확도가 높아진다고 하는데, 이 부분에서 이해를 잘못한 것 같다. 다시 공부가 필요할 것 같다.

7

앞에서 설명한 CPM을 이용해 관절의 위치를 파악한 뒤, 각 관절 중 어떤 관절끼리 연결되어야 하는지를 PAF를 이용해 판단한다. 한 이미지에 여러 사람이 있을 경우, 다른 사람의 관절과 연결되는 문제가 발생할 수 있다. 이러한 문제를 해결하기 위해 관절을 추가하는 방법을 사용하기도 했지만, 여전히 완벽히 해결되지 않았다. 이러한 문제를 해결하는 방법이 바로 관절끼리의 관계성을 추정하는 PAF 방식이다.

8

이것은 또 다른 스켈레톤 정보 추정 방식이다. Human Skeleton Detection을 이용하여 사람이라는 객체를 탐지 후 추출하고, 미리 훈련된 모델을 이용해 키 포인트를 생성하는 것이다. 여기서 미리 훈련된 모델의 내용을 알면 스켈레톤을 추출하는 방법에 대해서도 알 수 있을 것 같아 공부를 해보았다.

9

VGG-19라는 CNN 계층을 이용하여 이미지의 특징을 추출하고, CNN으로 신체 부위와 PAF까지 탐색하게 된다. 이 내용을 이해하기 위해서는 CNN의 개념을 알아야 할 것 같아 CNN에 대해서도 공부를 해보았다.

10

CNN이란 합성곱을 이용해 이미지를 학습 및 분석하는 신경망이다. CNN에 대해 이해하기 위해 퍼셉트론과 신경망의 개념에 대해서도 공부를 해보았는데, 퍼셉트론이란 여러 입력값에 대해 가중치를 주어 출력값을 내보내도록 하는 것이다. 신경망은 퍼셉트론에 은닉층이 추가된 버전이라고 이해를 했는데, 교수님께서 퍼셉트론과 신경망을 같은 개념으로 보는게 맞을 것 같다고 하셨다.

 

<느낀 점>

공부를 얕게 하니까 이해가 부족하다는 게 느껴진다. 다음 랩미팅에서는 퍼셉트론, 신경망, CNN에 대해 더 공부하고, 다시 CPM의 내용을 이해해 보아야겠다.

 

▼ 논문 관련 게시글

[Kinect - 논문 공부] Kinect를 이용한 손 제스처 인식 관련 연구 논문