2020봄학기 AI 연구원 콜로퀴움 시리즈 – Human Pose Estimation

강의 : 2020봄학기 AI 연구원 콜로퀴움 시리즈
주제 : Human Pose Estimation 기술의 발전과 미래
연사 : 서울대 대학원 협동과정 인공지능전공, 이경무 교수

Human Body : 244 Joints // 10 Major Parts // Special Part Models (like ‘Hand’)
Applications : HCI, AR/VR // 자율주행 // 로봇 // 게임 // 의료(재활) // 스포츠 // 감시

연구 동향 : 약 18,000 편 / 2.5 년

어려운 점 :
1) Self and External Occlusion
2) Foreshotening( 단축효과) => Arms * Legs
3) Varying Illumination
4) Clothing Variations
5) Motion Blur

접근방법 :
1) Marker : 특수 마커부착, Motion Capture System
단점 : 특수장비 사용, 고 비용 (몇만~몇십만 $)
2) Markerless

Markerless Human Pose Estimation Types :

1) 2D Pose vs 3D Pose
2) Single Person vs Multi Person
※ Multi Person and 3D Pose => Still not mature

“딥러닝 이전” 기법들 :

  • Pictorial Structure => Part + Spring
  • Mixture of Parts
  • Depth 기반 => Microsoft Kinect XBox (Random Decision Tree), Jamie Shotton et al, “Real-Time Human Pose Recognition in Parts from Single Depth Images”

“딥러닝 이후” 기법들:

  • Deep Pose => A. Toshev et al, “DeepPose: Human Pose Estimation via Deep Neural Networks”, 2014 CVPR
  • Heatmap => J. Tompson et al, “Efficient Object Localization Using Convolutional Networks”, 2015 CVPR
    DeepPose 대비 1.5 배 가량 성능 향상
  • Context, Receptive Field, 신체 구조 정보의 활용
    => S. E. Wei et al, “Convolutional Pose Machines”, 2016 CVPR
    => A. Newell et al, “Stacked Hourglass Networks for Human Pose Estimation”, 2016 ECCV
  • Multi-Person 2D Pose
    => Z. Cao et al, “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, 2017 CVPR
    => Y. Cai et al, “Learning Delicate Local Representations for Multi-Person Pose Estimation” (SOTA of 2D Multi-person)
  • Refinement 기법
    => PoseFix, G. Moon et al, “PoseFix: Model-agnostic General Human Pose Refinement Network”, 2019 CVPR
  • 3D Human Pose
    => G. Moon et al. “V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map”, 2018 CVPR
  • RGB 2D -> 3D Pose
    => G. Moon et al. “Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image”
  • 3D Shape & Pose => Full body Reconstruction
    => Parametric Human 모델 (SMPL)
    => I2L-MeshNet

“Start-Up”s :
1) 재활의학
2) Home Training
3) Sports
4) Surveilance

“향후 연구 과제” :
1) 행동 인식 및 예측
2) 원거리, 극한상황
3) 3D Pose 생성 및 전이문제
4) 실시간 엣지 컴퓨팅
5) 대용량 실제 데이터 셋 확보
6) 다양한 사회문제 & 새로운 비지니스

Leave a Comment