# Human Pose Estimation with mediapipe

## Запуск

Для вебкамеры, где 0 - индекс самой вебкамеры, если отличается, то следует заменить на нужный.
```console
python3 hpe_videocapture.py 0 scale_pose
```

Для чтения из файла
```console
python3 hpe_videocapture.py path_to_video scale_pose
```

Параметр scale_pose - ширина плеч. По умолчанию равен 0,42.

Есть экспериментальная версия для взаимодействия с ffmpeg и osc:
```console
python3 hpe_ffmpeg.py 
```
Внутри кода записаны параметры для osc соединения:
* osc_address = "10.199.0.14"
* osc_port = 5005

Предполагается вывести выше указанные параметры либо в аргументы, либо в конфиг-файл.

## Зависимости

Библиотеки python:
* mediapipe
* numpy
* matplotlib (можно сделать опциональной)
* opencv-python
* json
* python-osc (в файле hpe_ffmpeg.py)

Библиотека mediapipe требует cudatoolkit и cudnn для работы с gpu.

## Интерфейс для hpe_videocapture

Для разовой отрисовки точек в 3D с помощью matplotlib необходимо нажать клавишу 'm'.

Чтобы записать сконвертированные данные в модель UE4 в файл 'hierarchy_data.json', нужно нажать клавишу 'j'.

Для закрытия программы нужно нажать клавишу 'esc'.

## Требования к постановке эксперимента

* Человек в кадре должен быть один.
* Камера примерно должна быть под углом 90 градусов.
* Человек должен входить в кадр целиком.
* Желательно, чтобы у одежда на человеке были хорошо видны контуры. 

## Сборка на Windows

В разработке

## Config file

В разработке.

Предположительные переменные.

Параметры класса hpe_mp_class из hpe_mp_class.py:
* hands_static_image_mode = False
* hands_max_num_hands = 2
* hands_min_detection_confidence = 0.7
* hands_min_tracking_confidence = 0.5
* pose_static_image_mode = False
* pose_upper_body_only = False
* pose_smooth_landmarks = True
* pose_min_detection_confidence = 0.7
* pose_min_tracking_confidence = 0.5
* hol_static_image_mode = False
* hol_upper_body_only = False
* hol_smooth_landmarks = True
* hol_min_detection_confidence = 0.7
* hol_min_tracking_confidence = 0.5

Физические параметры человека (ширина плеч в метрах):
* scale_pose = 0,42