Wi-Fi как камера: три платы ESP32 за $30 и 80% точности

Что в ролике
Если вам интересно, можно ли превратить обычный Wi-Fi в датчик движения, автор показывает это на практике: три дешёвые платы ESP32-S3 за 30 долларов распознают, сидит человек, стоит, ходит или делает приседания, не используя камеру. В основе лежит open-source проект Ruview, который анализирует CSI — channel state information, то есть изменения сигнала Wi-Fi при отражении от тела и предметов. Автор купил три платы ESP32-S3, прошил их прошивкой Ruview и доработал так, чтобы платы слушали не только роутер, но и друг друга, получив девять сенсорных линий вместо трёх. Модель он обучал по методу «камера-учитель»: веб-камера через Google MediaPipe распознавала позы, а модель училась предсказывать их только по данным Wi-Fi. На сбор обучающих данных ушло около 9 минут прыжков, приседаний и перемещений, после чего в отдельной тестовой сессии точность составила 79,5% на восьми движениях. Лучше всего распознавались прыжки (97%), сидение (93%) и вращение (92%), хуже всего — махание рукой (13%), а наличие человека в комнате определялось в 96% случаев. Автор отмечает, что технология вызывает вопросы приватности: сигнал проходит сквозь стены, и дешёвая плата за стеной может выдать, дома ли вы и когда спите. При этом тест ограничен одним человеком и одной комнатой, и при переносе платы или появлении другого человека модель, скорее всего, придётся переобучать.
Практика
- Что получишь
- Поймёте, как работает Wi-Fi sensing, и сможете собрать дома установку из трёх ESP32-S3, которая распознаёт движения без камеры с точностью около 80%.
- Первый шаг
- Скачать open-source проект Ruview с GitHub и прошить три платы ESP32-S3 его прошивкой, добавив подсветку и взаимное прослушивание плат.
- Цифры
- —79,5% — точность распознавания восьми движений в отдельной живой сессии после обучения
- —$30 — суммарная стоимость трёх плат ESP32-S3
- —9 — число сенсорных линий после того, как платы стали слушать сигналы друг друга
- —11% — точность модели Ruview на комнате, которую она не видела при обучении
- Честно
- Ролик не продвигает платный продукт: код выложен на GitHub, автор лишь просит лайк и подписку на канал Better Stack. Для повторения придётся самостоятельно прошивать платы и обучать модель, а все результаты получены в одной комнате на одном человеке — при переносе платы или появлении другого человека модель потребуется переобучать.
Если слова незнакомы — 3 терминов
- CSIchannel state information — числа, описывающие, как сигнал Wi-Fi ослаб и сдвинулся по частоте, отражаясь от стен и тела
- прошивкапрограмма, которую записывают в память микроконтроллера, чтобы он выполнял нужные задачи
- pose detectionраспознавание позы человека по видео, здесь выполняется библиотекой Google MediaPipe
Компоненты
3 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.82 · источник