Все проекты

Beat Analyser

На входе аудио, на выходе события ритма и нот с привязкой ко времени

Выпущено

Лицензия
MIT

Загрузите файл MP3, WAV, FLAC, OGG или M4A либо ссылку на YouTube. На выходе будет ZIP с одним CSV на каждую дорожку: бочка, малый барабан, хай-хэт, доли, бас, аккорды и мелодия, а также определённые темп и тональность. Создан, чтобы передавать игровым движкам и процедурной музыке дискретные события вместо необработанного аудио.

Как это работает

  • Ритм определяет расширение на Rust: начала звуков, классы ударных, темп и сетка долей.
  • Ноты определяет модель basic-pitch, работающая на ONNX Runtime.
  • Каждая строка CSV — это время в секундах и метка, готовые к загрузке в игру или секвенсор.

Пример

$ docker pull levialabs/beat-analyser
docker run --rm -p 127.0.0.1:80:8000 levialabs/beat-analyser
# Web UI on http://localhost