Le MIT Computer Science and Artificial Intelligence Laboratory (” CSAIL “) a trouvé comment utiliser l’apprentissage profond pour isoler automatiquement des instruments individuels d’un morceau de vidéo musicale. Appelé PixelPlayer, ce système intelligent est autorégulé dans sa capacité à identifier les sons de plus de 20 instruments différents, bien qu’il puisse avoir des difficultés à différencier les différentes sous-classes d’un même instrument.
Selon les chercheurs :
Citation :
PixelPlayer est un système d’apprentissage en profondeur qui peut analyser une vidéo d’une performance musicale et isoler les sons d’instruments spécifiques et les rendre plus forts ou plus doux. Il utilise des méthodes d’apprentissage profond, c’est-à-dire qu’il trouve des modèles dans les données en utilisant des “réseaux de neurones” qui ont été formés sur des vidéos existantes. En particulier, un réseau neuronal analyse les visuels de la vidéo, un autre analyse l’audio, et un troisième “synthétiseur” associe des pixels spécifiques à des ondes sonores spécifiques pour séparer les différents sons.
L’étude en prépublication sur arXiv : The Sound of Pixels et présentée sur le site du CSAIL.
_________________ [Vous devez être inscrit et connecté pour voir cette image] le.cricket vous salue bien !
Un système d’apprentissage profond qui isole individuellement les instruments d’une vidéo musicale ! By Gurumed.org