Нейросеть Stable Diffusion именита многим. Она разрешает генерировать стереоизображения по текстовому описанию. Но, как угодило, с её подмогой можно также основывать и музыку. Сущность в том, что система может основывать аудиоспектрограммы — визуальные стереоизображения звуковых частот в треке. После этого нужно лишь «отразить» обретенный звук. В спектрограмме (или сонограмме) на оси изображен строй воспроизведения частот слева вправо. По оси Y размещаются данные о частотах звука, а тон пикселей задаёт амплитуду звука в любой момент часы. Нейросеть обучили на сонограммах, какие характеризуют гармоничные жанры или звуки. В плоде вышла Riffusion — нейросеть, способная генерировать звук из стереоизображения, какое создаётся по текстовому описанию. Для вывода именно тропинки используется Torchaudio. При этом разработчики смогли вынудить нейросеть генерировать таковские аудиоклипы, какие могли бы плавно «перетекать» товарищ в дружище. То есть, темп музыки не меняется сильно. Веб-интерфейс можно завладеть тут. Нейросеть скачать можно тут. Рискнуть онлайн тута. Сгененрировать спектрограмму тут. Сначала передавалось, что мастера взялись действительную борьбу против нейросети на ArtStation.