El sistema creado por los investigadores funciona convirtiendo archivos de audio sin procesar en espectrogramas y después utilizando modelos de aprendizaje profundo para generar letras que coinciden con la música que procesaron en tiempo real.
Ello podría ayudar a los artistas a componer nuevas letras que combinen bien con la música que crean.
Conexión emocional
Investigadores de la Universidad de Waterloo han publicado en un preprint los resultados del estudio de este sistema computacional. Según declaraciones de Olga Vechtomova, una de las investigadoras que llevó a cabo el estudio:
El objetivo de esta investigación fue diseñar un sistema que pueda generar letras que reflejen el estado de ánimo y las emociones expresadas a través de varios aspectos de la música, como acordes, instrumentos, tempo, etc. Nos propusimos crear una herramienta que los músicos pudieran usar para inspirarse para escribir sus propias canciones.
El sistema creado por los investigadores funciona convirtiendo archivos de audio sin procesar en espectrogramas y luego utilizando modelos de aprendizaje profundo para generar letras que coinciden con la música que procesaron en tiempo real. La arquitectura del modelo se compone de dos autocodificadores variacionales, uno diseñado para aprender representaciones de audio musical y el otro para aprender letras.
Para evaluar el sistema que desarrollaron, Vechtomova y sus colegas llevaron a cabo un estudio de usuarios en el que pidieron a los músicos que tocasen música en vivo y compartieran sus comentarios sobre las letras creadas por su sistema.
Vechtomova y sus colegas están trabajando actualmente en una versión final del sistema al que los artistas de todo el mundo podrían acceder fácilmente, al mismo tiempo que intentan diseñar otras herramientas que podrían mejorar los procesos de escritura de letras.