Esta IA puede interpretar la música que interpreta un instrumento solo usando señales visuales

Esta IA puede interpretar la música que interpreta un instrumento solo usando señales visuales
Sin comentarios
HOY SE HABLA DE

El aprendizaje automático ha servido a un grupo de investigadores de la Universidad de Washington para concebir un sistema, llamado Audeo, que crea audio a partir de interpretaciones de piano silenciosas.

Es decir, que esta inteligencia artificial recrea la experiencia interpretativa de los músicos y sus instrumentos utilizando solo señales visuales.

Audeo

Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música realmente reconozca como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.

Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart.

La fiabilidad a la hora de interpretar qué canción se toca por parte de Audeo es tan alta que incluso supera el de las apps de reconocimiento de canciones: las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo, mientras que Audeo alcanzó el 93%.

Audeo fue entrenado y probado solo en videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver cómo de bien puede transcribir música para cualquier músico o piano.

Temas
Inicio