Reconocimiento de Patrones
de Repetición
Proyecto de fin de carrera:
“Detección de Estribillos”
Gabriela Saráchaga
Virginia Sartori
Laura Vignoli
Índice
Introducción
Procedimiento General
Matriz de Similitud
Método Principal
“Estribillo”
Método Alternativo
“Resumen”
Herramientas de Cálculo
MFCC
Vectores de Cromas
Referencias
Introducción
Objetivo
Generar una síntesis (estribillo) de una canción
de forma automática
Motivación
Aumento de las bases de datos musicales
Aplicaciones:
Tienda de discos
Descarga de música de la web
Thumbnail (huella)
Base de datos a analizar: música popular
Características generales del estribillo
Parte más memorable de una canción
Repetición
Aumento en la dinámica: cambia
melodía, ritmo y armonía
Aumento en la sonoridad
Introducción de nuevos instrumentos
Duración de entre 10 y 30s aprox.
Procedimiento General
Entrada: Señal de audio y t muestreada a 32
bit y 16 KHz en formato wav (obtenida desde
un archivo mp3)
Matriz de Similitud (S)
Visualización de estructura
de piezas musicales
Comparación de
características extraídas
Valor de S(i,j) proporcional
a la similitud entre
instantes i y j
Valores representados en
una imagen en escala de
grises, con blanco
correspondiendo a vectores
idénticos
Matriz de Similitud
Diagonal principal blanca
por comparar instantes
con sí mismos
Cuadros claros
representan fragmentos
homogéneos de la
canción
Fragmentos repetidos
(estribillos) son visibles
como diagonales casi
blancas paralelas a la
diagonal principal
Métodos de Análisis de la Matriz
2 métodos:
Método Principal
Detecta el estribillo, se basa en repeticiones
Método Alternativo
Enfoque distinto: Busca el intervalo más parecido
a la totalidad de la canción
Método Principal
Se resaltan las diagonales
Método Principal: problemas
Hueco en líneas = estribillos con distinta
entonación en alguna sílaba o palabra o a la
adición de instrumentos
Ej: Tracy Chapman –
She’s got her ticket
estribillos 1 y 2:
detalles 1 y 2:
Método Principal: problemas
Aparición de triángulos =
segmentos de canción
compuestos de pequeños
fragmentos iguales.
Ej. Police, Can’t stand loosing
you
Estos problemas se resuelven
considerando cada caso en el
tratamiento de las imágenes.
Método Alternativo
Resumen: el intervalo más
similar a la totalidad de la
canción
Dado un segmento de largo L
que comienza en k y termina
en k+L, la semejanza Q del
segmento con S, se calcula
como la suma de sus filas
entre k y k+L normalizada:
k L N
1
Q k = ⋅∑ ∑ Si , j
L
N⋅L i =k j =1
El máximo Q se corresponde
con el k inicio del segmento
buscado
Herramientas de cálculo
MFCC (Coeficientes Cepstrales de
Frecuencia Mel)
Usado para reconocimiento de voz, enfatiza
las bajas frecuencias
Se relaciona con la forma en que
percibimos los sonidos.
Vectores de Cromas
Basado en octavas y semitonos
MFCC: Extracción de Características
Variación del Cepstrum
C=IFFT(log(Densidad Espectral))
MFCC=IFFT(log(Coef.Mel(Dens.Espectral)))
MFCC: Coeficientes Mel
Mel : unidad de medida del pitch percibido
Banco de Filtros
triangulares,
centrados en la
frecuencia Mel.
Medida de distancia para S: distancia coseno
Vectores de Cromas: Extracción
Vectores de Cromas: Cálculo de
Similitud
La similitud S i , j entre los vectores v t i
y v t j se define como:
vt
vt
i j
∣ − ∣
max v t max v t
c c i c c j
S i , j =1−
12
donde S i , j varía de 0 a 1.
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet
MFCC Cromas
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet
MFCC Cromas Real
est 1: 34-58 33-57 35-60
est 2: 79-100 78-98 77-101
est 3: 186-207 181-208 185-208
est 4: 210-231 210-231 209-232
Ejemplo: Método Alternativo
Ana Belén – Sólo le pido a Dios
est 1:
est 2:
resumen (cromas):
Referencias
MFCC
Auditory Toolbok Michael Slaney
“Discovering Structure and Repetition in Musical Audio”
D.Van Dteeland, B.De Baets, H.De Meyer, M.Leman,
J.P. Martens, L.Clarisse, M.Lesaffre
“Visualizing Music and Audio using Self-Similarity”
Jonathan Foote
Vectores de Chromas
“A chorus-section detecting method for musical audio
signal” Masataka Goto
Resumen
“Automatic Music Summarization via Similarity
Analysis” Matthew Cooper and Jonathan Foote
