Academic on Matias Di Bernardo

Efecto de algorítmos de reducción de rudio en sistemas de TTS

Fri, 22 Nov 2024 00:00:00 +0000

Este estudio se realizó en el contexto de la clase Laboratorio de Acústica en la UNTREF. Elegí este tema porque está alineado con investigaciones que he estado desarrollando como parte del grupo Intercambios Transorgánicos. La consigna para el trabajo de clase consistió en realizar un estudio subjetivo utilizando una encuesta para explorar la relación entre variables objetivas y subjetivas.

En mi grupo de investigación, he estado investigando cómo los algoritmos de reducción de ruido afectan a los sistemas de síntesis de voz (TTS) entrenados con grabaciones de baja calidad. El enfoque está en el español rioplatense, un acento regional con datos de alta calidad limitados. En este contexto, fue natural combinar ambas tareas y realizar una prueba subjetiva sobre el impacto de los algoritmos de reducción de ruido en los sistemas TTS.

Resumen

Los puntos clave de esta investigación son:

Evaluación de tres algoritmos de reducción de ruido: Wave U-Net, HiFi-GAN y DeepFilterNet.
Uso de métricas subjetivas (CMOS) y objetivas (PESQ, STOI, MCD).
Ideas sobre el desarrollo de modelos TTS eficientes en recursos para acentos poco representados.

Metodología

Algoritmos: Wave U-Net, HiFi-GAN y DeepFilterNet evaluados con el modelo TTS FastPitch.
Conjunto de datos: Subconjunto de la colección ArchiVoz (15 minutos de audio con ruido).
Pruebas: Prueba subjetiva CMOS y métricas objetivas (PESQ, STOI, MCD).
Participantes: 24 respuestas válidas, incluyendo tanto expertos como no expertos.

Principales Hallazgos

Rendimiento de DeepFilterNet:
- Obtuvo la puntuación CMOS más alta, reflejando la mejor calidad subjetiva.
- Mostró mejoras significativas en la salida TTS a pesar de las correlaciones mixtas con las métricas objetivas.
Análisis de Métricas Objetivas:
- PESQ y MCD mostraron una correlación limitada con las preferencias subjetivas.
- Las puntuaciones STOI fueron consistentes entre los algoritmos, indicando inteligibilidad preservada.
Comparación de Algoritmos:
- DeepFilterNet: Evaluaciones subjetivas superiores, MCD moderado.
- Demucs: Comparable a DeepFilterNet en PESQ, pero con puntuaciones subjetivas inferiores.
- Wave U-Net: Bajo rendimiento tanto subjetivo como objetivo.
Experiencia de los Participantes:
- No se observaron diferencias significativas entre las evaluaciones subjetivas de expertos y no expertos.

Implicaciones

Eficiencia: Métodos avanzados de reducción de ruido como DeepFilterNet pueden mejorar los sistemas TTS sin necesidad de grabaciones de alta calidad.
Limitaciones: Las métricas objetivas como PESQ y MCD no son indicadores suficientes por sí solas de la calidad subjetiva en TTS.
Trabajo Futuro:
- Ampliar los conjuntos de datos y niveles de ruido para un análisis más robusto.
- Explorar sistemas TTS entrenados conjuntamente con algoritmos de reducción de ruido.

Conclusiones

Este trabajo concluye que el preprocesamiento con DeepFilterNet mejora significativamente el rendimiento de los sistemas TTS, con un aumento de 1.1 en la puntuación CMOS. Estos hallazgos destacan la importancia de la selección de algoritmos para optimizar sistemas TTS con pocos recursos. Además, adquirí valiosos conocimientos sobre evaluaciones subjetivas y el análisis estadístico necesario para extraer conclusiones significativas de los datos.

Toda la información de este estudio se encuentra en el informe académico (en inglés).

Algorítmos de modificación de escala temporal

Thu, 09 Mar 2023 00:00:00 +0000

Los algoritmos de modificación de escala temporal se utilizan para acelerar o desacelerar la velocidad de reproducción de un audio. Cuando se cambia la tasa de muestreo de un audio, la velocidad cambia, pero también lo hace el tono (al acelerar el audio, suena con un tono más alto). Existen diferentes algoritmos que permiten modificar la velocidad del audio manteniendo constante el tono.

La principal referencia para este estudio es el siguiente artículo, donde se describen en detalle los distintos algoritmos.

A Review of Time-Scale Modification of Music Signals.
— Jonathan Driedger y Meinard Müller¹

Comparación de algoritmos

Existen dos algoritmos principales, el Overlap-and-add (OLA) y el Phase Vocoder (PV). Ambos logran buenos resultados bajo diferentes señales y condiciones. Para aprovechar las ventajas de ambos métodos, se utiliza una implementación final basada en la Separación Armónico-Percusiva (HPS), que combina ambos algoritmos y logra los mejores resultados.

OLA

Este método trabaja en el dominio del tiempo, superponiendo secciones del audio (ventanas) y reorganizándolas para lograr un cambio deseado en la velocidad. Este método funciona bien para señales percusivas, pero introduce artefactos cuando se utiliza con señales armónicas o tonales.

PV

Este método opera en el dominio de la frecuencia, combinando fragmentos de audio en este dominio para lograr el cambio deseado en el tiempo. Utiliza el principio del vocoder de fase para propagar la fase entre ventanas, garantizando la continuidad al aplicarse a señales armónicas. Sin embargo, no es efectivo para señales percusivas, ya que el proceso de propagación de fase elimina los transitorios en las señales.

Creé visualizaciones usando Manim para mejorar mi presentación en clase. El primer video muestra cómo el algoritmo PV alinea las ventanas para garantizar transiciones suaves en la señal generada a lo largo del tiempo. Para lograrlo, se aplica una ventana gaussiana que mantiene la continuidad y suavidad, incluso al inicio y al final de la secuencia.

El segundo video muestra los efectos de aplicar el algoritmo PV a una señal que contiene transitorios.

Como predice la teoría, los transitorios desaparecen porque el algoritmo PV interrumpe la alineación vertical de la fase. Aunque estos ejemplos utilizan señales idealizadas, demuestran de manera efectiva las principales fortalezas y limitaciones del algoritmo.

HPS

Para utilizar ambos métodos con las señales ideales, se emplea el algoritmo HPS. Este algoritmo separa la señal en sus componentes armónicas y percusivas. Funciona comparando la continuidad de la señal en la representación STFT, utilizando un filtro que compara la presencia vertical contra la horizontal en el espectrograma. Con un umbral, se puede definir una máscara binaria sobre el espectrograma para separar las partes percusivas de las secciones armónicas.

Resultados

Implementamos con éxito todos los algoritmos y los comparamos, verificando los contenidos teóricos presentados en el artículo de referencia. Durante el proceso, desarrollamos un conjunto de herramientas para utilizar estos algoritmos con el lenguaje de programación Python. Todo el código está disponible en este repositorio.

Presentación académica

El estudio fue presentado junto a mis compañeros en las JAAS (Jornadas de Acústica, Audio y Sonido). Las principales ideas y conclusiones se expusieron en la conferencia. En el siguiente informe se encuentran todos los detalles y análisis realizados para este proyecto (en español).

ALGORITMOS DE MODIFICACIÓN DE ESCALA TEMPORAL.
— Matías Di Bernardo; Matías Vereertbruhggen; Sebastían Carro²

A Review of Time-Scale Modification of Music Signal paper. ↩︎
JAAS 2023 - Algoritmos de Modificación de Escala Temporal paper. ↩︎

Comparación de diferentes transformaciones tiempo-frecuencia

Fri, 11 Nov 2022 00:00:00 +0000

Esta investigación se desarrolla en el marco de la materia Metodología de la Investigación en UNTREF. En el artículo se pretende comparar las diferencias entre tres tipos de transformaciones tiempo-frecuencia:

Transformada de Fourier (FT)
Transformada Wavelet (WT)
Transformada Huang-Hilbert (HHT)

El objetivo del trabajo es entender las diferencias entre estos tipos de transformaciones y profundizar mi conocimiento en el procesamiento de señales.

Objetivo

El objetivo general de la investigación es determinar con qué herramienta de análisis espectral se logra una mayor precisión en la tarea de detección de tono.

Para alcanzar este objetivo, se plantean los siguientes puntos a completar:

Determinar los parámetros necesarios para representar la señal en el dominio espectral según cada caso.
Elegir un algoritmo que identifique el tono de la señal en base a su representación espectral.
Generar los datos (señales de audio) con los cuales se realizará la comparación.
Evaluar los datos generados con los distintos métodos de análisis y aplicar procesos estadísticos para validar los resultados.
Establecer una medida de precisión en la tarea de detección de tono.
Comparar los resultados de los distintos análisis y determinar cuál es el que consigue una mayor precisión en la detección de tono.

Se eligió la tarea de detección de tono porque es una de las aplicaciones principales de este tipo de transformadas.

Algoritmos

El análisis teórico de todas las transformadas se realiza en el dominio continuo, pero para llevar a cabo los experimentos y comparaciones se trabaja en el dominio discreto, de forma que todos los cálculos se realizan digitalmente.

FFT

La FFT es un algoritmo que optimiza la DFT (Transformada de Fourier de tiempo discreto). Con este algoritmo se obtiene la representación espectral de la señal de acuerdo al análisis de Fourier, descomponiendo una señal compleja en una suma de senos o cosenos. La DFT se calcula mediante la fórmula:

$$ X_k = \sum_{n=0}^{N-1} e^{-i\frac{2\pi}{N}kn} x_n $$

Donde $ N $ es la cantidad de muestras de la señal y $ k $ son los números naturales de $ 0 $ hasta $ N – 1 $.

WT

La Transformada Wavelet (WT) utiliza una función ondulatoria (wavelet) y aplica una convolución entre la señal y la función de onda elegida para determinar si esa forma ondulatoria está presente en la señal. La onda se deforma en frecuencia y amplitud, permitiendo que una sola función ondulatoria recree todo el espectro de interés.

Para esta investigación se empleará la CDWT (Cyclic Discrete Wavelet Transform), la implementación más común al discretizar la WT. Conceptualmente, esta transformada extiende el análisis de Fourier utilizando una base de funciones ondulatorias en lugar de senos y cosenos. Se calcula así:

$$ Wf[n, a^j] = \sum_{m=0}^{N-1} f[m] \psi_j[m-n] $$

Donde $ N $ es la cantidad de muestras de la señal, $ \psi $ es la función ondulatoria y $ j $ representa la deformación de la onda según el banco de ondas seleccionado.

HHT

Por último, se empleará la Transformada Huang-Hilbert (HHT), que utiliza la Descomposición Empírica Modal (EMD) para descomponer la señal en subseñales relevantes. En lugar de descomponer en funciones senoidales u ondulatorias, el EMD encuentra funciones modales intrínsecas (IMF) específicas de cada señal.

La relación entre las IMF y la frecuencia original se establece con la ecuación:

$$ z(t) = f(t) + i H\{ f(t) \} $$

Donde $ f(t) $ es una IMF y $ H $ es la Transformada Hilbert. Esto permite proyectar la señal al eje imaginario y extraer la amplitud y la fase de cada instante, construyendo la representación espectral. Como una señal generalmente tiene múltiples IMF, este proceso se repite para todas y se suman para obtener el espectro completo.

Procedimiento

Se analizará la relación entre los tipos de representación espectral y la precisión en la detección de tono.

Primero, se seleccionarán los parámetros para las distintas transformadas, como el número de muestras para el ventaneo temporal, que determina la resolución temporal y frecuencial.

Para comparar los métodos, se generarán datos representativos de distintos casos de interés, modelando cuatro tipos de señales:

Monótonas: Una sola nota correspondiente a la $ F_0 $.
Politonales: Múltiples notas, donde la armonía determina la $ F_0 $.
Transiciones lentas: Cambios de $ F_0 $ graduales.
Transiciones rápidas: Cambios de $ F_0 $ abruptos.

Se comparará el valor real $ V(t) $ con el resultado $ P(t) $ de cada transformada, integrando la diferencia temporalmente para calcular la precisión.

Resultados

En esta etapa, solo se requería completar el plan de investigación detallando el procedimiento y los métodos de análisis. Para ello, se generaron datos de ejemplo (dummy data) y se validaron estadísticamente los resultados esperados.

El gráfico muestra la precisión obtenida con las tres transformadas en función del tipo de señal. Se espera que la Transformada Wavelet (WT) supere a la Transformada de Fourier (FT), y que la Transformada Huang-Hilbert (HHT) sea más precisa en general.

Conclusiones

En la tarea de detección de tono por análisis frecuencial, la Transformada Huang-Hilbert (HHT) ofrece, en la mayoría de los casos, mayor precisión que la Transformada Rápida de Fourier (FFT) y la Transformada Wavelet Cíclica (CDWT).

La magnitud de esta diferencia depende del tipo de señal analizada, siendo las señales con transiciones rápidas las menos beneficiadas por el cambio de transformada, mientras que las señales politonales muestran las mejoras más significativas al emplear la HHT.

En este proyecto, profundicé mis conocimientos en procesamiento de señales y comprendí los fundamentos para usar herramientas como la WT y la HHT según las características de la señal.

Más detalles del trabajo están disponibles en el siguiente informe.