Math on Matias Di Bernardo

IA Generativa, Flow Matching y TTS

Mon, 24 Mar 2025 00:00:00 +0000

En Intercambios Transorgánicos, trabajamos continuamente con modelos de Deep Learning de última generación. Para ello, nos mantenemos en constante aprendizaje sobre los desarrollos más recientes en el campo. En esta presentación, el objetivo fue explicar los fundamentos del modelo F5-TTS, un sistema de síntesis de voz de vanguardia. Durante el desarrollo, se introdujo el concepto de inteligencia artificial generativa y los modelos de flujo (flow-based models), dado que F5-TTS se basa en esta técnica. El propósito es compartir este conocimiento con el equipo y con cualquier persona interesada en iniciarse en los modelos de conversión de texto a voz (Text-to-Speech).

Introducción - IA Generativa y TTS

La estructura de la clase se organizó de la siguiente manera:

Introducción a los modelos de TTS: Se describen los diferentes modelos utilizados, sus principales características y las razones por las cuales se decidió cambiar de enfoque.
Evolución de los modelos TTS: Se presenta un gráfico basado en encuestas que muestra la evolución de diversas tecnologías de TTS.
Cambio de paradigma en modelos de lenguaje: Se explica cómo el uso de grandes volúmenes de datos ha permitido una mejor generalización en modelos de lenguaje.
Ejemplo de generalización: Se presentan casos ilustrativos, como la generación de una imagen de un astronauta montando un caballo, ejemplos de audio y síntesis de acentos específicos (ej., un hablante cordobés enojado).
Cambio en la estructuración de conjuntos de datos:
- Enfoque tradicional: Uso de un único hablante de alta calidad con gran cantidad de datos (modelo entrenado para cada hablante).
- Enfoque actual y futuro: Uso de conjuntos de datos diversos con etiquetas que permiten entrenar modelos capaces de entender el concepto del habla y generalizar en múltiples tareas (ejemplos extraídos de VoiceBox).
- Costo computacional: Se menciona el aumento en el tamaño de los modelos y la dificultad de su entrenamiento, similar a los modelos de lenguaje a gran escala (LLMs).
Explicación de IA Generativa:
- Introducción a los modelos generativos y el concepto de distribución subyacente.
- Explicación sobre Transformers y su función en la clasificación con contexto. Se aclara que aunque los Transformers son modelos Non-Autoregressive (NAR) en entrenamiento, en inferencia funcionan de manera Autoregressive (AR).
- Diferencia entre modelos de clasificación y modelos generativos basados en reducción de dimensionalidad y variables latentes.

Modelos de TTS: VoiceBox, E2 y F5

Esta sección detalla los principales avances en modelos de TTS que han llevado al desarrollo de F5-TTS.

1. VoiceBox TTS - In Context Learning

Se introduce la arquitectura inicial de VoiceBox, cuyo objetivo principal es la generalización mediante In Context Learning. Este enfoque permite al modelo inferir información a partir de ejemplos previos. Para lograrlo, se le proporciona un fragmento de audio con una parte oculta, forzando al modelo a completarla de manera coherente.

“We show that Voicebox’s text-guided speech infilling approach is much more scalable in terms of data while subsuming many common speech generative tasks.”

Este método, introducido por Meta en VoiceBox, marca un cambio de paradigma al demostrar que los modelos de TTS pueden beneficiarse de técnicas previamente utilizadas en modelos de lenguaje e imagen.

No obstante, el modelo aún depende de técnicas clásicas en TTS, como el predictor de duración de fonemas y el Forced Alignment para mapear fonemas a espectrogramas de Mel, ya que la longitud de estos no coincide con la de los tokens de texto.

2. E2 TTS - Filler Tokens

E2 TTS simplifica varias de las decisiones arquitectónicas de VoiceBox, especialmente en lo referente a la longitud de los espectrogramas de Mel y el texto. En lugar de utilizar alineación forzada, introduce los Filler Tokens, que permiten igualar la dimensión entre texto y audio de manera más sencilla. Esta estrategia facilita que el modelo aprenda la asociación temporal entre ambos elementos.

Otro cambio significativo es que el modelo trabaja directamente con texto en lugar de fonemas. Aunque esto podría parecer una desventaja (dado que palabras homógrafas pueden tener pronunciaciones diferentes), el contexto provee suficiente información para inferir la pronunciación adecuada, de manera similar al procesamiento del lenguaje natural en humanos.

3. F5 TTS - Open Source

Si bien E2 TTS representa un avance importante, su entrenamiento es lento debido a la necesidad de inferir asociaciones previamente guiadas. F5 TTS optimiza el modelo anterior con las siguientes mejoras:

Uso de ConvNeXt: Mejora el procesamiento del texto de entrada.
Cambio de arquitectura: Sustitución de la red U-Net por DiT (Diffusion Transformer).
Sway Sampling: Optimización en el proceso de inferencia.

Además, F5 TTS es de código abierto, lo que facilita su adopción y mejora por parte de la comunidad.

Flow Matching - Fundamentos Teóricos

Para comprender el funcionamiento de F5-TTS, es necesario revisar los modelos en los que se basa, conocidos como Flow Matching Models. Estos modelos han evolucionado a partir de técnicas previas en modelado de distribuciones probabilísticas.

1. Normalizing Flow

Los Normalizing Flows son una familia de modelos probabilísticos que transforman una distribución simple en una más compleja mediante una serie de funciones invertibles y diferenciables. Se utilizan para modelar distribuciones de datos de alta dimensión y generar muestras realistas con un control preciso sobre la probabilidad.

2. Residual Flow

Los Residual Flows extienden los Normalizing Flows al permitir transformaciones más flexibles sin necesidad de cumplir estrictamente con la condición de invertibilidad. Esto se logra mediante redes residuales que aproximan las funciones de transformación sin restricciones de estructura.

3. Continuous Normalizing Flows (CNF)

Los Continuous Normalizing Flows reformulan los Normalizing Flows en términos de ecuaciones diferenciales ordinarias (ODEs). En lugar de aplicar transformaciones discretas en pasos sucesivos, estos modelos aprenden una dinámica continua en el espacio latente, lo que permite una mayor expresividad y eficiencia computacional.

4. Flow Matching

Flow Matching es una técnica que optimiza la transformación de una distribución de referencia a una distribución objetivo utilizando un enfoque basado en la minimización de una función de costo específica. Se diferencia de los enfoques anteriores al no requerir el cálculo explícito de la función de densidad, lo que lo hace especialmente útil para modelos generativos de gran escala, como F5-TTS.

Grabación de la presentación

Cada sección detalla en este artículo se explica en profundidad en la presentación:

Entendiendo FastPitch y la arquitectura Transformers

Wed, 23 Aug 2023 00:00:00 +0000

Entender un modelo moderno de deep learning no es sencillo debido a la gran cantidad de conocimiento previo necesario y al rápido ritmo de avance en este campo. En el proyecto de investigación Intercambios Transorgánicos, estamos trabajando con TTS, específicamente con el modelo FastPitch de Nvidia. He estudiado este modelo para ajustarlo (fine-tuning) al español y he compartido este proceso de investigación en una clase para ayudar a mis colegas del grupo de investigación a comprenderlo mejor.

Entendiendo los Modelos Seq2Seq

En Intercambios Transorgánicos utilizábamos previamente Tacotron2 como modelo TTS. Este modelo funciona bien, pero presenta varios problemas, principalmente durante el entrenamiento y la inferencia, debido a su naturaleza auto-regresiva. En contraste, FastPitch es un modelo no auto-regresivo (NAR). Para entender estas diferencias, exploré en profundidad los modelos seq2seq, analizando su evolución a lo largo del tiempo, y realicé un resumen rápido de los modelos de análisis de secuencias más relevantes:

RNN
LSTM
Transformers

Tacotron2 se basa en un modelo LSTM (AR), mientras que FastPitch utiliza Transformers (NAR). Comprender esta progresión tecnológica proporciona un contexto esencial, especialmente sobre los transformers, incluyendo la codificación posicional, un elemento clave para su naturaleza no auto-regresiva, y el mecanismo de atención.

La Arquitectura Transformer

Comencé estudiando la arquitectura transformer, ya que es fundamental para el modelo FastPitch. Revisé recursos en línea y el influyente artículo Attention is All You Need. A continuación, algunos puntos clave que anoté durante mi estudio:

Mecanismo de Auto-Atención
- Propósito: Focalizar dinámicamente en diferentes partes de la secuencia de entrada.
- Mecanismo:
  - Query (Q), Key (K), Value (V): Derivados de las embeddings de entrada.
  - Los puntajes de atención se calculan como el producto punto de Q y K, escalado por la raíz cuadrada de la dimensión.
  - Los puntajes se normalizan con softmax para generar pesos de atención.
  - Se calcula una suma ponderada de V basada en estos pesos para producir la salida.
Atención Multi-Cabezal
- Propósito: Capturar diferentes relaciones entre tokens aplicando múltiples mecanismos de auto-atención en paralelo.
- Mecanismo: Las salidas de las múltiples cabezas de atención se concatenan y se transforman linealmente.
Codificación Posicional
- Propósito: Añadir información sobre el orden de los tokens en la secuencia, compensando la falta de un concepto incorporado de orden secuencial en los Transformers (a diferencia de los RNNs).
- Mecanismo: Se añade un vector fijo o aprendible a las embeddings de entrada.
Estructura Codificador-Descodificador
- Codificador: Procesa la secuencia de entrada en representaciones ricas en contexto.
  - Componentes:
    - Auto-atención multi-cabezal
    - Red neuronal feed-forward (FFN)
    - Normalización por capas y conexiones residuales
- Descodificador: Genera la secuencia de salida atendiendo tanto a las salidas del codificador como a los tokens generados previamente.
  - Componentes:
    - Auto-atención multi-cabezal enmascarada (evita atender a tokens futuros)
    - Atención multi-cabezal sobre las salidas del codificador
    - FFN, normalización por capas y conexiones residuales
Red Feed-Forward (FFN)
- Propósito: Introducir no linealidad y procesar cada token de manera independiente.
- Mecanismo: Dos capas lineales con una activación ReLU entre ellas.
Normalización por Capas y Conexiones Residuales
- Propósito: Estabilizar el entrenamiento y mejorar el flujo de gradientes al normalizar las entradas de cada capa y añadir conexiones de salto.

FastPitch

Con la teoría cubierta, examiné cada sección de la arquitectura de FastPitch en detalle. Ofrecí una breve explicación sobre las embeddings de palabras y la codificación posicional, ya que son temas complejos, y quise mantener la clase concisa.

FastPitch convierte texto en espectrogramas mel, que luego son transformados en audio por otro modelo (en nuestro caso, HiFi-GAN). La secuencia de entrenamiento incluye los siguientes pasos:

Texto a embeddings de palabras
Concatenación de embeddings de palabras con espectrogramas mel
Codificación posicional y FFT (bloque Transformer Feed-Forward)
Predicción de tono
Predicción de la duración de los fonemas
Otro bloque FFT
Capa completamente conectada
Salida del espectrograma mel

En cada bloque, presenté las ecuaciones correspondientes y proporcioné explicaciones cualitativas sobre su rol en el modelo. Por ejemplo, la predicción de la duración de los fonemas es crucial para alinear la duración de un fonema con la duración esperada en el espectrograma.

Clase Online

Finalmente, resumí los puntos más importantes y realicé una clase online para compartir estos conceptos con mis colegas. Puedes verla aquí:

Comparación de diferentes transformaciones tiempo-frecuencia

Fri, 11 Nov 2022 00:00:00 +0000

Esta investigación se desarrolla en el marco de la materia Metodología de la Investigación en UNTREF. En el artículo se pretende comparar las diferencias entre tres tipos de transformaciones tiempo-frecuencia:

Transformada de Fourier (FT)
Transformada Wavelet (WT)
Transformada Huang-Hilbert (HHT)

El objetivo del trabajo es entender las diferencias entre estos tipos de transformaciones y profundizar mi conocimiento en el procesamiento de señales.

Objetivo

El objetivo general de la investigación es determinar con qué herramienta de análisis espectral se logra una mayor precisión en la tarea de detección de tono.

Para alcanzar este objetivo, se plantean los siguientes puntos a completar:

Determinar los parámetros necesarios para representar la señal en el dominio espectral según cada caso.
Elegir un algoritmo que identifique el tono de la señal en base a su representación espectral.
Generar los datos (señales de audio) con los cuales se realizará la comparación.
Evaluar los datos generados con los distintos métodos de análisis y aplicar procesos estadísticos para validar los resultados.
Establecer una medida de precisión en la tarea de detección de tono.
Comparar los resultados de los distintos análisis y determinar cuál es el que consigue una mayor precisión en la detección de tono.

Se eligió la tarea de detección de tono porque es una de las aplicaciones principales de este tipo de transformadas.

Algoritmos

El análisis teórico de todas las transformadas se realiza en el dominio continuo, pero para llevar a cabo los experimentos y comparaciones se trabaja en el dominio discreto, de forma que todos los cálculos se realizan digitalmente.

FFT

La FFT es un algoritmo que optimiza la DFT (Transformada de Fourier de tiempo discreto). Con este algoritmo se obtiene la representación espectral de la señal de acuerdo al análisis de Fourier, descomponiendo una señal compleja en una suma de senos o cosenos. La DFT se calcula mediante la fórmula:

$$ X_k = \sum_{n=0}^{N-1} e^{-i\frac{2\pi}{N}kn} x_n $$

Donde $ N $ es la cantidad de muestras de la señal y $ k $ son los números naturales de $ 0 $ hasta $ N – 1 $.

WT

La Transformada Wavelet (WT) utiliza una función ondulatoria (wavelet) y aplica una convolución entre la señal y la función de onda elegida para determinar si esa forma ondulatoria está presente en la señal. La onda se deforma en frecuencia y amplitud, permitiendo que una sola función ondulatoria recree todo el espectro de interés.

Para esta investigación se empleará la CDWT (Cyclic Discrete Wavelet Transform), la implementación más común al discretizar la WT. Conceptualmente, esta transformada extiende el análisis de Fourier utilizando una base de funciones ondulatorias en lugar de senos y cosenos. Se calcula así:

$$ Wf[n, a^j] = \sum_{m=0}^{N-1} f[m] \psi_j[m-n] $$

Donde $ N $ es la cantidad de muestras de la señal, $ \psi $ es la función ondulatoria y $ j $ representa la deformación de la onda según el banco de ondas seleccionado.

HHT

Por último, se empleará la Transformada Huang-Hilbert (HHT), que utiliza la Descomposición Empírica Modal (EMD) para descomponer la señal en subseñales relevantes. En lugar de descomponer en funciones senoidales u ondulatorias, el EMD encuentra funciones modales intrínsecas (IMF) específicas de cada señal.

La relación entre las IMF y la frecuencia original se establece con la ecuación:

$$ z(t) = f(t) + i H\{ f(t) \} $$

Donde $ f(t) $ es una IMF y $ H $ es la Transformada Hilbert. Esto permite proyectar la señal al eje imaginario y extraer la amplitud y la fase de cada instante, construyendo la representación espectral. Como una señal generalmente tiene múltiples IMF, este proceso se repite para todas y se suman para obtener el espectro completo.

Procedimiento

Se analizará la relación entre los tipos de representación espectral y la precisión en la detección de tono.

Primero, se seleccionarán los parámetros para las distintas transformadas, como el número de muestras para el ventaneo temporal, que determina la resolución temporal y frecuencial.

Para comparar los métodos, se generarán datos representativos de distintos casos de interés, modelando cuatro tipos de señales:

Monótonas: Una sola nota correspondiente a la $ F_0 $.
Politonales: Múltiples notas, donde la armonía determina la $ F_0 $.
Transiciones lentas: Cambios de $ F_0 $ graduales.
Transiciones rápidas: Cambios de $ F_0 $ abruptos.

Se comparará el valor real $ V(t) $ con el resultado $ P(t) $ de cada transformada, integrando la diferencia temporalmente para calcular la precisión.

Resultados

En esta etapa, solo se requería completar el plan de investigación detallando el procedimiento y los métodos de análisis. Para ello, se generaron datos de ejemplo (dummy data) y se validaron estadísticamente los resultados esperados.

El gráfico muestra la precisión obtenida con las tres transformadas en función del tipo de señal. Se espera que la Transformada Wavelet (WT) supere a la Transformada de Fourier (FT), y que la Transformada Huang-Hilbert (HHT) sea más precisa en general.

Conclusiones

En la tarea de detección de tono por análisis frecuencial, la Transformada Huang-Hilbert (HHT) ofrece, en la mayoría de los casos, mayor precisión que la Transformada Rápida de Fourier (FFT) y la Transformada Wavelet Cíclica (CDWT).

La magnitud de esta diferencia depende del tipo de señal analizada, siendo las señales con transiciones rápidas las menos beneficiadas por el cambio de transformada, mientras que las señales politonales muestran las mejoras más significativas al emplear la HHT.

En este proyecto, profundicé mis conocimientos en procesamiento de señales y comprendí los fundamentos para usar herramientas como la WT y la HHT según las características de la señal.

Más detalles del trabajo están disponibles en el siguiente informe.