Work on Matias Di Bernardo

IA Generativa, Flow Matching y TTS

Mon, 24 Mar 2025 00:00:00 +0000

En Intercambios Transorgánicos, trabajamos continuamente con modelos de Deep Learning de última generación. Para ello, nos mantenemos en constante aprendizaje sobre los desarrollos más recientes en el campo. En esta presentación, el objetivo fue explicar los fundamentos del modelo F5-TTS, un sistema de síntesis de voz de vanguardia. Durante el desarrollo, se introdujo el concepto de inteligencia artificial generativa y los modelos de flujo (flow-based models), dado que F5-TTS se basa en esta técnica. El propósito es compartir este conocimiento con el equipo y con cualquier persona interesada en iniciarse en los modelos de conversión de texto a voz (Text-to-Speech).

Introducción - IA Generativa y TTS

La estructura de la clase se organizó de la siguiente manera:

Introducción a los modelos de TTS: Se describen los diferentes modelos utilizados, sus principales características y las razones por las cuales se decidió cambiar de enfoque.
Evolución de los modelos TTS: Se presenta un gráfico basado en encuestas que muestra la evolución de diversas tecnologías de TTS.
Cambio de paradigma en modelos de lenguaje: Se explica cómo el uso de grandes volúmenes de datos ha permitido una mejor generalización en modelos de lenguaje.
Ejemplo de generalización: Se presentan casos ilustrativos, como la generación de una imagen de un astronauta montando un caballo, ejemplos de audio y síntesis de acentos específicos (ej., un hablante cordobés enojado).
Cambio en la estructuración de conjuntos de datos:
- Enfoque tradicional: Uso de un único hablante de alta calidad con gran cantidad de datos (modelo entrenado para cada hablante).
- Enfoque actual y futuro: Uso de conjuntos de datos diversos con etiquetas que permiten entrenar modelos capaces de entender el concepto del habla y generalizar en múltiples tareas (ejemplos extraídos de VoiceBox).
- Costo computacional: Se menciona el aumento en el tamaño de los modelos y la dificultad de su entrenamiento, similar a los modelos de lenguaje a gran escala (LLMs).
Explicación de IA Generativa:
- Introducción a los modelos generativos y el concepto de distribución subyacente.
- Explicación sobre Transformers y su función en la clasificación con contexto. Se aclara que aunque los Transformers son modelos Non-Autoregressive (NAR) en entrenamiento, en inferencia funcionan de manera Autoregressive (AR).
- Diferencia entre modelos de clasificación y modelos generativos basados en reducción de dimensionalidad y variables latentes.

Modelos de TTS: VoiceBox, E2 y F5

Esta sección detalla los principales avances en modelos de TTS que han llevado al desarrollo de F5-TTS.

1. VoiceBox TTS - In Context Learning

Se introduce la arquitectura inicial de VoiceBox, cuyo objetivo principal es la generalización mediante In Context Learning. Este enfoque permite al modelo inferir información a partir de ejemplos previos. Para lograrlo, se le proporciona un fragmento de audio con una parte oculta, forzando al modelo a completarla de manera coherente.

“We show that Voicebox’s text-guided speech infilling approach is much more scalable in terms of data while subsuming many common speech generative tasks.”

Este método, introducido por Meta en VoiceBox, marca un cambio de paradigma al demostrar que los modelos de TTS pueden beneficiarse de técnicas previamente utilizadas en modelos de lenguaje e imagen.

No obstante, el modelo aún depende de técnicas clásicas en TTS, como el predictor de duración de fonemas y el Forced Alignment para mapear fonemas a espectrogramas de Mel, ya que la longitud de estos no coincide con la de los tokens de texto.

2. E2 TTS - Filler Tokens

E2 TTS simplifica varias de las decisiones arquitectónicas de VoiceBox, especialmente en lo referente a la longitud de los espectrogramas de Mel y el texto. En lugar de utilizar alineación forzada, introduce los Filler Tokens, que permiten igualar la dimensión entre texto y audio de manera más sencilla. Esta estrategia facilita que el modelo aprenda la asociación temporal entre ambos elementos.

Otro cambio significativo es que el modelo trabaja directamente con texto en lugar de fonemas. Aunque esto podría parecer una desventaja (dado que palabras homógrafas pueden tener pronunciaciones diferentes), el contexto provee suficiente información para inferir la pronunciación adecuada, de manera similar al procesamiento del lenguaje natural en humanos.

3. F5 TTS - Open Source

Si bien E2 TTS representa un avance importante, su entrenamiento es lento debido a la necesidad de inferir asociaciones previamente guiadas. F5 TTS optimiza el modelo anterior con las siguientes mejoras:

Uso de ConvNeXt: Mejora el procesamiento del texto de entrada.
Cambio de arquitectura: Sustitución de la red U-Net por DiT (Diffusion Transformer).
Sway Sampling: Optimización en el proceso de inferencia.

Además, F5 TTS es de código abierto, lo que facilita su adopción y mejora por parte de la comunidad.

Flow Matching - Fundamentos Teóricos

Para comprender el funcionamiento de F5-TTS, es necesario revisar los modelos en los que se basa, conocidos como Flow Matching Models. Estos modelos han evolucionado a partir de técnicas previas en modelado de distribuciones probabilísticas.

1. Normalizing Flow

Los Normalizing Flows son una familia de modelos probabilísticos que transforman una distribución simple en una más compleja mediante una serie de funciones invertibles y diferenciables. Se utilizan para modelar distribuciones de datos de alta dimensión y generar muestras realistas con un control preciso sobre la probabilidad.

2. Residual Flow

Los Residual Flows extienden los Normalizing Flows al permitir transformaciones más flexibles sin necesidad de cumplir estrictamente con la condición de invertibilidad. Esto se logra mediante redes residuales que aproximan las funciones de transformación sin restricciones de estructura.

3. Continuous Normalizing Flows (CNF)

Los Continuous Normalizing Flows reformulan los Normalizing Flows en términos de ecuaciones diferenciales ordinarias (ODEs). En lugar de aplicar transformaciones discretas en pasos sucesivos, estos modelos aprenden una dinámica continua en el espacio latente, lo que permite una mayor expresividad y eficiencia computacional.

4. Flow Matching

Flow Matching es una técnica que optimiza la transformación de una distribución de referencia a una distribución objetivo utilizando un enfoque basado en la minimización de una función de costo específica. Se diferencia de los enfoques anteriores al no requerir el cálculo explícito de la función de densidad, lo que lo hace especialmente útil para modelos generativos de gran escala, como F5-TTS.

Grabación de la presentación

Cada sección detalla en este artículo se explica en profundidad en la presentación:

Entendiendo FastPitch y la arquitectura Transformers

Wed, 23 Aug 2023 00:00:00 +0000

Entender un modelo moderno de deep learning no es sencillo debido a la gran cantidad de conocimiento previo necesario y al rápido ritmo de avance en este campo. En el proyecto de investigación Intercambios Transorgánicos, estamos trabajando con TTS, específicamente con el modelo FastPitch de Nvidia. He estudiado este modelo para ajustarlo (fine-tuning) al español y he compartido este proceso de investigación en una clase para ayudar a mis colegas del grupo de investigación a comprenderlo mejor.

Entendiendo los Modelos Seq2Seq

En Intercambios Transorgánicos utilizábamos previamente Tacotron2 como modelo TTS. Este modelo funciona bien, pero presenta varios problemas, principalmente durante el entrenamiento y la inferencia, debido a su naturaleza auto-regresiva. En contraste, FastPitch es un modelo no auto-regresivo (NAR). Para entender estas diferencias, exploré en profundidad los modelos seq2seq, analizando su evolución a lo largo del tiempo, y realicé un resumen rápido de los modelos de análisis de secuencias más relevantes:

RNN
LSTM
Transformers

Tacotron2 se basa en un modelo LSTM (AR), mientras que FastPitch utiliza Transformers (NAR). Comprender esta progresión tecnológica proporciona un contexto esencial, especialmente sobre los transformers, incluyendo la codificación posicional, un elemento clave para su naturaleza no auto-regresiva, y el mecanismo de atención.

La Arquitectura Transformer

Comencé estudiando la arquitectura transformer, ya que es fundamental para el modelo FastPitch. Revisé recursos en línea y el influyente artículo Attention is All You Need. A continuación, algunos puntos clave que anoté durante mi estudio:

Mecanismo de Auto-Atención
- Propósito: Focalizar dinámicamente en diferentes partes de la secuencia de entrada.
- Mecanismo:
  - Query (Q), Key (K), Value (V): Derivados de las embeddings de entrada.
  - Los puntajes de atención se calculan como el producto punto de Q y K, escalado por la raíz cuadrada de la dimensión.
  - Los puntajes se normalizan con softmax para generar pesos de atención.
  - Se calcula una suma ponderada de V basada en estos pesos para producir la salida.
Atención Multi-Cabezal
- Propósito: Capturar diferentes relaciones entre tokens aplicando múltiples mecanismos de auto-atención en paralelo.
- Mecanismo: Las salidas de las múltiples cabezas de atención se concatenan y se transforman linealmente.
Codificación Posicional
- Propósito: Añadir información sobre el orden de los tokens en la secuencia, compensando la falta de un concepto incorporado de orden secuencial en los Transformers (a diferencia de los RNNs).
- Mecanismo: Se añade un vector fijo o aprendible a las embeddings de entrada.
Estructura Codificador-Descodificador
- Codificador: Procesa la secuencia de entrada en representaciones ricas en contexto.
  - Componentes:
    - Auto-atención multi-cabezal
    - Red neuronal feed-forward (FFN)
    - Normalización por capas y conexiones residuales
- Descodificador: Genera la secuencia de salida atendiendo tanto a las salidas del codificador como a los tokens generados previamente.
  - Componentes:
    - Auto-atención multi-cabezal enmascarada (evita atender a tokens futuros)
    - Atención multi-cabezal sobre las salidas del codificador
    - FFN, normalización por capas y conexiones residuales
Red Feed-Forward (FFN)
- Propósito: Introducir no linealidad y procesar cada token de manera independiente.
- Mecanismo: Dos capas lineales con una activación ReLU entre ellas.
Normalización por Capas y Conexiones Residuales
- Propósito: Estabilizar el entrenamiento y mejorar el flujo de gradientes al normalizar las entradas de cada capa y añadir conexiones de salto.

FastPitch

Con la teoría cubierta, examiné cada sección de la arquitectura de FastPitch en detalle. Ofrecí una breve explicación sobre las embeddings de palabras y la codificación posicional, ya que son temas complejos, y quise mantener la clase concisa.

FastPitch convierte texto en espectrogramas mel, que luego son transformados en audio por otro modelo (en nuestro caso, HiFi-GAN). La secuencia de entrenamiento incluye los siguientes pasos:

Texto a embeddings de palabras
Concatenación de embeddings de palabras con espectrogramas mel
Codificación posicional y FFT (bloque Transformer Feed-Forward)
Predicción de tono
Predicción de la duración de los fonemas
Otro bloque FFT
Capa completamente conectada
Salida del espectrograma mel

En cada bloque, presenté las ecuaciones correspondientes y proporcioné explicaciones cualitativas sobre su rol en el modelo. Por ejemplo, la predicción de la duración de los fonemas es crucial para alinear la duración de un fonema con la duración esperada en el espectrograma.

Clase Online

Finalmente, resumí los puntos más importantes y realicé una clase online para compartir estos conceptos con mis colegas. Puedes verla aquí: