Deep Learning on Matias Di Bernardo

IA Generativa, Flow Matching y TTS

Mon, 24 Mar 2025 00:00:00 +0000

En Intercambios Transorgánicos, trabajamos continuamente con modelos de Deep Learning de última generación. Para ello, nos mantenemos en constante aprendizaje sobre los desarrollos más recientes en el campo. En esta presentación, el objetivo fue explicar los fundamentos del modelo F5-TTS, un sistema de síntesis de voz de vanguardia. Durante el desarrollo, se introdujo el concepto de inteligencia artificial generativa y los modelos de flujo (flow-based models), dado que F5-TTS se basa en esta técnica. El propósito es compartir este conocimiento con el equipo y con cualquier persona interesada en iniciarse en los modelos de conversión de texto a voz (Text-to-Speech).

Introducción - IA Generativa y TTS

La estructura de la clase se organizó de la siguiente manera:

Introducción a los modelos de TTS: Se describen los diferentes modelos utilizados, sus principales características y las razones por las cuales se decidió cambiar de enfoque.
Evolución de los modelos TTS: Se presenta un gráfico basado en encuestas que muestra la evolución de diversas tecnologías de TTS.
Cambio de paradigma en modelos de lenguaje: Se explica cómo el uso de grandes volúmenes de datos ha permitido una mejor generalización en modelos de lenguaje.
Ejemplo de generalización: Se presentan casos ilustrativos, como la generación de una imagen de un astronauta montando un caballo, ejemplos de audio y síntesis de acentos específicos (ej., un hablante cordobés enojado).
Cambio en la estructuración de conjuntos de datos:
- Enfoque tradicional: Uso de un único hablante de alta calidad con gran cantidad de datos (modelo entrenado para cada hablante).
- Enfoque actual y futuro: Uso de conjuntos de datos diversos con etiquetas que permiten entrenar modelos capaces de entender el concepto del habla y generalizar en múltiples tareas (ejemplos extraídos de VoiceBox).
- Costo computacional: Se menciona el aumento en el tamaño de los modelos y la dificultad de su entrenamiento, similar a los modelos de lenguaje a gran escala (LLMs).
Explicación de IA Generativa:
- Introducción a los modelos generativos y el concepto de distribución subyacente.
- Explicación sobre Transformers y su función en la clasificación con contexto. Se aclara que aunque los Transformers son modelos Non-Autoregressive (NAR) en entrenamiento, en inferencia funcionan de manera Autoregressive (AR).
- Diferencia entre modelos de clasificación y modelos generativos basados en reducción de dimensionalidad y variables latentes.

Modelos de TTS: VoiceBox, E2 y F5

Esta sección detalla los principales avances en modelos de TTS que han llevado al desarrollo de F5-TTS.

1. VoiceBox TTS - In Context Learning

Se introduce la arquitectura inicial de VoiceBox, cuyo objetivo principal es la generalización mediante In Context Learning. Este enfoque permite al modelo inferir información a partir de ejemplos previos. Para lograrlo, se le proporciona un fragmento de audio con una parte oculta, forzando al modelo a completarla de manera coherente.

“We show that Voicebox’s text-guided speech infilling approach is much more scalable in terms of data while subsuming many common speech generative tasks.”

Este método, introducido por Meta en VoiceBox, marca un cambio de paradigma al demostrar que los modelos de TTS pueden beneficiarse de técnicas previamente utilizadas en modelos de lenguaje e imagen.

No obstante, el modelo aún depende de técnicas clásicas en TTS, como el predictor de duración de fonemas y el Forced Alignment para mapear fonemas a espectrogramas de Mel, ya que la longitud de estos no coincide con la de los tokens de texto.

2. E2 TTS - Filler Tokens

E2 TTS simplifica varias de las decisiones arquitectónicas de VoiceBox, especialmente en lo referente a la longitud de los espectrogramas de Mel y el texto. En lugar de utilizar alineación forzada, introduce los Filler Tokens, que permiten igualar la dimensión entre texto y audio de manera más sencilla. Esta estrategia facilita que el modelo aprenda la asociación temporal entre ambos elementos.

Otro cambio significativo es que el modelo trabaja directamente con texto en lugar de fonemas. Aunque esto podría parecer una desventaja (dado que palabras homógrafas pueden tener pronunciaciones diferentes), el contexto provee suficiente información para inferir la pronunciación adecuada, de manera similar al procesamiento del lenguaje natural en humanos.

3. F5 TTS - Open Source

Si bien E2 TTS representa un avance importante, su entrenamiento es lento debido a la necesidad de inferir asociaciones previamente guiadas. F5 TTS optimiza el modelo anterior con las siguientes mejoras:

Uso de ConvNeXt: Mejora el procesamiento del texto de entrada.
Cambio de arquitectura: Sustitución de la red U-Net por DiT (Diffusion Transformer).
Sway Sampling: Optimización en el proceso de inferencia.

Además, F5 TTS es de código abierto, lo que facilita su adopción y mejora por parte de la comunidad.

Flow Matching - Fundamentos Teóricos

Para comprender el funcionamiento de F5-TTS, es necesario revisar los modelos en los que se basa, conocidos como Flow Matching Models. Estos modelos han evolucionado a partir de técnicas previas en modelado de distribuciones probabilísticas.

1. Normalizing Flow

Los Normalizing Flows son una familia de modelos probabilísticos que transforman una distribución simple en una más compleja mediante una serie de funciones invertibles y diferenciables. Se utilizan para modelar distribuciones de datos de alta dimensión y generar muestras realistas con un control preciso sobre la probabilidad.

2. Residual Flow

Los Residual Flows extienden los Normalizing Flows al permitir transformaciones más flexibles sin necesidad de cumplir estrictamente con la condición de invertibilidad. Esto se logra mediante redes residuales que aproximan las funciones de transformación sin restricciones de estructura.

3. Continuous Normalizing Flows (CNF)

Los Continuous Normalizing Flows reformulan los Normalizing Flows en términos de ecuaciones diferenciales ordinarias (ODEs). En lugar de aplicar transformaciones discretas en pasos sucesivos, estos modelos aprenden una dinámica continua en el espacio latente, lo que permite una mayor expresividad y eficiencia computacional.

4. Flow Matching

Flow Matching es una técnica que optimiza la transformación de una distribución de referencia a una distribución objetivo utilizando un enfoque basado en la minimización de una función de costo específica. Se diferencia de los enfoques anteriores al no requerir el cálculo explícito de la función de densidad, lo que lo hace especialmente útil para modelos generativos de gran escala, como F5-TTS.

Grabación de la presentación

Cada sección detalla en este artículo se explica en profundidad en la presentación:

Efecto de algorítmos de reducción de rudio en sistemas de TTS

Fri, 22 Nov 2024 00:00:00 +0000

Este estudio se realizó en el contexto de la clase Laboratorio de Acústica en la UNTREF. Elegí este tema porque está alineado con investigaciones que he estado desarrollando como parte del grupo Intercambios Transorgánicos. La consigna para el trabajo de clase consistió en realizar un estudio subjetivo utilizando una encuesta para explorar la relación entre variables objetivas y subjetivas.

En mi grupo de investigación, he estado investigando cómo los algoritmos de reducción de ruido afectan a los sistemas de síntesis de voz (TTS) entrenados con grabaciones de baja calidad. El enfoque está en el español rioplatense, un acento regional con datos de alta calidad limitados. En este contexto, fue natural combinar ambas tareas y realizar una prueba subjetiva sobre el impacto de los algoritmos de reducción de ruido en los sistemas TTS.

Resumen

Los puntos clave de esta investigación son:

Evaluación de tres algoritmos de reducción de ruido: Wave U-Net, HiFi-GAN y DeepFilterNet.
Uso de métricas subjetivas (CMOS) y objetivas (PESQ, STOI, MCD).
Ideas sobre el desarrollo de modelos TTS eficientes en recursos para acentos poco representados.

Metodología

Algoritmos: Wave U-Net, HiFi-GAN y DeepFilterNet evaluados con el modelo TTS FastPitch.
Conjunto de datos: Subconjunto de la colección ArchiVoz (15 minutos de audio con ruido).
Pruebas: Prueba subjetiva CMOS y métricas objetivas (PESQ, STOI, MCD).
Participantes: 24 respuestas válidas, incluyendo tanto expertos como no expertos.

Principales Hallazgos

Rendimiento de DeepFilterNet:
- Obtuvo la puntuación CMOS más alta, reflejando la mejor calidad subjetiva.
- Mostró mejoras significativas en la salida TTS a pesar de las correlaciones mixtas con las métricas objetivas.
Análisis de Métricas Objetivas:
- PESQ y MCD mostraron una correlación limitada con las preferencias subjetivas.
- Las puntuaciones STOI fueron consistentes entre los algoritmos, indicando inteligibilidad preservada.
Comparación de Algoritmos:
- DeepFilterNet: Evaluaciones subjetivas superiores, MCD moderado.
- Demucs: Comparable a DeepFilterNet en PESQ, pero con puntuaciones subjetivas inferiores.
- Wave U-Net: Bajo rendimiento tanto subjetivo como objetivo.
Experiencia de los Participantes:
- No se observaron diferencias significativas entre las evaluaciones subjetivas de expertos y no expertos.

Implicaciones

Eficiencia: Métodos avanzados de reducción de ruido como DeepFilterNet pueden mejorar los sistemas TTS sin necesidad de grabaciones de alta calidad.
Limitaciones: Las métricas objetivas como PESQ y MCD no son indicadores suficientes por sí solas de la calidad subjetiva en TTS.
Trabajo Futuro:
- Ampliar los conjuntos de datos y niveles de ruido para un análisis más robusto.
- Explorar sistemas TTS entrenados conjuntamente con algoritmos de reducción de ruido.

Conclusiones

Este trabajo concluye que el preprocesamiento con DeepFilterNet mejora significativamente el rendimiento de los sistemas TTS, con un aumento de 1.1 en la puntuación CMOS. Estos hallazgos destacan la importancia de la selección de algoritmos para optimizar sistemas TTS con pocos recursos. Además, adquirí valiosos conocimientos sobre evaluaciones subjetivas y el análisis estadístico necesario para extraer conclusiones significativas de los datos.

Toda la información de este estudio se encuentra en el informe académico (en inglés).

Entendiendo FastPitch y la arquitectura Transformers

Wed, 23 Aug 2023 00:00:00 +0000

Entender un modelo moderno de deep learning no es sencillo debido a la gran cantidad de conocimiento previo necesario y al rápido ritmo de avance en este campo. En el proyecto de investigación Intercambios Transorgánicos, estamos trabajando con TTS, específicamente con el modelo FastPitch de Nvidia. He estudiado este modelo para ajustarlo (fine-tuning) al español y he compartido este proceso de investigación en una clase para ayudar a mis colegas del grupo de investigación a comprenderlo mejor.

Entendiendo los Modelos Seq2Seq

En Intercambios Transorgánicos utilizábamos previamente Tacotron2 como modelo TTS. Este modelo funciona bien, pero presenta varios problemas, principalmente durante el entrenamiento y la inferencia, debido a su naturaleza auto-regresiva. En contraste, FastPitch es un modelo no auto-regresivo (NAR). Para entender estas diferencias, exploré en profundidad los modelos seq2seq, analizando su evolución a lo largo del tiempo, y realicé un resumen rápido de los modelos de análisis de secuencias más relevantes:

RNN
LSTM
Transformers

Tacotron2 se basa en un modelo LSTM (AR), mientras que FastPitch utiliza Transformers (NAR). Comprender esta progresión tecnológica proporciona un contexto esencial, especialmente sobre los transformers, incluyendo la codificación posicional, un elemento clave para su naturaleza no auto-regresiva, y el mecanismo de atención.

La Arquitectura Transformer

Comencé estudiando la arquitectura transformer, ya que es fundamental para el modelo FastPitch. Revisé recursos en línea y el influyente artículo Attention is All You Need. A continuación, algunos puntos clave que anoté durante mi estudio:

Mecanismo de Auto-Atención
- Propósito: Focalizar dinámicamente en diferentes partes de la secuencia de entrada.
- Mecanismo:
  - Query (Q), Key (K), Value (V): Derivados de las embeddings de entrada.
  - Los puntajes de atención se calculan como el producto punto de Q y K, escalado por la raíz cuadrada de la dimensión.
  - Los puntajes se normalizan con softmax para generar pesos de atención.
  - Se calcula una suma ponderada de V basada en estos pesos para producir la salida.
Atención Multi-Cabezal
- Propósito: Capturar diferentes relaciones entre tokens aplicando múltiples mecanismos de auto-atención en paralelo.
- Mecanismo: Las salidas de las múltiples cabezas de atención se concatenan y se transforman linealmente.
Codificación Posicional
- Propósito: Añadir información sobre el orden de los tokens en la secuencia, compensando la falta de un concepto incorporado de orden secuencial en los Transformers (a diferencia de los RNNs).
- Mecanismo: Se añade un vector fijo o aprendible a las embeddings de entrada.
Estructura Codificador-Descodificador
- Codificador: Procesa la secuencia de entrada en representaciones ricas en contexto.
  - Componentes:
    - Auto-atención multi-cabezal
    - Red neuronal feed-forward (FFN)
    - Normalización por capas y conexiones residuales
- Descodificador: Genera la secuencia de salida atendiendo tanto a las salidas del codificador como a los tokens generados previamente.
  - Componentes:
    - Auto-atención multi-cabezal enmascarada (evita atender a tokens futuros)
    - Atención multi-cabezal sobre las salidas del codificador
    - FFN, normalización por capas y conexiones residuales
Red Feed-Forward (FFN)
- Propósito: Introducir no linealidad y procesar cada token de manera independiente.
- Mecanismo: Dos capas lineales con una activación ReLU entre ellas.
Normalización por Capas y Conexiones Residuales
- Propósito: Estabilizar el entrenamiento y mejorar el flujo de gradientes al normalizar las entradas de cada capa y añadir conexiones de salto.

FastPitch

Con la teoría cubierta, examiné cada sección de la arquitectura de FastPitch en detalle. Ofrecí una breve explicación sobre las embeddings de palabras y la codificación posicional, ya que son temas complejos, y quise mantener la clase concisa.

FastPitch convierte texto en espectrogramas mel, que luego son transformados en audio por otro modelo (en nuestro caso, HiFi-GAN). La secuencia de entrenamiento incluye los siguientes pasos:

Texto a embeddings de palabras
Concatenación de embeddings de palabras con espectrogramas mel
Codificación posicional y FFT (bloque Transformer Feed-Forward)
Predicción de tono
Predicción de la duración de los fonemas
Otro bloque FFT
Capa completamente conectada
Salida del espectrograma mel

En cada bloque, presenté las ecuaciones correspondientes y proporcioné explicaciones cualitativas sobre su rol en el modelo. Por ejemplo, la predicción de la duración de los fonemas es crucial para alinear la duración de un fonema con la duración esperada en el espectrograma.

Clase Online

Finalmente, resumí los puntos más importantes y realicé una clase online para compartir estos conceptos con mis colegas. Puedes verla aquí:

IA aprende a jugar 2048

Fri, 17 Feb 2023 00:00:00 +0000

Usé este proyecto como introducción al Aprendizaje por Refuerzo (Reinforcement Learning). Habiendo trabajado principalmente con aprendizaje supervisado y no supervisado, quería comenzar con un proyecto pequeño y sencillo para comprender rápidamente las ideas principales y crear algo divertido. Seguí este video de YouTube como referencia, el cual explica cómo usar Aprendizaje por Refuerzo (RL) para entrenar un modelo capaz de jugar al juego de la serpiente. Para hacerlo más desafiante, apliqué la misma red al juego 2048.

Código

El código tiene tres componentes principales:

El Juego: Implementa la lógica del juego y la interfaz gráfica (GUI).
Agente: Controla la jugabilidad.
Modelo de IA: Una red neuronal que aprende a jugar y guía al agente.

Estado del Juego

Modelé el estado del juego como una matriz de 4x4 que representa el tablero. Las acciones del juego están representadas por un vector con las siguientes posibilidades:

Izquierda: [1, 0, 0, 0]
Derecha: [0, 1, 0, 0]
Arriba: [0, 0, 1, 0]
Abajo: [0, 0, 0, 1]

Recompensa

El modelo de RL funciona con recompensas para cuantificar cuándo el agente actúa bien o mal. Inicialmente, definí las siguientes recompensas:

+10 puntos: Cuando el agente duplica los puntos. Esto es crucial porque, en 2048, los puntos aumentan exponencialmente.
-10 puntos: Cuando se pierde el juego. Esto sirve como una penalización sencilla.

Al principio, el modelo mostraba una mejora lenta. Para solucionarlo, añadí una recompensa adicional:

+2 puntos: Cuando se incrementan los puntos. Esta recompensa incentiva acciones que maximicen la limpieza del tablero y el progreso.

Cómo Funciona el Modelo

El modelo es una red neuronal lineal simple. Toma el estado del juego como entrada y predice la mejor acción siguiente para maximizar la recompensa.

Las recompensas se gestionan utilizando una técnica llamada Q-Learning. Un valor Q representa la calidad de una decisión basada en la función de pérdida. La función de pérdida se deriva de la Ecuación de Bellman:

$$ NewQ(s, a) = Q(s, a) + \alpha [R(s, a) + \lambda \, \text{max}Q'(s', a') - Q(s, a)] $$

Donde:

$Q(s, a)$: El valor Q para un estado y acción específicos.
$\alpha$: Tasa de aprendizaje.
$R(s, a)$: Recompensa para un estado y acción específicos.
$\lambda$: Tasa de descuento.
$\text{max}Q’(s’, a’)$: Recompensa futura máxima esperada.

Experimentos y Resultados

Prueba Aleatoria como Línea Base

Para establecer una línea base, probé el puntaje promedio que se puede lograr tomando acciones aleatorias. Después de 1,000 iteraciones, el puntaje promedio fue de 170, muy por debajo de los 2048 puntos necesarios para ganar el juego.

Resultados Iniciales

Mis primeros intentos fueron desalentadores. El modelo tenía un desempeño peor que los movimientos aleatorios. Aquí algunos resultados iniciales:

Juego 1,000 | Puntaje: 208 | Récord: 416 | Puntaje Promedio: 200 | Recompensa: 640
Juego 1,000 | Puntaje: 116 | Récord: 346 | Puntaje Promedio: 161 | Recompensa: 310
Juego 1,000 | Puntaje: 112 | Récord: 348 | Puntaje Promedio: 146 | Recompensa: 320

En estos intentos, el agente desarrolló una estrategia subóptima de llenar el tablero antes de incrementar los puntos.

Mejoras

Tras experimentar con los parámetros de recompensa, me centré en la fase de exploración. Inicialmente, el parámetro de juegos de exploración, que elige movimientos aleatorios, estaba configurado en 25 juegos. Al aumentar este parámetro, el agente pudo explorar más estrategias, logrando mejores resultados:

Juego 1,000 | Puntaje: 478 | Récord: 478 | Puntaje Promedio: 230
Juego 1,000 | Puntaje: 514 | Récord: 964 | Puntaje Promedio: 382

A medida que el modelo mejoraba, extendí el entrenamiento a más juegos:

Juego 3,796 | Puntaje: 770 | Récord: 1,366 | Puntaje Promedio: 469
Juego 4,852 | Puntaje: 631 | Récord: 1,462 | Puntaje Promedio: 483

Finalmente, con 200 juegos de exploración y 5,000 juegos de entrenamiento, los resultados fueron los siguientes:

Juego 5,000 | Puntaje: 840 | Récord: 1,678 | Puntaje Promedio: 512

Aunque el modelo no logró ganar el juego, quedé satisfecho con el progreso. Creo que con más tiempo de entrenamiento (el último intento duró 4 horas) y capas adicionales en la red, sería posible ganar el juego con esta arquitectura.

Demo

Aquí tienes una demostración de la aplicación, mostrando el proceso de aprendizaje del agente:

Implementé atajos de teclado para controlar la velocidad del juego, ofreciendo tres opciones:

Rápida: Para un entrenamiento acelerado.
Lenta: Para observar y analizar el progreso del agente y sus errores.
Media: Casi no la utilicé.

El código completo para este proyecto está disponible en este repositorio.

Evaluación de diferentes modelos de Separación del Hablante

Fri, 04 Nov 2022 00:00:00 +0000

Este proyecto comenzó como el trabajo final para un seminario de la UNTREF llamado Seminario en Aplicaciones de Redes Neuronales en la recuperación de información musical. El objetivo era utilizar una Red Neuronal Siamés (SNN, por sus siglas en inglés) en un contexto diferente al visto en clase (detección de similitud musical).

Para el proyecto final de este curso, desarrollamos un modelo SNN desde cero utilizando el framework Keras y la arquitectura SincNet para reducir la dimensionalidad del audio, logrando buenos resultados. Más adelante, para expandir este proyecto, probé otro enfoque utilizando Wav2Vec para la reducción de dimensionalidad y reimplementé todo el proyecto en el framework PyTorch. Sin embargo, este intento arrojó resultados subóptimos, lo que indica que la reducción de dimensionalidad con Wav2Vec perdió información crítica necesaria para la tarea de diarización de locutores.

Tarea de Diarización de Locutores

El objetivo de un modelo de diarización de locutores es identificar diferentes hablantes en un flujo de audio que contiene múltiples voces. Por ejemplo, en un podcast con dos personas (A y B), el modelo debe determinar los pasos de tiempo en los que el hablante A está hablando y los pasos de tiempo en los que el hablante B está hablando (e identificar implícitamente los períodos de silencio). Estos modelos son extremadamente útiles para la edición de audio y el análisis de largas secuencias de audio con múltiples hablantes.

¿Por qué Redes Neuronales Siamés?

En clase, exploramos la arquitectura siamés para comparar similitudes entre piezas musicales, desarrollando una herramienta capaz de identificar versiones de canciones famosas.

Una Red Neuronal Siamés consiste en dos o más subredes idénticas que comparten los mismos pesos y parámetros. Está diseñada para comparar pares de entradas y medir su similitud, generalmente utilizando una métrica de distancia como la distancia euclidiana. Cada subred procesa una entrada, y las salidas se combinan para calcular un puntaje de similitud.

Con esta comparación de similitudes en mente, quisimos aplicar estas redes a la tarea de diarización de locutores. La idea era generar embeddings de hablantes a partir de audio utilizando un modelo preentrenado y comparar las salidas de diferentes segmentos de audio. Basándonos en el puntaje de similitud, buscamos identificar los segmentos donde diferentes hablantes están hablando.

Experimentos

Probé dos métodos diferentes para la extracción de características de audio que servirían como embeddings de hablantes.

Implementación en Keras con SincNet

En este enfoque, utilizamos la arquitectura SincNet para extraer características específicas de los hablantes a partir del audio. SincNet aplica funciones sinc aprendibles como sus filtros, que son particularmente adecuadas para el procesamiento de audio, ya que imitan los filtros de paso de banda tradicionales. Estas características se introdujeron en la Red Neuronal Siamés, que comparó pares de segmentos de audio para calcular sus puntajes de similitud. El modelo se entrenó con conjuntos de datos de audio etiquetados y observamos un rendimiento sólido al agrupar segmentos de audio por hablante, logrando límites claros entre diferentes hablantes.

Un informe con los resultados puede encontrarse en el siguiente notebook de Jupyter (en español).

Implementación en PyTorch con Wav2Vec

Para este método, utilicé Wav2Vec, un modelo preentrenado poderoso para la extracción de embeddings profundos de audio. A diferencia de SincNet, los embeddings de Wav2Vec se derivan del aprendizaje autosupervisado, capturando representaciones de alto nivel del audio. Estos embeddings se usaron en la Red Neuronal Siamés para comparaciones de similitud. Sin embargo, los resultados fueron subóptimos para la tarea de diarización. Parece que Wav2Vec, aunque excelente para tareas de reconocimiento de voz, perdió algunos detalles específicos del hablante necesarios para distinguir entre diferentes voces en nuestro contexto.

Resultados

Los experimentos demostraron que la elección del método de extracción de características es crucial para la diarización de locutores. La implementación en Keras con SincNet superó a la implementación en PyTorch con Wav2Vec, mostrando mayor precisión al identificar transiciones entre hablantes. Esto sugiere que la extracción de características específicas para la tarea, como SincNet, es más efectiva que los embeddings de propósito general como Wav2Vec para la diarización de locutores.

El código de este proyecto está disponible en este repositorio.

Conclusiones

Este proyecto fue una de mis primeras experiencias con modelos de aprendizaje profundo, donde apliqué mis conocimientos a un problema sin seguir un artículo específico o utilizar un modelo preentrenado. Exploré diferentes soluciones y concluí sobre la importancia de la extracción de características y la selección del modelo.

También me ayudó a familiarizarme con la sintaxis de los frameworks de aprendizaje profundo más populares y a solidificar mi comprensión en el proceso.