
Procesado de Señales de Audio, Voz y Neuronales
Código: 45680Créditos: 5
| Titulación | Tipo | Curso |
|---|---|---|
| Ingeniería de Telecomunicación | OP | 2 |
Profesor/a de contacto
- Nombre :
- Waldo Nogueira Vazquez
- Correo electrónico :
- waldo.nogueira@uab.cat
Equipo docente
- Helen Wolf
- Constantino Danilo Dragicevic
- Mechthild Meierott
Idiomas de los grupos
Puede consultar esta información al final del documento.
Prerrequisitos
Específicamente, deberían tener conocimientos de:
- Conceptos básicos de álgebra, cálculo, probabilidad y estadística.
- Conceptos básicos de señales y sistemas, así como de teoría de la información.
- Fundamentos del procesamiento digital de señales, incluyendo el muestreo, el filtrado y el análisis espectral.
- Procesamiento estadístico de señales.
- Sistemas embebidos para el procesamiento digital de señales.
- Conocimientos de programación en MATLAB, Python o un entorno similar de computación científica.
- No se requieren conocimientos previos sobre habla, audio, audición, neurociencia o procesamiento de señales neuronales. Todos los conceptos específicos del dominio necesarios para el análisis y procesamiento de señales de habla, audio y señales neuronales se introducirán a lo largo del curso.
Objetivos
Esta es una asignatura sobre el procesamiento digital de señales de audio, habla y señales neuronales. La asignatura se centra en el estudio de las principales técnicas de análisis, descripción, síntesis y procesamiento de señales de habla y neuronales, así como en sus aplicaciones en smartphones, dispositivos hearables, dispositivos portátiles situados en la cabeza (head-mounted devices), audífonos, implantes cocleares y dispositivos de diagnóstico de la audición.
El objetivo de la asignatura es que los estudiantes desarrollen una metodología para analizar, codificar, reconocer y procesar señales de audio, habla y señales neuronales mediante técnicas de procesamiento de señales. Más concretamente, se espera que los estudiantes adquieran competencias teóricas y prácticas relacionadas con:
- Los fundamentos acústicos, fisiológicos y perceptivos del habla y la audición.
- Los fundamentos del análisis digital del habla y de las señales neuronales.
- Los métodos de modelado del sistema auditivo y del procesamiento de señales de habla y neuronales.
- El uso de herramientas de software para el procesamiento de señales de habla y neuronales.
- Los modelos computacionales del sistema auditivo humano.
- El diseño de dispositivos auditivos, desde dispositivos hearables hasta tecnologías destinadas a restaurar la pérdida auditiva.
- El diseño de dispositivos para el diagnóstico de la audición.
- La comprensión e interpretación de métodos electrofisiológicos para el diagnóstico de la función auditiva.
- La implementación, mediante un lenguaje de programación, de algoritmos de procesamiento de señales de habla y neuronales.
Resultados de aprendizaje
- (CA39) Investigar la relación entre la acústica del sonido y las señales neuronales
- (CA40) Examinar la metodología necesaria para diseñar y evaluar algoritmos de procesado de señales de audio, voz y neuronales
- (CA41) Implementar en Matlab/Python algoritmos avanzados de procesado de señales para señales de voz, audio y neuronales
- (CA42) Aplicar conocimientos en procesado de señal en la bioingeniería y más concretamente en la audiología y las tecnologías de la audición
- (KA36) Explicar la relación entre la acústica del sonido y el procesado neuronal, destacando sus implicaciones técnicas
- (KA37) Describir la fisiología del sistema auditivo humano y su modelado computacional, integrando conceptos de psicoacústica
- (KA38) Diseñar algoritmos avanzados para el procesado de señales de audio y neuronales
- (KA39) Describir técnicas de procesado de señal al reconocimiento, transmisión y síntesis de audio y voz
- (KA40) Enumerar aplicaciones de procesado de señal enfocadas en audífonos, implantes cocleares y sistemas de diagnóstico audiológico
- (SA52) Analizar el procesado de señal, incluyendo el diseño de filtros, el modelaje avanzado de señales de audio, voz y neuronales
- (SA53) Implementar algoritmos de procesado de señal en Matlab/Python
- (SA54) Informar (de forma oral y escrita) sobre publicaciones científicas en el ámbito del procesado de señales de audio, voz y neuronales
- (SA55) Aplicar modelado matemático computacional al sistema auditivo y producción de voz
Contenidos
1. Introducción a las señales de habla, audio y señales neuronales
- Características de las señales de habla, audio y señales neuronales.
- Sistemas de adquisición de señales y sensores.
- Fundamentos de la producción del habla, la audición y la actividad neuronal.
- Aplicaciones en telecomunicaciones, tecnologías auditivas y neuroingeniería.
2. Fundamentos del procesamiento digital de señales
- Muestreo, cuantificación y representación digital de señales.
- Análisis en el dominio temporal y en el dominio frecuencial.
- Análisis de Fourier y estimación espectral.
- Filtrado digital y técnicas de mejora de señal.
3. Acústica, audición binaural y audio 3D
- Fundamentos de la acústica.
- Sistemas de reproducción mediante auriculares y altavoces.
- Audición binaural.
4. Sistema auditivo y tecnologías auditivas
- Anatomía y fisiología del sistema auditivo periférico y central.
- Percepción auditiva y psicoacústica.
- Modelos del procesamiento coclear y auditivo.
- Pérdida auditiva: causas, diagnóstico e implicaciones para el procesamiento de señales.
- Visión general de las tecnologías de asistencia auditiva.
5. Procesamiento de señales de habla y audio para aplicaciones auditivas
- Análisis del habla y extracción de características.
- Mejora del habla y reducción de ruido.
- Procesamiento direccional y técnicas de beamforming.
- Compresión del rango dinámico y conformación frecuencial.
- Inteligibilidad del habla y evaluación de la calidad en dispositivos auditivos.
6. Audífonos: algoritmos de procesamiento de señal
- Arquitectura y funcionamiento de los audífonos modernos.
- Filtrado adaptativo y cancelación de realimentación (feedback).
- Algoritmos de reducción de ruido y mejora del habla.
- Clasificación automática de escenas y adaptación al entorno.
- Conectividad inalámbrica y restricciones del procesamiento en tiempo real.
7. Implantes auditivos
- Principios de funcionamiento de los implantes cocleares.
- Estrategias de codificación del sonido para implantes cocleares.
- Procesamiento de señal para la audición eléctrica.
- Sistemas de implante coclear bilateral y audición bimodal.
- Implantes auditivos de tronco cerebral (ABI) e implantes auditivos centrales.
- Retos de las prótesis auditivas y desarrollos futuros.
8. Modelos computacionales de la audición
- Modelos computacionales del sistema auditivo periférico estimulado acústicamente.
- Modelos computacionales del sistema auditivo periférico estimulado eléctricamente.
- Modelos computacionales centrales de la sonoridad, la percepción del tono (pitch) y la comprensión del habla.
9. Dispositivos de diagnóstico auditivo
- Timpanometría.
- Emisiones otoacústicas.
- Potenciales evocados auditivos de tronco cerebral (PEATC o ABR).
- Respuestas auditivas de estado estable (ASSR).
- Potenciales evocados auditivos corticales.
- Neural tracking.
10. Procesamiento de señales neuronales para aplicaciones auditivas
- Introducción al EEG, los potenciales evocados auditivos y las respuestas auditivas de estado estable.
- Adquisición y preprocesamiento de señales.
- Técnicas de filtrado y eliminación de artefactos.
- Análisis tiempo-frecuencia de las respuestas neuronales.
- Medidas neuronales de la percepción auditiva y de la comprensión del habla.
- Aplicaciones al ajuste objetivo y a la evaluación de dispositivos e implantes auditivos.
11. Aprendizaje automático para señales de habla, audio y neuronales
- Extracción de características y reducción de dimensionalidad.
- Métodos de clasificación y reconocimiento de patrones.
- Aplicaciones del aprendizaje automático en audífonos e implantes cocleares.
- Decodificación neuronal e interfaces cerebro-computadora.
- Enfoques basados en datos para una rehabilitación auditiva personalizada.
12. Sesiones de laboratorio
- Procesamiento de señales de habla, audio y neuronales utilizando MATLAB y/o Python.
- Implementación de algoritmos para audífonos e implantes cocleares.
- Análisis de potenciales evocados auditivos y conjuntos de datos neuronales.
- Evaluación de la inteligibilidad del habla y del rendimiento auditivo.
- Medidas diagnósticas de la audición: timpanometría, emisiones otoacústicas, potenciales evocados auditivos de tronco cerebral (PEATC o ABR), respuestas auditivas de estado estable (ASSR) y potenciales evocados auditivos corticales.
Actividades formativas y Metodología
| Título | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|
| Tipo: Dirigida | |||
| 10. Procesamiento de Señales Neuronales para Aplicaciones Auditivas | 6 | 0,24 | KA36, KA38 |
| 11. Aprendizaje Automático para Señales de Habla, Audio y Señales Neuronales | 6 | 0,24 | KA38, KA39 |
| 11. Dispositivos de diagnóstico de la audición | 0 | 0 | CA42, KA40 |
| 12. Sesiones de Laboratorio | 47 | 1,88 | SA53, SA54 |
| 2. Fundamentos del Procesamiento Digital de Señales | 6 | 0,24 | CA41, CA42 |
| 3. Acústica, audición binaural y audio 3D. | 6 | 0,24 | CA39, KA36 |
| 4. Sistema Auditivo y Tecnologías Auditivas | 6 | 0,24 | KA37 |
| 5. Procesamiento de Señales de Voz y Audio para Aplicaciones Auditivas | 6 | 0,24 | CA41, CA42, KA38, KA39, SA52 |
| 6. Audífonos: Algoritmos de Procesamiento de Señales | 6 | 0,24 | CA40, CA42, KA37, KA38, KA40, SA52 |
| 7. Implantes Auditivos | 6 | 0,24 | KA40 |
| 8. Modelos Computacionales de la Audición | 6 | 0,24 | KA37, SA52, SA55 |
| Copilot said: 1. Introducción a las señales de habla, audio y señales neuronales. | 6 | 0,24 | CA40 |
El curso combina clases magistrales, sesiones de laboratorio, estudios de casos y aprendizaje basado en proyectos para proporcionar al estudiantado una sólida base teórica y competencias prácticas en el procesamiento de señales de habla, audio y señales neuronales, con especial énfasis en las tecnologías auditivas y los implantes auditivos.
Clases teóricas
- Presentación de los fundamentos teóricos del procesamiento digital de señales, la percepción auditiva, los dispositivos auditivos y el análisis de señales neuronales.
- Discusión de las tecnologías más avanzadas en audífonos, implantes cocleares, implantes auditivos de tronco cerebral e implantes auditivos centrales.
- Análisis de la literatura científica y de desafíos reales de ingeniería en el ámbito de la audición y el procesamiento de señales.
-
Sesiones de laboratorio
- Ejercicios prácticos utilizando MATLAB y/o Python.
- Procesamiento y análisis de señales de habla, audio y señales neuronales.
- Diseño e implementación de algoritmos de procesamiento de señales utilizados en audífonos e implantes auditivos.
- Evaluación de técnicas de mejora del habla, reducción de ruido y estrategias de codificación auditiva.
- Realización y análisis de medidas electrofisiológicas basadas en electroencefalografía (EEG) en respuesta a estímulos acústicos.
- Desarrollo de proyectos aplicados orientados a la resolución de problemas reales en tecnologías auditivas y salud auditiva.
Evaluación
Actividades de evaluación continuada
| Título | Peso | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|---|
| Examen Final | 40% | 2 | 0,08 | CA40, CA41, CA42, KA36, KA37, KA38, KA39, KA40, SA52, SA55 |
| Examen Parcial | 20% | 1 | 0,04 | CA39, CA40, CA41, CA42, KA36, KA37, KA39, KA40, SA52 |
| Laboratiorios | 40% | 15 | 0,6 | CA39, CA40, CA41, CA42, KA36, KA37, KA38, KA39, KA40, SA52, SA53, SA54, SA55 |
Teoría (60%)
- Examen parcial: 30%
- Examen final: 30%
Sesiones de laboratorio (40%)
- Cinco sesiones de laboratorio, con asistencia obligatoria y entrega de los informes correspondientes: 40%
-
Requisitos mínimos para superar la asignatura
- Es necesario obtener una calificación mínima de 4,0 sobre 10 en el conjunto de la parte teórica (examen parcial y examen final).
- La asistencia a todas las sesiones de laboratorio es obligatoria. Para superar la asignatura, es necesario participar en todas las actividades prácticas y entregar los informes correspondientes dentro de los plazos establecidos.
- Las ausencias a las sesiones de laboratorio deberán estar debidamente justificadas. En estos casos, el profesorado podrá establecer actividades compensatorias equivalentes.
Recuperación
La parte teórica de la asignatura es recuperable. El alumnado que no cumpla los requisitos mínimos establecidos o no supere la parte teórica podrá presentarse a una prueba de recuperación, que podrá incluir los contenidos del examen parcial, del examen final o de ambos, según determine el profesorado.
En caso de presentarse a la recuperación, la calificación final de la asignatura se calculará de acuerdo con la siguiente ponderación:
- Prueba de recuperación del examen parcial: 30%
- Prueba de recuperación del examen final: 30%
- Sesiones de laboratorio: 40%
Bibliografía
Procesado de Señales Fundamental
- Oppenheim, A. V., & Schafer, R. W. (2009). Discrete-Time Signal Processing (3.ª ed.). Pearson.
- Proakis, J. G., & Manolakis, D. G. (2007). Digital Signal Processing: Principles, Algorithms, and Applications (4.ª ed.). Pearson.
- Rabiner, L. R., & Schafer, R. W. (2011). Theory and Applications of Digital Speech Processing. Pearson.
Procesado del Habla y del Audio
- Rabiner, L. R., & Schafer, R. W. (2007). Introduction to Digital Speech Processing. Foundations and Trends in Signal Processing, 1(1-2), 1-194. https://doi.org/10.1561/2000000001
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing (3.ª ed., manuscrito en línea). Stanford University.
Ciencia Auditiva y Procesamiento Auditivo
- Moore, B. C. J. (2022). An Introduction to the Psychology of Hearing (8.ª ed.). Brill.
- Pickles, J. O. (2012). An Introduction to the Physiology of Hearing (4.ª ed.). Emerald Publishing.
Audífonos
- Dillon, H. (2012). Hearing Aids (2.ª ed.). Thieme Medical Publishers. ISBN: 978-1604068108.
Implantes Cocleares y Prótesis Auditivas
- Zeng, F.-G., Rebscher, S., Harrison, W., Sun, X., & Feng, H. (2008). Cochlear implants: System design, integration, and evaluation. IEEE Reviews in Biomedical Engineering, 1, 115-142. https://doi.org/10.1109/RBME.2008.2008250
- Clark, G. M. (2003). Cochlear Implants: Fundamentals and Applications. Springer. ISBN: 978-0387955834.
- Wolfe, J. (2020). Cochlear Implants: Audiologic Management and Considerations for Implantable Hearing Devices. Plural Publishing. ISBN: 978-1597568920.
- Nogueira, W. (2026). Advancements and Challenges in Signal Processing and Sound Coding for Cochlear Implants. En Advancing Cochlear Implants. Springer.
Procesado de Señales Neuronales y Electrofisiología Auditiva
- Sanei, S., & Chambers, J. A. (2007). EEG Signal Processing. John Wiley & Sons. ISBN: 978-0470025819. https://doi.org/10.1002/9780470511923
- Atcherson, S. R., & Stoody, T. M. (2024). Auditory Electrophysiology: A Clinical Guide (2.ª ed.). Thieme Medical Publishers. ISBN: 978-1684201167.
Software
- Python
- Matlab with signal processing toolbox, statistic toolbox, audio toolbox
- Audacity
- Praat
- EEGlab
Grupos e idiomas de la asignatura
La información proporcionada es provisional hasta el 30 de noviembre. A partir de esta fecha, podrá consultar el idioma de cada grupo a través de este enlace. Para acceder a la información, será necesario introducir el CÓDIGO de la asignatura