Processament de Senyals d'Àudio, Veu i Neuronals
Codi: 45680Crèdits: 5
2026/2027
| Titulació | Tipus | Curs |
|---|---|---|
| Enginyeria de Telecomunicació | OP | 2 |
Professor/a de contacte
- Nom :
- Waldo Nogueira Vazquez
- Correu electrònic :
- waldo.nogueira@uab.cat
Equip docent
- Helen Wolf
- Constantino Danilo Dragicevic
- Mechthild Meierott
Idiomes dels grups
Podeu consultar aquesta informació al final del document.
Prerequisits
Específicament, haurien de tenir coneixements de:
- Conceptes bàsic d'àlgebra lineal, càlcul, probabilitat i estadística.
- Conceptes bàsics de senyals i sistemes, així com de teoria de la informació.
- Fonaments del processament digital de senyals, incloent-hi el mostreig, el filtratge i l’anàlisi espectral.
- Processament estadístic de senyals.
- Sistemes integrats per al processament digital de senyals.
- Coneixements de programació en MATLAB, Python o un entorn similar de computació científica.
- No es requereixen coneixements previs sobre parla, àudio, audició, neurociència o processament de senyals neuronals. Tots els conceptes específics del domini necessaris per a l’anàlisi i el processament de senyals de parla, àudio i senyals neuronals s’introduiran al llarg del curs.
Objectius
Aquesta és una assignatura sobre el processament digital de senyals d’àudio, parla i senyals neuronals. L’assignatura se centra en l’estudi de les principals tècniques d’anàlisi, descripció i processament de senyals d'àudio, parla i neuronals, així com en les seves aplicacions en smartphones, dispositius hearables, dispositius portables situats al cap (head-mounted devices), audiòfons, implants coclears, implants centrals i dispositius de diagnòstic de l’audició.
L’objectiu de l’assignatura és que els estudiants desenvolupin una metodologia per analitzar, codificar, reconèixer i processar senyals d’àudio, parla i senyals neuronals mitjançant tècniques de processament de senyal. Més concretament, s’espera que els estudiants adquireixin competències teòriques i pràctiques relacionades amb:
- Els fonaments acústics, fisiològics i perceptius de la parla i l’audició.
- Els fonaments de l’anàlisi digital de la parla i dels senyals neuronals.
- Els mètodes de modelització del sistema auditiu i del processament de senyals de parla i neuronals.
- L’ús d’eines de programari per al processament de senyals de parla i neuronals.
- L'us i disseny de models computacionals del sistema auditiu humà.
- El disseny de dispositius auditius, des de dispositius hearables fins a tecnologies destinades a restaurar la pèrdua auditiva.
- El disseny de dispositius per al diagnòstic de l’audició.
- La comprensió i interpretació de mètodes electrofisiològics per al diagnòstic de la funció auditiva.
- La implementació, mitjançant un llenguatge de programació, d’algorismes de processament de senyals de parla i neuronals.
Resultats d'aprenentatge
- (CA39) Investigar la relació entre l’acústica del so i els senyals neuronals.
- (CA40) Examinar la metodologia necessària per dissenyar i avaluar algoritmes de processament de senyals d’àudio, veu i neuronals.
- (CA41) Implementar amb Matlab/Python algoritmes avançats de processament de senyals per a senyals de veu, àudio i neuronals.
- (CA42) Aplicar coneixements en processament de senyal en la bioenginyeria i més concretament en l’audiologia i les tecnologies de l’audició.
- (KA36) Explicar la relació entre l’acústica del so i el processament neuronal i destacar-ne les implicacions tècniques.
- (KA37) Descriure la fisiologia del sistema auditiu humà i el seu modelatge computacional i integrar-hi conceptes de psicoacústica.
- (KA38) Dissenyar algoritmes avançats per al processament de senyals d’àudio i neuronals.
- (KA39) Descriure tècniques de processament de senyal al reconeixement, la transmissió i la síntesi d’àudio i veu.
- (KA40) Enumerar aplicacions de processament de senyal enfocades en audiòfons, implants coclears i sistemes de diagnòstic audiològic.
- (SA52) Analitzar el processament de senyal, incloent-hi el disseny de filtres i el modelatge avançat de senyals d’àudio, veu i neuronals.
- (SA53) Implementar algoritmes de processament de senyal amb Matlab/Python.
- (SA54) Informar (de forma oral i escrita) sobre publicacions científiques en l'àmbit del processament de senyals d'àudio, veu i neuronals.
- (SA55) Aplicar modelatge matemàtic computacional al sistema auditiu i producció de veu.
Continguts
1. Introducció als senyals de parla, àudio i senyals neuronals
- Característiques dels senyals de parla, àudio i dels senyals neuronals.
- Sistemes d’adquisició de senyals i sensors.
- Fonaments de la producció de la parla, de l’audició i de l’activitat neuronal.
- Aplicacions en telecomunicacions, tecnologies auditives i neuroenginyeria.
2. Fonaments del processament digital de senyals
- Mostreig, quantificació i representació digital dels senyals.
- Anàlisi en el domini temporal i en el domini freqüencial.
- Anàlisi de Fourier i estimació espectral.
- Filtratge digital i tècniques de millora del senyal.
3. Acústica, audició binaural i àudio 3D
- Fonaments de l’acústica.
- Sistemes de reproducció amb auriculars i altaveus.
- Audició binaural.
4. Sistema auditiu i tecnologies auditives
- Anatomia i fisiologia del sistema auditiu perifèric i central.
- Percepció auditiva i psicoacústica.
- Models del processament coclear i auditiu.
- Pèrdua auditiva: causes, diagnòstic i implicacions per al processament de senyals.
- Visió general de les tecnologies d’assistència auditiva.
5. Processament de senyals de parla i àudio per a aplicacions auditives
- Anàlisi de la parla i extracció de característiques.
- Millora de la parla i reducció del soroll.
- Processament direccional i tècniques de beamforming.
- Compressió del rang dinàmic i conformació freqüencial.
- Intel·ligibilitat de la parla i avaluació de la qualitat en dispositius auditius.
6. Audiòfons: algoritmes de processament de senyal
- Arquitectura i funcionament dels audiòfons moderns.
- Filtratge adaptatiu i cancel·lació de retroalimentació (feedback).
- Algoritmes de reducció del soroll i millora de la parla.
- Classificació automàtica d’escenes i adaptació a l’entorn.
- Connectivitat sense fils i restriccions del processament en temps real.
7. Implants auditius
- Principis de funcionament dels implants coclears.
- Estratègies de codificació del so per a implants coclears.
- Processament del senyal per a l’audició elèctrica.
- Sistemes d’implant coclear bilateral i audició bimodal.
- Implants auditius de tronc cerebral (ABI) i implants auditius centrals.
- Reptes dels pròtesis auditives i desenvolupaments futurs.
8. Models computacionals de l’audició
- Models computacionals del sistema auditiu perifèric estimulat acústicament.
- Models computacionals del sistema auditiu perifèric estimulat elèctricament.
- Models computacionals centrals de la sonoritat, l’altura tonal (pitch) i la comprensió de la parla.
9. Dispositius de diagnòstic auditiu
- Timpanometria
- Emissions otoacústiques
- Potencials evocats auditius de tronc cerebral (PEATC o ABR),
- Respostes auditives d’estat estable (ASSR)
- Potencials evocats corticals auditius.
- Neural Tracking
10. Processament de senyals neuronals per a aplicacions auditives
- Introducció a l’EEG, els potencials evocats auditius i les respostes auditives en estat estable.
- Adquisició i preprocessament de senyals.
- Tècniques de filtratge i eliminació d’artefactes.
- Anàlisi temps-freqüència de les respostes neuronals.
- Mesures neuronals de la percepció auditiva i de la comprensió de la parla.
- Aplicacions a l’ajust objectiu i a l’avaluació de dispositius i implants auditius.
11. Aprenentatge automàtic per a senyals de parla, àudio i neuronals
- Extracció de característiques i reducció de dimensionalitat.
- Mètodes de classificació i reconeixement de patrons.
- Aplicacions de l’aprenentatge automàtic en audiòfons i implants coclears.
- Descodificació neuronal i interfícies cervell-ordinador.
- Enfocaments basats en dades per a una rehabilitació auditiva personalitzada.
12. Sessions de laboratori
- Processament de senyals de parla, àudio i neuronals amb MATLAB i/o Python.
- Implementació d’algoritmes per a audiòfons i implants coclears.
- Anàlisi de potencials evocats auditius i conjunts de dades neuronals.
- Avaluació de la intel·ligibilitat de la parla i del rendiment auditiu.
- Mesures diagnòstiques de l’audició: timpanometria, emissions otoacústiques, potencials evocats auditius de tronc cerebral (PEATC o ABR), respostes auditives d’estat estable (ASSR), i potencials evocats corticals auditius.
Activitats formatives i Metodologia
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Tipus: Dirigida | |||
| 1. Introducció als senyals de parla, àudio i senyals neuronals | 6 | 0,24 | CA40 |
| 10. Processament de senyals neuronals per a aplicacions auditives | 6 | 0,24 | KA36, KA38 |
| 11. Aprenentatge automàtic per a senyals de parla, àudio i neuronals | 6 | 0,24 | KA38, KA39 |
| 11. Dispositius de diagnòstic de l'audició | 0 | 0 | CA42, KA40 |
| 12. Sessions de laboratori | 47 | 1,88 | SA53, SA54 |
| 2. Fonaments del processament digital de senyals | 6 | 0,24 | CA41, CA42 |
| 3. Acústica, audició binaural i àudio 3D | 6 | 0,24 | CA39, KA36 |
| 4. Sistema auditiu i tecnologies auditives | 6 | 0,24 | KA37 |
| 5. Processament de senyals de parla i àudio per a aplicacions auditives | 6 | 0,24 | CA41, CA42, KA38, KA39, SA52 |
| 6. Audiòfons: algoritmes de processament de senyal | 6 | 0,24 | CA40, CA42, KA37, KA38, KA40, SA52 |
| 7. Implants auditius | 6 | 0,24 | KA40 |
| 8. Models computacionals de l’audició | 6 | 0,24 | KA37, SA52, SA55 |
Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, perquè l'alumnat completi les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura.
Avaluació
Activitats d'avaluació continuada
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Examen Final | 40% | 2 | 0,08 | CA40, CA41, CA42, KA36, KA37, KA38, KA39, KA40, SA52, SA55 |
| Examen parcial | 20% | 1 | 0,04 | CA39, CA40, CA41, CA42, KA36, KA37, KA39, KA40, SA52 |
| Laboratoris | 40% | 15 | 0,6 | CA39, CA40, CA41, CA42, KA36, KA37, KA38, KA39, KA40, SA52, SA53, SA54, SA55 |
Teoria (60%)
- Examen parcial: 30%
- Examen final: 30%
Sessions de laboratori (40%)
- Cinc sessions de laboratori, amb assistència obligatòria i lliurament dels informes corresponents: 40%
Requisits mínims per superar l’assignatura
- Cal obtenir una qualificació mínima de 4,0 sobre 10 en el conjunt de la part teòrica (examen parcial i examen final).
- L’assistència a totes les sessions de laboratori és obligatòria. Per superar l’assignatura, cal participar en totes les activitats pràctiques i lliurar els informes corresponents dins dels terminis establerts.
- Les absències a les sessions de laboratori hauran d’estar degudament justificades. En aquests casos, el professorat podrà establir activitats compensatòries equivalents.
Recuperació
La part teòrica de l’assignatura és recuperable. L’alumnat que no superi els requisits mínims establerts o no aprovi la part teòrica podrà presentar-se a una prova de recuperació, que podrà incloure els continguts de l’examen parcial, de l’examen final o d’ambdós, segons determini el professorat.
En cas de presentar-se a la prova de recuperació, la qualificació final de l’assignatura es calcularà d’acord amb la ponderació següent:
- Prova de recuperació parcial: 30%
- Prova de recuperació final: 30%
- Sessions de laboratori: 40%
- Per superar l’assignatura, continuaran sent d’aplicació els requisits mínims establerts per a les activitats de laboratori.
Bibliografia
Processament de Senyals Fonamental
- Oppenheim, A. V., & Schafer, R. W. (2009). Discrete-Time Signal Processing (3a ed.). Pearson.
- Proakis, J. G., & Manolakis, D. G. (2007). Digital Signal Processing: Principles, Algorithms, and Applications (4a ed.). Pearson.
- Rabiner, L. R., & Schafer, R. W. (2011). Theory and Applications of Digital Speech Processing. Pearson.
Processament de la Parla i l'Àudio
- Rabiner, L. R., & Schafer, R. W. (2007). Introduction to Digital Speech Processing. Foundations and Trends in Signal Processing, 1(1-2), 1-194. https://doi.org/10.1561/2000000001
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing (3a ed., manuscrit en línia). Stanford University.
Ciència Auditiva i Processament Auditiu
- Moore, B. C. J. (2022). An Introduction to the Psychology of Hearing (8a ed.). Brill.
- Pickles, J. O. (2012). An Introduction to the Physiology of Hearing (4a ed.). Emerald Publishing.
Audiòfons
- Dillon, H. (2012). Hearing Aids (2a ed.). Thieme Medical Publishers. ISBN: 978-1604068108.
Implants Coclears i Pròtesis Auditives
- Zeng, F.-G., Rebscher, S., Harrison, W., Sun, X., & Feng, H. (2008). Cochlear implants: System design, integration, and evaluation. IEEE Reviews in Biomedical Engineering, 1, 115-142. https://doi.org/10.1109/RBME.2008.2008250
- Clark, G. M. (2003). Cochlear Implants: Fundamentals and Applications. Springer. ISBN: 978-0387955834.
- Wolfe, J. (2020). Cochlear Implants: Audiologic Management and Considerations for Implantable Hearing Devices. Plural Publishing. ISBN: 978-1597568920.
- Nogueira, W. (2026). Advancements and Challenges in Signal Processing and Sound Coding for Cochlear Implants. In Advancing Cochlear Implants. Springer.
Processament de Senyals Neuronals i Electrofisiologia Auditiva
- Sanei, S., & Chambers, J. A. (2007). EEG Signal Processing. John Wiley & Sons. ISBN: 978-0470025819. https://doi.org/10.1002/9780470511923
- Atcherson, S. R., & Stoody, T. M. (2024). Auditory Electrophysiology: A Clinical Guide (2a ed.). Thieme Medical Publishers. ISBN: 978-1684201167.
Programari
- Python
- Matlab with signal processing toolbox, statistic toolbox, audio toolbox
- Audacity
- Praat
- EEGlab
Grups i idiomes de l'assignatura
La informació proporcionada és provisional fins al 30 de novembre. A partir d'aquesta data, podreu consultar l'idioma de cada grup a través d'aquest enllaç. Per accedir a la informació, caldrà introduir el CODI de l'assignatura