Avís important
La guia docent és provisional.
La versió en PDF de la guia docent pot tardar uns dies en estar disponible al DDD.
Aprenentatge Profund
Codi: 44737Crèdits: 6
| Titulació | Tipus | Curs |
|---|---|---|
| Research and Innovation in Computer Based Science and Engineering | OP | 1 |
Professor/a de contacte
- Nom :
- Silvana Silva Pereira
- Correu electrònic :
- silvana.silva@uab.cat
Idiomes dels grups
Podeu consultar aquesta informació al final del document.
Prerequisits
Aquesta és una assignatura d'aprenentatge basat en projectes (ABP). Des de les primeres setmanes, els estudiants treballen en equip en projectes d'aprenentatge profund de complexitat mitjana. Aquests projectes pressuposen que els estudiants ja saben entrenar, validar i avaluar models d'aprenentatge automàtic pel seu compte. L'assignatura no ensenya aprenentatge automàtic ni programació des de zero; parteix d'aquesta base.
Per aquest motiu, els següents punts són obligatoris:
- Aprenentatge automàtic (machine learning). Els estudiants han d'haver cursat una assignatura d'aprenentatge automàtic, o tenir-ne experiència pràctica equivalent. Això inclou aprenentatge supervisat i no supervisat, particions d'entrenament / validació / test, validació creuada, sobreajustament i regularització, treball amb conjunts de dades desequilibrats, i mètriques d'avaluació estàndard (exactitud, precisió, exhaustivitat, F1, ROC i AUC).
- Aprenentatge profund bàsic / xarxes neuronals. Els estudiants han de tenir com a mínim un coneixement previ bàsic de xarxes neuronals: què és una neurona i una funció d'activació, com s'entrena una xarxa mitjançant descens de gradient i retropropagació, i una noció bàsica de les xarxes convolucionals. L'assignatura amplia aquests conceptes; no comença de zero.
- Programació en Python. Programació sòlida en Python, incloent-hi l'entorn científic (NumPy). Es recomana especialment tenir experiència prèvia amb almenys un entorn d'aprenentatge profund (PyTorch o TensorFlow).
- Fonaments matemàtics. Domini pràctic de l'àlgebra lineal (vectors, matrius), el càlcul (derivades, gradients) i la probabilitat i l'estadística.
Recomanat (útil, però no estrictament obligatori):
- Processament de senyal, imatge i vídeo.
- Experiència en la validació estadística de resultats.
Objectius
Aquesta assignatura desenvolupa el disseny i l'entrenament de models de xarxes neuronals a través del treball aplicat basat en projectes. Pressuposa la base d'aprenentatge automàtic i de xarxes neuronals bàsiques indicada als Prerequisits, i l'amplia cap al disseny, l'entrenament i l'avaluació crítica de models d'aprenentatge profund en problemes realistes. A partir de la teoria adquirida en assignatures prèvies d'aprenentatge automàtic, els estudiants aprenen els conceptes específics del disseny de xarxes neuronals, els entorns actuals d'aprenentatge profund i el procés d'entrenament d'aquests models, i els apliquen des de les primeres setmanes a projectes concrets.
En finalitzar l'assignatura, l'estudiant haurà adquirit:
- Un coneixement sòlid de les principals arquitectures de xarxes neuronals i dels seus escenaris d'ús més habituals.
- La capacitat de seleccionar críticament l'arquitectura i el mecanisme d'entrenament més adequats per a cada tasca específica.
- Experiència pràctica en l'ús de biblioteques i entorns d'aprenentatge profund per implementar solucions a problemes reals, incloent-hi la preparació de dades, l'entrenament, la validació i la comunicació honesta dels resultats.
Resultats d'aprenentatge
- CA18 (Capacitat per a dissenyar l'arquitectura més adequada de xarxa neuronal per a la resolució d'un problema determinat.) Capacitat per a dissenyar l'arquitectura més adequada de xarxa neuronal per a la resolució d'un problema determinat.
- CA19 (Dissenyar solucions computacionals en múltiples dominis relacionats amb la presa de decisions basada en l'exploració d'alternatives, el raonament incert i la planificació de tasques.) Dissenyar solucions computacionals en múltiples dominis relacionats amb la presa de decisions basada en l'exploració d'alternatives, el raonament incert i la planificació de tasques.
- KA23 (Descriure l'estructura de les xarxes neuronals convolucionals i recurrents i en quins entorns és més favorable usar-les.) Descriure l'estructura de les xarxes neuronals convolucionals i recurrents i en quins entorns és més favorable usar-les.
- KA24 (Descriure els diferents models d'estructuració i representació de dades.) Descriure els diferents models d'estructuració i representació de dades.
- KA25 (Descriure tècniques avançades de maneig de xarxes neuronals com ara el reforç d'aprenentatge, així com poder visualitzar de manera adequada els resultats intermedis del processament.) Descriure tècniques avançades de maneig de xarxes neuronals com ara el reforç d'aprenentatge, així com poder visualitzar de manera adequada els resultats intermedis del processament.
- SA31 (Resoldre problemes relacionats amb l'anàlisi de grans volums de dades a través del disseny de sistemes intel·ligents i de l'ús de tècniques d'aprenentatge computacional.) Resoldre problemes relacionats amb l'anàlisi de grans volums de dades a través del disseny de sistemes intel·ligents i de l'ús de tècniques d'aprenentatge computacional.
- SA32 (Aplicar sistemes d'aprenentatge profund basats en xarxes neuronals per a poder resoldre problemes concrets.) Aplicar sistemes d'aprenentatge profund basats en xarxes neuronals per a poder resoldre problemes concrets.
- SA33 (Seleccionar l'arquitectura de xarxa neuronal més adequada segons les dades disponibles que permeti obtenir els resultats esperats.) Seleccionar l'arquitectura de xarxa neuronal més adequada segons les dades disponibles que permeti obtenir els resultats esperats.
- SA34 (Emprar de manera adequada sistemes de visualització de xarxes neuronals per a poder avaluar possibles optimitzacions que millorin el rendiment del sistema.) Emprar de manera adequada sistemes de visualització de xarxes neuronals per a poder avaluar possibles optimitzacions que millorin el rendiment del sistema.
Continguts
Els continguts següents es desenvolupen a través dels projectes:
- Xarxes neuronals. Perceptró, funcions de pèrdua, entrenament i retropropagació del gradient.
- Xarxes neuronals convolucionals. Arquitectures per a classificació i segmentació (per exemple, U-Net), i tècniques d'ajust fi (fine-tuning) i transferència d'aprenentatge.
- Validació i robustesa dels models. Mètriques fiables, detecció de biaix en els models, maneig de conjunts de dades desequilibrats i anàlisi del nivell de generalització dels models.
- Explicabilitat dels models. Visualització de mapes d'activació i d'atenció per interpretar el comportament del model.
- Processament de seqüències i sèries temporals. Xarxes neuronals recurrents (LSTM), transformers aplicats al llenguatge (per exemple, traductors) i a la visió (per exemple, Vision Transformers), i arquitectures de base (backbone).
- Aprenentatge no supervisat. Autoencoders, detecció d'anomalies i reducció de dimensionalitat.
- Models generatius. Xarxes generatives adversàries (GAN), autoencoders variacionals (VAE) i altres enfocaments per a la generació de dades.
- Aprenentatge mètric (metric learning). Triplet loss, Barlow twins, enfocaments one-shot i xarxes siameses.
Activitats formatives i Metodologia
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Treball Autònom | 90 | 3,6 | |
| Explicacions Teòriques | 20 | 0,8 | |
| Resolució de Problemes en Grups | 30 | 1,2 |
L'assignatura es basa en la metodologia d'Aprenentatge Basat en Projectes (ABP), orientada a potenciar la motivació i l'autonomia de l'estudiant. L'aprenentatge es produeix principalment a través del treball guiat en projectes i de la tutorització regular, complementat amb sessions dirigides que repassen i consoliden conceptes clau. Aquestes sessions revisen i amplien la base pressuposada; com que els projectes comencen aviat i exigeixen treball autònom, els coneixements previs indicats als Prerequisits són essencials.
A l'inici del semestre es formen equips de 4 o 5 estudiants per desenvolupar un conjunt de projectes de complexitat mitjana distribuïts al llarg de l'assignatura, amb un seguiment setmanal que combina sessions de tutoria grupal i individual.
Els projectes proposats pel professorat compleixen els requisits següents:
- S'inspiren en situacions realistes o aplicacions pràctiques.
- Es poden resoldre amb eines i coneixements accessibles als estudiants que compleixen els prerequisits.
- No tenen una solució estàndard coneguda, per fomentar la creativitat i l'anàlisi crítica.
L'objectiu no és trobar una solució òptima universal, sinó proposar-ne una de raonable i ben justificada. Com en la pràctica professional real, sovint no hi ha una única solució correcta.
Cada equip desenvolupa els seus projectes amb la màxima autonomia possible. El tutor assignat té un paper de suport i supervisió, evitant dirigir o imposar solucions. Les contribucions han de ser originals. Es permet, i fins i tot és aconsellable, consultar fonts bibliogràfiques o recursos en línia, sempre que se'n citin les fonts i se n'expliqui l'ús a l'informe i al professorat.
El lliurament final del projecte consta de dues parts:
- Un informe escrit que descriu la proposta, el procés seguit, les decisions preses i els resultats obtinguts.
- Una presentació oral, adreçada principalment a una entitat hipotètica que hauria encarregat el projecte. Els detalls tècnics s'han de reservar per als annexos o seccions específiques de l'informe.
La presentació oral és obligatòria per a tot l'equip, i s'espera la participació activa de la resta de la classe mitjançant preguntes i comentaris.
Aquesta assignatura permet l'ús de tecnologies d'Intel·ligència Artificial (IA) com a part integral del desenvolupament dels projectes. Els estudiants han d'identificar clarament les parts generades amb IA, especificar les eines utilitzades i incloure una reflexió crítica sobre com aquestes tecnologies han influït en el procés i el resultat final. La manca de transparència en l'ús d'aquestes tecnologies es considera una falta d'honestedat acadèmica.
Avaluació
Activitats d'avaluació continuada
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Qualificació dels projectes | 70% | 7 | 0,28 | CA18, CA19, KA23, KA24, KA25, SA31, SA32, SA33, SA34 |
| Avaluació entre iguals | 10% | 1 | 0,04 | CA18, CA19, KA23, KA24, KA25, SA31, SA32, SA33, SA34 |
| Qualificació individual | 20% | 2 | 0,08 | CA18, CA19, KA23, KA24, KA25, SA31, SA32, SA33, SA34 |
Aquesta assignatura no inclou el sistema d'avaluació única. Com que el treball gira al voltant d'un conjunt de projectes desenvolupats al llarg del semestre, l'avaluació és contínua i el resultat final no és recuperable.
L'avaluació és contínua i es basa en els dos projectes desenvolupats durant el curs, juntament amb una avaluació entre iguals de la col·laboració i un component individual.
Qualificació final = 0.7 x Qualificació dels projectes + 0.1 x Avaluació entre iguals + 0.2 x Qualificació individual
1. Qualificació dels projectes (0 a 10). Els dos projectes tenen el mateix pes:
Qualificació dels projectes = 0.5 x Projecte 1 + 0.5 x Projecte 2.
Cada projecte és qualificat pel professorat a partir dels seus lliuraments, i combina un lliurament intermedi i un de final:
Projecte = 0.25 x Informe intermedi (v1) + 0.75 x Informe final (v2), on Informe final (v2) = 0.8 x Informe escrit + 0.2 x Presentació oral.
- Informe intermedi (v1): primera versió de l'informe, que mostra l'enfocament, les decisions inicials i el progrés.
- Informe final (v2): document escrit que descriu el treball desenvolupat i els resultats obtinguts.
- Presentació oral: presentació del projecte i dels resultats obtinguts, adreçada a una entitat hipotètica que hauria encarregat el projecte.
2. Avaluació entre iguals (0 a 10). Al final de cada projecte, cada membre de l'equip completa una breu enquesta valorant com han col·laborat i contribuït els seus companys al treball. Aquest component premia el treball en equip efectiu i la responsabilitat compartida dins del grup.
3. Qualificació individual (0 a 10). Reflecteix la contribució pròpia de cada estudiant, a partir de l'observació del tutor durant les sessions tutoritzades (actitud, iniciativa, participació, assistència i puntualitat) i de la documentació individual de les contribucions de l'estudiant al projecte.
Desenvolupada completament, la qualificació final és:
Qualificació final = 0.7 x [ 0.5 x (0.25 x IR1 + 0.75 x (0.8 x R1 + 0.2 x O1))
+ 0.5 x (0.25 x IR2 + 0.75 x (0.8 x R2 + 0.2 x O2)) ]
+ 0.1 x Avaluació entre iguals
+ 0.2 x Qualificació individual,
on IR = Informe intermedi, R = Informe escrit i O = Presentació oral, per als Projectes 1 i 2.
4. No avaluable. D'acord amb el punt 9 de l'article 266 de la Normativa Acadèmica de la UAB, si l'estudiant no aporta prou evidència d'aprenentatge al llarg del curs, l'assignatura es qualificarà com a no avaluable. Això s'aplica quan l'estudiant no ha participat prou en les activitats d'avaluació contínua, per exemple:
- No haver lliurat cap projecte, o haver-ho fet de manera clarament insuficient.
- No haver assistit a les sessions tutoritzades ni haver participat en les activitats de seguiment.
- No haver aportat prou evidència per a la qualificació individual.
Aquest criteri s'aplica de manera objectiva i és revisable segons el procediment establert per la titulació.
Bibliografia
Llibres
- Bishop, C. M. i Bishop, H. Deep Learning: Foundations and Concepts. Springer, 2024. En línia i gratuït: https://www.bishopbook.com/ (Biblioteca UAB: en línia)
- Prince, S. J. D. Understanding Deep Learning. MIT Press, 2023. En línia i gratuït: https://udlbook.github.io/udlbook/ (Biblioteca UAB: en paper)
- Deep Learning. Ian Goodfellow, Yoshua Bengio i Aaron Courville. MIT Press, 1a ed., 2016. (Biblioteca UAB: en paper i en línia)
- Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow. O'Reilly, 3a ed., 2022. (Biblioteca UAB: en línia)
- Pattern Recognition and Machine Learning. Christopher Bishop. Springer, 2006. (Biblioteca UAB: en paper)
- Neural Networks for Pattern Recognition. Christopher Bishop. Clarendon Press, 1995. (Biblioteca UAB: en paper)
Llibres en línia
- Zhang, A., Lipton, Z. C., Li, M. i Smola, A. J. Dive into Deep Learning. Cambridge University Press, 2023. https://d2l.ai/ (Biblioteca UAB: en línia)
- Michael Nielsen. Neural Networks and Deep Learning. http://neuralnetworksanddeeplearning.com/ (Biblioteca UAB: en línia)
Articles clau. Articles fonamentals amb què els estudiants treballen directament als projectes:
- Ronneberger, O. et al. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI, 2015.
- He, K. et al. Deep Residual Learning for Image Recognition (ResNet). CVPR, 2016.
- Vaswani, A. et al. Attention Is All You Need. NeurIPS, 2017.
- Dosovitskiy, A. et al. An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT). ICLR, 2021.
- Goodfellow, I. et al. Generative Adversarial Networks. NeurIPS, 2014.
- Kingma, D. P. i Welling, M. Auto-Encoding Variational Bayes (VAE). ICLR, 2014.
- Zbontar, J. et al. Barlow Twins: Self-Supervised Learning via Redundancy Reduction. ICML, 2021.
Repàs de prerequisits. Els estudiants que necessitin revisar la base d'aprenentatge automàtic i de xarxes neuronals pressuposada abans de començar el curs poden fer servir els primers capítols de Bishop (Pattern Recognition and Machine Learning), el llibre de Géron i els capítols introductoris de "Dive into Deep Learning" i del llibre de Nielsen.
Enllaços (tutorials i xerrades)
Programari
L'assignatura utilitza Python juntament amb PyTorch, TensorFlow i CUDA. Es facilita, sempre que és possible, l'accés a clústers de GPU i CPU per donar suport a les necessitats de càlcul. S'espera que els estudiants es desenvolupin amb comoditat en aquest entorn des de l'inici del curs.
Grups i idiomes de l'assignatura
La informació proporcionada és provisional fins al 30 de novembre. A partir d'aquesta data, podreu consultar l'idioma de cada grup a través d'aquest enllaç. Per accedir a la informació, caldrà introduir el CODI de l'assignatura
| Tipus de docència | Grup | Idioma | Semestre | Torn |
|---|---|---|---|---|
| (TEm) Teoria (màster) | 1 | Anglès | segon quadrimestre | tarda |
| (PLABm) Pràctiques de laboratori (màster) | 1 | Anglès | segon quadrimestre | tarda |