
Aprenentatge per Reforç
Codi: 108271Crèdits: 6
| Titulació | Tipus | Curs |
|---|---|---|
| Intel·ligència Artificial / Bachelor in Artificial Intelligence | OB | 3 |
Professor/a de contacte
- Nom :
- Jordi Casas Roma
- Correu electrònic :
- jordi.casas.roma@uab.cat
Idiomes dels grups
Podeu consultar aquesta informació al final del document.
Prerequisits
S'espera que els estudiants hagin superat satisfactòriament les assignatures "Fonaments de l'Aprenentatge Automàtic" i "Xarxes Neuronals i Aprenentatge Profund", ja que proporcionen els coneixements bàsics necessaris per cursar aquesta assignatura.
Objectius
L'objectiu d'aquesta assignatura és proporcionar una formació completa en les metodologies, tècniques i algorismes fonamentals de l'aprenentatge per reforç.
Al llarg del curs, els estudiants estudiaran, implementaran i aplicaran un ampli ventall de mètodes d'aprenentatge per reforç, tant clàssics com moderns. Això els permetrà adquirir una sòlida comprensió dels conceptes teòrics que els sustenten, alhora que desenvoluparan experiència pràctica mitjançant la seva implementació.
Els estudiants implementaran els principals algorismes des de zero per aprofundir en la seva comprensió, exploraran i utilitzaran biblioteques d'aprenentatge per reforç d'última generació i aplicaran aquestes tècniques per resoldre problemes reals de presa de decisions i d'aprenentatge seqüencial.
Resultats d'aprenentatge
- CM07 (Integrar solucions basades en aprenentatge automàtic en el disseny, la implementació i el desplegament d’aplicacions d’intel·ligència artificial.) Integrar solucions basades en aprenentatge automàtic en el disseny, la implementació i el desplegament d’aplicacions d’intel·ligència artificial.
- KM23 (Explicar els principis i la formulació matemàtica sobre els quals es fonamenten els algoritmes d’aprenentatge automàtic.) Explicar els principis i la formulació matemàtica sobre els quals es fonamenten els algoritmes d’aprenentatge automàtic.
- KM24 (Identificar els avantatges i inconvenients de diferents algoritmes i paradigmes d’aprenentatge en la seva aplicació a problemes d’aprenentatge.) Identificar els avantatges i inconvenients de diferents algoritmes i paradigmes d’aprenentatge en la seva aplicació a problemes d’aprenentatge.
- SM25 (Analitzar de manera crítica i raonada els resultats d’aplicació d’un model d’aprenentatge automàtic en funció dels requeriments del problema.) Analitzar de manera crítica i raonada els resultats d’aplicació d’un model d’aprenentatge automàtic en funció dels requeriments del problema.
- SM26 (Seleccionar els paradigmes, els algoritmes i les arquitectures adequats per a un problema d’aprenentatge, en funció del domini i el tipus de problema, de les dades disponibles i de qualsevol altra restricció o requeriment.) Seleccionar els paradigmes, els algoritmes i les arquitectures adequats per a un problema d’aprenentatge, en funció del domini i el tipus de problema, de les dades disponibles i de qualsevol altra restricció o requeriment.
- SM27 (Utilitzar de manera eficient i òptima els recursos de computació necessaris per a l’entrenament i la validació de models d’aprenentatge.) Utilitzar de manera eficient i òptima els recursos de computació necessaris per a l’entrenament i la validació de models d’aprenentatge.
Continguts
1. Introducció i Gymnasium
- Introducció a l'aprenentatge per reforç.
- Biblioteca Gymnasium.
2. Solucions tabulars
- Procés de decisió de Markov.
- Programació dinàmica.
- Mètodes de Monte Carlo.
- Aprenentatge per diferència temporal (TD Learning).
3. Solucions aproximades
- Deep Q-Networks (DQN).
- Gradients de política (Policy Gradients).
- Mètodes Actor-Critic.
4. Aprenentatge per reforç multiagent
- Models de joc.
- Conceptes de solució.
- Aprenentatge per reforç multiagent en jocs.
5. Problemes del món real
- Disseny i implementació d'entorns
Activitats formatives i Metodologia
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Projecte | 50 | 2 | CM07, KM24, SM25, SM26, SM27 |
| Activitats pràctiques avaluables | 42 | 1,68 | CM07, SM26, SM27 |
| Exercicis pràctics no avaluables | 21 | 0,84 | CM07, SM26, SM27 |
| Teoria | 21 | 0,84 | KM23, KM24, SM25 |
L'assignatura consta de quatre tipus principals d'activitats d'aprenentatge:
- Sessions de teoria
- Pràctiques avaluables
- Tests de teoria
- Projecte
Sessions de teoria
Aquestes sessions introdueixen els fonaments teòrics de l'aprenentatge per reforç. Per a cada tema es presenten i es discuteixen els principals conceptes, les formulacions matemàtiques i els algorismes corresponents. Per reforçar els continguts, durant les classes es podran proposar exercicis pràctics no avaluables. Aquestes sessions també inclouran la resolució guiada de problemes i exercicis de programació utilitzant Python.
Pràctiques avaluables
Al llarg del semestre, els estudiants realitzaran diverses pràctiques individuals destinades a avaluar la seva comprensió dels continguts de l'assignatura. Aquestes activitats consistiran en la implementació i aplicació d'algorismes d'aprenentatge per reforç per resoldre diferents problemes.
Tests de teoria
Durant el semestre, els estudiants realitzaran diversos tests individuals a través de Moodle amb l'objectiu d'avaluar la seva comprensió dels conceptes teòrics tractats a les sessions de teoria.
Projecte
Durant el semestre, els estudiants desenvoluparan un projecte en grup centrat en la resolució d'un problema d'aprenentatge per reforç de complexitat moderada. Els projectes es realitzaran en equips de dues o tres persones.
Cada equip es mantindrà inalterat durant tot el projecte i serà responsable de l'autogestió de tots els aspectes del treball, incloent-hi el repartiment de tasques, la planificació, la gestió dels recursos i la resolució de possibles conflictes. S'espera que els equips treballin de manera autònoma aplicant els conceptes i les tècniques apresos al llarg del curs.
Les activitats anteriors es complementaran amb hores de tutoria i sessions de consulta, on els estudiants podran plantejar dubtes i rebre orientació fora de l'horari habitual de classe.
Tot el material docent, els avisos, els enunciats de les activitats i la resta de documentació rellevant de l'assignatura estaran disponibles al Campus Virtual (cv.uab.cat).
Avaluació
Activitats d'avaluació continuada
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Test de teoria | 10% | 2 | 0,08 | KM23, KM24 |
| Activitats pràctiques | 20% | 4 | 0,16 | CM07, SM25, SM26, SM27 |
| Exàmens individuals | 40% | 4 | 0,16 | KM23, KM24 |
| Projecte | 30% | 6 | 0,24 | CM07, KM24, SM25, SM26, SM27 |
El sistema d'avaluació està dissenyat per valorar tant la comprensió dels fonaments teòrics de l'aprenentatge per reforç com la capacitat dels estudiants per aplicar aquests coneixements a problemes pràctics.
Qualificació final
La qualificació final es calcula mitjançant la fórmula següent:
Qualificació final = (0,40 × Exàmens de teoria) + (0,10 × Tests de teoria) + (0,20 × Pràctiques) + (0,30 × Projecte)
Aquesta fórmula només s'aplica si es compleixen simultàniament les dues condicions següents:
- Exàmens de teoria ≥ 5,0
- Projecte ≥ 5,0
Si la mitjana ponderada és igual o superior a 5,0 però no s'assoleix la nota mínima requerida en els Exàmens de teoria o en el Projecte, la qualificació final de l'assignatura serà de 4,5 (Suspès).
1. Exàmens de teoria (40%)
Els exàmens de teoria avaluen la comprensió individual dels conceptes teòrics tractats durant el curs. L'avaluació es realitza mitjançant dues proves escrites:
Exàmens de teoria = (0,50 × Examen 1) + (0,50 × Examen 2)
- Examen 1 (parcial): comprèn la primera part de l'assignatura i es realitza aproximadament a la meitat del semestre.
- Examen 2 (final): comprèn la resta dels continguts de l'assignatura i es realitza al final del semestre.
Per superar aquest apartat, cal obtenir una qualificació mínima de 5,0 tant a l'Examen 1 com a l'Examen 2.
Els estudiants que no compleixin aquest requisit podran presentar-se a una prova de recuperació, que avaluarà únicament la part o les parts no superades (Examen 1, Examen 2 o ambdues).
2. Tests de teoria (10%)
Els tests de teoria són proves individuals realitzades a través de Moodle al llarg del semestre. El seu objectiu és reforçar i avaluar la comprensió dels conceptes teòrics presentats a classe.
La qualificació dels Tests de teoria correspon a la mitjana aritmètica de tots els tests realitzats durant el curs.
3. Pràctiques (20%)
Les pràctiques avaluen la capacitat dels estudiants per implementar i aplicar les tècniques d'aprenentatge per reforç estudiades durant el curs.
Al llarg del semestre, els estudiants realitzaran diverses pràctiques individuals de programació.
La qualificació de les Pràctiques correspon a la mitjana aritmètica de totes les pràctiques realitzades.
4. Projecte (30%)
El projecte té com a objectiu avaluar la capacitat dels estudiants per integrar els coneixements adquirits durant el curs en la resolució d'un problema d'aprenentatge per reforç de complexitat moderada.
Els projectes es desenvoluparan en equips de dues o tres persones i s'avaluaran mitjançant:
- un lliurament escrit del projecte;
- una presentació oral.
La qualificació del Projecte es calcula de la manera següent:
Projecte = (0,70 × Lliurament) + (0,30 × Presentació oral)
La participació activa tant en el lliurament escrit com en la presentació oral és obligatòria. Si un estudiant no participa en alguna d'aquestes activitats obligatòries, la qualificació màxima del projecte serà de 4,5, independentment de la mitjana ponderada obtinguda.
El projecte no és recuperable. Els estudiants que no lliurin el projecte o que obtinguin una qualificació final inferior a 5,0 no podran superar l'assignatura.
Bibliografia
- Reinforcement Learning: An Introduction (Second edition). R. S. Sutton, A. G. Barto, MIT Press, Cambridge, MA, 2018.
- Deep Reinforcement Learning Hands-On (Third edition). M. Lapan, Packt Publishing, 2024
Programari
Les activitats pràctiques d'aquesta assignatura es desenvoluparan utilitzant Python i el seu ecosistema de biblioteques per a la computació científica i l'aprenentatge automàtic. Els estudiants treballaran amb biblioteques àmpliament utilitzades, com ara NumPy, Matplotlib, pandas i scikit-learn, així com amb entorns d'aprenentatge profund com PyTorch i TensorFlow. Els exercicis i projectes d'aprenentatge per reforç s'implementaran mitjançant el framework Gymnasium i la biblioteca Stable-Baselines3.
Grups i idiomes de l'assignatura
La informació proporcionada és provisional fins al 30 de novembre. A partir d'aquesta data, podreu consultar l'idioma de cada grup a través d'aquest enllaç. Per accedir a la informació, caldrà introduir el CODI de l'assignatura
| Tipus de docència | Grup | Idioma | Semestre | Torn |
|---|---|---|---|---|
| (TE) Teoria | 1 | Anglès | segon quadrimestre | tarda |
| (PAUL) Pràctiques d'aula | 1 | Anglès | segon quadrimestre | tarda |
| (PLAB) Pràctiques de laboratori | 1 | Anglès | segon quadrimestre | tarda |
| (PLAB) Pràctiques de laboratori | 2 | Anglès | primer quadrimestre | tarda |