
Paradigmes d'Aprenentatge Automàtic
Codi: 106574 Crèdits: 6| Titulació | Tipus | Curs |
|---|---|---|
| Intel·ligència Artificial / Artificial Intelligence | OT | 3 |
| Intel·ligència Artificial / Artificial Intelligence | OT | 4 |
Professor/a de contacte
- Nom:
- Jordi Casas Roma
- Correu electrònic:
- jordi.casas.roma@uab.cat
Idiomes dels grups
Podeu consultar aquesta informació al final del document.
Prerequisits
És important haver cursat les assignatures "Fonaments de l'aprenentatge automàtic" i "Xarxes neuronals i aprenentatge profund".
Objectius
L'objectiu d'aquesta assignatura és proporcionar una formació integral en una àmplia gamma de metodologies, tècniques i algorismes en l'aprenentatge per reforç.
Els estudiants aprendran, implementaran i utilitzaran una sèrie de tècniques i algorismes que cobreixen els mètodes d'aprenentatge més rellevants.
Obtindran les seves pròpies implementacions, així com exploraran les biblioteques existents i aplicaran aquests nous coneixements per resoldre problemes pràctics.
Competències
- Intel·ligència Artificial / Artificial Intelligence
- Actuar en làmbit de coneixement propi valorant limpacte social, econòmic i mediambiental.
- Analitzar i resoldre problemes de manera efectiva, i generar propostes innovadores i creatives per aconseguir els objectius.
- Elaborar estratègies per formular i solucionar diferents problemes daprenentatge de manera científica, creativa, crítica i sistemàtica, coneixent les capacitats i limitacions dels diferents mètodes i eines existents.
- Introduir canvis en els mètodes i els processos de làmbit de coneixement per donar respostes innovadores a les necessitats i demandes de la societat.
- Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
- Treballar cooperativament per aconseguir objectius comuns, assumint la pròpia responsabilitat i respectant el rol dels diferents membres de lequip.
Resultats d'aprenentatge
- Adaptar i reutilitzar models existents en dominis diferents.
- Analitzar i resoldre problemes de manera efectiva, i generar propostes innovadores i creatives per aconseguir els objectius.
- Conèixer diferents paradigmes daprenentatge automàtic i decidir el mètode daprenentatge més adequat segons les característiques de les dades a analitzar.
- Identificar les implicacions socials, econòmiques i mediambientals de les activitats academicoprofessionals de làmbit de coneixement propi.
- Ponderar els riscos i les oportunitats de les propostes de millora tant pròpies com alienes.
- Proposar noves maneres de mesurar lèxit o el fracàs de la implementació de propostes o idees innovadores.
- Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
- Treballar cooperativament per aconseguir objectius comuns, assumint la pròpia responsabilitat i respectant el rol dels diferents membres de lequip.
Continguts
- Introduction and Gymnasium
- Introduction to RL and Gymnasium library.
- Tabular solutions
- Markov Decision Process
- Dynamic Programming
- Monte Carlo
- TD learning
- Approximate solutions
- Deep Q-Networks
- Policy Gradients
- Actor-Critic
- Multi-Agent Reinforcement Learning
- Game models
- Solution concepts
- MARL in games
- Real-world problems
- Environment design and implementation
Activitats formatives i Metodologia
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Tipus: Dirigides | |||
| Exercicis pràctics no avaluables | 21 | 0,84 | 1, 2, 3 |
| Teoria | 21 | 0,84 | 1, 3, 6 |
| Tipus: Autònomes | |||
| Activitats pràctiques avaluables | 42 | 1,68 | 1, 3, 5, 6, 7 |
| Projecte | 50 | 2 | 1, 2, 3, 6, 7, 8 |
Hi haurà tres tipus d'activitats docents:
- Sessions de teoria
- Exercicis pràctics avaluables
- Tests de teoria
- Projecte
Sessions teòriques: Presentació dels continguts teòrics de l'assignatura. Per a cadascun dels temes estudiats s'exposen els principals conceptes teòrics i la formulació matemàtica, així com les solucions algorítmiques corresponents. A més, es podrien proposar exercicis pràctics no avaluables per tal de reforçar la comprensió dels temes tractats a les classes de teoria. Durant aquestes sessions, tractarem la resolució d'exercicis pràctics (problemes) en entorn Python.
Exercicis pràctics avaluables: Aquests exercicis pràctics es realitzaran durant el quadrimestre, on l'estudiant haurà de resoldre individualment un conjunt de problemes sobre els continguts de l'assignatura.
Tests de teoria: Es realitzaran un conjunt de test de teoria a través de la plataforma Moodle de manera individual durant el semestre.
Projecte: El projecte es realitzarà durant el semestre, on els estudiants hauran de resoldre un problema concret de certa complexitat. Els projectes es resoldran en grups de 2 alumnes. Aquests grups de treball s'han de mantenir durant el desenvolupament de tot el projecte i han de ser autogestionats pel que fa a la distribució de rols, planificació del treball, assignació de tasques, gestió dels recursos disponibles, conflictes, etc. Cada grup treballarà de manera autònoma per desenvolupar el projecte.
Les activitats anteriors es complementaran amb un sistema de tutoria i consultes fora de l'horari lectiu.
Tota la informació de l'assignatura i la documentació relacionada que necessiti l'alumnat estarà disponible al campus virtual (cv.uab.cat).
Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, perquè els alumnes completin les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura.
Avaluació
Activitats d'avaluació continuada
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Activitats pràctiques | 20% | 4 | 0,16 | 1, 2, 3, 7 |
| Entregable del projecte | 20% | 4 | 0,16 | 1, 2, 3, 6, 7, 8 |
| Exàmens individuals | 40% | 4 | 0,16 | 3, 4 |
| Presentació del projecte | 10% | 2 | 0,08 | 2, 3, 5, 6, 8 |
| Test de teoria | 10% | 2 | 0,08 | 3, 7 |
Per avaluar el nivell d'aprenentatge de l'alumnat s'estableix una fórmula que combina l'adquisició de coneixements i la capacitat de resolució de problemes.
Nota final
La nota final es calcula mitjançant la fórmula següent:
Nota final = 0,4 * Teoria + 0,1 * Tests de teoria + 0,2 * Activitats pràctiques + 0,3 * Projecte
Aquesta fórmula s'aplicarà sempre que la nota de teoria i el projecte siguin >=5.
Si la nota final calculada a través de la fórmula esmentada arriba a >= 5, però no arriba al mínim exigit en alguna de les activitats d'avaluació, la nota final serà de 4,5.
1. Teoria
La nota de teoria pretén avaluar les capacitats individuals de l'estudiant pel que fa als continguts teòrics de l'assignatura, això es fa de manera continuada durant el curs mitjançant dos exàmens parcials:
Nota de teoria = 0,5 * Grau examen 1 + 0,5 * Grau examen 2
L'examen parcial (examen 1) es fa a la meitat del quadrimestre, i serveix per eliminar part de l'assignatura si s'aprova. L'examen final (examen 2) es fa al final del quadrimestre i serveix per eliminar la resta de l'assignatura si s'aprova.
Per obtenir una nota final de teoria aprovada, caldrà que les notes 1 i 2 de l'examen parcial siguin totes dues >=4.
En cas que la nota de teoria no arribi al nivell adequat per aprovar, els estudiants poden realitzar un examen de recuperació, destinat a recuperar la part suspesa (1, 2 o totes dues) del procés d'avaluació contínua.
2. Tests de teoria
L'objectiu de les proves teòriques és aprofundiren els conceptes teòrics.
Proves de teoria = Ponderació igual de totes les proves del curs
3. Activitats pràctiques
L'objectiu de les activitats pràctiques és familiaritzar-se amb la implementació pràctica dels conceptes teòrics.
Activitats pràctiques = Igual ponderació de tots els exercicis pràctics del curs
4. Projecte
El projecte requereix que els alumnes treballin en grup i dissenyin una solució integral al repte definit. A més, els alumnes han de demostrar les seves habilitats de treball en equip i presentar els resultats a classe.
Cadascun dels dos projectes s'avalua mitjançant el seu lliurament i una exposició oral a la classe. La participació de l'alumnat en totes les activitats (elaboració del lliurament i presentació) és necessària per obtenir la qualificació d'un projecte.
La nota del projecte es calcula de la següent manera:
Projecte = 0,7 * Entregables + 0,3 * Presentació
Si realitzant el càlcul anterior s'obté una nota >= 5, però l'estudiant no ha participat en alguna de les activitats (entregable, presentació), es donarà una nota final de 4,5 al projecte.
No hi ha recuperació dels projectes: en cas de no presentar un lliurament o obtenir una nota <5, l'estudiant no podrà aprovar l'assignatura.
Notes importants
- Aquesta assignaturano preveu el sistema d’avaluació única.
- En aquesta assignatura, es permet l'ús de tecnologies d'Intel·ligència Artificial (IA) com a part integrant del desenvolupament del treball, sempre que el resultat final reflecteixi una contribució significativa de l'estudiant en l'anàlisi i la reflexió personal. L'estudiant haurà d'identificar clarament quines parts han estat generades amb aquesta tecnologia, especificar les eines emprades i incloure una reflexió crítica sobre com aquestes han influït en el procés i el resultat final de l’activitat. La no transparència de l’ús de la IA es considerarà falta d'honestedat acadèmica i pot comportar una penalització en la nota de l'activitat, o sancions majors en casos de gravetat.
- Sense perjudici d'altres mesures disciplinàries que s'estimin oportunes, i d'acord amb la normativa acadèmica vigent, la comissió d'activitats irregulars per part de l'estudiant (per exemple, plagiar, copiar, deixar copiar, ...) implicarà suspendre l'activitat corresponent amb un zero (0). Les activitats d'avaluació qualificades d'aquesta forma i per aquest procediment no seran recuperables.
- En cas que no es faci cap lliurament de problemes, no s'assisteixi a cap sessió de presentació dels projectes i noes faci cap examen, la nota corresponent serà un "no avaluable". En un altre cas, els "no presentats" computen com un 0 per al càlcul de la mitjana ponderada.
- Per obtenir matrícula d'honor, la qualificació final ha de ser igual o superior a 9 punts. El nombre d'estudiants està inscrit al curs, se li atorga a qui tingui la qualificació final més alta. En cas d'empat, es veuran en compte els resultats dels exàmens parcials.
Bibliografia
- Reinforcement Learning: An Introduction (Second edition). R. S. Sutton, A. G. Barto, MIT Press, Cambridge, MA, 2018.
- Deep Reinforcement Learning Hands-On (Third edition). M. Lapan, Packt Publishing, 2024
Programari
Utilitzarem Python, les biblioteques estàndard d'aprenentatge automàtic (com ara NumPy, MatPlotLib, SciKit Learn, Pandas, etc.) i la biblioteca Gymnasium per a exercicis pràctics d'aprenentatge de reforç.
Grups i idiomes de l'assignatura
La informació proporcionada és provisional fins al 30 de novembre de 2025. A partir d'aquesta data, podreu consultar l'idioma de cada grup a través daquest enllaç. Per accedir a la informació, caldrà introduir el CODI de l'assignatura
| Nom | Grup | Idioma | Semestre | Torn |
|---|---|---|---|---|
| (PAUL) Pràctiques d'aula | 711 | Anglès | primer quadrimestre | tarda |
| (PLAB) Pràctiques de laboratori | 711 | Anglès | primer quadrimestre | tarda |
| (TE) Teoria | 71 | Anglès | primer quadrimestre | tarda |