Acceleració de la Computació en IA
Codi: 106592Crèdits: 6
| Titulació | Tipus | Curs |
|---|---|---|
| Intel·ligència Artificial / Bachelor in Artificial Intelligence | OP | 3 |
Professor/a de contacte
- Nom :
- Vanessa Moreno Font
- Correu electrònic :
- vanessa.moreno@uab.cat
Equip docent
- Juan Carazo Borrego
- Jordi Carrabina Bordoll
Idiomes dels grups
Podeu consultar aquesta informació al final del document.
Prerequisits
No n'hi ha. En part d’aquesta assignatura es descriu el maquinari dels acceleradors d'IA que hi ha als xips de servidors, mòbils, encastats, etc. Per tant, cal tenir els conceptes bàsics d'arquitectura i tecnologia d'ordinadors.
Objectius
Aquesta assignatura té com a objectiu analitzar les metodologies i plataformes que permeten l'acceleració de la computació de la IA.
Aquesta acceleració està associada a diferents factors com són: (1) el tipus d'operacions que s'executen (multiplicacions vector-matriu i matriu-matriu amb acumulació, i funcions de transferència complexes); (2) la gestió de les dades (tant pel que fa als requeriments de memòria com d'entrada sortida); (3) els requeriments dels sistemes on ha d'anar incrustada la IA (condicions de temps real, limitació de consum d’energia, etc.)
Pel que fa a l'àmbit d'aquesta acceleració, tot i que s'accelera tant la fase d'aprenentatge com la d'inferència i donat que l'aprenentatge es realitza en servidors al núvol, ens centrarem majoritàriament en plataformes amb recursos limitats (respecte dels servidors) com ara plataformes mòbils o encastades (també conegudes com a perifèria).
S'analitzaran les diferents plataformes computacionals de propòsit general (CPU, GPU, FPGA) i específic (DPU/TPU/NPU, processadors ML i NN, chips biònics, neuromòrfics, etc.) juntament amb les metodologies de desplegament.
Tot això en l’àmbit de l'internet dels objectes (IoT) composat per sistemes que inclouen els dispositius (devices), la perifèria (edge) i el núvol (cloud).
Resultats d'aprenentatge
- CM19 (Dissenyar aplicacions de la internet de les coses (IoT) en sistemes encastats amb recursos limitats en diferents àmbits.) Dissenyar aplicacions de la internet de les coses (IoT) en sistemes encastats amb recursos limitats en diferents àmbits.
- KM35 (Descriure els components i l’arquitectura dels sistemes ciberfísics, incloent-hi plataformes de sistemes encastats, sensors, actuadors i dispositius de control en temps real.) Descriure els components i l’arquitectura dels sistemes ciberfísics, incloent-hi plataformes de sistemes encastats, sensors, actuadors i dispositius de control en temps real.
- KM37 (Identificar els principis en què es fonamenta la informàtica a la perifèria (edge computing) i els protocols de la internet de les coses (IoT).) Identificar els principis en què es fonamenta la informàtica a la perifèria (edge computing) i els protocols de la internet de les coses (IoT).
- SM45 (Adaptar algoritmes d’IA per implementar la inferència en plataformes encastades amb recursos limitats i condicions de temps real i eficiència energètica.) Adaptar algoritmes d’IA per implementar la inferència en plataformes encastades amb recursos limitats i condicions de temps real i eficiència energètica.
- SM46 (Analitzar el rendiment en temps real d’aplicacions d’IA per a l’optimització de l’aprenentatge i la inferència en processadors de propòsit general i específic.) Analitzar el rendiment en temps real d’aplicacions d’IA per a l’optimització de l’aprenentatge i la inferència en processadors de propòsit general i específic.
Continguts
CONTINGUT
1. Introducció a plataformes IoT per a IA
- Núvol, perifèria (mòbil, incrustat), dispositiu (amb restriccions de recursos)
- Entrenament vs. inferència: balanç de càrrega
2. Optimització IA
- Metodologies de desplegament per reduir la complexitat computacional
- IA vs. rendiment computacional (requisits de l'aplicació): precisió, temps real, memòria, energia
- Tiny ML
3. Tècniques i tecnologies d'acceleració
- Plataformes de propòsit general: CPU, GPU, FPGA
- Plataformes específiques de l'aplicació per al processament de ML i NN: DPU/TPU/NPU
- Xips avançats: neuromòrfics, basats en memristor, biònics i quàntics
LABORATORIS
Desplegament d'aplicacions a (1) dispositius mòbils (d'estudiants) i (2) plataformes encastades
PROJECTE DE DISSENY
Planificació i prototipatge d’una aplicació IA específica en la perifèria (seleccionada pels estudiants)
Activitats formatives i Metodologia
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Laboratoris i Projecte de Disseny | 24 | 0,96 | |
| Estudi i treball fora de l'aula | 98 | 3,92 | |
| Classes magistrals i seminaris | 26 | 1,04 |
La metodologia d’aprenentatge combinarà classes magistrals, activitats en sessions tutoritzades, aprenentatge basat en projectes i sessions de laboratori.
L’assistència és obligatòria per a les activitats: projecte de disseny IoT-IA, i les pràctiques de laboratori que és faran en grups de 2 o 3 persones.
Les sessions de laboratori es faran en format guiat.
S’utilitzarà el campus virtual de la UAB a https://cv.uab.cat.
Avaluació
Activitats d'avaluació continuada
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Informe i presentació del projecte de disseny | 40% | 2 | 0,08 | CM19, KM35, KM37, SM45, SM46 |
| Avaluació d'activitats desenvolupades en sessions tutoritzades (laboratoris) | 30% | 0 | 0 | CM19, KM35, KM37, SM45, SM46 |
| Activitats individuals (tipus exercicis) | 30% | 0 | 0 | SM45, SM46 |
Aquesta assignatura no preveu el sistema d’avaluació única (no hi ha examen).
L'avaluació de l'alumnat utilitzarà l'avaluació continuada i la nota final del curs es calcularà de la següent manera:
A - 30% de la nota obtinguda per l'avaluació de les activitats proposades (tipus exercicis). Quan es programi una activitat d’avaluació s’indicarà quins indicadors s'usaran per avaluar i el seu pes en la qualificació.
B - 40% de la nota obtinguda per l'avaluació del treball de disseny d'un sistema IoT-AI (original).
C - 30% de la nota obtinguda per l'estudiant dels treballs de laboratori. És necessari superar el 5 (sobre 10) en aquest ítem per aprovar l'assignatura.
Totes les activitats requeriran el lliurament d'informe a través del campus virtual.
- Al llarg del curs es proposaran activitats de tipus A per als diferents temes.
- Les activitats de tipus B, requeriran el lliurament d'informes parcials del projecte cada 2 setmanes.
- Les activitats de tipus C, requeriran el lliurament d'un informe per a cada sessió de laboratori.
Per obtenir MH caldrà que els estudiants tinguin una qualificació global superior a 9 amb les limitacions de la UAB (1 MH/20 estudiant). Com a criteri de referència, s'assignaran per ordre descendent.
Per superar l'assignatura cal obtenir una qualificació final igual o superior a 5, una qualificació mínima de 5.0 en l'activitat C i una qualificació superior a 3.3 en les activitats A i B. En cas de no superar l'assignatura perquè alguna d'aquestes condicions no es compleixi, la qualificació numèrica de l'expedient serà el valor menor entre 4.0 i la qualificació final.
No es tolerarà el plagi. Tots els estudiants implicats en una activitat de plagi seran suspesos automàticament. S'assignarà una nota final no superior al 30%.
Es pot utilitzar programari de codi obert o llibreries disponibles, però s'han de referenciar en els informes corresponents.
Un estudiant que no hagi aconseguit una nota mitjana ponderada suficient, pot optar per sol·licitar activitats de recuperació (treballs individuals o prova de síntesi) de l'assignatura en les següents condicions:
- l'estudiant ha d'haver participat en els treballs de laboratori i projecte de disseny,
- l'estudiant ha de tenir una mitjana ponderada final superior al 30%, i
- l'estudiant no ha fallat en cap activitat per culpa del plagi.
L’estudiant rebrà una nota de “No Avaluable” en cas que:
- l'estudiant no hagi pogut ser avaluat en les activitats de laboratori per no haver-hi assistit o no haver entregat els corresponents informes sense causa justificada.
- l'estudiant no hagi realitzat un mínim del 50% de les activitats proposades.
- l'estudiant no hagi fet el treball de disseny.
Per a cada activitat d’avaluació, es donarà a l'estudiant o al grup, els comentaris corresponents. L'alumnat podrà fer reclamacions sobre la nota de l’activitat, que seran avaluades pel professorat responsable de l’assignatura.
Els estudiants repetidors podran guardar la seva qualificació en les activitats de laboratori.
Bibliografia
Russell, S. J., & Norvig, P. (2022). Artificial intelligence: a modern approach (Global edition). Pearson Education Limited.
Du, L., Du, Y. (2018). Hardware Accelerator Design for Machine Learning. In Machine Learning - Advanced Techniques and Emerging Applications. IntechOpen. https://doi.org/10.5772/intechopen.72845
Huawei Technologies Co., L. (2022). Artificial Intelligence Technology (1st ed. 2023.). Springer Nature. https://doi.org/10.1007/978-981-19-2879-6
X. Ma et al., \"A Survey on Deep Learning Empowered IoT Applications,\" in IEEE Access, vol. 7, pp. 181721-181732, 2019, doi: 10.1109/ACCESS.2019.2958962
V. H. Kim and K. K. Choi, \"A Reconfigurable CNN-Based Accelerator Design for Fast and Energy-Efficient Object Detection System on Mobile FPGA,\" in IEEE Access, vol. 11, pp. 59438-59445, 2023, doi: 10.1109/ACCESS.2023.3285279
C. -B. Wu, C. -S. Wang and Y. -K. Hsiao, \"Reconfigurable Hardware Architecture Design and Implementation for AI Deep Learning Accelerator,\" 2020 IEEE 9th Global Conference on Consumer Electronics (GCCE), Kobe, Japan, 2020, pp. 154-155, doi: 10.1109/GCCE50665.2020.9291854
Robert David et al. TENSORFLOW LITE MICRO: EMBEDDED MACHINE LEARNING ON TINYML SYSTEMS. Proceedings of the 4th MLSys Conference, San Jose, CA, USA.
Pete Warden, Daniel Situnayake. TinyML: Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers. https://tinymlbook.com/
Mishra, A., Cha, J., Park, H., & Kim, S. (2023). Artificial Intelligence and Hardware Accelerators (1st ed.). Springer International Publishing AG. https://doi.org/10.1007/978-3-031-22170-5
Liu, A. C.-C., & Law, O. M. K. (2021). Artificial intelligence hardware design: challenges and solutions. John Wiley & Sons, Incorporated.
Daniel Situnayake, Jenny Plunkett. (2023). AI at the Edge. O'Reilly Media, Inc
Programari
S’utilitzaran les següents eines/fluxos:
- Tensor RT per NVIDIA GPUs
- OpenVino per a Intel
- Edge Impulse multiplataforma
- Entorn TinyML: Tensorflow Lite (adequant el flux de disseny a la plataforma)
Grups i idiomes de l'assignatura
La informació proporcionada és provisional fins al 30 de novembre. A partir d'aquesta data, podreu consultar l'idioma de cada grup a través d'aquest enllaç. Per accedir a la informació, caldrà introduir el CODI de l'assignatura
| Tipus de docència | Grup | Idioma | Semestre | Torn |
|---|---|---|---|---|
| (TE) Teoria | 71 | Anglès | primer quadrimestre | tarda |
| (PAUL) Pràctiques d'aula | 711 | Anglès | primer quadrimestre | tarda |