Aceleración de la Computación en IA
Código: 106592Créditos: 6
| Titulación | Tipo | Curso |
|---|---|---|
| Inteligencia Artificial / Bachelor in Artificial Intelligence | OP | 3 |
Profesor/a de contacto
- Nombre :
- Vanessa Moreno Font
- Correo electrónico :
- vanessa.moreno@uab.cat
Equipo docente
- Juan Carazo Borrego
- Jordi Carrabina Bordoll
Idiomas de los grupos
Puede consultar esta información al final del documento.
Prerrequisitos
No hay. En parte de esta asignatura se describe el hardware de los aceleradores de IA que hay en los chips de servidores, móviles, empotrados, etc. Por lo tanto, hay que tener los conceptos básicos de arquitectura y tecnología de ordenadores.
Objetivos
Esta asignatura tiene como objetivo analizar las metodologías y plataformas que permiten la aceleración de la computación de la IA.
Dicha aceleración está asociada a diferentes factores como son: (1) el tipo de operaciones que se ejecutan (multiplicaciones vector-matriz y matriz-matriz con acumulación, y funciones de transferencia complejas); (2) la gestión de los datos (tanto en cuanto a los requerimientos de memoria como de entrada salida); (3) los requerimientos de los sistemas donde debe ir incrustada la IA (condiciones de tiempo real, limitación de consumo de energía, etc.)
En cuanto al ámbito de esta aceleración, aunque se acelera tanto la fase de aprendizaje como la de inferencia y dado que el aprendizaje se realiza en servidores en la nube, nos centraremos mayoritariamente en plataformas con recursos limitados (respecto de los servidores) como plataformas móviles o empotradas (también llamadas periferia).
Se analizarán las diferentes plataformas computacionales de propósito general (CPU, GPU, FPGA) y específico (DPU/TPU/NPU, procesadores ML y NN, chips biónicos, neuromórficos, etc.) junto con las metodologías de despliegue.
Todo ello en el ámbito del internet de los objetos (IoT) compuesto por sistemas que incluyen los dispositivos (devices), la periferia (edge) y la nube (cloud).
Resultados de aprendizaje
- CM19 (Diseñar aplicaciones IoT en sistemas embebidos con recursos limitados en diferentes ámbitos) Diseñar aplicaciones IoT en sistemas embebidos con recursos limitados en diferentes ámbitos
- KM35 (Describir los componentes y la arquitectura de los sistemas ciberfísicos, incluyendo plataformas de sistemas empotrados, sensores, actuadores y dispositivos de control en tiempo real) Describir los componentes y la arquitectura de los sistemas ciberfísicos, incluyendo plataformas de sistemas empotrados, sensores, actuadores y dispositivos de control en tiempo real
- KM37 (Identificar los principios en los que se fundamenta el edge computing y los protocolos de Internet of Things (IoT)) Identificar los principios en los que se fundamenta el edge computing y los protocolos de Internet of Things (IoT)
- SM45 (Adaptar algoritmos de IA para implementar la inferencia en plataformas empotradas con recursos limitados y condiciones de tiempo real y eficiencia energética) Adaptar algoritmos de IA para implementar la inferencia en plataformas empotradas con recursos limitados y condiciones de tiempo real y eficiencia energética
- SM46 (Analizar el rendimiento en tiempo real de aplicaciones de IA para la optimización del aprendizaje e inferencia en procesadores de propósito general y específico) Analizar el rendimiento en tiempo real de aplicaciones de IA para la optimización del aprendizaje e inferencia en procesadores de propósito general y específico
Contenidos
CONTENIDO
1. Introducción a plataformas IoT para IA
- Nube, periferia (móvil, incrustado), dispositivo (con restricciones de recursos)
- Entrenamiento vs. inferencia: balance de carga
2. Optimización IA
- Metodologías de desarrollo para reducir la complejidad computacional
- IA vs. rendimiento computacional (requisitos de la aplicación): precisión, tiempo real, memoria, energía
- Tiny ML
3. Técnicas y tecnologías de aceleración
- Plataformas de propósito general: CPU, GPU, FPGA
- Plataformas específicas de la aplicación para el procesamiento de ML y NN: DPU/TPU/NPU
- Chips avanzados: neuromórficos, basados en memristor, biónicos y cuánticos
LABORATORIOS
Despliegue de aplicaciones a (1) dispositivos móviles (de estudiantes) y (2) plataformas empotradas
PROYECTO DE DISEÑO
Planificación y prototipado de una aplicación IA específica en la periferia (seleccionada por los estudiantes)
Actividades formativas y Metodología
| Título | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|
| Laboratorios y Proyecto de Diseño | 24 | 0,96 | |
| Estudio y trabajo fuera del aula | 98 | 3,92 | |
| Clases magistrales y seminarios | 26 | 1,04 |
La metodología de aprendizaje combinará clases magistrales, actividades en sesiones tutorizadas, aprendizaje basado en proyectos y sesiones de laboratorio.
La asistencia es obligatoria para las actividades: proyecto de diseño IoT-IA y prácticas de laboratorio, que se realizarán en grupos de 2 o 3 personas.
Las sesiones de laboratorio utilizaran un formato guiado.
Este curso se utilizará el campus virtual de la UAB a https://cv.uab.cat.
Evaluación
Actividades de evaluación continuada
| Título | Peso | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|---|
| Informe y presentación del proyecto de diseño | 40% | 2 | 0,08 | CM19, KM35, KM37, SM45, SM46 |
| Evaluación de actividades desarrolladas en sesiones tutorizadas (laboratorios) | 30% | 0 | 0 | CM19, KM35, KM37, SM45, SM46 |
| Actividades individuales (tipo ejercicios) | 30% | 0 | 0 | SM45, SM46 |
Esta asignatura no prevé el sistema de evaluación única (no hay examen).
La evaluación de los estudiantes utilizará el modelo de evaluación continua y la nota final del curso se calculará de la siguiente manera:
A - 30% de la nota obtenida por la evaluación de las actividades propuestas (tipo ejercicios). Cuando se programe una actividad de evaluación, se indicará qué indicadores se utilizarán para evaluar y su peso en la calificación.
B - 40% de la nota obtenida por la evaluación del trabajo de diseño de un sistema IoT-AI (original).
C - 30% de la nota obtenida por el estudiante de los trabajos de laboratorio. Es necesaria una calificación superior a 5 (sobre 10) en este ítem para aprobar la asignatura.
Todas las actividades requerirán la entrega de informe a través del campus virtual:
- A lo largo del curso se propondrán actividades de tipo A para los diferentes temas.
- Las actividades de tipo B, requerirán la entrega de informes parciales del proyecto cada 2 semanas.
- Las actividades de tipo C, requerirán la entrega de un informe para cada sesión de laboratorio.
Para obtener MH será necesario que los estudiantes tengan una calificación global superior a 9 con las limitaciones de la UAB (1 MH/20 estudiantes). Como criterio de referencia, se asignan por orden descendente.
Para superar la asignatura será necesario obtener una calificación final igual o superior a 5, una calificación mínima de 5.0 en la actividad C y una calificación superior a 3.3 en las actividades A y B. En caso de no superar la asignatura porque no se cumpla alguna de estas condiciones, la calificación numérica del expediente será el menor valor entre 4.0 y la calificación final.
No se tolerará el plagio. Todos los estudiantes implicados en una actividad de plagio serán suspendidos automáticamente. Se asignará una nota final no superior al 30%.
Se puede utilizar software de código abierto o librerías disponibles, pero deben referenciarse en los informes correspondientes.
Un estudiante que no haya conseguido una nota media ponderada suficiente puede optar por solicitar actividades de recuperación (trabajos individuales o prueba de síntesis adicional) de la asignatura en las siguientes condiciones:
- el estudiante debe haber participado en las actividades de laboratorio y el proyecto de diseño,
- el estudiante debe tener un promedio ponderado final superior al 30%, y
- el estudiante no debe haber fallado en ninguna actividad por culpa del plagio.
El estudiante recibirá una nota de "No Evaluable" en caso de que:
- el estudiante no haya podido ser evaluado en las actividades de laboratorio por no haber asistido o no haber entregado los correspondientes informes sin causa justificada.
- el estudiante no haya realizado un mínimo del 50% de las actividades propuestas.
- el estudiante no haya realizado el trabajo de diseño.
Para cada actividad de evaluación, se dará al estudiante o al grupo, los comentarios correspondientes. El alumnado podrá hacer reclamaciones sobre la nota de la actividad, que serán evaluadas por el profesorado responsable de la asignatura.
Los estudiantes repetidores podrán guardar su calificación en las actividades de laboratorio.
Bibliografía
Russell, S. J., & Norvig, P. (2022). Artificial intelligence: a modern approach (Global edition). Pearson Education Limited.
Du, L., Du, Y. (2018). Hardware Accelerator Design for Machine Learning. In Machine Learning - Advanced Techniques and Emerging Applications. IntechOpen. https://doi.org/10.5772/intechopen.72845
Huawei Technologies Co., L. (2022). Artificial Intelligence Technology (1st ed. 2023.). Springer Nature. https://doi.org/10.1007/978-981-19-2879-6
X. Ma et al., \"A Survey on Deep Learning Empowered IoT Applications,\" in IEEE Access, vol. 7, pp. 181721-181732, 2019, doi: 10.1109/ACCESS.2019.2958962
V. H. Kim and K. K. Choi, \"A Reconfigurable CNN-Based Accelerator Design for Fast and Energy-Efficient Object Detection System on Mobile FPGA,\" in IEEE Access, vol. 11, pp. 59438-59445, 2023, doi: 10.1109/ACCESS.2023.3285279
C. -B. Wu, C. -S. Wang and Y. -K. Hsiao, \"Reconfigurable Hardware Architecture Design and Implementation for AI Deep Learning Accelerator,\" 2020 IEEE 9th Global Conference on Consumer Electronics (GCCE), Kobe, Japan, 2020, pp. 154-155, doi: 10.1109/GCCE50665.2020.9291854
Robert David et al. TENSORFLOW LITE MICRO: EMBEDDED MACHINE LEARNING ON TINYML SYSTEMS. Proceedings of the 4th MLSys Conference, San Jose, CA, USA.
Pete Warden, Daniel Situnayake. TinyML: Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers. https://tinymlbook.com/
Mishra, A., Cha, J., Park, H., & Kim, S. (2023). Artificial Intelligence and Hardware Accelerators (1st ed.). Springer International Publishing AG. https://doi.org/10.1007/978-3-031-22170-5
Liu, A. C.-C., & Law, O. M. K. (2021). Artificial intelligence hardware design: challenges and solutions. John Wiley & Sons, Incorporated.
Daniel Situnayake, Jenny Plunkett. (2023). AI at the Edge. O'Reilly Media, Inc
Software
Se utilizarán las siguientes herramientas/flujos de diseño:
- Tensor RT para NVIDIA GPUs
- OpenVino para Intel
- Edge Impulse multiplataforma
- Entorno TinyML: Tensorflow Lite (adecuando el flujo de diseño a la plataforma)
Grupos e idiomas de la asignatura
La información proporcionada es provisional hasta el 30 de noviembre. A partir de esta fecha, podrá consultar el idioma de cada grupo a través de este enlace. Para acceder a la información, será necesario introducir el CÓDIGO de la asignatura
| Tipo de docencia | Grupo | Idioma | Semestre | Turno |
|---|---|---|---|---|
| (TE) Teoría | 71 | Inglés | primer cuatrimestre | tarde |
| (PAUL) Prácticas de aula | 711 | Inglés | primer cuatrimestre | tarde |