Lezioni sono in inglese, con diapositive e altra materia didattica in inglese. L'esame si può sostenere in italiano o inglese.
Contenuto del corso
Il corso è organizzato in un assortimento argomenti tecnici e teorici che, presi insiemi, forniscono una formazione sui Fondamenti dell’Apprendimento Automatico. Vede il Programma del Corso per dettagli.
Bishop, Christopher M. Pattern Recognition and Machine Learning. Springer, 2006.
MacKay, David. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003.
Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for machine learning. Cambridge University Press, 2020.
Obiettivi Formativi
Obiettivo del corso è quello di fornire le conoscenze dei concetti e strumenti più importanti nello studio e applicazione dell’apprendimento automatico:
- Conoscenza e comprensione dei fondamenti matematici e statistici dell’apprendimento automatico contemporaneo.
- Conoscenza e comprensione dei modelli basilari dei modelli teorici per la regressione, per la classificazione supervisionato, e per la stima di densità probabilistiche.
- Conoscenza e comprensione dei fondamenti teorici delle reti neurali per la classificazione e per la regressione.
- Conoscenza e comprensione dei modelli e tecniche del Deep Learning contemporaneo.
A fine corso lo studente saprà applicare queste conoscenze all'analisi e al design di soluzione di problemi real-world, applicando i best practices e strumenti avanzati per arrivare a soluzione allo stato dell'arte.
Prerequisiti
Conoscenze basilari di calcolo della probabilità, statistica e analisi matematica.
Buona conoscenza di un linguaggio di programmazione, preferibilmente Python.
Metodi Didattici
Lezioni frontali ed esercitazioni di laboratorio.
Altre Informazioni
Modalità di verifica apprendimento
La verifica finale consta di una combinazione di:
- Esercizi di laboratorio e compiti svolti a casa; e
- Una prova intermedia scritta (opzionale).
- Una prova finale scritta.
Programma del corso
- Foundations of the Foundations: probability theory and statistics for machine learning, probability distributions, basics of information theory, Bayesian versus frequentist interpretations, linear models for regression, linear models for classification, the bias-variance decomposition, overfitting and underfitting, model regularization, probabilistic generative models, probabilistic discriminative models, Maximum Likelihood Estimation (MLE), Maximum a Posteriori (MAP) inference, Bayesian inference.
- Machine Learning: Support Vector Machines (SVMs), kernel machines, graphical models, decision trees, ensemble methods, boosting, bagging, Bayesian model averaging, random forests, Expectation Maximization (EM), mixture density estimation.
- Deep Learning: connectionist models, Hebbian learning rules, the perceptron, neural networks, Stochastic Gradient Descent (SGD), the Backpropagation algorithm, the Multilayer Perceptron (MLP), vanishing and exploding gradients, model size and regularization, network regularization.
- Special Topics and Applications: Long Short-term Memory Networks (LSTMs), natural language processing and language models, Convolutional Neural Networks (CNNs), object recognition, Generative Adversarial Networks (GANs), self-supervised learning, continual learning, domain adaptation, transfer learning.
- Tools, Techniques, and Best Practices: numerical programming, visualization, model diagnostics and monitoring training, MLOps, scikit-learn, PyTorch.