Insegnamento mutuato da: B031301 - OPTIMIZATION TECHNIQUES FOR MACHINE LEARNING Laurea Magistrale in INTELLIGENZA ARTIFICIALE
Lingua Insegnamento
Italiano (dispense aggiuntive in inglese)
Contenuto del corso
Condizioni di ottimalità;
Metodi per l'ottimizzazione locale non vincolata;
Metodi per l'ottimizzazione locale vincolata;
Metodi di ottimizzazione per problemi di apprendimento automatico.
Introduction to Methods for Nonlinear Optimization, L. Grippo, M. Sciandrone, Springer Cham, 2023
Metodi di ottimizzazione non vincolata, L. Grippo, M. Sciandrone, Springer-Verlag, 2011
Dispense aggiuntive
Obiettivi Formativi
Il corso fornisce le basi teoriche dell'ottimizzazione non lineare. Si prefigge l'obiettivo di fornire agli studenti conoscenza approfondita della teoria dell'ottimizzazione numerica continua, degli algoritmi di ottimizzazione e delle loro principali proprietà.Particolare attenzione è dedicata ai metodi di ottimizzazione rilevanti per il Machine Learning
CA2: La capacità di applicare la propria conoscenza e la propria comprensione per analizzare e ottimizzare apparati e sistemi, nonché di innovare i medesimi anche attraverso lo sviluppo ed il miglioramento dei metodi di progettazione, confrontandosi con continuità con la rapida evoluzione propria dell’ambito dell’ingegneria.
CA3: La capacità di scegliere e applicare appropriati metodi analitici e di modellazione, basati sull’analisi matematica e numerica, per poter simulare al meglio il comportamento di componenti e impianti al fine di predirne e migliorarne le prestazioni.
CA6: La capacità di identificare, localizzare e ottenere dati e informazioni necessari alla valutazione.
CA8: La capacità di interpretare in maniera appropriata i risultati dei test sperimentali, dei calcoli di verifica, nonché dei processi di simulazione teorica complessa, tramite l’uso del calcolatore, dando applicazione alle basi, sperimentali, modellistiche, matematiche ed informatiche acquisite.
CA12: La capacità adeguata di comprensione delle fonti in lingua inglese.
CC1: La conoscenza approfondita degli aspetti teorico-scientifici dell'ingegneria, Saper identificare, formulare e risolvere, anche in modo innovativo, problemi complessi o che richiedono un approccio interdisciplinare. La capacità di comprendere un contesto multidisciplinare in ambito ingegneristico e di operare in ottica problem solving.
Prerequisiti
Conoscenza elementare dell'Analisi matematica (serie di Taylor, concetti di gradiente ed Hessiana)
Algebra lineare
E' utile aver frequentato un corso di Ricerca Operativa / programmazione lineare
Metodi Didattici
Lezioni frontali.
Modalità di verifica apprendimento
Esame orale su tutto il programma.
Nel corso dell'esame si verifica mediante quesiti e domande teoriche:
- la conoscenza della teoria dell'ottimizzazione (condizioni di ottimalità);
- la conoscenza di algoritmi di ottimizzazione non lineare e delle loro proprietà teoriche;
- la conoscenza di algoritmi di ottimizzazione applicati nell'ambito dei problemi di apprendimento automatico.
Programma del corso
- Introduzione: problemi di ottimizzazione matematica, esempi
- Nozioni di base e definizioni.
- Il problema della Empirical Risk minimization
- Condizioni di ottimalità per problemi non vincolati
- Convergenza degli algoritmi iterativi
- Metodi di discesa del gradiente
- Metodi alle direzioni coniugate
- Regressione lineare ai minimi quadrati
- Metodi di Newton
- Metodi Quasi-Newton
- Regressione logistica
- Metodi Trust region
- Metodi derivative-free
- Condizioni di ottimalità per problemi vincolati: KKT
- Support Vector Machines: Definizione e soluzione del problema di addestramento
- Problemi con vincoli convessi
- Metodi per problemi vincolati
- Metodi incrementali per problemi di tipo finite-sum
- Complessità degli algoritmi di ottimizzazione