B024320 - VISUAL AND MULTIMEDIA RECOGNITION

Italiano

Computer Vision e machine learning per riconoscimento automatico

Questo corso approfondisce in dettaglio le più importanti soluzioni per il riconoscimento automatico con aggiornamenti alle più recenti tecniche basate sulle architetture di deep learning. Durante il corso gli studenti apprenderanno lo stato dell'arte delle soluzioni di computer vision e avranno la possibilità di apprenderne l'utilizzo attraverso sessioni di laboratorio

- Conoscenza dello stato dell'arte della ricerca in visione artificiale per il riconoscimento automatico di eventi ed oggetti.
- Conoscenza delle principali tecniche di classificazione e rappresentazione di dati visuali
- Capacità di individuare gli strumenti adeguati per risolvere un problema di riconoscimento automatico, anche in termini di accuratezza ed efficienza.

Fondamenti di elaborazione di immagini e video

Aula e Laboratorio

durante il Corso e gli elaborati gli studenti sono assistiti da tutori

Lo studente eseguirà dei brevi report sulle esercitazioni svolte in laboratorio al fine di verificare la conoscenza delle tecniche di rappresentazione e classificazione di immagine.
Lo studente svilupperà un algoritmo di riconoscimento al fine di verificare la capacità di selezionare il corretto approccio in termini di rappresentazione immagine e classificazione, oltre che verificare la capacità di misurare l'accuratezza e l'efficienza dell'approccio sviluppato.

VISUAL AND MULTIMEDIA RECOGNITION 2016-17


Week 1-2 Section 1. Section 2.
• Introduction to visual and multimedia recognition
• Global image features : Color; Texture; Edges and Lines
• Dimensionality reduction: PCA
• MPEG7 holistic descriptors

Week 3-4 Section 4. Local image features
• Rotation invariant Harris corner detector
• Scale invariant keypoint detectors:
- Harris-Laplacian,
- SIFT SURF Features
• Affine invariant region detectors:
- MSER Maximally Stable Extremal Regions
• Local descriptors:
- SIFT, Color SIFT,
- SURF

Week 5-6 Section 5 Visual words and bag of Words representation
• Visual Words and Bag of Words model:
- vocabulary formation by K-means
- Radius-based clustering
• Evolution of BoW model by Coding/Reconstruction- based approaches:
- Sparse Coding
- Local Linear Coding
- Soft Assignment

- Fisher Vectors and VLAD

Week 7 Section 6. Object instance recognition
• Distance measures
• Nearest Neighbour Matching
• Geometric alignment and outliers rejection: Random Sample Consensus

Week 8 - 9 Section 7. Object detection and categorization
• Bayes classification, Expectation maximization (Recall of statistical principles)
• Support Vector Machines classifier
• Boosting classifier, Adaboost
• Probabilistic Latent Semantic Analysis classifier
• HOG Histogram of Oriented Gradients people detector
• Viola and Jones face detector
• Partial matching of sets of features

Week 9 Laboratory1 Bag of Visual Words

Week 10 Section 8. Deep Learning
• Recall of Multi layer Networks
• Convolutional Neural Networks (Le Net5)
• CNN for Visual Recognition

Week 11-12 Laboratory2 Convolutional Neural Networks

Week 13 Section 9. With image sequences
• Spatio-temporal features and Detectors:
- STIP Spatio-Temporal Interest Point detector
- Dollar’s spatio-temporal detector;
- Dense trajectories improved.
- Descriptors for Spatio-temporal features:
- HoG3D (Histogram of 3D Gradients),
- HOF (Histogram of Optical Flow),
- MBH (Motion Boundary Histogram),
- Dense Trajectory Descriptors

• Action and Event recognition
• Principles of Tracking

Week 14 Section 10. Matching at large scale
• Vocabulary Tree
• Multidimensional hashing:
- Local Sensitive Hashing
- Pyramid Match Hashing,
- Semantic Hashing

Week 15 Section 11. Exploiting human and social knowledge
• Imagenet
• Exploiting data from Social Networks