Machine Learning Challenge 2018

Il challenge descritto in questa pagina è relativo al progetto di esame assegnato agli studenti del corso di Machine Learning tenuto nell' A.A. 2017/2018 dal Prof. Giovanni Maria Farinella all'interno del corso di studi in Informatica Magistrale dell'Università di Catania.

Il dataset utilizato in questo challenge è una versione ridotta del dataset utilizzato nel seguente articolo scientifico (http://iplab.dmi.unict.it/EgocentricShoppingCartLocalization/):

E. Spera, A. Furnari, S. Battiato, G. M. Farinella, Egocentric Shopping Cart Localization, International Conference on Pattern Recognition (ICPR), 2018

Localizzazione Basata su Immagini

Il challenge consiste nell'affrontare un problema di localizzazione basato su immagini, ovvero costruire un algoritmo che, data una immagine acquisita in uno spazio noto, permetta di inferire la posizione dalla quale l'immagine è stata scattata (si veda immagine di seguito). In particolare, noi ci occuperemo di indoor localization, ovvero localizzazione all'interno di un edificio. Inoltre, considereremo il problema della classificazione 2D, invece del più generale problema di localizzazione 3D.

Il problema della localizzazione basata su immagini può essere affrontato come un problema di machine learning assumendo la presenza di un adeguato set di immagini di training etichettate. A seconda del livello di descrizione richiesto, il problema può essere affrontato in due modi: come un problema di classificazione o come un problema di regressione:

• Localizzazione basata su classificazione: ogni immagine è provvista di una etichetta che indica in quale parte dell'edificio l'immagine è stata acquisita. Per ottenere le etichette, l'edificio viene generalmente suddiviso in zone non sovrapposte (ad esempio, le stanze di una casa), in modo tale che ogni immagine appartenga a una e una sola classe;
• Localizzazione basata su regressione: ad ogni immagine viene associata una etichetta composta di quattro numeri reali (x,y,u,v). Le variabili x e y rappresentano la posizione dalla quale è stata scattata l'immagine nel piano 2D. I valori u e v costituiscono un vettore di modulo unitario (u,v) che rappresenta l'orientamento della camera che ha scattato la foto sul piano 2D. L'angolo o di orientamento si può ottenere dai valori u e v utilizzando la formula a=atan2(v,u) (si veda https://en.wikipedia.org/wiki/Polar_coordinate_system).

L'immagine di seguito esemplifica la differenza tra localizzazione basata su classificazione e localizzazione basata su regressione.

Challenge di Classificazione e Regressione

Ogni partecipante avrà a disposizione un dataset suddiviso in tre set: training, test e validation. Le etichette degli insiemi di training e validation verranno fornite insieme al dataset, mentre del test set saranno disponibili solo le immagini. Gli algoritmi potranno essere allenati sul training set e testati sul validation. Per completare il challenge, bisognerà consegnare le etichette inferite sul test set.

Seguendo lo schema discusso sopra, il challenge si articola in due parti, onguna delle quali farà uso dello stesso set di dati provvisto delle adeguate etichette di training e validation:

• Classification Challenge: costruire un algoritmo capace di classificare le immagini del dataset correttamente.
• Regression Challenge: costruire un algoritmo che, presa in input una immagine del dataset, inferisca i quattro valori (x,y,u,v) che la localizzano.

Valutazione

Gli algoritmi prodotti vanno valutati riportando:

• Clasificazione: Accuracy, matrice di confusione, score F1 relativi alle diverse classi e score mF1;
• Regressione: Errore RMS (Root Mean Square) medio e mediano relativo a posizione (in metri) e orientamento (in gradi). Per facilitare la valutazione dei risultati di regressione, si fornisce il codice Python disponibile qui. Il codice fornito può essere importato come modulo o utilizzato da riga di comando per valutare le performance di un algoritmo date le etichette di ground truth e le predizioni salvate su file txt.