I wrote my Master thesis (Masterarbeit in German) at the University of Passau in 2017. This page gathers information about it: abstract, online PDF and links to relevant Github repositories.
Perceptual Hashing using Convolutional Neural Networks for Large Scale Reverse Image Search
Abstract
In this master thesis, we present our study on Convolutional Neural Networks Features and Perceptual Hashing for Large Scale Reverse Image Search. We especially focus our attention on robustness of such systems against common modifications (Gaussian blur, color filter, resize, compression, rotation, cropping). In a first part, we design a benchmark to evaluate the speed and accuracy of several existing techniques. These techniques have very good retrieval performances except against rotation and cropping. In a second part, we investigate the use of CNN Features for reverse image search. Experiments show that they are considerably robust against modifications. To efficiently perform a nearest neighbor search we advocate the use of hashing into short binary codes. In a third part, we propose a supervised method for learning a binary hash function that preserve similarity. This method is based on LSH with random projection and Minimal Loss Hashing, we propose a new approach to optimize the hash function in a continuous space. Experiments show that this approach is valid and promising for hashing CNN Features.
Résumé
Dans cette thèse de master, nous présentons une étude sur les caractéristiques extraites à partir de réseaux de neurones convolutifs et les hash perceptuels pour la recherche d’images inversée à grande échelle. Nous portons en particulier notre attention sur la robustesse de ces systèmes face à des modifications communes (flou Gaussien, filtre de couleur, redimensionnement, compression, rotation, rognage). Dans un premier temps, nous concevons un protocole pour comparer la vitesse et la précision de plusieurs techniques existantes. Ces techniques ont de bonnes performances, exceptées contre la rotation et le rognage. Dans un second temps, nous examinons l’utilisation des caractéristiques extraites à partir de réseaux de neurones convolutifs pour la recherche d’image inversée. Les expériences montrent qu’elles sont considérablement robustes aux modifications. Pour effectuer efficacement une recherche de plus proches voisins, nous recommandons l’utilisation de techniques de hachage binaire. Dans un troisième temps, nous proposons une méthode supervisée pour apprendre une fonction de hachage binaire qui préserve les similarités. Cette méthode est basée sur LSH avec des projections aléatoires et sur Minimal Loss Hashing. Nous proposons une nouvelle approche pour optimiser la fonction de hachage dans un espace continu. Les expériences montrent que cette approche est valide et prometteuse pour hacher les caractéristiques extraites à partir de réseaux de neurones convolutifs.
Grade : 1,0 (“Excellent”)
PDF File : MasterThesis
GitHub repositories :