| Titre : | Rééclairage d’images de portrait en utilisant une technique d’apprentissage basée sur un Hourglass network |
| Auteurs : | RYM RIGUET, Auteur ; Mohamed Chaouki Babahenini, Directeur de thèse |
| Type de document : | Monographie imprimée |
| Editeur : | Biskra [Algérie] : Faculté des Sciences Exactes et des Sciences de la Nature et de la Vie, Université Mohamed Khider, 2023 |
| Format : | 1vol.(107p.) / ill.couv.ill.encoul / 30cm |
| Note générale : | |
| Langues: | Français |
| Langues originales: | Français |
| Mots-clés: | Photo portrait, Apprentissage profond,Hourglass Network, Rééclairage, dataset DPR |
| Résumé : |
Notre travail introduit une approche de rééclairage de portrait basée sur le calcul physique de l’éclairement et permettant de génèrer un ensemble de données à grande échelle et de haute qualité appelé DPR, qui comprend diverses images de portrait capturées dans des environnements naturels. Nous formons alors un réseau neuronal convolutionnel (CNN) profond à l’aide de cet ensemble de données, ce qui lui permet de produire des images de portraits rallumés en prenant une image source et une configuration d’éclairage cible en entrée. La procédure d’apprentissage incorpore des techniques de régularisation pour améliorer les résultats générés et éliminer les artefacts causés par les méthodes de rééclairage basées sur la physique. En outre, nous utilisons de type Hourglass pour améliorer encore la qualité de l’image du portrait éclairé. Notre réseau entraîné peut rééclairer avec succès des images de portraits. Pour évaluer les performances de la méthode, nous utilisons l’ensemble de données DPR proposé, ainsi que l’ensemble de données de portraits Flickr et l’ensemble de données Multi-PIE. |
| Sommaire : |
1 Illumination des scènes virtuelles et Apprentissage profond 17 1.1 Introduction . . .. . . 17 1.2 Partie A : Illumination en informatique graphique . . . . . . . . 18 1.2.1 Modèles d’éclairement . . . . . 19 1.2.1.1 Le modèle diffus idéal ou modèle Lambertien . . . . . . 19 1.2.1.2 Modèle spéculaire : Modèle de Phong . . . . . . 20 1.2.2 Illumination globale . . . . . . 22 1.2.3 Éclairage direct . . . . . . . . . . . 23 1.2.4 Éclairage indirecte . . . . . . 23 1.2.5 Problème de résolution de l’équation de transport de lumière . . 24 1.2.6 Les techniques d’illumination globale . . . . . . . . . . . . . . . . 25 1.2.6.1 Lancer de rayons (Ray tracing) . . . . . . . . 25 1.2.6.2 Ray casting . . . . . 29 1.2.6.4 Path tracing . . . 33 1.2.6.5 Monte Carlo . . . . .. . 34 1.2.6.6 Photon mapping . . . . . . 34 1.3 Partie B : Apprentissage profond . . . . . 35 1.3.1 Motivations . . . . . 35 1.3.2 Apprentissage automatique . . . . . 36 1.3.3 Les réseaux de neurones artificielles . . . 38 1.3.4 Types d’apprentissage . . . . . 39 1.3.4.1 Apprentissage supervisé . . . . . 39 1.3.4.2 Apprentissage non supervisé . . . . . . 42 1.3.4.3 Apprentissage par renforcement . . .. . . . . 43 1.4 Apprentissage profond . . . . . . . . . 43 1.4.1 Réseaux Feedforward . . . . . . . . . . 44 1.4.1.1 Les réseaux biologiques . . . . . . . . 44 1.4.1.2 Les couches . . . . .. . . . . 45 1.4.2 Architectures de réseaux neuronaux . . . . . . . . . . 46 1.4.2.1 Réseaux neuronaux convolutifs(CNN) . . . . . 46 1.5 Conclusion . . . . . . 50 2 Rééclairage basé sur l’apprentissage profond à partir d’une seul photode portrait 51 2.1 Introduction et motivations . . . . . . . .éfinitions . . . . . . . 52 2.3 Comparaison entre la technique qui utilise le réseau Hourglass et les autre techniques proposée pour le ré éclairage d’images de portrait . . . . . . . 54 2.4 Classification des techniques de ré-éclairage des photos de portrait . . .55 2.4.1 Techniques de ré éclairage basée sur les images de références( techniques d’optimisation) . .. . . . . 55 2.4.1.1 Images de quotient (ratio images) : . . . . . . . . 55 2.4.1.2 Le ratio de la carte d’environnement de radiance : . . . 56 2.4.1.3 Technique de transfert de réflectance . . . .. . . . . 57 2.4.2 Techniques de ré éclairage basées sur l’apprentissage profond . . . 58 2.4.2.1 Réseaux neuronaux (GAN, CNN, etc.) . . . . . . . . . 58 2.4.2.2 Apprentissage de l’éclairage à partir de données d’entraînement 2.4.3 Techniques de rendu inverse des images de portrait . . . . . . . . 59 2.4.3.1 Modèle 3D morphable (3DMM) . . . . 60 2.5 Estimation normale . . . . . 63 2.5.1 Rafinnement normale basé sur 3D Dense Face Alignment(3DDFA) . . .. . . .63 2.5.2 Raffinement normal basé sur ARAP ( As-Rigid-As-Possible) . . . 63 2.6 les Réseaux antagonistes génératifs . . . . . . 65 2.6.1 Architecture générale des GANs . . . .. . 66 2.6.1.1 Générateur . . . .. . 67 2.6.1.2 Discriminateur . . . . . . . . 68 2.6.2 Entraînement de GANs . . . . . . . . 69 2.6.3 Applications des GANs . . . . . . . 70 2.6.3.1 Générer de nouvelles photos . .. . 70 2.6.3.2 Coloriser des images en noir et blanc . . . . . . . . 71 2.6.3.3 Créer des oeuvres d’art . . . . . . . 71 2.6.3.4 Traduction d’images . . . 72 2.7 Conclusion . . . .. . . 72 3 Conception d’une approche de rééclairage de portrait à base de réseau Hourglass 73 3.1 Introduction . . . . . . . . 73 3.2 Architecture de réseau Hourglass : Généralités . . . . . . 74 3.2.1 Les blocs de construction . . . .. . 75 3.2.1.1 Couches convolutives . . . . . . . 75 3.2.1.2 Couches sous-échantillonnage (downsampling layers) . . 76 3.2.1.3 Couches sur-échantillonnage (upsampling layers) . . . . 76 3.2.1.4 Sauts de connexion . . . . . . . 77 3.3 Proposition d’une application utilisant le réseau Hourglass pour le rééclairage des images portrait basé sur l’apprentissage profond . . . . . . . 78 3.3.1 Génération de base de données (Deep Portrait Relighting Dataset ..78 3.3.2 Architecture de réseau Hourglass . . . 80 3.3.3 Entraînement de réseau Hourglass . . . . . . 83 3.4 LSGANs(Réseaux adversarials génératifs à moindres carrées) . . . . . . 87 3.5 Conclusion . . . . . . 89 4 Mise en oeuvre et résultats 90 4.1 Introduction . . . . . 90 4.2 Préparation de base de données (DPR) . . . . . 90 4.3 Aperçu de la mise en oeuvre . . . . 93 4.4 Entraînement de Hourglass . . . . . 94 4.5 Dispositif expérimental . . . . .. . 95 4.5.1 Configuration du matérielle . . . . . . 95 4.5.2.1 PyTorch . . . . . . . . . . 96 4.5.2.2 TensorFlow . . . . . . 96 4.5.2.3 Keras . . . . .. . . . 97 4.5.2.4 OpenCV . . . . . 97 4.5.2.5 Shtools . . . . . . . . 97 4.6 Mesures d’évaluation . . . . . . . 98 4.7 Résultats . . . .. . . 100 4.7.1 Résultats sur des images frontales . . . . 100 4.7.2 Résultats sur des images non frontales . . 102 4.7.3 Résultats sur des images difficiles . . . . . . . . 102 4.7.4 Résultats de données DPR de haute résolution . .. . . 104 4.7.5 Résultats de données de portraits de Flickr . . . . . . . 104 4.7.6 Mauvais Résultats . . . . . . 105 4.8 Conclusion . .. . . 106 5 Conclusion générale ...107 |
| Type de document : | Mémoire master |
Disponibilité (1)
| Cote | Support | Localisation | Statut |
|---|---|---|---|
| MINF/837 | Mémoire master | bibliothèque sciences exactes | Consultable |
