| Titre : | Grayscale Image Colorization : using deep learning |
| Auteurs : | Mostafa Khaldi, Auteur ; kamal Eddine Melkemi, Directeur de thèse ; Bilal Mokhtari, Directeur de thèse |
| Type de document : | Monographie imprimée |
| Editeur : | Biskra [Algérie] : Faculté des Sciences Exactes et des Sciences de la Nature et de la Vie, Université Mohamed Khider, 2018 |
| Format : | 1 vol. (49 p.) / 30 cm |
| Langues: | Anglais |
| Résumé : |
Humans can distinguish between objects by recognizing their shapes and colors thus they can tell if this is a car or a track, this ability becomes even rich and accurate by each time the humans learn from nature and environment, which computers stands blind if they are programmed for certain kind of objects and they encountered new input of a new object that they have no prerequisites about. How to teach a computer? You can either write a fixed program or you can enable the computer to learn on its own. Living beings do not have any programmer writing a program for developing their skills, which then only has to be executed. They learn by themselves without the previous knowledge from external impressions and thus can solve problems better than any computer today. What qualities are needed to achieve such a behavior for devices like computers? Can such cognition be adapted from biology? |
| Sommaire : |
Abstract 3 Introduction 4 History 5 1 Neural Networks 7 1.1 The biological neural network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.1.1 Synapses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.2 Dendrites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.3 Axons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.1.4 Information flow across the biological neuron . . . . . . . . . . . . . . . . . . . . . 8 1.1.5 From biological to artificial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 The perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.2 The perceptron learning algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.3 Limitations of the early perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3 The Feed-Forward multilayers neural network . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3.1 Evolution of the artificial neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3.2 Artificial neuron input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3.3 Connection weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3.4 Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3.5 Activation function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3.6 Feed-forward neural network architecture . . . . . . . . . . . . . . . . . . . . . . . 13 1.3.7 input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.3.8 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.3.9 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.3.10 Connection between layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2 Deep Learning 15 2.1 Introduction to deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2 History of deep learning application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.3 Deep learning applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.4 Futur deep learning applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.5 Generative modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.5.1 Inceptionism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.5.2 Modeling artistic style . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.5.3 Generative Adversarial Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.5.4 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.6 Common Architectural Principles of Deep Networks . . . . . . . . . . . . . . . . . . . . . 20 2.6.1 Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.6.2 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.6.3 Activation functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.6.4 Loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.6.5 Optimization methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.6.6 Hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3 Convolutional Neural Networks 22 3.1 Introduction to Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . . . . . 22 3.2 Biological Inspiration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3 CNNs overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.4 CNNs architecture overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.4.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.4.2 Feature-extraction (learning) layers . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.4.2.1 Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.2.2 Activation maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.2.3 Parameter sharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.4.2.4 Learned filters and renders . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.4.2.5 ReLU activation functions . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.2.6 Layer-specific hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.3 Classification layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.4 Pooling layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4.5 Fully connected layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.5 Other applications of CNNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.6 Popular architectures of CNNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 Related Works 32 4 Application Design 33 4.1 Application design overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 Training phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.3 Testing phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.4 The graphical user interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.5 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Conclusion 44 Used Tools 45 Annex 47 Bibliography 48 |
Disponibilité (1)
| Cote | Support | Localisation | Statut |
|---|---|---|---|
| MINF/424 | Mémoire master | bibliothèque sciences exactes | Consultable |
