| Titre : | Conception de système de traitement de données sur les émotions d’un être humain dans un environnement mobile et incertain |
| Auteurs : | Sihem Nita, Auteur ; Abdelhamid Mellouk, Directeur de thèse ; Salim Bitam, Directeur de thèse |
| Type de document : | Thése doctorat |
| Editeur : | Biskra [Algérie] : Faculté des Sciences Exactes et des Sciences de la Nature et de la Vie, Université Mohamed Khider, 2022 |
| Langues: | Français |
| Mots-clés: | Détection des émotions humaines, électrocardiogramme (ECG), variabilité de la fréquence cardiaque (HRV), augmentation des données, réseau de neurones convolutifs (CNN), forêt aléatoire améliorée (ERF), Recuit Simulé (SA) |
| Résumé : |
Une émotion humaine est considérée comme un état d’esprit d’un individu qui est complexe et intense, débutant de manière brutale et peut durer pendant une période relativement brève. Les émotions affectent généralement à la fois l’état physiologique et psychologique et peuvent aider à améliorer la santé humaine et l’efficacité au travail si elles sont positives, tandis que les émotions négatives peuvent causer des problèmes de santé et de comportements très graves. La détection et la surveillance des émotions sont primordiales dans de nombreux domaines tels que la conduite de véhicules, afin d’agir dans le temps opportun en cas de présence d’un état émotionnel négatif qui peut affecter dangereusement la vie du conducteur. Dans la science, on a défini plusieurs méthodes de détection d’émotions qui peuvent être classifiées en deux grandes catégories ; l’une utilise les signaux physiques humains tels que l’expression faciale, la parole, le geste, la posture, etc., qui ont l’avantage d’être facilement collectés et étudiés, mais qui souffrent d’une fiabilité modeste en raison de la possibilité de ne pas montrer les signaux physiques vrais pour cacher de véritables émotions. La deuxième catégorie utilise les signaux internes (les signaux physiologiques), qui comprennent l’électrocardiogramme (ECG), l’électroencéphalogramme (EEG), la température (T), l’électromyogramme (EMG), etc. qui sont plus fiable due à leur nature interne et non contrôler directement par l’être humain. Dans cette thèse, nous avons étudié le problème de la détection des émotions humaines chez un conducteur de véhicule en se basant sur le signal ECG. Pour cela, nous avons proposé trois contributions liées à la détection des émotions. La première est une approche d’optimisation des paramètres de classification des catégories des signaux ECG qui parmi elle une classe ECG anormale représentant un état émotionnel inhabituel. La deuxième contribution est une version améliorée de l’approche Random Forest pour la dé- tection de l’état du stress d’un conducteur. La troisième contribution est un système de détection d’émotions en suggérant une approche d’apprentissage profond ; il s’agit d’un nouveau réseau de ivneurones convolutif et d’augmentation de données qui considère la variabilité de la fréquence cardiaque (Heart Rate Variability -HRV-) comme critère essentiel de détection. Le système proposé a été bien développé et prouvé par une étude de validation et une comparaison avec les travaux de référence similaires proposés dans la littérature. |
| Sommaire : |
Contents List of Figures xi List of tables xiii List of publications xiii Introduction 1 1 General context . . . . . . . . . . . . . . 1 2 Problem statement and motivations . . . . . . . 2 3 Main contributions . . . . . . . . . . . . . . . . 3 4 Dissertation organization . . . . . . . . . . 3 1 Fundamental Concepts 5 1.1 Introduction . . . . . . 6 1.2 Emotion Recognition . . . . . . . 6 1.3 Emotion Recognition Using Physiological Signals: Challenges and Opportunities . . 8 1.4 Affective Computing and Emotion Recognition .. . 10 1.4.1 Emotion Modelling. . . . . . 11 1.4.1.1 Discrete Emotional Models . . . . 12 1.4.1.2 Affective Dimensional Models . . . . . . 12 1.4.1.3 Discrete vs Dimensional Models . . . . . . 15 1.4.2 Emotion Recognition Modalities . . . . . . . . . . . 16 1.4.2.1 Facial Emotion Recognition . . . .. . . 16 1.4.2.2 Speech Emotion Recognition Speech . . . . 17 1.4.2.3 Body Gestures and Posture . . . . . . 19 viiCONTENTS 1.4.2.4 Physiological Signals . . . . . 20 1.5 Electrocardiographic Signal . . . . . . . . . 22 1.5.1 Anatomy and Physiology. . . 22 1.5.2 Variability .25 1.6 Conclusion . 27 2 Human Emotion Detection: Related Work 28 2.1 Introduction . 29 2.2 Classification of Heart Diseases Based On ECG Signals . . 29 2.3 ECG and emotion recognition . 31 2.4 Emotion detection methods 32 2.4.1 ECG-based Emotion detection methods . . . . 34 2.4.3 ECG-Based Driver emotion detection . . . . . 35 2.4.4 Data augmentation methods for ECG . . . . . 37 2.5 Conclusion . 39 3 An enhanced random forest for cardiac diseases identification 40 3.1 Introduction 41 3.2 Motivation: ECG for heart disease diagnosis 41 3.3 Basic concepts . 42 3.3.1 Random forest (RF) classifier 43 3.3.2 Simulated annealing (SA) method 43 3.4 An enhanced random forest for ECG classification: our proposal . 44 3.4.1 Phase 1: ECG Data Aggregation .44 3.4.2 Phase 2: Preprocessing phase 44 3.4.3 Phase 3: Features Extraction (BD of features. . 45 3.4.4 Phase 4.1: Tree classifier building and decision aggregation .. 46 3.4.5 Phase 4.2: Discovering the optimal RF number of trees .. . 46 3.5 Experimental results . 48 3.5.1 Data set description and experiments environment . 3.6 Conclusion 51 4 A body area network for ubiquitous driver stress monitoring 52 4.1 Introduction 53 4.2 Motivation: ECG-Based Driver emotion recognition . . . . 53 4.3 An enhanced random forest for driver stress detection based on ECG: our proposal . 54 4.3.1 Phase 1: ECG Signal acquisition . 55 4.3.2 Phase 2: Preprocessing phase 56 4.3.3 Phase 3: Features Extraction (BD of features) 57 4.3.4 Phase 4: Classification 57 4.4 Experimental results . 58 4.4.1 Dataset description and experiments environment 59 4.4.2 Results and discussion 59 4.5 Conclusion60 5 A New Data Augmentation Convolutional Neural Network for Human Emotion Recognition based on ECG Signals 61 5.1 Introduction .. . . . . . . . . . 63 5.2 Motivation: Data augmentation methods for ECG .63 5.3 The proposed ECG data augmentation for human emotion recognition using sevenlayer CNN model 5.3.1 Data acquisition and preprocessing of ECG signal . . . . 65 5.3.2 Data augmentation strategy . . . . . . . 65 5.3.2.1 Step 1: Detecting R-waves .. 65 5.3.2.2 Step 2: Periods calculation of R-R intervals . . 65 5.3.2.3 Step 3: Random selection of new R-R intervals. 66 5.3.2.4 Step 4: R-R intervals concatenation. 67 5.3.3 HRV features extraction. . . . . . . 68 5.3.4 Architecture of seven-layer CNN model for ECG emotion recognition system 69 5.4 Experimental results . . . . . . . 72 5.4.1 Experiments . . . . . . . 72 5.4.2 Results obtained and discussion . . 73 5.4.2.1 Accuracy of valence detection . . 73 5.4.2.2 Accuracy of arousal detection . 74 5.4.2.3 Accuracy of dominance detection .. 75 5.4.2.4 The confusion matrices: classification correctness . . 76 5.4.2.5 Precision, recall, and F1-Score .. 79 5.4.2.6 K-fold cross validation . . 79 5.4.2.7 PR and ROC curves . 80 5.5 Conclusion 86 Conclusions and perspectives 87 1 Summary of contributions . 87 2 Perspectives and future work 88 Bibliography 8 |
| En ligne : | http://thesis.univ-biskra.dz/5984/1/Th%C3%A9se%20NITA%20SIHEM%202022.pdf |
Disponibilité (1)
| Cote | Support | Localisation | Statut |
|---|---|---|---|
| TINF/181 | Théses de doctorat | bibliothèque sciences exactes | Consultable |
