| Titre : | L’Agrégation des Big Data dans le Cloud Computing |
| Auteurs : | Fella Haddar, Auteur ; Salim Bitam, Directeur de thèse |
| Type de document : | Monographie imprimée |
| Editeur : | Biskra [Algérie] : Faculté des Sciences Exactes et des Sciences de la Nature et de la Vie, Université Mohamed Khider, 2017 |
| Format : | 1 vol. (52 p.) / 30 cm |
| Langues: | Français |
| Résumé : |
Récemment, la gestion des big data et les analyses dans le cloud sont considérées comme les tâches les plus exigeantes en temps et en main-d’œuvre. En d'autres termes,effectuer des analyses sur de grands volumes de données dans le cloud nécessite des méthodes efficaces pour stocker, transformer et récupérer les données. Ce projet vise à traiter un grand volume de données par un processus d’agrégation dans une infrastructure cloud dont les données ont des formes non structurées. L’idée est d’avoir un traitement postérieur de données très efficace suite à une réduction de taille de la base de données. Il est à noter queces données sont issues de différentes sources distinctes fonctionnellement et géographiquement. Les entités du cloud sont regroupées et corrélées pour extraire rapidement un contenu significatif de données à partir de ces sources. Pour atteindre cet objectif, nos avons développé dans ce projet deux méthodes d'agrégation efficaces qui sont l’agrégation pipeline et l’agrégation Map Reduce. Nous avons généré notre Big Data en utilisant des outils classiques (PHP My Admin) ainsi que un nouvel outil de manipulation de Big Data (Mongo DB). Afin de faire face aux aspects Cloud, nous avons réalisé une Cloud par la plateforme Open Stack pour construire un cluster de traitement de données tel qu’un serveur ou plutôt plusieurs serveurs Mongo DB sous OpenStack. Les deux méthodes d’agrégation ont été comparées en termes de temps d’exécution. Les résultats obtenus ont montré une supériorité de la méthode d’agrégation pipeline par rapport à l’agrégation Map Reduce. |
| Sommaire : |
Résumé ...................................................................................................................................... iii Table des matières ..................................................................................................................... iv Table des figures ...................................................................................................................... vii Introduction générale .................................................................................................................. 1 Chapitre 1 : le Big data dans le cloud computing ................................................................ 3 I.1 Introduction ........................................................................................................................... 3 I.2 Le Cloud Computing ............................................................................................................. 3 I.2.1 Historique du cloud computing .................................................................................. 3 I.2.2 Définition ................................................................................................................... 4 I.2.3 Les différents services d’un Cloud ............................................................................ 4 I.2.3.1 IaaS (Infrastructure as a Service) ........................................................................ 5 I.2.3.2 PaaS (Plateform as a Service) .............................................................................. 5 I.2.3.3 SaaS (Software as a Service) ................................................................................ 6 I.2.4 Avantages et Inconvénients des services .................................................................. 6 I.2.5 Les cinq caractéristiques essentielles du Cloud computing ...................................... 7 I.2.6 LA virtualisation ........................................................................................................ 8 I.2.6.1 Définition ............................................................................................................ 8 I.2.7 Les types de Cloud Computing .................................................................................. 8 I.2.8 Les apports du Cloud ................................................................................................. 9 I.2.9 Les limites du Cloud ................................................................................................... 9 I.3 Les BigData ....................................................................................................................... 10 I.3.1 définition .................................................................................................................. 10 I.3.2 Les 3V du Big data ................................................................................................... 10 I.3.3 Des chiffres sur le Big data ....................................................................................... 12 I.3.4 Exemples des Cas d’usages ...................................................................................... 12 I.3.5 Technologie du big data ........................................................................................... 13 I.4 La relation entre big data et cloud computing .................................................................. 14 I.5 L’agrégation des données ................................................................................................... 15 I.5.1 Définition .................................................................................................................. 15 I.6 Les problématiques des big data dans le cloud computing ................................................. 15 I.6.1 Le stockage des données ........................................................................................... 15 I.6.2 La sécurité des données ........................................................................................... 16 I.6.3 L’analyse de données ............................................................................................... 16 I.6.4 L’agrégation des données ........................................................................................ 16 I.7 Conclusion .......................................................................................................................... 17 Chapitre II: Agrégation des Big data dans le Cloud Computing « état de l’art » ......... 18 II.1 Introduction ....................................................................................................................... 18 II.2 L’agrégation des big data dans le cloud computing ......................................................... 18 II.3 L’avantage de l’agrégation de données ............................................................................. 19 II.4 Agrégation des Big data dans le Cloud Computing : état de l’art ..................................... 20 II.4.1 Camdoop : Exploiter l'agrégation dans le réseau pour les applications de Big data 20 II.4.1.1 Définition .......................................................................................................... 20 II.4.1.2 Principe ............................................................................................................. 21 II.4.2 Valeurs clés distribuées : le processus de big data dans l’environnement de cloud 23 II.4.2.1 Définition .......................................................................................................... 23 II.4.2.2 Les opérations de bases d’agrégation des big data ............................................ 23 II.4.3 Agrégation en ligne basée sur la partition avec échantillonnage partagé dans le cloud ..24 II.4.3.1 Définition .......................................................................................................... 24 II.4.3.2 Principe ............................................................................................................. 25 II.4.5 Conclusion ..................................................................................................................... 26 Chapitre III : dévelopement et conception .......................................................................... 27 III.1 Introduction ..................................................................................................................... 27 III.2 Solution proposé .............................................................................................................. 27 III.3 Conception générale de système ..................................................................................... 27 III.3.1 La partie de cloud .................................................................................................. 29 III.3.2 La partie Big data .................................................................................................. 30 III.3.3 La partie d’agrégation ........................................................................................... 30 III.4 Conception détaillée du système ..................................................................................... 30 III.4.1 La partie de cloud ................................................................................................. 30 III.4.2 MongoDB .............................................................................................................. 32 III.4.3 La partie d’agrégation ........................................................................................... 33 III.4.3.1 MapReduce ...................................................................................................... 33 III.4.3.2 l’agrégation pipeline ........................................................................................ 34 III.5 Conclusion ....................................................................................................................... 36 Chapitre IV : Implémentation .............................................................................................. 37 IV.1 Introduction ...................................................................................................................... 37 IV.2 L'environnement de travail............................................................................................... 37 IV.3 Les données de travail ..................................................................................................... 38 |
Disponibilité (1)
| Cote | Support | Localisation | Statut |
|---|---|---|---|
| MINF/277 | Mémoire master | bibliothèque sciences exactes | Consultable |
