| Titre : | Autonomous Rocket Landing Control using AI Simulations for Improved Space Exploration |
| Auteurs : | Hicham Bouchana, Auteur ; Meftah Zouai, Directeur de thèse ; Ahmed Aloui, Directeur de thèse |
| Editeur : | Biskra [Algérie] : Faculté des Sciences Exactes et des Sciences de la Nature et de la Vie, Université Mohamed Khider, 2024 |
| Format : | 1 vol. (77 p.) / ill., couv. ill. en coul / 30cm |
| Langues: | Anglais |
| Résumé : |
L’atterrissage sûr et précis des fusées reste un défi crucial dans l’exploration spatiale. Cette thèseexplore l’application des simulations d’intelligence artificielle (IA) pour développer un systèmeautonome de contrôle d’atterrissage de fusée. Au sein du moteur Unity et de la plateforme MLAgents,un environnement d’atterrissage de fusée réaliste est conçu. Cet environnement intègreles effets de la gravité, de la traînée atmosphérique et d’autres forces physiques pertinentes quiinfluencent le vol de la fusée. Un script personnalisé est ensuite développé pour transférer lesdécisions de l’agent de l’algorithme d’apprentissage par renforcement aux actions de contrôleréelles pour la fusée simulée. Ces actions peuvent inclure l’ajustement de la poussée du moteur,la manipulation de la vectorisation de poussée ou le déploiement de jambes d’atterrissage.L’algorithme d’apprentissage par renforcement Proximal Policy Optimization (PPO) est implémentépour former l’agent. L’agent apprend à contrôler la fusée grâce à des interactions par essaiset erreurs dans l’environnement simulé, en tenant compte de facteurs tels que la précisionde l’atterrissage, le rendement énergétique et la robustesse aux perturbations environnementales.Les résultats démontrent que le système de contrôle proposébasé sur l’IA, associé à la simulationphysique réelle, peut réaliser des atterrissages réussis dans des environnements simulés. La recherche a également identifié les limites de l’approche actuelle, telles que la complexité desscénarios d’atterrissage réels. Les orientations de travail futures incluent l’intégration de donnéesdu monde réel et l’exploration de modèles de fusées plus complexes pour un système decontrôle plus robuste et transférable. Cette recherche contribue à l’avancement de la technologie d’atterrissage de fusée autonome, ouvrant la voie à des missions d’exploration spatiale plusfiables. |
| Sommaire : |
Abstract . . . . . . . . . . . . . . iii Acknowledgements . . . . . . . . . . . . . . . iv Dedication . . . . . . . . . . . . . . . . . . . . .. . . . vi General introduction . . . . . . . . . . . . . . . . . 1 1 Leveraging Reinforcement Learning for Rocket Landing 4 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . 4 1.1.1 Motivation for Applying Reinforcement Learning to Rocket Landing Control 4 1.2 Fundamentals of Reinforcement Learning . . . . . . . 5 1.2.1 Core Concepts: Learning from Interaction . . . . . . . . . . 5 1.2.1.1 The Agent and the Environment . . . . . . . . . . . . 5 1.2.1.2 Taking Actions and Receiving Rewards . . . . . . 6 1.2.1.3 Learning Through Trial and Error . . . . . . . . . 6 1.2.1.4 Learning Objective . . . . . . . . . . . . . . . 7 1.2.2 Key Components of Reinforcement Learning . . 7 1.2.2.1 States . . . . . . . . . . . . . . 7 1.2.2.2 Actions . . . . . . . . . . . 7 1.2.2.3 Rewards . . . . . . . . . . . . . . . . 7 1.2.2.4 Policy . . . . . . . . . . . . . . . . . . . 8 1.2.3 Benefits of Reinforcement Learning . . . . . . . . 9 1.3 Proximal Policy Optimization (PPO) . . . . . . . . . . . . . 9 1.3.1 Why PPO for Rocket Landing Control? . . .. . . . . 9 1.3.1.1 Advantages of PPO for Our Specific Task . . . . . . . 9 1.3.1.2 Balancing Exploration and Stability in Continuous Control . . . . . 10 1.4 Tailoring Contextual Decision Model For Our Agent . 12 1.4.1 Representation . . . . . . . . . . . . . . . . . . . . . .. 13 1.4.2 Modeling . . . . . . . . . . . . . . . . . . . . . .. . 14 1.4.3 Shaping . . . . . . . . . . . . . . . . . . . . . .. 14 1.5 Related Work . . . . . . . . . . . . . . 16 1.6 Conclusion . . . . . .. . 17 2 Unveiling the Magic of Rocket Science: From Liftoff to Landing 18 2.1 Introduction . . . . . . . . . . . . . . 18 2.1.1 The Need for Rocket Science . . . . . . . . . . 19 2.2 Rocket Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2.1 Unveiling the Power of Propulsion . . . . . . . . 19 2.2.2 Essential Components of a Rocket . . . .. . 20 2.3 The Art of Rocket Control . . . . . .. . . . . . 22 2.3.1 Thrust Vector Control (TVC) . . . . . . . . . . . . . . 22 2.3.2 Cold Gas Thrusters (CGT) . . . . . . . . . . . . . . . . . . 24 2.3.2.1 The Essence of CGT Maneuvering: . . . . . . . . . . . 24 2.3.2.2 Achieving Precise Maneuvers With CGTs . . 25 2.3.2.3 Benefits of Utilizing CGTs . . . . . . . . . . . . 26 2.3.2.4 Limitations to Consider: . . . . . . . . . . . . . . . 2.3.3 Pitch, Yaw, and Roll . . . . . . . . . . . . . . . . 27 2.3.4 Guidance and Navigation . . . . . . . . . . . . . . . . . . 28 2.4 The Challenge of Returning from the Stars: Landing a Rocket . . . . . 29 2.4.1 The Complexities of Re-entry . . . . . . . . . . . . . . . . . . . 29 2.4.2 The Power Of Controlled Landing . . . . . . . . . . . . . . . 30 2.4.2.1 Falcon 9 Landing Strategy: . . . . . . . . . 31 2.4.2.2 A Family of Reusables: Unveiling Falcon Heavy and Starship . . . . 32 2.5 Conclusion . . . . . . . . . . . 35 3 From Concept to Control: Methodology for a Rocket Landing Simulation 36 3.1 Simulation Environment Design . . . . . . . . . 36 3.1.1 Introduction . . . . . . . . . . . . . . . . . . 36 3.1.2 Development Environment and Scripting Languages . . . . . . 37 3.1.2.1 Visual Studio Code (VS Code): . . . . . . . . . . . .. 37 3.1.2.2 Scripting Languages: . . . . . . . . . . . . . . . . . . . 38 3.1.3 A Glimpse into the Unity Interface . . . . . . . . . . . . . 39 3.1.4 Project Hierarchy . . . . . . . . . . . . . . .. . . . . 41 3.1.5 Conceptual Overview . . . . . . . . . . . . . . . . . 44 3.1.6 Simulation Environment Design . . . . . . . . . . . 45 3.1.7 Description of the rocket model in Unity . . . . . . . . . . 45 3.1.8 Rocket Control and Scripting . . . . . . . . . . . . . . .. . . 50 3.1.9 Main Code Components: . . . . . . . . . . . . . . . . . . . . . 52 3.2 Curriculum Learning . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.3 Code Implementation and Rocket Control: . . . . . . . . . . . . . . . . 54 3.3.1 Rocket Controller: . . . . . . . . . . . . . 54 3.3.2 Rocket Agent: . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.3.3 Behavior Parameters: . . . . . . . . . . . . 62 3.3.4 Decision Requester: . . . . . . . . . . . . . . 66 3.3.5 Rocket Trajectory Recorder: . . . . . . . . . 67 3.4 Reward Shaping . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.4.1 Distance . . . . . . . . . . . . 70 3.4.2 Rotation . . . . . . . . . . . . . . . 71 3.4.3 Altitude . . . . . . . . . . 74 ixCONTENTS 3.4.4 Velocity . . . . . . . . . .. . . . 75 3.4.5 Landing Legs Status . . . . . . . . . . . . . . . . . . 77 3.4.6 Final Reward . . . . . . . . . . . . . . . . . . . . . . . .. . . 79 3.5 Training Configuration and Process . . . . . . . . . . . . . . 81 3.5.1 Training Command and CMD Output . . . . . . . . . . . 83 3.5.1.1 CMD Output During Training . . . . . . . . . 84 4 Results and Analysis 86 4.1 Hardware and Software Specifications . . . . . . . . 86 4.1.0.1 Hardware Specifications . . . . . . . . . 86 4.1.0.2 Software Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.1.0.3 Impact of Specifications on Training Time and Results . . . . . . . . 87 4.1.1 Models Trained . . . . . . . . . . 88 4.1.1.1 Folder structure and content . . . . . . . .. . 88 4.2 Agent Performance Visualization in Unity . . . . . . . 89 4.2.1 Leveraging TensorBoard for Visualization and Monitoring . . . . . 92 4.2.2 Success Rate . . . . . . 93 4.3 Performance Analysis of Rocket Trajectories . . . . . . 96 4.3.1 Initial Model Trajectory (Left): . . . . . . .. 96 4.3.2 Final Model Trajectory (Right): . . . . . . . . 97 4.3.3 Performance at Higher Drop Heights (1700-2000 meters) . . . . . . . . . . . 97 4.3.3.1 Resilient Recovery: . . . . . . . . . . . . . . .. . . 98 4.3.3.2 Controlled Descent from the Side View: . . . . . .. 98 4.3.3.3 Findings: . . . . . . . . . . . . . . . . . . . . . 99 Challenges . . . . . . . . . . . . . 100 Future Work: Enhancing Realism and Autonomy . . . . . . . . . 101 International Conference Paper . . . . . . . . . . . . 104 General Conclusion . . . . . . . . . . . . . . . . . . . . 106 References 109 |
| Type de document : | Mémoire master |
Disponibilité (1)
| Cote | Support | Localisation | Statut |
|---|---|---|---|
| MINF/879 | Mémoire master | bibliothèque sciences exactes | Consultable |
