Reinforcement Learning for Cloud Resource Management

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Reinforcement Learning for Cloud Resource Management»

Аннотация

Задача оптимизации использования вычислительных ресурсов в облаке интересна как потребителям, так и облачным провайдерам. Клиенты могут арендовать виртуальные машины, и облачный провайдер должен следовать некоторым обязательствам ’service level agreement’ (SLA). С другой стороны, датацентры стремятся к минимизации потребления электричества, чтобы уменьшить операционные расходы. Возникает задача консолидации виртуальных машин, используя физические. Слишком плотное размещение будет выливаться в слишком большое количество нарушений SLA, и клиенты будут не довольны предоставляемыми услугами. Поэтому, провайдер ставит перед собой задачу найти баланс между этими двумя составляющими.

В данной работе, мы рассматриваем стандартную постановку задачи консолидации виртуальных машин (vectorbin packing) и усложняем ее формулировку, приближая новую сформулированную задачу к настоящей облачной среде. Далее, мы описываем подход к ее решению, основанный на обучении с под-креплением с использованием глубинного обучения (Deep Q-network), а также альтернативные эвристические подходы.

Мы сравниваем реализованные эвристики с алгоритмом обучения с подкреплением и показываем, что в некоторых экспериментах алгоритм может уменьшить количество миграций в 2.5 раза, при таком же качестве консолидации, как и лучшая из реализованных альтернатив. Также, мы предоставляем opensource реализацию всех экспериментов и инфраструктуры для их проведения и дальнейших исследований.

1Keywords6

2Introduction6

3Related works8

4Goals9

5Problem statement9

5.1Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

5.2Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

6Solution12

6.1Reward system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

6.2Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

6.3Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

6.4Deep Q-network . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

6.5Pseudocode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

7Implementation19

7.1Heuristics and VM’s . . . . . . . . . . . . . . . . . . . . . . . . . . .19

7.2Training details . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

8Framework motivation23

9Experiments23

9.1Experiment 1: Training environment . . . . . . . . . . . . . . . . . .24

9.2Experiment 2: increasing domain space . . . . . . . . . . . . . . . .26

9.3Experiment 3: another load type in training domain . . . . . . . . .27

9.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

References

1. H. Hallawi1, J. Mehnen1, H. He: ‘Multi-Capacity Combinatorial Ordering GA in Application to Cloud Resources Allocation and Efficient Virtual Machines Consolidation‘, 2017 Future Generation Computer Systems - Elsevier.
2. A. Marotta, S. Avallone, ‘A Simulated Annealing Based Approach for Power Ef-ficient Virtual Machines Consolidation‘ 2015 IEEE 8th International Conference on Cloud Computing.
3. F. Farahnakian, P. Liljeberg, J. Plosila ‘Energy-Efficient Virtual Machines Con-solidation in Cloud Data Centers using Reinforcement Learning‘, 2014 22nd Eu-romicro International Conference on Parallel, Distributed, and Network-Based Processing.
4. X Sun, Y Liu, W Wei, W Jing, C Zhao, 2019 “Based on QoS and energy effi-ciency virtual machines consolidation techniques in cloud” Journal of Internet Technology
5. M Cheng, J Li, S Nazarian, 2018 ‘DRL-cloud: Deep reinforcement learning-basedresource provisioning and task scheduling for cloud service providers‘, 23rd Asia and South Pacific Design Automation Conference.
6. V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, and D. Hassabis. ’Human-level control through deep reinforcement learning’. Nature, 518(7540):529–533, 02 2015.
7. Rachael Shaw, Enda Howley, Enda Barrett, ’An Advanced Reinforcement Learn-ing Approach for Energy-Aware Virtual Machine Consolidationin Cloud Data Centers’, 2017, https://www.researchgate.net/publication/323139482