Reinforcement Learning for Cloud Resource Management

Раздел
Математические дисциплины
Просмотров
197
Покупок
0
Антиплагиат
Не указан
Размещена
14 Окт 2021 в 00:23
ВУЗ
МГУ
Курс
4 курс
Стоимость
2 500 ₽
Файлы работы   
1
Каждая работа проверяется на плагиат, на момент публикации уникальность составляет не менее 40% по системе проверки eTXT.
doc
Reinforcement Learning for Cloud Resource Management Диплом Математика 94
855.5 Кбайт 2 500 ₽
Описание

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Reinforcement Learning for Cloud Resource Management»


Аннотация

 

 

Задача оптимизации использования вычислительных ресурсов в облаке интересна как потребителям, так и облачным провайдерам. Клиенты могут арендовать виртуальные машины, и облачный провайдер должен следовать некоторым обязательствам ’service level agreement’ (SLA). С другой стороны, датацентры стремятся к минимизации потребления электричества, чтобы уменьшить операционные расходы. Возникает задача консолидации виртуальных машин, используя физические. Слишком плотное размещение будет выливаться в слишком большое количество нарушений SLA, и клиенты будут не довольны предоставляемыми услугами. Поэтому, провайдер ставит перед собой задачу найти баланс между этими двумя составляющими.

 

В данной работе, мы рассматриваем стандартную постановку задачи консолидации виртуальных машин (vectorbin packing) и усложняем ее формулировку, приближая новую сформулированную задачу к настоящей облачной среде. Далее, мы описываем подход к ее решению, основанный на обучении с под-креплением с использованием глубинного обучения (Deep Q-network), а также альтернативные эвристические подходы.

 

Мы сравниваем реализованные эвристики с алгоритмом обучения с подкреплением и показываем, что в некоторых экспериментах алгоритм может уменьшить количество миграций в 2.5 раза, при таком же качестве консолидации, как и лучшая из реализованных альтернатив. Также, мы предоставляем opensource реализацию всех экспериментов и инфраструктуры для их проведения и дальнейших исследований.

Оглавление

1Keywords6

2Introduction6

3Related works8

4Goals9

5Problem statement9


5.1Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11


5.2Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

6Solution12


6.1Reward system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12


6.2Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15


6.3Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16


6.4Deep Q-network . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17


6.5Pseudocode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

7Implementation19


7.1Heuristics and VM’s . . . . . . . . . . . . . . . . . . . . . . . . . . .19


7.2Training details . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

8Framework motivation23

9Experiments23


9.1Experiment 1: Training environment . . . . . . . . . . . . . . . . . .24


9.2Experiment 2: increasing domain space . . . . . . . . . . . . . . . .26


9.3Experiment 3: another load type in training domain . . . . . . . . .27


9.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

Список литературы

References

  1. H. Hallawi1, J. Mehnen1, H. He: ‘Multi-Capacity Combinatorial Ordering GA in Application to Cloud Resources Allocation and Efficient Virtual Machines Consolidation‘, 2017 Future Generation Computer Systems - Elsevier.
  2. A. Marotta, S. Avallone, ‘A Simulated Annealing Based Approach for Power Ef-ficient Virtual Machines Consolidation‘ 2015 IEEE 8th International Conference on Cloud Computing.
  3. F. Farahnakian, P. Liljeberg, J. Plosila ‘Energy-Efficient Virtual Machines Con-solidation in Cloud Data Centers using Reinforcement Learning‘, 2014 22nd Eu-romicro International Conference on Parallel, Distributed, and Network-Based Processing.
  4. X Sun, Y Liu, W Wei, W Jing, C Zhao, 2019 “Based on QoS and energy effi-ciency virtual machines consolidation techniques in cloud” Journal of Internet Technology
  5. M Cheng, J Li, S Nazarian, 2018 ‘DRL-cloud: Deep reinforcement learning-basedresource provisioning and task scheduling for cloud service providers‘, 23rd Asia and South Pacific Design Automation Conference.
  6. V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, and D. Hassabis. ’Human-level control through deep reinforcement learning’. Nature, 518(7540):529–533, 02 2015.
  7. Rachael Shaw, Enda Howley, Enda Barrett, ’An Advanced Reinforcement Learn-ing Approach for Energy-Aware Virtual Machine Consolidationin Cloud Data Centers’, 2017, https://www.researchgate.net/publication/323139482
Вам подходит эта работа?
Похожие работы
Высшая математика
Задача Задача
22 Ноя в 00:13
9 +1
0 покупок
Высшая математика
Задача Задача
22 Ноя в 00:09
13
0 покупок
Высшая математика
Задача Задача
22 Ноя в 00:05
10
0 покупок
Высшая математика
Задача Задача
22 Ноя в 00:01
10
0 покупок
Другие работы автора
Дизайн
Курсовая работа Курсовая
6 Июл 2023 в 00:04
183
0 покупок
Информационные технологии
Курсовая работа Курсовая
5 Июл 2023 в 23:59
288
0 покупок
Социология
Дипломная работа Дипломная
30 Янв 2023 в 15:04
256
0 покупок
Уголовное право
Курсовая работа Курсовая
23 Янв 2023 в 15:06
350
1 покупка
Философия
Курсовая работа Курсовая
23 Янв 2023 в 14:57
249
0 покупок
Электроснабжение
Курсовая работа Курсовая
21 Янв 2023 в 22:58
273
1 покупка
Техническое обслуживание и ремонт автомобилей
Курсовая работа Курсовая
21 Янв 2023 в 22:53
234
0 покупок
Макроэкономика
Курсовая работа Курсовая
21 Янв 2023 в 22:45
193
0 покупок
История
Курсовая работа Курсовая
21 Янв 2023 в 22:39
167
0 покупок
Реклама и PR
Курсовая работа Курсовая
2 Окт 2022 в 14:06
212
0 покупок
Стратегический менеджмент
Курсовая работа Курсовая
19 Сен 2022 в 16:06
222
0 покупок
Гражданское право
Курсовая работа Курсовая
19 Сен 2022 в 16:01
265
1 покупка
Реклама и PR
Курсовая работа Курсовая
19 Сен 2022 в 15:54
230
0 покупок
Реклама и PR
Курсовая работа Курсовая
19 Сен 2022 в 15:49
264
0 покупок
Педагогическая психология
Курсовая работа Курсовая
19 Сен 2022 в 15:46
275
0 покупок
Темы журнала
Показать ещё
Прямой эфир