На правах рукописи
Голубев Иван Алексеевич
Планирование задач в распределённых
вычислительных системах на основе метаданных
05.13.11 – Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
АВТОРЕФЕРАТ диссертации на соискание ученой степени
кандидата технических наук
Санкт-Петербург – 2014
Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)» на кафедре вычислительной техники
Научный руководитель: |
доктор технических наук, профессор |
|
Куприянов Михаил Степанович |
Официальные оппоненты:
доктор технических наук, профессор, Воробьёв Владимир Иванович, «Санкт-Петербургский институт информатики и автоматизации РАН»
кандидат технических наук, Курносов Михаил Георгиевич, «Сибирский государственный университет телекоммуникаций и информатики», директор центра параллельных вычислительных технологий
Ведущая организация: |
ОАО «Информационные телекоммуникационные |
|
технологии» (ОАО «Интелтех») |
Защита состоится «30» июня 2014 г. в 15 часов 30 минут на заседании диссерта ционного совета Д 212.238.01 Санкт-Петербургского государственного электро технического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Профессора Попова, дом 5.
С диссертацией можно ознакомиться в библиотеке университета и на сайте www.eltech.ru.
Автореферат разослан «25» апреля 2014 г.
Ученый секретарь |
|
диссертационного совета |
|
Д 212.238.01, к.т.н. |
Щеголева Н.Л. |
Актуальность темы исследования
Cистемы планирования задач служат для решения проблемы эффективно го и гибкого назначения поступивших задач обработки данных на доступные вычислительные ресурсы распределенных систем обработки данных (РСОД).
При развертывании и сопровождении РСОД основной проблемой яв ляется трудоёмкость настройки программного обеспечения, выполняющего назначение задач на вычислительные ресурсы которая, как правило, связана со следующими свойствами РСОД:
1.Разнородность задач по ресурсным требованиям, аппаратная гетероген ность вычислительных узлов и различная загрузка узлов РСОД требуют специального учёта, что ведёт к созданию сложных политик планирова ния.
2.Отсутствие полной информации о ресурсных требованиях задач усложня
ет принятие интеллектуальных решений по их планированию.
Широкое распространение кластерных систем, грид-систем и облачных си стем связано с увеличением числа решаемых прикладных задач и значитель ным возрастанием нагрузок на вычислительные системы. Поставщики сетевых сервисов, опираясь на крупные консолидированные центры обмена данных, осо бое внимание стали уделять совершенствованию методов планирования задач обработки данных.
Требования сокращения временных издержек на решение прикладных за дач, упрощения процедуры сопровождения распределенных систем обработки данных в существующих условиях обосновывают актуальность разработки новых методов планирования задач в РСОД.
Объектом исследования являются системы планирования задач в РСОД.
Предметом исследования выступают методы планирования задач, ко торые используются в системах планирования для РСОД.
3
Целью диссертационной работы является сокращение временных за трат на выполнение задач в РСОД в условиях неполноты информации о ресурс ных требованиях.
Для достижения поставленной цели были сформулированы и решены сле дующие задачи:
1.Анализ существующих методов планирования задач обработки данных в РСОД.
2.Разработка математической модели планирования задач в РСОД.
3.Разработка метода планирования задач в РСОД.
4.Решение проблемы поиска ближайших задач с учётом разнородности ат рибутов и их значимости для ресурсопотребления.
5.Разработка методики планирования задач в РСОД.
6.Проведение экспериментов по распределению задач обработки данных по ресурсам РСОД на основе предложенного метода.
Научная новизна
1.Предложена математическая модель планирования задач в РСОД, отли чающаяся от существующих совместным учётом метаданных и метрик загрузки ресурсов при отображении задач на вычислительные ресурсы.
2.Предложен метод планирования задач в РСОД, отличающийся от суще ствующих учетом метаданных из предыстории выполнения, которые удо влетворяют критерию близости.
3.Предложена модификация алгоритма поиска ближайших соседей на ос нове метода локализованного хэширования, отличительной особенностью
которого является учёт типов атрибутов и их значимости для ресурсопо
требления.
Практическая значимость
1.Предложена методика планирования задач в РСОД, которая позволяет сократить временные затраты на выполнение задач в условиях неполноты информации о ресурсных требованиях.
4
2. Разработана архитектура программной системы планирования задач в РСОД, которая реализует предложенный метод планирования.
Методология и методы исследования
Использовались методы машинного обучения, теории алгоритмов, матема тической статистики и теории множеств.
Положения, выносимые на защиту:
1.Математическая модель планирования задач в РСОД.
2.Метод планирования задач в РСОД.
3.Модификация алгоритма поиска ближайших соседей.
Степень достоверности и апробация результатов
Достоверность результатов диссертационной работы подтверждается кор ректным применением математического аппарата, результатами машинного экс перимента на гетерогенном кластере и практической апробацией.
Основные положения и результаты диссертационной работы докладыва лись и обсуждались на 5 международных научно-технических конференциях.
Внедрение результатов:
Полученные научные и практические результаты использовались при вы полнении следующих работ:
1.НИP «Разработка теоретических основ проектирования сервисно-ориенти рованной информационно-аналитической системы анализа данных на ба зе технологии облачных вычислений». СПб ГЭТУ. Проект №2.1.2/12448. Сроки: 2011.
2.НИР «Создание высокопроизводительных вычислительных технологий для интеллектуальных систем оперативной обработки и визуализации гид роакустической информации». СПб ГЭТУ. Сроки: 2012-2013.
3.НИР «Разработка математического аппарата априорной оценки работы алгоритмов интеллектуального анализа в гетерогенной распределенной среде». СПб ГЭТУ. Проект №01201155585. Сроки: 2011-2013.
4.НИР «Организация производства систем гидроакустического мониторин
5