Рус Eng Cn Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Software systems and computational methods
Reference:

Methods of managing configuration parameters, software artifacts and state metrics of computing components in globally distributed cloud information complexes

Shchemelinin Dmitry

ORCID: 0000-0003-3032-130X

Doctor of Technical Science

Peter the Great St. Petersburg Polytechnic University

195251, Russia, g. Saint Petersburg, ul. Politekhnicheskaya, 29

dshchmel@gmail.com
Other publications by this author
 

 

DOI:

10.7256/2454-0714.2019.1.29757

Received:

15-05-2019


Published:

06-06-2019


Abstract: The subject of scientific research presented in this publication is a logical model and computer-computing infrastructure, including specialized software used to build a management database, determine, record and verify versions of deployed software and configurations of all computing elements, as well as a description of the relationships between these elements in globally distributed cloud information systems. The object of this study was chosen globally-distributed cloud information production infrastructure with numerous service equipment and large data flows of the company RingCentral (USA). The author of the article examines in detail the main aspects of the organization of the effective maintenance of the information cloud environment consisting of tens of thousands of virtual servers. Special attention is paid to the developed methods of integration of disparate computing systems containing reliable data about the information environment, but not intersecting among themselves. The developed methods for constructing a database of configuration parameters management in information systems were presented in the form of reports and presentations at international scientific seminars and conferences, where the scientific novelty and effectiveness of the proposed methods for servicing the globally distributed cloud information processing complex were noted. The use of the developed methods in RingCentral, has reduced the current costs associated with the organization of maintenance of the globally distributed information complex as a whole by thirty percent.


Keywords:

IT, distributed IT systems, maintenance, integration, cloud computing, continuous deployment, automation, configuration management, change management, incident management

This article written in Russian. You can find original text of the article here .

Введение

Бурное развитие информационных систем и технологий приводит к необходимости использования все большого набора вычислительных элементов для построения глобально-распределённого вычислительного комплекса (ГРВК). Несмотря на географическое разделение единой информационной среды, IT компании нуждаются в централизованном управлении техническим облуживанием ГРВК, с учетом постоянных изменений в топологии информационной среды (ИС), связанных с модернизацией аппаратных вычислительных компонент, а также непрерывным варьированием количества виртуальных машин в облаке.

Наличие базы данных управления конфигурациями CMDB (англ. Configuration Management Data Base), помогает повысить точность хранимых конфигурационных сведений CI (англ. Configuration Item), о текущем состоянии всех вычислительных компонент в ИС. Постоянный сбор, согласование и обслуживание CI делают данные надежными и пригодными для использования в системах автоматизированного технического обслуживания ГРВК.

Записи взаимосвязей CI друг с другом, независимо от того, находятся ли они между структурами конфигурации служб или внутри структур конфигурации служб, хранятся в ядре CMDB, что предопределяет существенное отличие CMDB от базы данных хранения инвентаризационных параметров и идентификаторов активов ГРВК, так как системы управления инвентаризацией ИС отвечают за хранение информации о вычислительных элементах, а не за конфигурационные параметры описывающие цепочки логической зависимости между этими элементами. Однако без понимания взаимосвязей невозможно понять конфигурацию вычислительного окружения или то, как объединенные компоненты предоставляют и поддерживают информационные услуги.

cmdb_1

Рисунок 1. Рабочие процессы обслуживания ГРВК.

Использование CMDB позволяет наладить методику для непрерывного улучшения существующих рабочих процессов (рисунок 1), а также предоставлять новые возможности для автоматизации технического обслуживания ИС, которые ранее были недоступны при использовании разнородных хранилищ данных.

Главными преимуществами наличия CMDB является:

1. Консолидация CI, которые ранее были распределены в разных служебных подсистемах;

2. Единая база достоверных данных;

3. Объединение всех служб/источников и потребителей CI информации.

Объект и цели научного исследования

Объектом исследования является ГРВК компании RingCentral (США), как лидера мирового рынка предоставления услуг UCaaS (англ. Unified Communication as a Service) [1]. Так, существующая система инвентаризации вычислительных компонент в облаке RingCentral[2], построена с использованием программного обеспечения (ПО) с открытым исходным кодом RackTables [3]. Службы управления изменениями, инцидентами, проблемами, выпусками новых версий ПО и т.д., представляют из себя независимые подсистемы (рисунок 2) с внутренними системами вычисления и хранения данных, что приводит к многократному дублированию информации CI. Это приводит к снижению возможности автоматизации рабочих процессов по технической поддержке ГРВК [4,5,6,7], а следовательно, увеличивает затраты компании на обслуживание ИС.

cmdb_2

Рисунок 2. Служебные подсистемы обслуживания ГРВК.

Цель научного исследования – создание централизованной, высоко доступной базы данных управления конфигурациями ГРВК, как источника текущей достоверной информации о всех компонентах в ИС, для последующей автоматизации технологических процессов по управлению изменениями [8], инцидентами [9], непрерывному мониторингу [10] и восстановлению работоспособности вычислительных элементов в информационном облаке [11].

Методика эксперимента и ее математическая модель

Для выбора наиболее подходящей технологии для создания CMDB, необходимо определить основные статусы в жизненном цикле хранения CI для любых компонент облака (таблица 1), которые могут быть физическими, виртуальными или контейнерными.

Таблица 1 – Статусы жизненного цикла хранения CI:

№ п/п

Статус CI в CMDB

Описание

1

Incomplete

Компонент системы не готов к использованию

2

New

Компонент создан и готов к инсталляции ПО и дальнейшей конфигурации в ИС

3

Unallocated/Cache

Компонент прошел процесс инициализации и готов к добавлению в вычислительный пул

4

Provisioning (HW)

Начата подготовка аппаратной части

5

Allocated

Компонент находится в рабочем состоянии в вычислительном пуле

6

PREP (Application provisioning)

ПО приложения находится в процессе установки и настройки

7

LIVE

Компонент обслуживает пользовательский трафик

8

Remediation

Компонент находится в состоянии исправления возникших неполадок

9

Cancelled

Компонент больше не нужен и ожидает вывода из эксплуатации

10

Decommissioned

Компонент был удален из ИС и больше не может управляться

11

Debug

Указывает, что компонент находится в режиме отладки, и показатели / оповещения в системе мониторинга с этого хоста могут игнорироваться

12

Maintenance

Компонент подвергается некоторому техническому обслуживанию и не должен рассматриваться для производственного использования

Стандартный алгоритм последовательности создания компоненты с точки зрения жизненного цикла хранения CI в CMDB представлен на рисунке 3.

cmdb_3

Рисунок 3. Последовательность жизненного цикла хранения CI в CMDB

Для решения задачи рационального выбора архитектуры CMDB, был произведен расчет потоков требований на обслуживание от компонент ИС, поступающих в базу данных управления конфигурациями и выходящих из неё, длительности ожидания и длины очередей, с учетом периоды опроса разнородных источников хранения CI определен бизнес задачами и представленными в таблице 2. Главным показателем производительности системы стало время ожидания (1) записи или чтения всего спектра CI, с учетом мульти тысячного количества вычислительных компонент в ГРВК (2).

Таблица 2 – Периоды опроса источников хранения CI:

№ п/п

Тип данных

Источник информации и период опроса

1

Физические хосты

RackTables – ежечасно

2

Сетевые подключения

RackTables – ежечасно

3

Виртуальные хосты

RackTables – ежечасно

4

Тип Виртуальных машин на одном физическом хосте

vCenter – дважды в день

5

IP адреса

RackTables – ежечасно

6

Виртуальные пулы серверов

RackTables – ежедневно

7

Логические IT окружения

ADS – ежедневно, Amazon – ежедневно

8

Обслуживание ИС

CMP – мгновенно, Zabbix – ежечасно

9

Инциденты

IMP – мгновенно, Zabbix – мгновенно

Расчет был выполнен с использованием классических математических формул раздела теории вероятности, описывающих задачи теории массового обслуживания в системах с очередями типа M/M/1 (3), M/G/1 (4) и G/G/1 (5), т.е. с одним обслуживающим элементом очереди [11]:

cmdb_f_n

, где, λ – значение интенсивности поступающих заявок за интервал времени Т (λ = 1/T); µ – значение интенсивности обслуживания заявок системой за интервал времени Тq (µ = 1/Tq); ρ – коэффициент использования обслуживающего прибора (ρ = λ/µ); L – количество CI в ГРВК; Lq – количество CI ГРВК находящихся в очереди на обслуживание CMDB; W – время ожидания системы; Wq – время ожидания в очереди на обслуживание; C2 – коэффициент отклонения случайной величины (C2 = Отклонение /(Среднее значение)2; C2s – коэффициент отклонения времени обслуживания; C2a – коэффициент отклонения времени доставки CI; σ2s – дисперсия времени обслуживания.

Результаты расчета показали, что наличие единой CMDB способно обслуживать более десяти миллионов CI согласно требованиям по обеспечению заданных периодов опроса разнородных систем управления работоспособностью ГРВК.

Для практической реализации CMDB с учетом необходимости предоставления графического представления взаимосвязей вычислительных элементов в ИС была выбрана система управления базами данных (СУБД) Neo4j, основанная на графовой системе с открытым исходным кодом, реализованной на языке программирования Java [12]. Функциональная схема интеграции с существующими источниками CI в ГРВК представлена на рисунке 4.

cmdb_int

Рисунок 4. Модель интеграции CMDB с другими службами ГРВК

Заключение

В ходе проведения исследования были решены следующие научные задачи:

1. Визуализация на графическом интерфейсе текущего состояние ИС для отслеживания разницы между ожидаемым и фактическим состоянием вычислительной среды, после развертывания новых версий ПО, конфигураций, вывода компонент из эксплуатации, и т. д.

2. Подавление шума на графическом интерфейсе системы непрерывного мониторинга ГРВК, за счет исключения триггеров на основе информации CMDB о взаимосвязях логических и физических компонентов в ИС;

3. Создание методики оценки влияния сбоя в одном или группе элементов ИС на ГРВК в целом;

4. Создание методики превентивной оценки и решения проблем с пропускной способностью в ИС;

Разработка, практическая реализация и внедрение новой высоко доступной CMDB основанной на технологии СУБД с открытой лицензией Neo4j в международной инфокоммуникационной компании RingCentral, осуществляющей производственную деятельность в облачной ГРВК, обеспечили визуализацию взаимосвязей вычислительных элементов обслуживающих глобально распределенные информационные сервисы в режиме реального времени. Использование CMDB повысило эффективность обслуживания ГРВК и сократило время и затраты на развертывание новых выпусков ПО и устранение неполадок в ИС.

References
1. Ofitsial'nyi Internet-sait RingCentral [Elektronnyi resurs]. URL: http://www.ringcentral.com/ (Data obrashcheniya: 15.05.2019)
2. Shchemelinin D.A. Metodika sozdaniya raspredelennoi komp'yuterno-vychislitel'noi sistemy dlya programmnogo infokommunikatsionnogo kommutatora // Programmnye sistemy i vychislitel'nye metody. — 0.-№ 0.-S.0-0. URL: http://e-notabene.ru/ppsvm/article_28782.html (Data obrashcheniya: 15.05.2019)
3. Shchemelinin D.A. Organizatsiya sistemy inventarizatsii i vizualizatsii informatsionnykh resursov v global'no raspredelennykh tsentrakh oblachnykh vychislenii // XLVI Nedelya nauki SPbPU: Materialy nauchnogo foruma s mezhdunarodnym uchastiem, SPb, SPbPU, 2017. Ch.2 S. 173-174. URL: https://week-science.spbstu.ru/userfiles/volumes/18/file.pdf (Data obrashcheniya: 15.05.2019)
4. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2015. № 1 (212). S. 101-109. URL: https://elibrary.ru/item.asp?id=23102830 (Data obrashcheniya: 15.05.2019)
5. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. International congress on ultra modern telecommunications and control systems // V sbornike: Raspredelennye komp'yuternye i telekommunikatsionnye seti: upravlenie, vychislenie, svyaz' (DCCN-2017) Materialy Dvadtsatoi mezhdunarodnoi nauchnoi konferentsii. pod obshch. red. V.M. Vishnevskogo. 2017. S. 62-67. URL: https://elibrary.ru/item.asp?id=34866291 (Data obrashcheniya: 15.05.2019)
6. Efimov V.V., Mescheryakov S.V., Shchemelinin D.A. Integration data model for continuous service delivery in cloud computing system // Communications in Computer and Information Science. 2017. T. 700. S. 87-97. URL: https://elibrary.ru/item.asp?id=31054519 (Data obrashcheniya: 15.05.2019)
7. Efimov V.V., Shchemelinin D.A. Sozdanie integrirovannogo interfeisa vizualizatsii protsessa avtomaticheskogo razvertyvaniya virtual'nykh servisov v oblachnoi infrastrukture // V knige: Nedelya nauki SPbPU Materialy nauchnogo foruma s mezhdunarodnym uchastiem. Institut metallurgii, mashinostroeniya i transporta. M.S. Kokorin (otv. red.). 2015. S. 97-99. URL: https://elibrary.ru/item.asp?id=26511476 (Data obrashcheniya: 15.05.2019)
8. Efimov V.V., Shchemelinin D.A. Metodika otsenki intensivnosti tekhnicheskogo obsluzhivaniya global'no raspredelennoi vychislitel'noi sistemy // Programmnye sistemy i vychislitel'nye metody. — 2018.-№ 4.-S.39-47. URL: http://e-notabene.ru/ppsvm/article_27842.html (Data obrashcheniya: 15.05.2019)
9. Mescheryakov S.V., Shchemelinin D.A. International conference for the performance evaluation and capacity analysis by cmg // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2014. № 1 (188). S. 99-104. URL: https://elibrary.ru/item.asp?id=21306588 (Data obrashcheniya: 15.05.2019)
10. Mescheryakov S.V., Shchemelinin D.A. Analytical overview of zabbix international conference 2013 // Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie. 2014. № 1 (188). S. 91-98. URL: https://elibrary.ru/item.asp?id=21306587 (Data obrashcheniya: 15.05.2019)
11. Sheldon M. Ross, Introduction to Probability Models 11th Edition // University of Southern California Los Angeles. Academic Press is an imprint of Elsevier California, 2014. ISBN 978-0-12-407948-9
12. Neo4j. [Elektronnyi resurs]// Natsional'naya biblioteka im. N. E. Baumana (Bauman National Library) URL: https://ru.bmstu.wiki/Neo4j (Data obrashcheniya: 15.05.2019)