Автоматика и телемеханика, № 12, 2000

; Автоматика и телемеханика, № 12, 2000

Мониторинг: методики, модели, оценки

Н.Л. Ковба, А.А.Макаров, канд. физ.-мат. наук, Г.И. Симонова, канд. физ.-мат. наук

(Центр телекоммуникаций и технологий Интернет МГУ, НИИ Механики МГУ им. М.В. Ломоносова, Москва)

Закономерности изменения загрузки магистральных каналов компьютерных сетей

Проводится анализ и робастное оценивание стохастических моделей среднесуточной загрузки нескольких магистральных спутниковых каналов компьютерной сети RUNNET. Выявляются общие тенденции изменен ия загрузки каналов в зависимости от стадии развития сети.

Бурное развитие компьютерных сетей и технологий во всем мире и в России в течение последних 10 лет ставит перед специалистами в различных областях деятельности много новых вопросов. Специалистов в области создания и эксплуатации сетей п остоянно интересует насколько качественно, надежно, долговечно и экономически целесообразно выбранное ими техническое решение. Своевременные ответы на эти вопросы, как будет показано в настоящей работе, могут дать мониторинг и анализ сетевых трафиков.

В настоящее время разработаны и эксплуатируются системы, обеспечивающие контроль за состоянием тех или иных параметров сети. В их числе как системы, встроенные в коммутирующее оборудование, так и специальные аппаратно-программные компле ксы, билинговые системы. Однако вместе с количественным и качественным ростом компьютерных сетей, особенно сетей Internet (на базе семейства протоколов TCP/IP), растет и число проблем, связанных с необходимостью их модернизации. Своевременное и эффективно е их решение во многом зависит от всестороннего анализа предыстории, сложившегося положения и прогноза на будущее.

Ввиду существенно вероятностного характера процессов, протекающих в сети, и, как следствие, необходимости получения их оценок, усредненных на различных временных интервалах, для успешного решения этих задач должны использоваться современные модели и методы математической статистики. К сожалению, большинство используемых в настоящее время систем мониторинга таких методов не использует.

Целью настоящей работы является обзор результатов мониторинга ряда магистральных каналов сети RUNNET, проводимых в Центре телекоммуникаций и технологий Интернет МГУ им. М.В. Ломоносова в тече ние 1996-1997 гг. Промежуточные результаты этой работы отражены в [1--6]. Ниже будут выявлены общие закономерности, присущие процессам изменения загрузки каналов, предложены математические модели для их описания и выявлены проблемы, возникающие при оце нке параметров этих моделей.

В центре внимания работы будут только данные загрузки на выходе (output) рассматриваемых каналов, которые характеризуют изменение сетевой активности пользователей, подключенных к узлам сети RUNNET в городах Новосибирске, Екатеринбург е и Симбирске. Вопросов, связанных с загрузкой входов (input) каналов, которые в значительной мере характеризуют развитие информационных ресурсов на серверах, подключенных к данному узлу, в этой работе мы касаться не будем. Материалы, относящиеся к этой теме, приведены в [3].

Исторически сеть RUNNET явилась одной из первых национальных сетей с разветвленной региональной структурой. В процессе ее становления, развития и эксплуатации был выявлен целый ряд проблем, общих для сетей национального масштаба, и нако плен определенный опыт их решения. Значительная часть этих проблем нашла свое отражение в эволюции трафиков магистральных каналов сети, которые по сути являются документальным отражением истории ее становления и развития. Изучение и анализ подобных трафик ов позволяет своевременно, а порой и на самых ранних этапах выявить наметившиеся позитивные и негативные тенденции в функционировании сети и поставить вопрос о своевременной и адекватной реакции на них.

2. Материалы

В работе рассматриваются трафики магистральных спутниковых каналов Новосибирск-Москва, Екатеринбург-Москва и Симбирск-Москва сети RUNNET. Сеть RUNNET (Russian UNiversity Network) является федер альной университетской компьютерной сетью России, направленной на создание единого информационного пространства образования и науки Российской Федерации и его интеграции в мировое информационное пространство. Работы по созданию сети начались в 1994 году, а в середине 1995 года начала функционировать первая очередь сети RUNNET, включающая федеральные узлы в Москве, Санкт-Петербурге, Екатеринбурге, Новосибирске, Симбирске, Петрозаводске и Саратове. Причем часть каналов этой сети (Новосибирск-Москва, Екатери нбург-Москва, Симбирск-Москва) осуществляла выход в глобальную сеть через наземный канал Москва-Париж, а другая часть каналов связывала опорные узлы сети с Санкт-Петербургом с дальнейшим выходом в глобальную сеть через сеть NORDUnet. Подробное описание р азвития сети RUNNET дано в [3].

Мы рассматриваем трафики перечисленных выше каналов начиная с конца января 1996 года, когда уже в достаточной мере сформировались местные университетские и региональные сети, подключение которых к глобальной сети происходило через соотв етствующие федеральные узлы. В качестве конечного срока мониторинга взят конец 1997 года, однако фактически содержательные данные на этих каналах заканчиваются в июне-июле 1997 года, когда про исходит изменение топологии сети RUNNET, и основной трафик из Новосибирска, Екатеринбурга и Симбирска начинает проходить не через Москву, а через Санкт-Петербург.

Исходные данные загрузки указанных каналов снимались на протяжении 1996-1997 гг. в Центре телекоммуникаций и технологий Интернет Московского государственного университета им. М.В. Ломоносова. Данные трафиков на входе (Input) и выходе (O utput) каждого канала регистрировались каждые четыре минуты специально написанной программой на языке PERL с использованием протокола SNMP в виде средней загрузки канала в килобитах в секунду (Кбит/с). От этих исходных данных легко осуществить переход к с реднечасовой и среднесуточной загрузке канала. В данной работе будут рассмотрены только данные среднесуточной загрузки выходов каналов Новосибирск-Москва, Екатеринбург-Москва и Симбирск-Москва сети RUNNET. Эти данные характеризуют динамику развития сетево й активности пользователей, подключенных к соответствующим узлам сети RUNNET в Новосибирске, Екатеринбурге и Симбирске. Следует отметить, что ёмкости магистральных каналов из указанных городов в указанный период времени несколько отличались. Поэтому в ход е исследования, для сравнимости результатов анализа по разным каналам, мы будем оперировать не самими абсолютными величинами загрузки каналов, а долями от максимальной загрузки каналов. Данные о ёмкостях указанных каналов в 1996-1997 гг. приведены ниже: < /P>

канал Новосибирск-Москва - 128 Кбит/с;

канал Екатеринбург-Москва - 128 Кбит/с;

канал Симбирск-Москва - 96 Кбит/с

Рис. 1. Среднесуточная загрузка каналов

На рис. 1 приведены соответствующие среднесуточные значения загрузки каналов в долях от максимальной ёмкости каналов.

3. Постановка задачи

Для исследования поведения трафиков, носящих случайный, стохастический характер, будут использоваться различные статистические методы анализа случайных процессов. При этом мы будем учитывать то обстоятельство, что на разных этапах своего развития статистические характеристики трафиков могут существенно изменяться. Одной из причин подобного изменения является ограниченная ёмкость канала, накладывающая определенные ограничения на поведение трафиков в районе максимальной загрузки каналов. Более подробно вопрос о статистических характеристиках трафика в зависимости от уровня загрузки канала обсуждается в [3].

В ходе статистического анализа трафиков главное внимание будет уделено, во-первых, проблеме выделения трендов на нестационарных участках трафиков и выяснения возможности использования получаемых моделей трендов для прогнозирования загр узки каналов в будущем. Во-вторых, мы коснемся вопросов изучения корреляционной структуры трафиков, устанавливающей возможные зависимости между значениями загрузки каналов в соседние дни. Резу льтаты последнего исследования позволяют проводить уточнение математических моделей трафиков и оценивать процент сетевых задач, решение которых продолжается на следующий день.Отдельно мы косне мся вопроса применимости стандартного метода наименьших квадратов (далее МНК) для выявления трендов и авторегрессионных структур в трафиках. Теоретическая неустойчивость этого метода для идентификации моделей была выявлена давно [8,9].

Однако у прикладных исследователей до сих пор устойчиво представление, что при некоторых дополнительных и чаще всего очевидных мерах предосторожности использование метода наименьших квадратов дает вполне удовлетворительные результаты. В качестве одной из таких распространенных мер предосторожности является отбрасывание небольшого числа так называемых грубых наблюдений или, другими словами, цензурирование данных. Однако подобная практика при анализе среднесуточных трафиков практически не применима. Ниже будет показано, что распределения случайных ошибок существенно отличаются от нормального распределения. Распределение ошибок несимметрично и имеет явно выраженный "тяжелый" хвост (рис. 5).

Для робастного оценивания моделей трендов и авторегрессионных коэффициентов мы будем использовать знаковый метод, подробно описанный в [7] и реализованный в виде компьютерных алгоритмов в пакете SIGN. Этот метод обладает высокой устойчи востью и позволяет делать надежные выводы при значительных засорениях данных. Суть этого метода сводится к переходу от непосредственных наблюдений или остатков в модельных задачах к их знакам. При этом предполагается только, что наблюдения или остатки при нимают положительные и отрицательные значения с равной вероятностью. Общая методика оценки регрессионных и авторегрессионных моделей с помощью знакового метода кратко описывается ниже.

4. Методы исследования

Будем рассматривать случайные процессы с дискретным временем, наблюдаемые через равные п ромежутки времени , так что , где , - число наблюдений. При этом будем использовать линейные модели: регрессионные и авторегрессионные.

Линейные регрессионные модели предполагают следующее представление процесса :

с заданными функциями , неизвестными, подлежащими определению параметрами , и независимыми, одинаково распределенными случайными величинами . Как показал предварительный анализ, для исследования авторегрессионной структуры трафиков можно ограничиться использованием однопараметрической авторегрессионной модели вида:

c неизвестным параметром .

В этих моделях - независимые, одинаково распределенные случайные величины с некоторой, не обязательно гауссовской, функцией распределения . Предполагается, что , т.е. эти случайные ошибки имеют нулевую медиану.

В дальнейшем будем использовать теоретические результаты, изложенные в [7]. Как показано в этой книге, знаковые методы оценивания параметров обладают высокой устойчивостью по отношению к засорению данных выделяющимися наблюдениями. В ре альных данных, в частности, в данных телекоммуникационных сетей такие наблюдения всегда присутствуют. Поэтому использование помехоустойчивых методов крайне желательно. Приведем математические результаты из [7], которые будем использовать в дальнейшем.

1) Линейная регрессионная модель.

Для получения знаковых оценок в модели (1) нужно решить следующую экстремальную задачу:

Здесь - знак величины . Минимизируемая функция является разрывной. В [7] получено обоснование приведенного выше метода оценивания параметров. Там же рассмотрено множество модельных примеров, показывающих преимущество знакового метода оцен ивания перед методом наименьших квадратов для данных с выделяющимися наблюдениями.

2) Однопараметрическая авторегрессионная модель.

В [7] рассмотрена также авторегрессионная модель общего порядка и получены знаковые методы для задач проверки гипотез и оценивания параметров. Мы будем использовать однопараметрическую авторегрессионную модель, поэтому приведем результа ты для этого случая. Для оценивания параметра нужно составить статистику

где функция есть

Ясно, что функция является разрывной. Знаковая оценка определяется как корень уравнения , где символ означает переход функции через нуль. Мы используем приведенную выше нормировку функции , поскольку при такой нормировке величина (3) асимптотически нормальна с нулевым средним и ас имптотической единичной дисперсией. Кроме того, в [7] приведены алгоритмы построения доверительных интервалов для параметра с заданным уровнем довери я , т.е. множеств: , где кривые и определяются моделированием. В дальнейшем будем приме нять регрессионные модели для оценивания тренда, а авторегрессионными моделями описывать оставшийся после выделения тренда процесс.

5. Результаты исследования

Рассматривая трафики, представленные на рис. 1, как стохастические процессы, в первую очередь обратим внимание на их нестационарный характер. На первоначальном периоде своего развития, охватыва ющем примерно 8 месяцев (240 наблюдений), в процессах присутствует возрастающий тренд. Общее описательное представление о начальной и конечной стадии этого периода дает таблица 1, в которой указана среднемесячная загрузка каналов (в процентах от ёмкости) в феврале и сентябре 1996 г., а также грубая оценка роста загрузки за месяц (в процентах).

Таблица 1. Рост среднесуточной загрузки магистральных каналов сети RUNNet с февраля по сентябрь 1996 г.

Канал	Средняя загрузка в феврале	Средняя загрузка в сентябре	Падение загрузки за месяц
Новосибирск-Москва	32%	75%	6.1%
Екатеринбург-Москва	15%	58%	6.1%
Симбирск-Москва	15%	74%	8.4%

Более детальное представление о скорости роста загрузки каналов дают робастные знаковые оценки моделей трендов. Выражения для оценок функций трендов по каждому из каналов представлены в таблице 2 и на рис. 2.

Таблица 2. Оценки моделей трендов на стадии роста загрузки

Канал

Модель

Новосибирск-Москва

Екатеринбург-Москва

Симбирск-Москва

Рис. 2. Среднесуточная загрузка каналов и ее оценки на стадии роста

Обратим внимание на то, что скорость роста загрузки превышает линейную и наиболее адекватно описывается полиномами второй степени. Подобные модели можно использовать для прогноза времени выхода канала в режим перегрузки. При этом следует иметь в виду, что зона действия подобных прогнозов ограничивается временем достижения загрузки канала уровня 60-70\% своей среднесуточной ёмкости. Сам по себе подобный уровень загрузки канала следует считать пе регрузкой, при которой качество сетевого сервиса заметно ухудшается и активность пользователей начинает снижаться. В то же время использование моделей трендов позволяет оценить сроки вступлени я в режим перегрузки на стадии, когда канал функционирует в нормальном режиме, на уровне 25-30% среднесуточной загрузки.

Дальнейшее исследование автокорреляционной и частной автокорреляционной функций остатков, получаемых после вычитания из исходных временных рядов подобранных выше моделей трендов (см. рис. 3), показывает, что остатки могут быть адекватно описаны процессами авторегрессии первого порядка. Знаковые оценки коэффициента авторегрессии при этом колеблются от 0.275 до 0.6.

Рис. 3. Автокорреляционные и частные автокорреляционные функции остатков

После простой подстановки полученной модели авторегрессии первого порядка для остатков в исходную модель полиномиального тренда можно получить уточненную модель, выражающую значение загрузки в момент времени в виде полинома от времени и значения загрузки в момент времени и случай ной ошибки . Вид полученных моделей представлен в таблице 3 и на рис. 2.

Таблица 3. Комбинированные модели трафиков на стадии роста загрузки

Канал	Модель
Новосибирск-Москва
Екатеринбург-Москва
Симбирск-Москва

На рис. 2 для каждого из каналов жирной линией изображен график прогноза на шаг вперед, сделанный с помощью полученных моделей. При высоких значениях коэффициента авторегрессии (канал Екатеринб ург-Москва) полученные модели, как видно из рис. 2, могут быть полезны для представления о загрузке канала на следующий день. Значения найденных коэффициентов авторегрессии можно интерпретировать как "долю" сетевых задач, которую пользователи продолжают р ешать на следующий день. Часть этой "доли" естественным образом формируется из задач, начатых вечером и продолженных ночью. Другую часть, вероятно, составляют задачи, которые либо не удалось решить за один сеанс, либо требуют регулярного обращения к сети.

Достигнув состояния перегрузки, каналы вступают в следующую стадию своего развития. Она характеризуется тем, что загрузка каналов в течение последующих 6-7 месяцев неуклонно снижается при том, что подключенные к ним сети продолжают раст и и развиваться. Подобная тенденция в поведении загрузки магистральных каналов объясняется заметным снижением скорости и качества передачи данных, что заставляет пользователей реже использовать сетевые возможности.

Рис. 4. Среднесуточная загрузка каналов и ее оценки на стадии снижения

Таблица 4. Снижение среднесуточной загрузки магистральных каналов сети RUNNet с октября 1996 г. по апрель 1997 г.

Канал	Средняя загрузка в октябре	Средняя загрузка в апреле	Падение загрузки за месяц
Новосибирск-Москва	85%	58%	4.5%
Екатеринбург-Москва	53%	40%	2.2%
Симбирск-Москва	68%	36%	5.3%

Общее представление об уровне загрузки каналов в начале и конце этого периода и средней скорости снижения загрузки дает таблица 4, аналогичная таблице 4, а также рис. 4.

Рис. 4. Среднесуточная загрузка каналов и ее оценки на стадии снижения

На этом этапе функционирования канала его загрузка также может быть описана с помощью комбинированных моделей, включающих линейный или квадратичный тренд и авторегрессионную зависимость первого порядка. Сводка полученных оценок представлена в таблице 5 и на рис. 4.

Таблица 5. Комбинированные модели трафиков на стадии снижения загрузки

Канал	Модель
Новосибирск-Москва
Екатеринбург-Москва
Симбирск-Москва

В качестве нижней границы среднесуточной загрузки канала, до которой происходит процесс постепенного снижения средней загрузки, можно указать уровень 35 - 40%. Этот уровень соответствует 100% з агрузки канала в течение 8-10 часов в сутки, то есть полной загрузке в течение условного рабочего дня. Качество сетевого сервиса при подобной загрузке считается приемлемым для пользователей, и они вновь начинают увеличивать сетевую активность. Однако с учетом выросших сетей, подключенных к магистральным каналам, время повторного вхождения в режим сильной перегрузки сокращается до 2-3 месяцев. Затем вновь начинается период снижения загрузки. Об щий вид этих тенденций хорошо прослеживается на рис. 1. Несколько выделяется на этом фоне канал Новосибирск-Москва, у которого стадия снижения загрузки канала завершается на уровне 60%. Учитывая, что максимальный уровень средней загрузки этого канала (85% ) заметно выше, чем у других каналов, вероятно можно сделать вывод, что крупные научные центры (Новосибирский академгородок) с более гибким графиком работы сотрудников имеют возможность более равномерного распределения загрузки сети в течение суток, а кон ечные пользователи по различным причинам более терпимы к качеству сетевого сервиса.

Отдельно остановимся на проблемах устойчивого оценивания предлагаемых моделей. В реальной практике мониторинга магистральных каналов и осуществления текущего прогноза развития канала в распоряжении аналитика находятся лишь данные, закан чивающиеся текущим моментом времени. В этих условиях крайне важно, чтобы процедуры оценки трендов были достаточно устойчивы и не давали качественно различных результатов каждый день. Отличител ьной чертой среднесуточных трафиков магистральных каналов, как показывают рис. 1, 2, 4, является высокая вариабильность загрузки в соседние дни.

Рис. 5. Гистограммы стандартизованных остатков (период снижения загрузки)

Подобная вариабильность может быть объяснена тем, что одинаковое число пользователей сети, работая одно и то же время, за счет использования различных протоколов (решения различных сетевых зада ч) может создавать существенно различную загрузку канала. Стандартная процедура метода наименьших квадратов (МНК) в этих условиях, как показывает практика, часто дает неустойчивые результаты на текущих отрезках анализа данных как при определении тренда, т ак и при выделении автокорреляционной структуры. Пример значительного расхождения МНК оценок тренда со знаковыми оценками для данных канала Новосибирск-Москва приведен нами в \citeb3. Аналогичный пример расхождения оценок коэффициентов авторегрессии для д анных канала Симбирск-Москва дан в [10]. Однако наряду с неприятностями, связанными с неустойчивостью МНК оценок, существует и проблема обоснованности выводов на базе МНК. Речь идет о вычислении размеров доверительных интервалов для оценок и проверки гипо тез о значимости коэффициентов в моделях. На рис. 5 приведено сравнение плотности стандартного нормального распределения с гистограммами стандартизованных остатков после подбора комбинированных моделей трафиков на стадии снижения загрузки каналов. (Для уд обства восприятия графиков в качестве остатков рассмотрены разности между подобранными моделями и исходными наблюдениями).

Как видно из рис. 5, распределение стандартизованных остатков для каждого из каналов имеет весьма "тяжелый" правый хвост. В подобных условиях точность выводов на базе МНК становится весьма сомнительной.

6. Заключение

Подведем некоторые итоги описанной выше работы. Проведенный анализ показывает, что изменение загрузки магистральных каналов на протяжении периода их функционирования в однородном режиме происхо дит по похожим законам, примерно совпадая по срокам и темпам роста и падения загрузки. Загрузку выхода (output) этих каналов можно описать с помощью моделей случайных процессов, включающих в себя тренды и авторегрессионные компоненты. Получаемые при этом< /FONT> модели позволяют осуществлять среднесрочные (на полгода) прогнозы загрузки каналов с удовлетворительной степенью точности.

Для надежной оценки параметров указанных моделей загрузки требуются робастные статистические процедуры оценивания. В качестве одной из подобных процедур может быть использован рассмотренный выше знаковый метод оценивания регрессионных и авторегрессионных моделей. Традиционные методы оценки моделей для данных трафиков часто приводят к неудовлетворительным результатам.

Сделанные выводы имеют не только теоретическое, но и большое практическое значение. Они позволяют проектировщикам и администраторам сетей своевременно и адекватно планировать развитие ресурсов сетей. Полученные результаты также могут ис пользоваться для определения экономической политики опорных узлов сети. Обратим внимание на некоторые наиболее важные с практической точки зрения моменты:

- при выявленных темпах роста загрузки рассмотренных каналов на 6-8% от ёмкости канала в месяц, их ресурсы практически полностью исчерпываются за 8-10 месяцев;

- при уровне среднесуточной загрузки канала, превышающей 70% ёмкости, начинается заметное падение качества обслуживания и, как следствие, постепенное снижение загрузки примерно до 40-50% от ёмкости канала;

- среднесуточная загрузка канала в среднем на 30% определяется загрузкой предыдущих суток или, другими словами, около трети пользователей продолжают свою сетевую работу на следующий день.

Приведенные в работе материалы и выводы показывают теоретическую и практическую важность работ по мониторингу и анализу сетевого трафика.

Литература

1. Бойко В.В., Васенин В.А., Платонов А.П. Опорная инфраструктура национальной сети компьютерных телекоммуникаций для науки и высшей школы. Тез. докл. Всероссийской научно-методической конфере нции "Телематика-96", С.-Петербург, 1996 - С.20-22.

2. Васенин В.А., Макаров А.А. Проблемы и методики анализа трафика телекоммуникационных компьютерных сетей. Тез. докл. Международной научно-практической конференции, Новосибирск, 1997. С.173

3. Васенин В.А. Российские академические сети и Internet. - М.: РЭФИА, 1997. 173 С.

4. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. Изд. 2-е перераб. и доп. - М.: ИНФРА-М, 1998. 528 С.

5. Васенин В.А., Макаров А.А. Статистические модели трафика телекоммуникационных компьютерных сетей и их использование. Тез. докл. Всероссийской научно-методической конференции "Телематика-97", С.-Петербург, 1997. С.51

6. Макаров А.А. К вопросу о мониторинге компьютерных сетей. Модели, методы, решения. Тез.докл. Всероссийской научно-методической конференции, "Телематика-98", С.-Петербург, 1998. С.77-78

7. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей - М.: Наука. Физматлит, 1997. 288 С.

8. Хьюбер П. Робастность в статистике. - М.: Мир, 1984. 304 С.

9. Хампель Ф., Рончетти Э., Рауссей П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. - М.: Мир, 1989. 512 С.

10. Макаров А.А., Симонова Г.И. Проблемы робастного оценивания статистических моделей суточных трафиков магистральных каналов компьютерных сетей. Статистические методы оценивания и проверки гипотез: Межвуз. сб. науч. тр. Пермь: Перм. у н-т, 1999