Пакет NETFLUTILS разработан в Центре телекоммуникаций и технологий Интернет Московского государственного университета им. М.В.Ломоносова в 1998-1999 гг. В основе пакета лежит технология NetFlow Switching. Это технология высокопроизводительной коммутации IP- и IP-инкапсулированного трафика, в которой одной из составляющих коммутирующей функции NetFlow Switching является экспорт подробной статистики о трафике через UDP-порт. Данные, передаваемые по протоколу NetFlow Export, содержат информацию об IP-адресах и портах, протоколе, типе обслуживания и некоторые другие детали IP-трафика.

Технология сбора сетевой статистики на базе технологии NetFlow Switching в том или ином виде присутствует во многих известных системах сбора и анализа сетевой статистики и коммерческих биллинговых системах. Однако все известные нам системы не лишены тех или других недостатков, что потребовало написания собственного пакета программ NETFLUTILS с учетом целей и задач мониторинга сетевой статистики в сети Rbnet НСКТ НВШ.

При разработке пакета решалась задача по обеспечению следующих важнейших качеств для пакетов сбора сетевой статистики:

• надежность;
• управляемость;
• масштабиремость.

1. Фильтры.

Ключевым моментом в архитектуре описываемого пакета является понятие фильтра. Фильтры – это произвольные логические выражения над полями записей в датаграмных протоколах NetFlow. Они дают возможность агрегировать поступающие данные в зависимости от хостов, IP-протоколов, портов и т.д. Каждый фильтр имеет уникальное ассоциируемое с ним имя и соответствующее логическое выражение. Синтаксис логических выражений является C-образным. Аргументами в логических выражениях могут являться пер еменные, соответствующие полям записей в датаграммах протокола NetFlow и константы.

2. Алиасы.

Некоторые логические выражения могут часто встречаться в различных фильтрах. Для того, чтобы избежать их повторного вычисления, существуют алиасы, которые вычисляются ровно один раз для каждой записи в NetFlow-датаграмме.

3. Распределения.

Часто бывает необходимо знать как агрегированный с помощью фильтров трафик распределяется, скажем, по IP-адресам или портам. Для этого существуют распределения (slices) по произвольным параметрам записи в NetFlow-датаграмме. Распред еления хранятся в виде бинарных деревьев, что обеспечивает их эффективную обработку. Возможны распределения по одному или нескольким параметрам.

4. Компоненты пакета.

Пакет NETFLUTILS включает:

Netfld является основным компонентом описываемого пакета. Этот модуль имеет многопоточную архитектуру, обеспечивающую эффективный сбор, первичную обработку и накопление NetFlow-статистики. Принимающая и обрабатывающая часть программы строго разделены и обмениваются данными через очередь сообщений. Управляющая часть сделана с целью минимизации возможного блокирования потоков. При написании программы были широко использовано группирование потоков исполнени я для оптимизации параллельного исполнения ее частей.

Ниже перечислены основные особенности netfld:

• динамическое задание и изменение фильтров, по которым сортируется информация о трафике в виде произвольных логических выражений над параметрами IP-flows;
• гибкая и эффективная фильтрация информации путем прохождения ее через дерево вложенных фильтров;
• возможность задания часто используемых выражений в виде алиасов, которые вычисляются только один раз для каждого IP-flow;
• возможность получения распределений трафика по любым параметрам IP-flow;
• возможность ведения журнала трафика для выбранных фильтров;
• архитектура, позволяющая легко подключать дополнительные средства анализа трафика, проходящего через фильтры;
• обработка и агрегирование информации от нескольких маршрутизаторов одновременно;
• возможность удаленного администрирования сервера.

Netflcon – это консоль удаленного администрирования для netfld, обеспечивающая динамическое создание и модификацию фильтров, алиасов и распределений.

Netflget – это простая утилита, позволяющая осуществлять удаленную выборку данных с NetFlow-сервера.