Распределённая система обработки экспериментальных данных на основе свободного ПО¹

Зленко Павел А., Истомин Тимофей Евгеньевич, Мещеряков Дмитрий Константинович, Попова Нина Николаевна, Сальников Алексей Николаевич

При организации обработки экспериментальных данных возникают задачи обеспечения доступа к разнородным и распределённым хранилищам данных, поиска вычислительных мощностей, а также организации доступа к разнородной вычислительной технике.

Работа посвящена основным возможностям, архитектуре и особенностям реализации распределённой системы обработки данных, которая объединяет в себе средства доступа к распределённым хранилищам данных, к удалённым вычислительным средствам и к вычислительным модулям, необходимым для решения задач конечных пользователей [1,2]. Рассматриваемая система создана на основе свободно распространяемого программного обеспечения.

Архитектурно система состоит из ряда компонентов, а именно:

• Ядро системы представляет собой сервлет, выполняющийся в Tomcat. Ядро обеспечивает обработку пользовательских запросов, запуск и контроль за исполнением заданий на вычислительных узлах, распределение хранимых данных.
• Клиентский интерфейс системы представляет собой Java-приложение, предоставляющее пользователю возможности управления хранилищем данных и запуском вычислительных модулей с использованием индивидуальных встраиваемых компонентов.
• Вычислительные модули, расположенные на удалённых узлах.
• ПО сопряжения обеспечивает унификацию взаимодействия ядра с вычислителями различной архитектуры.

Данные компоненты являются неотъемлемой частью системы и образуют универсальную среду, на основе которой могут быть построены инструменты, решающие задачи конкретной предметной области. Такая специализация реализуется при помощи компонент, состоящих из классов-обёрток на Java, выполняемых в рамках клиентского приложения, и программных модулей, выполняемых на вычислительных узлах и реализованных на подходящих языках программирования.

Процесс работы пользователя с системой предельно прозрачен. Типичным является, например, следующий сценарий:

• Пользователь через посредство клиентского приложения импортирует в систему данные, которые ему нужно обработать.
• Объект данных отображается в виде объекта хранилища в графическом интерфейсе клиентского приложения.
• Пользователь выбирает в клиентском приложении один из поддерживаемых методов обработки, задаёт параметры обработки и выбирает вычислительный узел, на котором он желает провести обработку данных.
• Система выполняет обработку данных и формирует результат.
• Результат отображается в виде объекта хранилища. Результат может быть экспортирован к пользователю или подвергнут дальнейшей обработке.

Удалённый доступ к Системе осуществляется с помощью клиентского приложения с любой ЭВМ, имеющей доступ к Internet и возможность запуска Java-приложений.

Существенно, что от пользователя остаются скрытыми следующие неотъемлемые аспекты обработки:

• Реализация хранения данных внутри системы.
• Непосредственная организация доступа к конкретному вычислителю с конкретной архитектурой. Доступ выполняется, с точки зрения пользователя, одинаково как к однопроцессорной ЭВМ, так и к кластеру.
• Процессы передачи исходных данных на конкретный вычислитель, получения результатов обработки с конкретного вычислителя и синхронизации.

Использование в качестве основы системы свободно распространяемого ПО позволило при разработке сосредоточиться на реализации высокоуровневых механизмов и использовать многие удобные и эффективные технологии, уже реализованные в этом ПО. В рамках полученной реализации при относительной простоте базовых механизмов была продемонстрирована требуемая гибкость и эффективность разработанной архитектуры, что проявилось при встраивании пакетов прикладных программ.

Литература

1. Королев Л. Н., Малютина Э. Э., Попов А. М., Попова Н. Н. Применение активных баз данных в прогнозировании//Вестник МГУ, сер. 15, 1998. N 1. М.: Изд-во МГУ, 1998.
2. Королев Л. Н., Попов А. М., Попова Н. Н., Рогов Е. В. Реализация системы