Инженерная инфраструктура ЦОДа была построена на базе технологий компании Huawei. Было предложено решение Modular Data Center: модульный ИБП UPS5000-E (50кВА) с избыточностью N+1 и временем резервирования 30 минут, блок распределения питания на 250А, ряд последовательных блоков охлаждения от 20 до 35 кВт с зимними комплектами и система мониторинга NetEco для центров обработки данных.
Решение позволило Казанскому Федеральному Университету построить эффективную, ресурсоемкую и энергоэффективую структуру инженерной части Центра обработки данных.
ЦОД обладает высокой адаптируемостью и обеспечивает эффективное использование пространства, ведь все необходимые для его работы ресурсы находятся в одном помещении. Ввод в эксплуатацию инженерной инфраструктуры занял всего одну неделю, а интеллектуальное управление и мониторинг осуществляется в режиме реального времени.
Вычислительные мощности реализованы на базе программно-аппаратных технологий компаний.
Высокопроизводительный кластер позволил создать единую вычислительную среду для Университета в работе казанских ученых и повысить конкурентоспособность КФУ как одного из самых высокотехнологичных вузов страны.
О Кластере:
Гибридный вычислительный кластер — это группа вычислительных узлов различной архитектуры, объединенных высокоскоростными каналами связи. С точки зрения пользователя гибридный вычислительный кластер представляет собой единую вычислительную систему. Основное предназначение вычислительного кластера — выполнение большого количества расчетов.
Кластер КФУ состоит из следующих основных компонентов:
Управляющий узел — это многопроцессорный сервер, который управляет ресурсами вычислительного кластера, организует работу очередей заданий, осуществляет мониторинг компонентов вычислительного кластера и выполняет ряд других вспомогательных функций.
Задача: Единая система управления вычислительным кластером
Универсальные вычислительные узлы с x86_64 архитектурой— это многопроцессорные, многоядерные сервера на которых выполняются задачи пользователя. Задача пользователя может занимать несколько вычислительных узлов вплоть до целого кластера.
Задачи:
- молекулярная динамика
- квантовые химические расчёты
- IT-сервисы Университета
- любые IT-задачи
- Вычислительные узлы Big Data – это многопроцессорные, многоядерные сервера с увеличенным локальным пространством для обработки больших данных.
Задачи:
- Научная база анализа больших данных и обработки текста
- Работа с большими объёмами структурированными и неструктурированными массивами данных
Задачи расчётов в области фундаментальных наук, таких как:
- физика
- химия
- прикладная математика
- обучение студентам программирования на различных архитектурах
Коммуникационная сеть обеспечивает коммуникации между процессами параллельных приложений на вычислительных узлах с использованием протокола MPI (Message Passing Interface), а также доступ узлов к СХД. Управляющий и вычислительные узлы, объединенные в локальную сеть на основе технологии Infiniband, которая обеспечивает пропускную способность 56 Gbit/s. Транспортная и сервисная сети предназначены для обеспечения служебных коммуникаций между всеми узлами вычислительного кластера и построены на основе технологии Gigabit Ethernet.
Программное обеспечение - Кластер работает под управлением ПО IBM Platform HPC (планировщик заданий, мониторинг системы, MPI, средства конфигурирования и развертывания узлов, web-портал).
В качестве операционной системы на всех узлах используется OC RedHat for HPC.