30 Марта 2023 13:35 30 Мар 2023 13:35 |

Поделиться

Российские разработчики перенесли неструктурированные данные из ГИИС «Электронный бюджет» в S3 объектное хранилище

Компания ОТР2000 реализовала для госведомства надежное масштабируемое хранение неструктурированных данных в импортозамещенном объектном S3 хранилище, где файлы находятся в безопасности от внешних угроз и всегда доступны.

Накопление массива данных

Государственная интегрированная информационная система «Электронный бюджет» Федерального казначейства РФ за период своего развития накопила очень много информации, для хранения которой использовалась только СУБД. Возникший избыток накопленных данных в функциональных подсистемах на серверах ведомства стал создавать существенные проблемы. Из-за большого количества вложений базы данных очень быстро набирали в объеме и возникали сложности с резервным копированием, отставанием standby от master и пр., что приводило к постепенному снижению производительности операционной базы данных. Одним из шагов по решению проблемы стал перенос неструктурированных объектов в отдельное облачное S3 хранилище.

«Перенос хранения вложений в S3 объектные хранилища из реляционной СУБД позволил существенно, на 30–90%, сократить объемы реляционной базы. Снижение общей нагрузки на БД приводит к повышению общей производительности системы и, соответственно, уменьшению общего времени отклика для пользователей. Нам еще предстоит выполнить контрольные замеры по изменению нагрузки, но по опыту других проектов общий прирост производительности может быть существенный – до 20+%», — рассказал Александр Азарочкин, главный архитектор Блока федеральных проектов и ведомственных решений ОТР 2000.

В качестве поставщика технологии по результатам аукциона ФК было выбрано решение отечественного провайдера, работа с которым осуществляется через стандартное и широко используемое API. Это обеспечивает надежное масштабируемое хранение и стабильную скорость раздачи любых объектов независимо от числа одновременных обращений.

Оптимизация данных на «новом месте»

На текущий момент из БД в единое S3-хранилище перенесено уже около 1 млрд объектов (сканы документов, электронные подписи и др.), при этом горизонтальное масштабирование и отказоустойчивость обеспечивается решением «из коробки».

Как результат, снизилась нагрузка на реляционную базу в OLTP системах, уменьшилась нагрузка ввода/вывода (I/O), сократились затраты на служебные операции. Значительно повысились эксплуатационные характеристики баз данных за счет сокращения времени создания бэкапов, репликаций и выполнения других действий с операционной базой данных благодаря уменьшению ее объема.

Снизилась нагрузка на дисковую систему БД. Так, среднее время выполнения операции чтения данных дисков сократилось примерно в 2 раза: с 0,4 до 0,2 секунд.

Безопасность и простота миграции

Объектное S3-хранилище позволяет хранить постоянно растущий объем документов в соответствии с требованиями законодательства, в том числе в рамках обеспечения информационной безопасности. Было доработано программное обеспечение, чтобы переключить возможность использования объектов не из СУБД. Очевиден и экономический эффект — снижение стоимости эксплуатации: для хранения могут использоваться менее дорогостоящие носители и сервера по сравнению с реляционной БД.

После перенесения всех объектов, высвобождается основная БД госведомства, что крайне необходимо для продолжения обеспечения реализации полномасштабной миграции системы на отечественный стек технологий в рамках исполнения Указа Президента РФ от 1 мая 2022г. № 250 «О дополнительных мерах по обеспечению информационной безопасности Российской Федерации».

Кроме того, если со стороны Гостех, в составе базисного ПО которого тоже есть PAAS S3 хранилище, будет требование по обмену данных с ведомством, то может быть обеспечен достаточно простой процесс миграции.

Выполненные работы и кому еще будет полезен перенос данных

В процессе переноса вложений в S3 хранилище сотрудниками ОТР выполнены следующие работы:

• проведен сравнительный анализ преимуществ и недостатков хранения неструктурированных данных в БД OLTP и S3 совместимом объектном хранилище;
• проведена донастройка части подсистем ГИИС ЭБ для корректной работы с S3 хранилищем;
• проведен сравнительный анализ с оценками по основным критериям возможных способов и ПО для реализации S3 совместимого объектного хранилища;
• проведен расчет показателей назначения для S3 совместимого объектного хранилища;
• разработана структура хранения неструктурированных данных в S3 хранилище;
• разработана утилита по переносу вложений в S3 хранилище с последующей ее доработкой для возможности переноса ЭЦП.

Командой специалистов ОТР процесс оперативного внедрения в систему «Электронный бюджет» эффективного и гибкого масштабируемого облачного сервиса для хранения неструктурированных данных, резервного копирования и архивирования был реализован в запланированные в государственном контракте сроки и в целом позволило своевременно повысить общую производительность систем и эффективность рабочих процессов ведомства.

Подобный перенос неструктурированных данных и/или информационных систем будет полезен крупным компаниям, гос. корпорациям, крупному ритейлу, промышленным организациям, любому бизнесу, которому крайне необходимо безопасно обрабатывать и хранить большие объемы неструктурированных данных и масштабироваться «на лету».

Поделиться

Короткая ссылка