Активні архіви в зберіганні даних

Наша взаимовыгодная связь https://banwar.org/

З ростом обсягів інформації, що зберігається власники даних переглядають підходи до організації зберігання. Оперуючи архівами в сотні терабайт, інакше дивишся на засоби керування даними, їх захист, пріоритети і витрати.

Поняття «активний архівування» увійшло в обіг порівняно недавно. Так називають довгострокове зберігання інформації із забезпеченням активного доступу до будь-якої частини архіву, в режимі реального часу. Кількість неструктурованих даних в сховищах зростає, ними треба ефективно управляти. Кошти, виділені в окремий клас систем зберігання, активні архіви використовують індексацію, метадані, об'єктну структуру і протоколи, алгоритми захисту даних з кодом надмірності.

повторюючи ілюстрацію , Можна сказати, що системи активного архіву накривають весь діапазон відповідального зберігання, за винятком волатильних даних. Первинні (primary) сховища підбираються під специфіку і типи запитів критичних додатків. Усі значимі дані, до яких потрібен живий доступ протягом тривалого часу, виносять в активні архіви.

Архіви - НЕ бекапи
Активне архівування та резервне копіювання принципово різні : За програмними цілями, структурою даних, процедурою копіювання, організації доступу.

Резервування - це рутинне копіювання операційних даних (активної і неактивної інформації), для подальшого відновлення працездатності після збоїв основної системи (disaster recovery), в короткому горизонті планування. Системи резервного копіювання оптимізовані під швидкий доступ до великих обсягів інформації і потрібні для швидкого відновлення роботи програми або системи в цілому.

Активні архіви об'єднують набори даних з їх властивостями, деталізацією і взаємозв'язками (метаданими) для оперативного доступу до них. Це актуальна інформація, не копії. Причина перенесення даних в архів - зниження витрат. Проіндексований активний архів вибірково і швидко працює з індивідуальними об'єктами, забезпечуючи їм тривалий надійне зберігання.

Активне архівування - НЕ HSM
На відміну від систем ієрархічного зберігання (Hierarchical Storage Management, HSM), дані активних архівів знаходяться в живому доступі, незалежно від їх віку та частоти звернення. Політики HSM побудовані на переміщенні інформації між рівнями (tiers) і пристроями зберігання. Активний архів обслуговує користувачів як первинний і всі інші пули зберігання. Дані віддає то пристрій, на якому вони розміщені. Завдяки метаданих, адміністрування вимагає мінімуму часу і обчислювальних ресурсів.

Архіви, активи ...
Інтенсивно змінювані дані (як транзакційні бази) в системах активного архіву не зберігають. Чим вище обсяг зберігання, і чим більше додатка орієнтовані на читання - тим доречніше архівування. Дані статичної природи можуть не втрачати цінність роками, залишаючись основним активом багатьох видів бізнесу. Сам термін «активи» підкреслює важливість всієї інформації, що зберігається для власника. Розбухання архівів - сигнал для перегляду підходів до зберігання.

Розміщення даних на дискретних первинних, вторинних і третинних системах зберігання множить хаос пропорційно зростанню обсягів інформації, що зберігається. Зводячи все більш-менш статичні дані в активні архіви, користувачі отримують не просто консолідовану платформу для розміщення інформації. Забезпечується запас масштабування, високий рівень захищеності даних, швидкий пошук контенту, цілісність даних, моніторинг стану систем і енергоефективність.

Активні архіви побудовані на балансі ціни і продуктивності. Швидкісних стандартів для них немає, все залежить специфіки даних і додатків. Тип і кількість носіїв всередині архіву визначаються вимогами доступності даних. В цілому, затримки доступу до даних систем активного архіву становлять від мілісекунд до сотень мілісекунд.

об'єктне зберігання
Де є тимчасові нашарування об'ємних даних - з'являється сенс у об'єктному зберіганні. Об'єктний підхід зручний для розміщення великих масивів неструктурованої інформації: він дає свободу масштабування, відокремлює метадані від даних, позбавляє від прив'язки до певної файлової системи або блоковим пристроям. Адміністраторам нема чого турбуватися установкою рівнів RAID, створенням і управлінням логічними томами. Об'єктне зберігання - природний супутник архівування, з запасом по зростанню і схильністю до переносу даних в хмари.

обговорювалася проблема інтеграції стрічкових бібліотек в об'єктні сховища ( «ви не можете скинути об'єкти на стрічку»). Вже можна. Але, справедливості заради, активні архіви тому і названі так, що забезпечують доступ до даних в реальному часі, з прийнятними затримками. Потрібна стрічка - користуйтеся пасивним архівом і засобами реплікації одного в інше.

RAID і Erasure Coding
Erasure coding - це підхід, що йде на зміну RAID в об'ємному зберіганні. Використовується в системах активного архіву , З різними політиками. Оригінальні дані розбиваються на фрагменти, ті доповнюються фрагментами з кодами надмірності, досить складні алгоритми вважають і розподіляють дані по носіях і серверів зберігання. Запис таких фрагментованих даних вимагає значних обчислювальних ресурсів (тому Erasure coding застосовується в архівах, менш критичних до продуктивності, ніж до збереження даних). Зате архів з Erasure coding переживе відмову, скажімо, 6 дисків з кожних 16. Або 6 серверів з дисками, причому вони можуть бути розташовані на різних майданчиках, пов'язані WAN.

Актори активного архівування

У 2010-му році утворився альянс активного архівування (Active Archive Alliance, AAA) - ініціативне об'єднання для просування технологій тривалого зберігання з живим доступом. Учасники альянсу шукають шляхи спрощення зберігання, популяризації масштабованих рішень, зниження вартості володіння, зниження ризиків втрати даних. Крім бізнесу - як суперкомп'ютери або створення медійного контенту, активні архіви потрібні в областях суспільного інтересу - як наука, освіта, інститути по збереженню культурної спадщини. ось, в якості прикладу , Детальний опис, на чому і як зберігає оцифровані архіви фестиваль джазової музики в Монтре.

Огляд був би неповним без прикладу програмно-апаратної реалізації активного архіву. Добре документовано рішення HGST Active Archive SA-7000 .

Як влаштований активний архів

HGST Active Archive (далі AA) - являє собою готову до роботи, укомплектовану систему зберігання з передвстановленим ПО, в форматі стійки 42U. У ній є три керуючих вузла з SSD і шість серверів зберігання, до яких підключені шість JBOD, по 98 дисків 8 TB в кожному (HGST Helium). JBOD управляються як блокові пристрої зберігання, по SAS. У керуючих серверах стоять SSD достатньої ємності, щоб обслужити метадані по більш як 1 800 000 000 об'єктів даних в розрахунку на одну стійку AA.

В AA реалізовано об'єктне звернення до даних, по протоколу S3 або через REST API / HTTP. Фізичний інтерфейс підключення - 6 х 10 Gb Ethernet. Для виставлених в інтернет сховищ рекомендуються фаєрволи і балансування навантаження. У стійці є два мережевих комутатора - для відмовостійкості внутрішніх і зовнішніх з'єднань. Таких стійок на одному майданчику можна розмістити до шести, поєднуючи їх інтерфейсом 40 Gb Ethernet.

Програмне забезпечення HGST AA розроблено компанією Amplidata, яку HGST купила в 2015 році.

Продуктивність і можливості
Досяжна продуктивність для об'єктного сховища по S3 - до 3.5 GB / s в операціях GET і залежить від розміру об'єктів і кількості сконфігурованих в системі потоків / демонів. Операції PUT зазвичай на 37% повільніше - через обчислень коду корекції помилок ECC і через те, що PUTs обробляє більше даних, ніж GETs - 18 фрагментів об'єктів проти 13, при кодуванні Erasure coding 18/5.

Затримка доступу до об'єктів не перевищує <100ms в більш ніж 90% випадків. З додаванням стійок AA продуктивність масштабується лінійно. При середньому розмірі об'єкта> 1.9 MB досягається повна утилізація простору 2.967 PB під метадані та об'єктне зберігання при кодуванні за схемою 18/5.

Максимальний допустимий розмір об'єкта - 16TB, а число об'єктів в розрахунку на стійку - 1.800.000.000.
Кожен контролер стійки може обслужили 1000 активних HTTP-підключень. У стійці три контролера, сумарною спроможністю 3000 підключень. При додаванні відповідних шлюзів підключень може бути набагато більше.

захист даних
У HGST AA використовується Erasure coding - підхід до захисту даних, що перевершує RAID в сховищах великої місткості і масштабованих впроваджень. Призначені для користувача дані безперервно моніторяться на збійні блоки (до 1000 однобітних помилок поспіль можуть бути виправлені генеруються системою кодом ECC). При відмові диска і втрати фрагментів деяких об'єктів, всі ці фрагменти відновлюються за знайденими даними інших дисків і розподіляються по дискам за заданим алгоритмом. Процес відновлення втрачених фрагментів за допомогою Erasure Coding протікає набагато швидше, ніж в RAID-масиві.

HGST вибрала правило Erasure Coding BitSpread, або 18/5 - як кращий компроміс, з ефективністю 63% для об'єктів> 512kB і високою пропускною спроможністю до 3.5GB / s на стійку. Для географічно розподілених реалізацій HGST використовує GeoSpread, або правило 18/8 - щоб пережити повна відмова однієї з майданчиків, ще одного JBOD і ще двох HDD, без втрати даних, при 50% -й ефективності.

Кожен розміщується об'єкт захищений кодом корекції помилок ECC і розбивається на 18 фрагментів, з яких досить будь-яких 13 для повного відновлення даних. Іншими словами, система стійка до втрати 5 дисків. Схема 18/5 застосовується до всіх об'єктів> 512kB.

Для об'єктів <= 512kB застосовується політика малих об'єктів: схема зберігання 7/5, яка містить одну копію 1: 1 для прискорення доступу і копію c Erasure Coding 6/4. Зберігається стійкість до втрати 5 дисків, як і для великих об'єктів.

шлюзи
Файли NFS або CIFS можна переміщати на HGST AA за допомогою сторонніх шлюзів (gateways). Якщо для створення об'єктів використовуються шлюзи, ними ж користуються для доступу: через структури метаданих, механізмів доступу, способу розбиття об'єктів на блоки.

Об'єкти зберігання на HGST AA вважаються статичними - що справедливо для більшості наборів даних, які пережили фазу їх створення: фотографії, скани, електронні таблиці, відеокліпи, готові проекти, снепшот, бекапи каталогів, дисків і цілих систем.

База даних не може стати об'єктом, тому що оновлюється і модифікується занадто часто. До постійно змінюваному контенту не звертаються як об'єктів - це породило б активний перерахунок ECC і перезапис всіх фрагментів об'єктів (в нашому випадку 18), марну, але витратну додаткову обчислювальну навантаження. Але користувачі цілком можуть створювати бази даних об'єктів з прив'язаними до об'єктів метаданих.

протоколи
S3 для хмарного доступу
Система сумісна з протоколом Amazon Simple Storage Service ( AWS S3 - http://aws.amazon.com/documentation/s3/ ).

REST
REST-API документований в керівництві користувача HGST AA.

Для підключення по FTP / SFTP, iRODs, NTFS і ін протоколам потрібні шлюзи / коннектори з S3
Поставляються сторонніми компаніями.

Керуюче ПО HGST AA - це зрілий продукт компанії Amplidata. До операції поглинання він розвивався 7 років і продавався як програмно-яке визначається рішення зберігання. З багажем HGST в створенні ємних дисків, JBOD і засобів управління ними вийшло програмно-апаратне рішення виходить на верхній рівень в області систем зберігання, залишаючись при цьому привабливим за ціною.

Quanto?
Повна стійка ємністю 4.7 PB обійдеться не дорожче 800К євро. Можна почати з стартового набору за 300K євро. У нього входять всі керуючі сервери, але тільки один JBOD ємністю близько 700 TB. Для нарощування ємності зберігання докуповуються JBOD з дисками.

Ви можете підписатися на наш Telegram-канал для отримання найбільш цікавої інформації