cs:navody:object_storage:cesnet_s3:worm_veeam:start

Veeam využívající model WORM

Aplikaci Veeam lze používat s WORM modelem nebo bez něj. Bez něj však nemůže využít níže nastíněné výhody, ale na druhou stranu je možné ušetřit datový prostor.

WORM obecně

„Write once, read many“ (WORM) popisuje datové úložiště, ve kterém nelze informace po zapsání nijak upravovat. Tato ochrana proti zápisu zajišťuje, že s daty nelze po jejich zapsání manipulovat, čímž se vylučuje možnost ztráty dat způsobená lidskou chybou, chybami v softwaru nebo malwarem.

Write Once: V systému WORM lze data zapsat nebo zaznamenat pouze jednou, obvykle během počátečního procesu vytváření nebo přijímání dat. Jakmile jsou data zapsána, stanou se neměnnými, což znamená, že je nelze upravovat ani přepisovat. Tato vlastnost se často používá k zajištění autenticity a integrity dat, díky čemuž je vhodná pro aplikace, kde je problémem manipulace nebo pozměňování dat, jako jsou právní dokumenty, finanční záznamy nebo archivní data.

Read Many: Poté, co byla data zapsána, lze je číst nebo načítat vícekrát bez jakýchkoli omezení. Uživatelé mohou přistupovat k datům a používat je podle potřeby, ať už pro účely reference, analýzy, hlášení nebo pro jakýkoli jiný účel. Schopnost číst data vícekrát je nezbytná pro praktické využití modelu WORM.

Veeam a WORM

Použití funkce neměnitelnosti „immutability“ se stávajícím bucketem S3 obsahujícím zálohy vyžaduje, aby byly v segmentu současně povoleny jak verzování, tak zámek objektů, než bude povolena funkce neměnnosti. Jakýkoli jiný přístup povede k selhání zálohování a nemožnosti správně interagovat se zálohami v bucketu.

Data v objektovém uložišti v bucketu/kontejneru musí spravovat výhradně společnost Veeam, včetně uchovávání a správy dat. Povolení pravidel životnosti není podporováno a může mít za následek selhání zálohování a obnovy.

WORM model nad S3 vyžaduje nový a speciální bucket, nelze použít nějaký starší, protože ten je již inicializován. Veeam ma problemy s klasickymi mody Governance a Compliance, ktere pouziva treba Amazon AWS, takze je treba tyto mody nenastavovat.

Ukazka zalozeni noveho bucketu, ktery bude mit nastaven potrebny object lock od uplne zacatku.

aws –endpoint-url https://s3.clX.du.cesnet.cz –profile default s3api create-bucket –object-lock-enabled-for-bucket –bucket veeamimmutable

Následně nastavíme na takto vytvořeném bucketu verzování. Verzování se zapíná automaticky při –object-lock-enabled-for-bucket

aws –endpoint-url https://s3.clX.du.cesnet.cz –profile default s3api put-bucket-versioning –versioning-configuration Status=Enabled –bucket veeamimmutable

URL adresa „Service point“ je ve tvaru „https://s3.clX.du.cesnet.cz“ a je to název objektového S3 úložiště.
 cl1 - https://s3.cl1.du.cesnet.cz
 cl2 - https://s3.cl2.du.cesnet.cz
 cl3 - https://s3.cl3.du.cesnet.cz
 cl4 - https://s3.cl4.du.cesnet.cz
 cl5 - https://s3.cl5.du.cesnet.cz

Nastavení větší velikosti bloků ve Veeam

Díky technologii zálohování dat se zálohovaná data rozdělují na data bloků, které jsou pak uloženy v S3 jako jednotlivé objekty, velké množství zálohovaných dat se převede na velké množství objektů v S3. To může způsobit problémy s koncovým bodem S3.

Pro zmírnění tohoto problému se doporučuje nakonfigurovat zálohy tak, aby používaly větší velikosti bloků.

Nastavení registru

Ve vyhledávání zadáme „Registry Editor“ a spustíme

V adresáři „Veeam Backup and Replication“ (cesta k adresáři je \HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication) klikneme pravým tlačítkem myši a dáme „New“, zde vybereme možnost „DWORD“ a vytvoříme tento klíč registru.

Následně musíme nově vytvořený klíč registru editovat a změnit název na „UIShowLegacyBlockSize“ a nastavit Value data na „1“. Dáme OK.

Nastavení Veeam

Připojíme se k Veeam a zde nastavíme velikost objektů na 8MB. Postup je následující: V Jobs vyvoláme pravým tlačítkem volbu a dáme „Edit“

Následně klikneme na „Storage“

Poté vybereme volbu „Advanced“

V kolonce Storage optimization přepneme na 8MB

Potvrdíme tlačítkem „OK“

Ukládání příliš velkého množství dat do jednoho bucketu se nedoporučuje. Dá se říct, že kolem 100TB a 50 miliónů objektů je rozumná maximální hodnota. V případě potřeby větších objemů dat je vhodné využít více bucketů a data mezi ně distribuovat. Ve výchozím nastavení povolujeme mít až 1000 bucketů. V případě potřeby lze toto číslo dále zvýšit.

Doporučení pro nastavení monitoringu

pro přehled obsazenosti na uložišti máme v provozu službu accounting. Přes webové rozhraní máte přehled o svých úložištích a dostanete data o kvótě, obsazenosti a počtu objektů per tenant a uživatel. To je na adrese https://accounting.du.cesnet.cz/ V rolovací nabídce „user selector“ po jednotlivých uživatelích, anebo vpravo nahoře tlačítko „Vo“ a poté v prostředním okně „Members overview“ a vidíte přehled přes všechny uživatele.

Notifikace je vhodné nastavit pod úroveň dohodnuté kvóty na objem dat i počet objektů. Tím získáte dostatek času na úpravu nastavení Veeamu, dříve než dojde k překročení kvóty a následnému zastavení zálohování. Doporučuje se například nastavit upozornění při dosažení 80–90 % kapacity, což vám umožní včas reagovat.
Pro zajištění lepší správy a optimalizace výkonu doporučujeme vytvořit další buckety a data mezi ně rovnoměrně distribuovat. Tento přístup pomáhá předcházet problémům s výkonem, které mohou nastat při velkém počtu objektů nebo velkém objemu dat v jednom bucketu. Rovnoměrné rozložení dat také zvyšuje flexibilitu a škálovatelnost vaší zálohovací infrastruktury.

Aby byla vaše zálohovací infrastruktura Veeam Backup & Replication neustále pod dohledem a abyste byli včas upozorněni na případné problémy nebo limity, doporučujeme následující kroky:

1. Nastavení monitoringu s Veeam ONE Community Edition

Veeam ONE Community Edition je bezplatný nástroj, který vám poskytne komplexní monitoring vaší zálohovací infrastruktury, včetně reálného času sledování, upozornění a reportování. Doporučujeme jej nastavit pro:

  • Reálný monitoring: Sledujte výkon zálohovacích serverů, úložišť a dalších kritických komponent infrastruktury.
  • Notifikace: Nastavte upozornění na události, jako je překročení kapacity úložiště, selhání záloh, nebo nedostatečné zdroje.
  • Automatické reporty: Využijte reportovací funkce pro pravidelné generování přehledů o stavu infrastruktury.

Postup:

  • Nainstalujte a nastavte Veeam ONE Community Edition (https://www.veeam.com/products/free/monitoring-analytics.html)
  • Nakonfigurujte alarmy v sekci Alarm Management pro sledování důležitých parametrů vaší infrastruktury.
  • Nastavte e-mailové notifikace v sekci Options > Email Settings, aby vás systém automaticky upozorňoval na kritické události.

2. Použití PowerShell skriptů pro monitorování

Pokud preferujete skriptování nebo potřebujete lehké a specifické řešení, můžete si vytvořit PowerShell skripty, které budou monitorovat využití úložiště a další důležité parametry a zasílat notifikace e-mailem.

Doporučené kroky:

Vytvořte PowerShell skript, který bude kontrolovat stav úložišť a pravidelně jej spouštějte pomocí naplánovaných úloh (Task Scheduler). Nastavte odesílání e-mailových notifikací přímo ze skriptu, pokud detekuje problémy, jako je překročení kapacity úložiště.

Nastavení monitoringu a notifikací je klíčové pro správu zálohovací infrastruktury. Pomáhá vám předejít výpadkům a problémům, které mohou ovlivnit obnovitelnost dat a celkovou dostupnost systémů.

Poslední úprava:: 31.08.2024 11:26