cs:navody:object_storage:cesnet_s3:veeam_worm:start

Veeam využívající model WORM

Aplikaci Veeam lze používat s WORM modelem nebo bez něj. Bez něj však nemůže využít níže nastíněné výhody, ale na druhou stranu je možné ušetřit datový prostor.

Úvod do modelu WORM (Write Once, Read Many)

„Write once, read many“ (WORM) popisuje datové úložiště, ve kterém nelze informace po zapsání nijak upravovat. Tato ochrana proti zápisu zajišťuje, že s daty nelze po jejich zapsání manipulovat, čímž se vylučuje možnost ztráty dat způsobená lidskou chybou, chybami v softwaru nebo malwarem.

Write Once: V systému WORM lze data zapsat nebo zaznamenat pouze jednou, obvykle během počátečního procesu vytváření nebo přijímání dat. Jakmile jsou data zapsána, stanou se neměnnými, což znamená, že je nelze upravovat ani přepisovat. Tato vlastnost se často používá k zajištění autenticity a integrity dat, díky čemuž je vhodná pro aplikace, kde je problémem manipulace nebo pozměňování dat, jako jsou právní dokumenty, finanční záznamy nebo archivní data.

Read Many: Poté, co byla data zapsána, lze je číst nebo načítat vícekrát bez jakýchkoli omezení. Uživatelé mohou přistupovat k datům a používat je podle potřeby, ať už pro účely reference, analýzy, hlášení nebo pro jakýkoli jiný účel. Schopnost číst data vícekrát je nezbytná pro praktické využití modelu WORM.

Veeam s WORM

Použití funkce neměnitelnosti „immutability“ se stávajícím bucketem S3 obsahujícím zálohy vyžaduje, aby byly v segmentu současně povoleny jak verzování, tak zámek objektů, než bude povolena funkce neměnnosti. Jakýkoli jiný přístup povede k selhání zálohování a nemožnosti správně interagovat se zálohami v bucketu.

Data v objektovém uložišti v bucketu/kontejneru musí spravovat výhradně společnost Veeam, včetně uchovávání a správy dat. Povolení pravidel životnosti není podporováno a může mít za následek selhání zálohování a obnovy.

WORM model nad S3 vyžaduje nový a speciální bucket, nelze použít nějaký starší, protože ten je již inicializován. Veeam ma problemy s klasickymi mody Governance a Compliance, ktere pouziva treba Amazon AWS, takze je treba tyto mody nenastavovat.

Ukazka zalozeni noveho bucketu, ktery bude mit nastaven potrebny object lock od uplne zacatku.

aws –endpoint-url https://s3.clX.du.cesnet.cz –profile default s3api create-bucket –object-lock-enabled-for-bucket –bucket veeamimmutable

Následně nastavíme na takto vytvořeném bucketu verzování. Verzování se zapíná automaticky při –object-lock-enabled-for-bucket

aws –endpoint-url https://s3.clX.du.cesnet.cz –profile default s3api put-bucket-versioning –versioning-configuration Status=Enabled –bucket veeamimmutable

URL adresa „Service point“ je ve tvaru „https://s3.clX.du.cesnet.cz“ a je to název objektového S3 úložiště.
 cl1 - https://s3.cl1.du.cesnet.cz
 cl2 - https://s3.cl2.du.cesnet.cz
 cl3 - https://s3.cl3.du.cesnet.cz
 cl4 - https://s3.cl4.du.cesnet.cz
 cl5 - https://s3.cl5.du.cesnet.cz

Připojení objektového S3 úložiště s podporou WORM ve Veeam

Pro připojení CESNET S3 úložiště je potřeba alespoň Veeam edice ENTERPRISE.

VEEAM sám o sobě neumí vyrobit buckety, umí pouze připojovat již existující. Pro vytvoření bucketu použijte aws-cli nebo s3cmd anebo při konfiguraci úložiště nechte bucket(y) založit nás.

Postup pro připojení:

Z provozních důvodů je velmi důležité nastavit limitaci počtu paralelních spojení, jinak se vystavujete riziku dočasného suspendování vašeho účtu, jelikož bez tohoto omezení se chová Veeam příliš agresivně a omezuje ostatní uživatele používající stejné přístupové S3 brány. Jak správně omezení nastavit najdete v bodu č. 4. Pokud již máte připojení proti S3 nastavené nezapomeňte to doupravit.

1. V levém menu dáme „Backup Infrastructure“

2. Klikneme na tlačítko „Add Repository“

3. Zvolíme „Object storage“

3.Zvolíme „S3 Compatible“

Název úložiště (Name)

4.Doplníme název (Name) a popis (Description) repository, následně zaškrtneme „Limit concurrent tasks to“ a dáme hodnotu 5

Z provozních důvodů je velmi důležité nastavit limitaci počtu paralelních spojení, jinak se vystavujete riziku dočasného suspendování vašeho účtu, jelikož bez tohoto omezení se chová Veeam příliš agresivně a omezuje ostatní uživatele používající stejné přístupové S3 brány.

Klikneme na „Next“

Nastavení přístupových údajů (Account)

5. Vyplníme „Service point“ dle dodaných informací, do „Region“ vyplnit: storage

URL adresa „Service point“ je ve tvaru „https://s3.clX.du.cesnet.cz“ a je to název objektového S3 úložiště.
 cl1 - https://s3.cl1.du.cesnet.cz
 cl2 - https://s3.cl2.du.cesnet.cz
 cl3 - https://s3.cl3.du.cesnet.cz
 cl4 - https://s3.cl4.du.cesnet.cz
 cl5 - https://s3.cl5.du.cesnet.cz

6. Přidat kredence přes Add

7. Vyplnit dle dodaných informací Access key a Secret key

8. Klikneme na „Next“

Výběr bucketu (Bucket)

9. Zvolíme Bucket a Folder pomocí tlačítek „Browser“

10. Nastavení Limitu volitelně vyplnit (není potřeba)

11. Veeam umožňuje zakázat mazání dat z objektového úložiště tím, že tato data učiníte dočasně neměnnými, a chráníte data před aktivitou malwaru udržováním několika verzí jedné zálohy

Nastavení mount serveru (Mount Server)

12. Zvolíme server

Seznam Mount Server obsahuje pouze servery Microsoft Windows, které jsou přidány do infrastruktury zálohování. Pokud server ještě není přidán do infrastruktury zálohování, kliknutím na „Add New“ napravo otevřete průvodce „New Windows Server wizard“ https://helpcenter.veeam.com/docs/backup/vsphere/add_windows_server.html?ver=120

13. Zvolíme složku mezipaměti „Instant recovery write cache folder“, do které se má uchovat mezipaměť, která se vytvoří během operací připojení.

14. Zaškrtneme doporučenou volbu „Enable vPower NFS“ https://helpcenter.veeam.com/docs/backup/vsphere/vpower_nfs_service.html?ver=120

Kontrola nastavení (Review)

Zde se zkontrolujte, jaké součásti budou zpracovány na serveru pro připojení a jaký je jejich stav

Po kontrole dáme tlačítko „Apply“

Potvrzení konfigurace (Apply)

Zde nám proběhne kontrola, kterou necháme doběhnout. Dokončí se ukládání vašich nastavení do konfigurační databáze a vytvoří se objekty záložní infrastruktury.

Shrnutí konfigurace (Summary)

Nyní si prohlédněte podrobnosti o nově vytvořeném úložišti a kliknutím na „Finish“ dokončíte nastavování.

Nastavení větší velikosti bloků ve Veeam

Díky technologii zálohování dat se zálohovaná data rozdělují na data bloků, které jsou pak uloženy v S3 jako jednotlivé objekty, velké množství zálohovaných dat se převede na velké množství objektů v S3. To může způsobit problémy s koncovým bodem S3.

Pro zmírnění tohoto problému se doporučuje nakonfigurovat zálohy tak, aby používaly větší velikosti bloků.

Nastavení registru

Ve vyhledávání zadáme „Registry Editor“ a spustíme

V adresáři „Veeam Backup and Replication“ (cesta k adresáři je \HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication) klikneme pravým tlačítkem myši a dáme „New“, zde vybereme možnost „DWORD“ a vytvoříme tento klíč registru.

Následně musíme nově vytvořený klíč registru editovat a změnit název na „UIShowLegacyBlockSize“ a nastavit Value data na „1“. Dáme OK.

Nastavení velikosti bloků ve Veeam

Připojíme se k Veeam a zde nastavíme velikost objektů na 8MB. Postup je následující: V Jobs vyvoláme pravým tlačítkem volbu a dáme „Edit“

Následně klikneme na „Storage“

Poté vybereme volbu „Advanced“

V kolonce Storage optimization přepneme na 8MB

Potvrdíme tlačítkem „OK“

Ukládání příliš velkého množství dat do jednoho bucketu se nedoporučuje. Dá se říct, že kolem 100TB a 50 miliónů objektů je rozumná maximální hodnota. V případě potřeby větších objemů dat je vhodné využít více bucketů a data mezi ně distribuovat. Ve výchozím nastavení povolujeme mít až 1000 bucketů. V případě potřeby lze toto číslo dále zvýšit.

Doporučení pro nastavení monitoringu ve Veeam

pro přehled obsazenosti na uložišti máme v provozu službu accounting. Přes webové rozhraní máte přehled o svých úložištích a dostanete data o kvótě, obsazenosti a počtu objektů per tenant a uživatel. To je na adrese https://accounting.du.cesnet.cz/ V rolovací nabídce „user selector“ po jednotlivých uživatelích, anebo vpravo nahoře tlačítko „Vo“ a poté v prostředním okně „Members overview“ a vidíte přehled přes všechny uživatele.

Notifikace je vhodné nastavit pod úroveň dohodnuté kvóty. Tím získáte dostatek času na úpravu nastavení Veeamu, dříve než dojde k překročení kvóty a následnému zastavení zálohování. Doporučuje se například nastavit upozornění při dosažení 80–90 % kapacity, což vám umožní včas reagovat.
Pro zajištění lepší správy a optimalizace výkonu doporučujeme vytvořit další buckety a data mezi ně rovnoměrně distribuovat. Tento přístup pomáhá předcházet problémům s výkonem, které mohou nastat při velkém počtu objektů nebo velkém objemu dat v jednom bucketu. Rovnoměrné rozložení dat také zvyšuje flexibilitu a škálovatelnost vaší zálohovací infrastruktury.

Aby byla vaše zálohovací infrastruktura Veeam Backup & Replication neustále pod dohledem a abyste byli včas upozorněni na případné problémy nebo limity, doporučujeme následující kroky:

1. Nastavení monitoringu s Veeam ONE Community Edition

Veeam ONE Community Edition je bezplatný nástroj, který vám poskytne komplexní monitoring vaší zálohovací infrastruktury, včetně reálného času sledování, upozornění a reportování. Doporučujeme jej nastavit pro:

  • Reálný monitoring: Sledujte výkon zálohovacích serverů, úložišť a dalších kritických komponent infrastruktury.
  • Notifikace: Nastavte upozornění na události, jako je překročení kapacity úložiště, selhání záloh, nebo nedostatečné zdroje.
  • Automatické reporty: Využijte reportovací funkce pro pravidelné generování přehledů o stavu infrastruktury.

Postup:

  • Nainstalujte a nastavte Veeam ONE Community Edition (https://www.veeam.com/products/free/monitoring-analytics.html)
  • Nakonfigurujte alarmy v sekci Alarm Management pro sledování důležitých parametrů vaší infrastruktury.
  • Nastavte e-mailové notifikace v sekci Options > Email Settings, aby vás systém automaticky upozorňoval na kritické události.

2. Použití PowerShell skriptů pro monitorování

Pokud preferujete skriptování nebo potřebujete lehké a specifické řešení, můžete si vytvořit PowerShell skripty, které budou monitorovat využití úložiště a další důležité parametry a zasílat notifikace e-mailem.

Doporučené kroky:

Vytvořte PowerShell skript, který bude kontrolovat stav úložišť a pravidelně jej spouštějte pomocí naplánovaných úloh (Task Scheduler). Nastavte odesílání e-mailových notifikací přímo ze skriptu, pokud detekuje problémy, jako je překročení kapacity úložiště.

Nastavení monitoringu a notifikací je klíčové pro správu zálohovací infrastruktury. Pomáhá vám předejít výpadkům a problémům, které mohou ovlivnit obnovitelnost dat a celkovou dostupnost systémů.

Poslední úprava:: 08.09.2024 21:41