cs:navody:home-migrace-plzen:start

Domovské adresáře a migrační politiky na HSM

Tento dokument popisuje, jak jsou strukturovány adresáře na hierarchických datových úložištích CESNET.

Domovský adresář

Domovský adresář uživatele obsahuje podadresáře, které odpovídají virtuálním organizacím (VO), jichž je uživatel členem, a migračním politikám pro data v nich dohodnutým. Tyto podadresáře jsou určeny k ukládání dat. Jedná se o symbolické linky (zástupce složek) směřující do adresářové struktury jednotlivých VO.

Vlastní domovský adresář není určen pro ukládání samotných dat. Slouží pouze pro ukládání SSH klíčů, vytváření odkazů na prostory se skutečnými daty a další konfigurační soubory. Domovský adresář má nastavenou soft kvótu 50 MiB/500 souborů 1) a hard 5 GiB/5000 souborů 2).

Příklad pro uživatele „user“ s členstvím ve dvou VO (např. VO_compass a VO_storage), jedna z nich používá dvě různé migrační politiky pro du1, du2, du3:

/home/user:
|-- .bash_history
|-- .screenrc
|-- .ssh
|  \-- authorized_keys
|-- VO_compass-tape_tape -> /exports/tape_tape/VO_compass/home/user
|-- VO_compass-disk_only -> /exports/disk_only/VO_compass/home/user
\-- VO_storage-cache_tape -> /exports/cache_tape/VO_storage/home/user

Příklad pro uživatele „user“ s členstvím ve dvou VO (např. VO_compass a VO_storage), jedna z nich používá dvě různé migrační politiky pro du4, du5, …:

/home/user:
|-- .bash_history
|-- .screenrc
|-- .ssh
|  \-- authorized_keys
|-- VO_compass-tape_tape -> /exports/tape_tape/backup/VO_compass/home/user
|-- VO_compass-tape_tape-archive -> /exports/tape_tape/archive/VO_compass/home/user
|-- VO_compass-disk_only -> /exports/disk_only/backup/VO_compass/home/user
Prosím povšimněte si toho, že některé názvy symbolických linků v případě du4 obsahují „archive“ např. VO_compass-tape_tape-archive a ostatní nikoliv. Toto souvisí se změnou Provozních pravidel, kdy jsou data nově členěna na data trvalé hodnoty a zálohy, které je nezbytné po uplynutí lhůty definované v provozních pravidlech rotovat. Všechny adresáře bez označení archive jsou na du4 považovány za backup

Tuto strukturu uživateli automaticky připravíme, kdykoli se stane členem VO. Uživatelé si samozřejmě mohou vytvořit jinou strukturu symbolických linků, pokud jim to vyhovuje. Námi vytvořené linky nicméně nedoporučujeme mazat.

Jak zjistím informace o kvótě a množství uložených dat?

Pracujeme na webovém systému (Accounting), který bude zobrazovat obsazené místo a nastavené kvóty. Předpokládáme, že systém bude brzo přístupný uživatelům.

Migrační politika

Migrační politika určuje, co se stane s daty, když dojde místo na discích, kam se budou přesouvat data, které dlouho nikdo nepoužil a podobně. Přečtěte si stránku o HSM (Hierarchical Storage Management), pokud potřebujete informace o principech migrací dat.

Migrační politiku dohodl správce virtuální organizace se správci datových úložišť. Virtuální organizace často využívá jen jednu nebo několik málo politik. Správce virtuální organizace nebo její dokumentace sdělí, jak je zamýšleno využití jednotlivých prostorů.

Aktuálně jsou dostupné následující migrační politiky.

  1. tape - data jsou na SATA discích a migrována na jednu sadu pásek (vhodné pro druhou nebo třetí zálohu dat)
  2. tape_tape
    1. Pro Plzeň platí, že data jsou na SATA discích a kopie na dvou různých páskách (vhodné pro standardní data a první zálohy)
    2. Pro Brno a Jihlavu platí, že data jsou na discích a jedna kopie na MAID discích a druhá na pásce (vhodné pro standardní data a první zálohy)
  3. disk_only - data jsou jen na discích (RAID) a nikdy se nepřesouvají ani nezálohují (vhodné pro rychlo-obrátková data, např. zálohy, které budou za jednotky dnů odstraněny)
  4. cache_tape - pouze na du1 primární data jsou na rychlých Fibre Channel discích, jedna kopie na páskách a SATA discích. Pokud dojde místo na SATA oblasti, vytvoří se druhá kopie na páskách, tj. celkem dvě různé pásky. Tato politika je z důvodu použití Fibre Channel disků vhodná pro rychlejší přístup k datům.

Příklad:
Pokud chce uživatel „user“ (člen VO „storage“) využít konkrétní migrační politiku „tape_tape“ (mít data na dvou různých páskách), tak nahraje data do adresáře „VO_storage-tape_tape“ ve svém domovském adresáři.

Kategorie dat archiv a zálohy

V souvislosti s novými Pravidly využití služeb datových úložišť CESNET, dále pravidla, bylo zavedeno členění dat na tzv. permanentní archivy a zálohy. Detailní popis toho, co a jaká data jsou považována za archivní lze nalézt v pravidlech, stejně tak, jak se liší přístup k zacházení s daty jednotlivých kategorií. Aplikace kategorizace dat se vztahuje na du4 a novější, tj. du5 atd..

Ve stručnosti: Permanentní archivy obvykle nebývají rozsáhlé a rostou pomalu, takže budou omezeny kvótami (tj. kvótami na objem dat a počet souborů). Ukládání záloh bude ale omezeno časem, který je vymezen v pravidlech. Pozměněná adresářová struktura pro du4, du5,.. je popsána v sekci Domovský adresář. V případě nejasností, věnujte prosím pozornost, často kladeným otázkám.

Virtuální organizace "storage"

Následuje seznam migračních politik a jejich kvót obsažených ve virtuální organizaci „storage“, které je každý registrovaný uživatel automaticky členem.

  1. cache_tape - politika je vhodná pro odkládání živějších dat. Nedoporučujeme do ní ukládat zálohy a archívy.
    • Soft kvóta 2 TiB/400 000 souborů 3) a hard 2,5 TiB/500 000 souborů 4).
  2. tape_tape - jelikož jsou data v případě této politiky uložena na dvou různých páskách, hodí se primárně na ukládání záloh a archívů.
    • Soft kvóta 2 TiB/90 000 souborů 5) a hard 2,5 TiB/100 000 souborů 6).
1) , 3) , 5)
Soft kvóta je limit, který lze dočasně překročit. O jejím překročení bude uživatel informován.
2) , 4) , 6)
Hard kvóta je limit, který nelze překročit.
Poslední úprava: 20.06.2018 16:14