Tento dokument popisuje, jak jsou strukturovány adresáře na hierarchických datových úložištích CESNET.

Domovský adresář uživatele obsahuje podadresáře, které odpovídají virtuálním organizacím (VO), jichž je uživatel členem, a migračním politikám pro data v nich dohodnutým. Tyto podadresáře jsou určeny k ukládání dat. Jedná se o symbolické linky (zástupce složek) směřující do adresářové struktury jednotlivých VO.

Vlastní domovský adresář není určen pro ukládání samotných dat. Slouží pouze pro ukládání SSH klíčů, vytváření odkazů na prostory se skutečnými daty a další konfigurační soubory. Domovský adresář má nastavenou soft kvótu 50 MiB/500 souborů ¹⁾ a hard 5 GiB/5000 souborů ²⁾.

Příklad pro uživatele „user“ s členstvím ve dvou VO (např. VO_compass a VO_storage), jedna z nich používá dvě různé migrační politiky pro du4, du5, …:

/home/user:
|-- .bash_history
|-- .screenrc
|-- .ssh
|  \-- authorized_keys
|-- VO_compass-tape_tape -> /exports/tape_tape/backup/VO_compass/home/user
|-- VO_compass-tape_tape-archive -> /exports/tape_tape/archive/VO_compass/home/user
|-- VO_compass-disk_only -> /exports/disk_only/backup/VO_compass/home/user

Tuto strukturu uživateli automaticky připravíme, kdykoli se stane členem VO. Uživatelé si samozřejmě mohou vytvořit jinou strukturu symbolických linků, pokud jim to vyhovuje. Námi vytvořené linky nicméně nedoporučujeme mazat.

Pro zjištění množství uložených dat můžete využít službu Accounting-Návod.

Migrační politika určuje, co se stane s daty, když dojde místo na discích, kam se budou přesouvat data, které dlouho nikdo nepoužil a podobně. Přečtěte si stránku o HSM (Hierarchical Storage Management), pokud potřebujete informace o principech migrací dat.

Migrační politiku dohodl správce virtuální organizace se správci datových úložišť. Virtuální organizace často využívá jen jednu nebo několik málo politik. Správce virtuální organizace nebo její dokumentace sdělí, jak je zamýšleno využití jednotlivých prostorů.

Aktuálně jsou dostupné následující migrační politiky.

1. tape - data jsou na SATA discích a migrována na jednu sadu pásek (vhodné pro druhou nebo třetí zálohu dat)
2. tape_tape
   1. Pro Brno a Jihlavu platí, že data jsou na discích a jedna kopie na MAID discích a druhá na pásce (vhodné pro standardní data a první zálohy)
   2. Pro Ostravu platí, že data jsou na na discích (ostravské úložiště neobsahuje MAID disky) a následně v jedné kopii na pásce. Pokud se k datům nepřistupuje, tak je rovněž kopie z disků přesunuta na pásku. Celkem jsou tedy dvě kopie na páskách.
3. disk_only - data jsou jen na discích (RAID) a nikdy se nepřesouvají ani nezálohují (vhodné pro rychlo-obrátková data, např. zálohy, které budou za jednotky dnů odstraněny)
   1. Pro Jihlavu (du5) platí, že data jsou na diskovém poli. Redundance dat je však zajištěna pomocí snapshotů, které jsou drženy několik dní zpět.

Příklad:
Pokud chce uživatel „user“ (člen VO „storage“) využít konkrétní migrační politiku „tape_tape“ (mít data na dvou různých páskách), tak nahraje data do adresáře „VO_storage-tape_tape“ ve svém domovském adresáři.

V souvislosti s novými Pravidly využití služeb datových úložišť CESNET, dále pravidla, bylo zavedeno členění dat na tzv. permanentní archivy a zálohy. Detailní popis toho, co a jaká data jsou považována za archivní lze nalézt v pravidlech, stejně tak, jak se liší přístup k zacházení s daty jednotlivých kategorií. Aplikace kategorizace dat se vztahuje na du4 a novější, tj. du5 atd..

Ve stručnosti: Permanentní archivy obvykle nebývají rozsáhlé a rostou pomalu, takže budou omezeny kvótami (tj. kvótami na objem dat a počet souborů). Ukládání záloh bude ale omezeno časem, který je vymezen v pravidlech. Pozměněná adresářová struktura pro du4, du5,.. je popsána v sekci Domovský adresář. V případě nejasností, věnujte prosím pozornost, často kladeným otázkám.

Následuje seznam migračních politik a jejich kvót obsažených ve virtuální organizaci „storage“, které je každý registrovaný uživatel automaticky členem.

1. tape_tape-archive - politika je vhodná pro odkládání dat trvalé hodnoty. Nedoporučujeme do ní ukládat zálohy.
   • Soft kvóta 500 MiB/400 000 souborů ³⁾ a hard 500 MiB/500 000 souborů ⁴⁾.
2. tape_tape - hodí se primárně na ukládání záloh. V rámci politiky „backup“ nesmí být data starší 12 měsíců, viz Pravidla využití.
   • Soft kvóta 2 TiB/90 000 souborů ⁵⁾ a hard 2,5 TiB/100 000 souborů ⁶⁾.