cs:navody:moving_du1:start

Návod pro migraci dat mezi úložišti (Jihlava -> Ostrava, Brno -> Ostrava)

Tento návod popisuje postupy a doporučení, jak přesunout data z dosluhujícího úložiště v Plzni/Jihlavě/Brně (du1-3) na nové datové úložiště například v Ostravě (du4). Je pro vás užitečný, pokud jsme vás k takovému přesunu dat vyzvali.

Úložiště v Jihlavě a v Brně jsou na konci své morální i technické životnosti a budou odstavena. Proto jsme vám připravili prostor v Ostravě. Protože správce úložiště nemá jak rozpoznat, která data je účelné stěhovat, ponecháváme toto rozhodnutí a provedení přesunu dat na vás.

Značná část uživatelů používá úložiště v Jihlavš a v Brně pro zálohy (tj. záložní kopii svých vlastních systémů), část uživatelů na něm uchovává data trvalé hodnoty (tj. primární cenná data). Některé skupiny mají data obou typů, návody nicméně rozdělíme podle této klasifikace dat:

Úložiště v Ostravě du4 a novějších se týkají nová Provozní pravidla, zejména pak sekce č. 3, Typy dat, archivy a zálohy, o maximální době ukládání záloh. Abychom nekomplikovali samotný přesun dat, uživatelé mají v Ostravě předem připraveny pouze složky pro zálohy. Prostor pro archiv vytvoří na požádání uživatelská podpora. Neobávejte se ale data přesouvat do Ostravy do prostoru pro zálohy, jejich přesun v rámci Ostravy pak bude prakticky okamžitý.
Pokud se rozhodnete nepřenášet všechna data, mějte prosím na paměti, že po odstavení datového úložiště dojde k jejich nenávratné ztrátě.

Pokud potřebujete s přenosem dat pomoci nebo poradit, kontaktujte uživatelskou podporu.

Migrace pravidelných záloh

Stávající zálohy na datovém úložišti v Jihlavě/Brně zůstanou zachovány minimálně dva měsíce po ukončení celé operace přesunu dat. Není nezbytné migrovat staré zálohy do Ostravy. Doporučujeme provést standardní plnou zálohu na datové úložiště do Ostravy a následně pokračovat v klasickém zálohování, jak jste zvyklí, ale na datové úložiště v Ostravě. Starší zálohy v Jihlavě/Brně je možno ponechat až do odstavení úložiště pro případnou obnovu starých verzí.

Technické nastavení závisí na tom kterém konkrétním zálohovacím nástroji. Nezapomeňte na nové úložiště provést alespoň jednu plnou zálohu.

Migrace dat trvalé hodnoty

Data trvalé hodnoty si můžete přestěhovat z Plzně/Jihlavy/Brna do Ostravy, to ponecháváme na odpovědnosti uživatelů. Následující návody jsou psány i pro začátečníky, nicméně i pokročilým uživatelům doporučujeme se jich držet, popisují totiž technicky nejefektivnější způsoby přesunu dat.

Silně nedoporučujeme migraci dat založenou na kopírování dat z úložiště na vaše lokální PC a následně upload na datové úložiště v Ostravě. Návody zásadně data kopírují přímo mezi úložišti.

Pokud preferujete grafické uživatelské rozhraní, doporučujeme použít službu Globus. Pokud je vám bližší příkazová řádka, je vhodné použít použít protokol rsync spuštěný přímo na úložišti (v ssh session) pomocí aplikace nohup.

Pokud se rozhodnete nepřenášet všechna data, mějte prosím na paměti, že po odstavení datového úložiště dojde k jejich nenávratné ztrátě.

Globus - webové rozhraní využívající GridFTP

Globus je služba pro kopírování velkého objemu dat na velké vzdálenosti za pomocí webového rozhraní. Data jsou přenášena mezi tzv. endpointy, v tomto případě zdrojové a cílové úložiště nastavíme jako endpointy. Pomocí webového rozhraní podle následujícího návodu nastavíte, odkud, kam a co se má přenést.

Pro použití systému Globus je třeba se nejprve zaregistrovat. Pokud máte již vytvořený účet na Globus, můžete část registrace přeskočit.

Registrace (vytvoření účtu Globus)

1) Zadejte do prohlížeče adresu www.globusid.org

2) Vyplňte krátký registrační formulář. Zde si zvolíte uživatelské jméno a heslo potřebné v kroku 8). Po vyplnění stiskněte tlačítko Create ID.

3) Následně je nezbytné ověřit Vaši emailovou adresu prostřednictvím kliknutí na: Verify Your E-mail Address.

4) Na Vámi zadanou emailovou adresu by Vám měl přijít email s ověřovacím kódem, ten zkopírujete do pole: Verification Code a klikněte na tlačítko Verify.

5) Po úspěšném ověření Vaší emailové adresy by jste měli přejít na následující stránku.

6) Nyní máte úspěšně vytvořené Globus ID a můžete přejí k samotné službě Globus na www.globus.org, kde v pravé horní části kliknete na tlačítko Log In.

7) Na následující stránce vyberete z nabídky institucí Globus ID a kliknete na tlačítko Continue.

8) Následně budete vyzváni k zadání uživatelského jména a hesla nastaveného v kroku 2.

9) Na následující stránce budete mít možnost Váš Globus ID účet propojit s jiným existujícím účtem, např. účtem od Google – výhodou je využívání jednoho účtu pro více služeb. Pokud chcete požívat pouze Globus ID, klikněte na tlačítko: No Thanks, continue.

10) Následně budste vyzvání k souhlasu se zpracováním údajů prostřednictvím služby Globus. Pokud souhlasíte, klikněte na tlačítko Allow.

Kopírování dat

i) Kopírování dat se provádí pomocí možnosti File Manager v levém menu. Následně klikněte v záhlaví stránky na tlačítko pro zobrazení dvou panelů. Dále pokračujte v dolní části stránky kliknutím na tlačítko Transfer & Sync Options.

Dále pokračujte v dolní části stránky kliknutím na tlačítko Transfer & Sync Options.

Zaškrtněte možnost preserve source file modification times, verify the integrity after transfer a rovněž encrypt transfer

ii) Prostřednictvím kliknutí do pole Collection a vložením ducesnet můžete následně ze seznamu vybrat příslušnou adresu datového úložiště CESNET.

Aktuální adresy serverů (hostů) pro jednotlivá datacentra:
Ostrava ducesnet#du4
Jihlava ducesnet#du2
Brno ducesnet#du3


iii) Z předchozí nabídky vybereme například ducesnet#du4, následněte budete vyzvání k zadání Vašeho uživatelského jména a hesla pro přístup k datovému úložišti.

iv) Po úspěšném přihlášení by se Vám měl v daném sloupci zobrazit obsah home adresáře na daném úložišti.

v) Pokud chceme kopírovat data mezi dvěma vzdálenými úložišti, provedeme krok ii i pro druhé okno a můžeme začít kopírovat.

Dokončení kopírování bude zobrazeno v dashboardu systému Globus.

Přenesení dat pomocí protokolu rsync

Pokud upřednostňujete použití příkazové řádky, můžete pro přenos vašich souborů na úložiště v Ostravě využít rsync spuštěný přímo na úložišti. Vzhledem k delší době běhu takového kopírování doporučujeme spouštět rsync s požitím programu nohup. Tím zajistíte, že kopírování nebude ukončeno, pokud dojde k nečekanému ukončení ssh session.

1. Přihlaste se na úložiště

ssh username@ssh.du2.cesnet.cz

2. Výběr adresáře ke kopírování
Nyní vylistujeme obsah home adresáře a přejdeme do adresáře, jehož obsah chceme přenést na nové úložiště.

username@store:~>ls -alh
lrwxrwxrwx     1 root     einfra   41 Jan 21  2017 VO_storage-cache_tape -> ../../cache_tape/VO_storage/home/username
lrwxrwxrwx     1 root     einfra   40 Jan 21  2017 VO_storage-tape_tape -> ../../tape_tape/VO_storage/home/username
username@store:~>cd VO_storage-tape_tape

3. Použijeme rsync obalený programem nohup pro přenos zvolených adresářů, postupujte prosím po jednotlivých bodech
a) Spuštění přenosu pomocí protokolu rsync, příklad je uveden pro VO_storage

username@store:~/VO_storage-tape_tape>USER_NAME=username ; nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_nazev_vo_${USER_NAME}.log 2>&1 

b) Po zadání hesla pokračujte stisknutím kláves ctrl + z, čímž dojde k pozastavení procesu. Tento krok je nezbytný pro to, abychom mohli proces spustit na pozadí a eliminovali tak případné přerušení procesu při náhlém ukončení session. Po stisknutí kláves ctrl + z by se vám mělo v terminálu zobrazit následující hlášení, číslo v hranaté závorce použijeme pro spuštění procesu na pozadí:

username@ssh.du4.cesnet.cz's password: 
^Z
[1]+  Stopped                 nohup rsync -av -e "ssh -4" ./nazev_kopirovane slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1

c) Následně spustíme proces kopírování na pozadí pomocí bg a čísla z hranaté závorky z přechozího kroku.

username@store:~/VO_storage-tape_tape>bg 1
[1]+ nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1 &

d) Nyní prosím zkontrolujte, že se daný job znovu rozeběhl. Ve statusu jobu, by mělo být uvedeno Running. Tato akce nemusí být okamžitá, tudíž může chvíli trvat než se se status jobu zobrazí jako Running.

username@store:~/VO_storage-tape_tape>jobs
[1]+  Running                 nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1 &

Podrobný návod k programu rsync naleznete zde.

Název VO a adresářová struktura je totožná jako u stávajícího úložiště, není tedy nezbytné upravovat zálohovací skripty. Dbejte prosím na to, aby cesta kopírované složky neobsahovala na konci znak „/“, mohlo by dojít k přepsání vašich práv na vašem home adresáři na novém úložišti. Všechny adresáře/symlinky, které neobsahují označení „archive“ v názvu jsou považovány za data typu „backup“, viz Provozní pravidla.

4. Opuštění session
Pokud si přejete ssh session opustit, je nezbytné použít příkaz disown, čímž dojde k odmazání jobu z tabulky aktivních jobů. Následně můžete session ukončit standardním způsobem pomocí příkazu exit, případně kombinací kláves ctrl + d.

username@store:~/VO_storage-tape_tape>disown 
username@store:~/VO_du_test-tape_tape>jobs
username@store:~/VO_du_test-tape_tape>exit

Pokud chcete zkontrolovat stav kopírování můžete se podívat do logovaciho souboru, který najdete na cestě /home/username/VO_nazev_vo_username.log například pomocí příkazu:

username@store:~>tail -n 20 /home/username/VO_nazev_vo_username.log

5. Kontrola integrity dat
Po dokončení přenosu proveďte znovu krok 2 a 3. Pokud nedojde k žádnému dalšímu přenosu, znamená to, že vaše data byla v pořádku přenesena. Výstup protokolu rsync naleznete v souboru: /home/username/VO_nazev_vo_username.log.

Poslední úprava: 03.07.2019 15:16