Návod pro migraci dat mezi úložišti (Jihlava -> Ostrava, Brno -> Ostrava)

Tento návod popisuje postupy a doporučení, jak přesunout data z dosluhujícího úložiště v Plzni/Jihlavě/Brně (du1-3) na nové datové úložiště například v Ostravě (du4). Je pro vás užitečný, pokud jsme vás k takovému přesunu dat vyzvali.

Úložiště v Jihlavě a v Brně jsou na konci své morální i technické životnosti a budou odstavena. Proto jsme vám připravili prostor v Ostravě. Protože správce úložiště nemá jak rozpoznat, která data je účelné stěhovat, ponecháváme toto rozhodnutí a provedení přesunu dat na vás.

Značná část uživatelů používá úložiště v Jihlavš a v Brně pro zálohy (tj. záložní kopii svých vlastních systémů), část uživatelů na něm uchovává data trvalé hodnoty (tj. primární cenná data). Některé skupiny mají data obou typů, návody nicméně rozdělíme podle této klasifikace dat:

1. migrace pravidelných záloh
2. migrace dat trvalé hodnoty

Pokud potřebujete s přenosem dat pomoci nebo poradit, kontaktujte uživatelskou podporu.

Stávající zálohy na datovém úložišti v Jihlavě/Brně zůstanou zachovány minimálně dva měsíce po ukončení celé operace přesunu dat. Není nezbytné migrovat staré zálohy do Ostravy. Doporučujeme provést standardní plnou zálohu na datové úložiště do Ostravy a následně pokračovat v klasickém zálohování, jak jste zvyklí, ale na datové úložiště v Ostravě. Starší zálohy v Jihlavě/Brně je možno ponechat až do odstavení úložiště pro případnou obnovu starých verzí.

Technické nastavení závisí na tom kterém konkrétním zálohovacím nástroji. Nezapomeňte na nové úložiště provést alespoň jednu plnou zálohu.

Data trvalé hodnoty si můžete přestěhovat z Plzně/Jihlavy/Brna do Ostravy, to ponecháváme na odpovědnosti uživatelů. Následující návody jsou psány i pro začátečníky, nicméně i pokročilým uživatelům doporučujeme se jich držet, popisují totiž technicky nejefektivnější způsoby přesunu dat.

Pokud preferujete grafické uživatelské rozhraní, doporučujeme použít službu Globus. Pokud je vám bližší příkazová řádka, je vhodné použít použít protokol rsync spuštěný přímo na úložišti (v ssh session) pomocí aplikace nohup.

Globus je služba pro kopírování velkého objemu dat na velké vzdálenosti za pomocí webového rozhraní. Data jsou přenášena mezi tzv. endpointy, v tomto případě zdrojové a cílové úložiště nastavíme jako endpointy. Pomocí webového rozhraní podle následujícího návodu nastavíte, odkud, kam a co se má přenést.

Pro použití systému Globus je třeba se nejprve zaregistrovat. Pokud máte již vytvořený účet na Globus, můžete část registrace přeskočit.

1) Zadejte do prohlížeče adresu www.globusid.org

2) Vyplňte krátký registrační formulář. Zde si zvolíte uživatelské jméno a heslo potřebné v kroku 8). Po vyplnění stiskněte tlačítko Create ID.

3) Následně je nezbytné ověřit Vaši emailovou adresu prostřednictvím kliknutí na: Verify Your E-mail Address.

4) Na Vámi zadanou emailovou adresu by Vám měl přijít email s ověřovacím kódem, ten zkopírujete do pole: Verification Code a klikněte na tlačítko Verify.

5) Po úspěšném ověření Vaší emailové adresy by jste měli přejít na následující stránku.

6) Nyní máte úspěšně vytvořené Globus ID a můžete přejí k samotné službě Globus na www.globus.org, kde v pravé horní části kliknete na tlačítko Log In.

7) Na následující stránce vyberete z nabídky institucí Globus ID a kliknete na tlačítko Continue.

8) Následně budete vyzváni k zadání uživatelského jména a hesla nastaveného v kroku 2.

9) Na následující stránce budete mít možnost Váš Globus ID účet propojit s jiným existujícím účtem, např. účtem od Google – výhodou je využívání jednoho účtu pro více služeb. Pokud chcete požívat pouze Globus ID, klikněte na tlačítko: No Thanks, continue.

10) Následně budste vyzvání k souhlasu se zpracováním údajů prostřednictvím služby Globus. Pokud souhlasíte, klikněte na tlačítko Allow.

i) Kopírování dat se provádí pomocí možnosti File Manager v levém menu. Následně klikněte v záhlaví stránky na tlačítko pro zobrazení dvou panelů. Dále pokračujte v dolní části stránky kliknutím na tlačítko Transfer & Sync Options.

Dále pokračujte v dolní části stránky kliknutím na tlačítko Transfer & Sync Options.

ii) Prostřednictvím kliknutí do pole Collection a vložením ducesnet můžete následně ze seznamu vybrat příslušnou adresu datového úložiště CESNET.

iii) Z předchozí nabídky vybereme například ducesnet#du4, následněte budete vyzvání k zadání Vašeho uživatelského jména a hesla pro přístup k datovému úložišti.

iv) Po úspěšném přihlášení by se Vám měl v daném sloupci zobrazit obsah home adresáře na daném úložišti.

v) Pokud chceme kopírovat data mezi dvěma vzdálenými úložišti, provedeme krok ii i pro druhé okno a můžeme začít kopírovat.

Dokončení kopírování bude zobrazeno v dashboardu systému Globus.

Pokud upřednostňujete použití příkazové řádky, můžete pro přenos vašich souborů na úložiště v Ostravě využít rsync spuštěný přímo na úložišti. Vzhledem k delší době běhu takového kopírování doporučujeme spouštět rsync s požitím programu nohup. Tím zajistíte, že kopírování nebude ukončeno, pokud dojde k nečekanému ukončení ssh session.

1. Přihlaste se na úložiště

ssh username@ssh.du2.cesnet.cz

2. Výběr adresáře ke kopírování
Nyní vylistujeme obsah home adresáře a přejdeme do adresáře, jehož obsah chceme přenést na nové úložiště.

username@store:~>ls -alh
lrwxrwxrwx     1 root     einfra   41 Jan 21  2017 VO_storage-cache_tape -> ../../cache_tape/VO_storage/home/username
lrwxrwxrwx     1 root     einfra   40 Jan 21  2017 VO_storage-tape_tape -> ../../tape_tape/VO_storage/home/username

username@store:~>cd VO_storage-tape_tape

3. Použijeme rsync obalený programem nohup pro přenos zvolených adresářů, postupujte prosím po jednotlivých bodech
a) Spuštění přenosu pomocí protokolu rsync, příklad je uveden pro VO_storage

username@store:~/VO_storage-tape_tape>USER_NAME=username ; nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_nazev_vo_${USER_NAME}.log 2>&1 

b) Po zadání hesla pokračujte stisknutím kláves ctrl + z, čímž dojde k pozastavení procesu. Tento krok je nezbytný pro to, abychom mohli proces spustit na pozadí a eliminovali tak případné přerušení procesu při náhlém ukončení session. Po stisknutí kláves ctrl + z by se vám mělo v terminálu zobrazit následující hlášení, číslo v hranaté závorce použijeme pro spuštění procesu na pozadí:

username@ssh.du4.cesnet.cz's password: 
^Z
[1]+  Stopped                 nohup rsync -av -e "ssh -4" ./nazev_kopirovane slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1

c) Následně spustíme proces kopírování na pozadí pomocí bg a čísla z hranaté závorky z přechozího kroku.

username@store:~/VO_storage-tape_tape>bg 1
[1]+ nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1 &

d) Nyní prosím zkontrolujte, že se daný job znovu rozeběhl. Ve statusu jobu, by mělo být uvedeno Running. Tato akce nemusí být okamžitá, tudíž může chvíli trvat než se se status jobu zobrazí jako Running.

username@store:~/VO_storage-tape_tape>jobs
[1]+  Running                 nohup rsync -av -e "ssh -4" ./nazev_kopirovane_slozky ${USER_NAME}@ssh.du4.cesnet.cz:/home/${USER_NAME}/VO_storage-tape_tape/ >> /home/${USER_NAME}/VO_storage${USER_NAME}.log 2>&1 &

Podrobný návod k programu rsync naleznete zde.

4. Opuštění session
Pokud si přejete ssh session opustit, je nezbytné použít příkaz disown, čímž dojde k odmazání jobu z tabulky aktivních jobů. Následně můžete session ukončit standardním způsobem pomocí příkazu exit, případně kombinací kláves ctrl + d.

username@store:~/VO_storage-tape_tape>disown 
username@store:~/VO_du_test-tape_tape>jobs
username@store:~/VO_du_test-tape_tape>exit

Pokud chcete zkontrolovat stav kopírování můžete se podívat do logovaciho souboru, který najdete na cestě /home/username/VO_nazev_vo_username.log například pomocí příkazu:

username@store:~>tail -n 20 /home/username/VO_nazev_vo_username.log

5. Kontrola integrity dat
Po dokončení přenosu proveďte znovu krok 2 a 3. Pokud nedojde k žádnému dalšímu přenosu, znamená to, že vaše data byla v pořádku přenesena. Výstup protokolu rsync naleznete v souboru: /home/username/VO_nazev_vo_username.log.