cs:navody:faq:start

Toto je starší verze dokumentu!


FAQ - často kladené otázky

Co dělat, pokud se objeví problémy?

Můžete se obrátit na technickou podporu CESNETu:
support(zavináč)cesnet.cz

Obecné otázky

Zapomenuté heslo pro přístup k úložišti

Popis problému: Zapomněl jsem heslo, které jsem si nastavil pro přístup ke službě datových úložišť (Přihláška do VO).

Řešení: Nové heslo pro přístup na úložiště CESNET lze nastavit na stránce v Perunovi. Zde se musíte nejprve přihlásit přihlašovacími údaji své instituce a následně budete přesměrováni na formulář pro resetování hesla. Změna se týká většiny virtuálních organizací v e-infrastruktuře. Tímto formulářem změníte např. i heslo do MetaCentra. Pro přístup k formuláři pro změnu se přihlašte pomocí federace.

Pokud se registrujete do VO Storage a registrační proces se nezeptal na heslo, je pravděpodobné, že máte nebo jste měl účet v MetaCentru. Pokud si původní heslo již nepamatujete, změníte ho na odkazu výše.

Timeoutující spojení

Popis problému: Spojení k datovému úložišti mi stále timeoutuje, proč je tomu tak?

Řešení: Datová úložiště používají architekturu HSM (Hierarchical Storage Management). Zde může z důvodu nečinnosti dojít k odmigrování dat na nižší (pomalejší) vrstvu, což ve výsledku způsobí pomalejší manipulaci s těmito daty, jelikož je nutné před přístupem k nim data přesunout zpět na vyšší vrstvu. Tato zpoždění se v aplikaci mohou projevovat timeoutem.

Abyste úspěšně stáhli soubor(y), tak si u dané aplikace prosím změňte nastavení timeoutu podle návodu u jednotlivých aplikací. V závislosti na aplikaci, může také docházet k opětovné zobrazení výzvy pro zadání hesla. V tomto případě zvolte volbu pro zapamatování jména a hesla.

Sloučení více identit do jedné

Popis problému: Při vyplňování přihlášky do virtuální organizace jsem dostal hlášku, že v systému Perun již existuje uživatel se stejným jménem a jsem to já. Jak mám postupovat?

Řešení: Pokud disponujete minimálně dvěma identitami z různých institucí a chcete pro přístup do systému správy uživatelů (Perun) používat libovolnou z nich s tím, že z pohledu systému Perun se budou jevit, jako jedna a tatáž, nehledě na to, kterou identitu zrovna použijete, musíte provést jejich sloučení (konsolidaci).

Návod níže je popsán pro dvě smyšlené identity - 4352@cvut.cz a jura03@fel.cvut.cz. Pokud jích máte více, budete muset postup opakovat dle potřeby.

  1. Přihlaste se pomocí CVUT identity
  2. Vyberte možnost sloučení s identitou v eduID.cz (případně jinou dle potřeby)
  3. Z nabízených institucí vyberte FEL ČVUT a přihlaste se

Pokud proběhlo vše v pořádku, můžete nyní pro přístup do systému Perun použít 4352@cvut.cz nebo jura03@fel.cvut.cz. Z pohledu systému se budou jevit jako jedna a tatáž identita. V případě výskytu komplikací, se prosím obraťe na technickou podporu: support(zavináč)cesnet.cz

Odhlášení z webových federovaných služeb

Popis problému: Chci se bezpečně odhlásit od všech federovaných služeb. Jak toho docílím?

Řešení: Pokud se přihlašujete za pomoci účtu v eduID.cz k webovým službám (ownCloud, FileSender …) a po skončení práce se od služby chcete bezpečně odhlásit, musíte ještě ukončit webový prohlížeč.

Odhlášení z aplikace totiž neznamená odhlášení z kontextu federace eduID.cz. Je možné, že po určitou dobu bude možné přihlásit se do aplikace bez nutnosti autentizace (zadávání uživatelského jména a hesla). Proto, pokud k vašemu počítači mají přístup i jiní lidé, doporučujeme pro jistotu ukončit prohlížeč. Tímto dosáhnete jistého odhlášení ze vsěch aplikací, které jste navštívili v rámci federace eduID.cz.

Přehled protokolů a služeb

Popis problému: Ztrácíte se v množství protokolů a služeb? Nevíte který je pro vaše použití výhodnější?

Řešení: Přehled protokolů a služeb s jejich doporučeními

Nevíte na kterou adresu se připojit?

Popis problému: Nevím, jakou mám použít adresu pro přístup k úložišti pro mnou zvolenou službu.

Řešení:

Služby jsou provozovány pod IPv4 a IPv6.
ownCloud
Adresa služby je: https://owncloud.cesnet.cz
FileSender
Adresa služby je: https://filesender.cesnet.cz
Globus
DU4 Ostrava ducesnet#du4
DU5 Jihlava ducesnet#du5
Služba Globus na na DU5 není zatím na IPv6 provozována.
FTP/FTPS
DU4 Ostrava ftp.du4.cesnet.cz
DU5 Jihlava ftp.du5.cesnet.cz
rsync, SCP/SFTP, SSH
DU4 Ostrava ssh.du4.cesnet.cz
DU5 Jihlava ssh.du5.cesnet.cz
NFS
DU4 Ostrava nfs.du4.cesnet.cz
DU5 Jihlava nfs.du5.cesnet.cz
Samba
DU4 Ostrava samba.du4.cesnet.cz
DU5 Jihlava samba.du5.cesnet.cz
S3

Neznámé adresáře v adresářové struktuře na úložišti

Popis problému: Po přihlášení na úložiště a vylistování adresáře vidím soubory a adresáře, které jsem nevytvářel. Kde se vzaly?

Řešení: Ve vašem domovském adresáři na vzdáleném úložišti jsou podadresáře představující migračni politiky. Je velmi důležitě se seznámit s touto adresářovou strukturou před nahráváním dat.

Jak se zachází s daty na úložišti?

Popis problému: Zajímalo by mne, co se stane s mými daty po nahrání na úložiště.

Řešení: Pokud vás zajímá podrobnější popis zacházení s daty v rámci datového úložiště, navštivte prosím tuto stránku.

Množství uložených dat

Popis problému: Jak zjistím informace o kvótě a množství uložených dat?

Řešení: Pro zjištění množství uložených dat můžete využít službu Accounting-Návod.

ownCloud

Doporučujeme nepoužívat prohlížeč Internet Explorer 11, nefunguje v něm správně JavaScript nutný pro chod webového rozhraní.

Prohlížeč Internet Explorer 6 používá SSLv3, u něhož byla nalezena zranitelnost. Z důvodů zachováni bezpečnosti, naše servery vyžadují TLSv1.0 a vyšší. Je tedy nutné použít prohlížeč, který nepoužívá SSL, ale TLS.

CSRF check failed při přihlášení přes webové rozhraní

Popis problému: Chybové hlášení CSRF dostanete vždy, pokud mezi přístupem na přihlašovací stránku a následým přihlášením uplyne delší doba, při které dojde k vypršení platnosti tokenu. Jedná se o bezpečnostní prvek proti útokům.

Řešení: Zavřít aktivní okno a znovu jít na přihlašovací stránku. V případě opakování by mělo pomoci spuštění nové instatnce internetového prohlížeče. Problém nastane pokud jdete na ownCloud předchozím linkem s plným zněním, tz. včetně vyplnění uživatele a taktéž si nesete starý token. Vcházejte na ownCloud pouze přes https://owncloud.cesnet.cz/

Opakující se žádost o autorizaci desktopového klienta

Popis problému: Po každém restartu mého systému se po přihlášení otevře okno webového prohlížeče, kde se musím příhlásit a autorizovat desktopového klienta ownCloud.

Řešení: Tento problém je spojený s ukládáním tokenu desktopového klienta do vašeho systému. Pokud klient naběhne dříve než subsystémy odpovědné za uložení přístupového klientského tokenu, požádá ownCloud klient o pětovnou autorizaci.

V případě systému Linux je nezbytné využívat službu Keyring příslušného prostředí (např. GNOME Keyring, MATE Keyring, apod.), i tak však můžete narazit na to, že se klient spustí dříve než příslušný Keyring. V případě systému Windows se jedná o podobnou chybu. Tento problém bude vyřešen v nové verzi desktopového klienta.

Nevidím moje data po přihlášení přes webové rozhraní

Popis problému: Přihlásil jsem se do webového rozhraní ownCloud pomocí mé univerzitní identity a nevidím má data.

Řešení: Pravděpodobný problém spočívá v tom, že jste se do služby ownCloud přihlásil jinou identitou než při prvním přihlášení. V případě, že máte identity u více organizací, pak se pro každou z nich vytvoří nový účet v ownCloudu. V tomto případě je nezbytné Vaše identity sloučit, čímž docílíte toho, že po přihlášení buď jednou, nebo druhou uvidíte stále stejná data. Pro sloučení identit pro službu ownCloud nás prosím kontaktujte na: support(zavináč)cesnet.cz

Po nahrání souboru přes webové rozhraní jej nikde nevidím

Popis problému: Po přihlášení do webového rozhraní ownCloud jsem nahrál soubor: Po skončení uploadu jej nemohu nikde nalézt.

Řešení: Aktuálně lze nahrávat jeden soubor přes webové rozhraní maximálně po dobu 4 hodin. Jestliže nahráváte soubor přes desktopového klienta, pak toto omezení neplatí, tudíž prosím pro nahrání objemnějších souborů použijte desktopového klienta viz sekce Desktopový klient.

Problém s připojením desktopového klienta

Popis problému: Klient se nepřipojí na ownCloud server, přestože používám správné heslo.

Řešení: OwnCloud verze 10 a mechanismy pro registraci klientů nasazené v červnu 2018 vyžadují klienta verze 2.4.0 nebo vyššího. Klient obvykle přímo nabízí aktualizaci, jakmile je zveřejněna nová verze.
Pro aktualizaci doporučujeme použít rozcestník, kde jsou k dispozici oficiální klienti pro platformy Windows, OS X a Linux. V připadě Linuxu je navíc velmi dobré dodat do systému repozitář, díky němuž budete mít dostupné nové verze klasickým způsobem (apt-get update, yum update …).

Problém se sdílením souborů

Popis problému: Pokouším se sdílet soubor mému kolegovi (zadávám jeho emailovou adresu), ale nemohu nalézt příslušného uživatele.

Řešení: Našeptávání uživatelů, je z důvodu ochrany osobních údajů vypnuto. Pro sdílení konkrétnímu uživateli musí být daný uživatel registrován ve službě https://owncloud.cesnet.cz/. Následně můžete pro časté sdílení se svými kolegy využít kontaktů v ownCloudu dle návodu návodu. Další možností je sdílení pokud znáte celé uživatelské jméno vašeho kolegy, o které ho musíte požádat (uživatelského jméno nemusí být nutně shodné s používanou emailovou adresou). Uživatelské jméno v ownCloudu naleznete na stránce „Osobní“ (Přihlašte se do webového rozhraní → Vpravo klikněte na Vaše jméno → Osobní).

Synchronizace spustitelného souboru

Popis problému: Synchronizoval jsem spustitelný soubor z jednoho počítače na druhý. Na druhém počítači ale soubor spustitelný není.

Řešení: ownCloud server aktuálně nepodporuje přenos práv souborů. Přenosem souboru z jednoho klienta na druhého se informace o právech souboru ztratí. Více info: https://github.com/owncloud/core/issues/6983.

Problém v synchronizaci některých složek

Popis problému: Klient odmítá synchronizovat některé složky. Vrací chybovou hlášku: „Jsou dostupné nové adresáře, které nebyly synchronizovány z důvodu jejich nadměrné velikosti: ownCloud/… (seznam adresářů).“

Řešení: Řešením je rozbalit ikonou seznam složek a zaškrtnout všechny nadlimitní složky. Poté stisknout tlačítko „použít“ v dolní části u chybového hlášení.

Problém se synchronizací souboru s dlouhým názvem

Popis problému: Klient nemůže nahrát soubor s dlouhým názvem. Synchronizace končí na Connection closed nebo Bad Request.

Řešení: Maximální doporučovaná délka názvu souboru je 210 znaků.

I přesto, že lokálně lze vytvořit i delší název (typicky až 255), server během nahrávání větších souborů dočasně připojí k názvu ještě řetězec, který celý název prodlouží. Maximální délka tohoto řetězce závisí na velikosti souboru.

Problém s přihlášením pomocí protokolu webDAV

Popis problému: Při zadání hesla a uživatelského jména vygenerovaného ve webovém rozhraní se mi ve Windows opakovaně zobrazuje dialogové okno pro zadání přihlašovacích údajů.

Řešení: Zkontrolujte, zda i přes opakovanou výzvu pro zadání přihlašovacích údajů nedošlo k připojení svazku. Pokud se svazek nepřipojil, bude nezbytné provést změnu nastavení v registrech Windows. Postupovat můžete podle následujícícho návodu.

Návod pro editaci registru Windows

Návod pro editaci registru Windows

1. Click Start, type regedit, and then press Enter.
2. Locate and then select the following registry subkey:
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\WebClient\Parameters
3. On the Edit menu, point to New, and then click Multi-String Value.
4. Type AuthForwardServerList, and then press Enter.
5. On the Edit menu, click Modify.
6. In the Value data box, type the URL of the server that hosts the web share (https://owncloud.cesnet.cz/remote.php/webdav/), and then click OK.
7. Exit Registry Editor.


Objektové úložiště S3

Multipart nahrávání

Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.

Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.


FTP

Zachování původního času modifikace souborů

Popis problému: Po nahrání dat na úložiště není zachován původní čas modifikace souborů, lze s tím něco dělat?

Řešení: FTP protokol bohužel nastavování času souborů ve své platné specifikaci neumožňuje. RFC 3659 definuje příkaz MDTM, který umožňuje dle specifikace získávat čas a ne ho měnit, dokonce to zakazuje. Některé FTP servery i klienti však měnit čas pomocí tohoto příkazu umožňují. Námi používaný FTP server příkaz MDTM pro zápis podporuje. Bohužel klienti Filezilla, Total Commander ani WinSCP tento způsob nastavování času nepodporují, lze však využít řádkový klient lftp, se zapnutou volbou ftp:use-mdtm-overloaded.

NFS

Připojení více svazků s krb5 identitami

Popis problému: Mohu připojit více svazků s různými krb5 identitami?

Řešení: Od verze Kerberos 1.10 je v možné používat složku pro uchování lístků vašich identit namísto samotného souboru a mít tak více aktivních identit současně, mezi kterými lze přepínat. Standardně se vytváří samostatný soubor v /tmp/ (např. /tmp/krb5cc_0_dX1u6IH8jO). Pomocí jednoduché úpravy je možné změnit cestu do vybrané složky.

Pro tento režim použití je nezbytné, aby gssd běžel s volbou „-n“.
Zde uváděné úpravy nejsou permanentní a po restartu stroje bude potřeba stejným způsobem cache inicializovat znovu.

Nejprve si připravíme složku, do které chceme ukládat lístky identit. Zvolíme umístění této složky do /run/, protože při restartu bude tato složka vyčištěna.

# mkdir -p /run/user/0/krb5cc
# chmod og-rwx /run/user/0/krb5cc

Nastavíme do proměnné KRB5CCNAME cestu k dané složce.

# export KRB5CCNAME=DIR:/run/user/0/krb5cc

Nyní máme složku pro ukládání lístku připravenou a můžeme inicializovat identity.

# kinit user@DOMAIN1
# kinit user@EINFRA

Pro výpis všech dostupných lístků identit můžeme použít příkazů klist -A nebo klist -l.

# klist -A
Ticket cache: DIR::/run/user/0/krb5cc/tkta0Hysv
Default principal: user@DOMAIN1

Valid starting     Expires            Service principal
9.6.2015 13:54:44  9.6.2015 23:54:38  krbtgt/DOMAIN1@DOMAIN1
	renew until 24/06/2015 13:54 

Ticket cache: DIR::/run/user/0/krb5cc/tkt5PDllX
Default principal: user@EINFRA

Valid starting     Expires            Service principal
9.6.2015 13:54:22  9.6.2015 23:54:16  krbtgt/EINFRA@EINFRA
	renew until 16/06/2015 13:54 


# klist -l
Principal name                 Cache name
--------------                 ----------
user@DOMAIN1                   DIR::/run/user/0/krb5cc/tkta0Hysv
user@EINFRA                    DIR::/run/user/0/krb5cc/tkt5PDllX

Použitím samotného příkazu klist vidíme, která identita je aktivní.

# klist
Ticket cache: DIR::/run/user/0/krb5cc/tkta0Hysv
Default principal: user@DOMAIN1

Valid starting     Expires            Service principal
9.6.2015 13:54:44  9.6.2015 23:54:38  krbtgt/DOMAIN1@DOMAIN1
	renew until 24/06/2015 13:54

Pro přepínání identit slouží příkaz kswitch.

# kswitch -p user@EINFRA

# klist
Ticket cache: DIR::/run/user/0/krb5cc/tkt5PDllX
Default principal: user@EINFRA

Valid starting     Expires            Service principal
9.6.2015 13:54:22  9.6.2015 23:54:16  krbtgt/EINFRA@EINFRA
	renew until 16/06/2015 13:54

Pokud tedy chceme připojit dva NFSv4 svazky s různými identitami, pak stačí spustit příkaz mount s aktivní první identitou, přepnout identity pomocí kswitch a následně připojit druhý svazek s aktivní druhou identitou.

# mount -o sec=krb5i,proto=tcp,port=2049,intr storage-jihlava1-cerit.metacentrum.cz:/ /mnt/storage-cerit
# kswitch -p user@EINFRA
# mount -o rw,nfsvers=4,hard,intr,sec=krb5i nfs.du4.cesnet.cz:~/ /mnt/storage-du4
DU4 Ostrava nfs.du4.cesnet.cz
DU5 Jihlava nfs.du5.cesnet.cz

Problém s připojením NFS k novému úložišti

Popis problému: Zkouším se připojit k novému úložišti pomocí NFS, avšak stále se mi to nedaří.

Řešení: Pro případ připojení k úložišti v Ostravě by měl být v krb5.conf záznam pro [domain_realm] pro úložiště v Ostravě, obdobně pro další úložiště.

.du4.cesnet.cz = EINFRA-SERVICES

Problém s připojením k NFS pomocí Kerberos lístku

Popis problému: Zkouším se připojit k úložišti pomocí NFS, avšak dostávám chybové hlášení.

mount.nfs: Network is unreachable

Řešení: Problém je způsoben neběžící službou rpc-gssd, pokud se podíváte na status služby:

systemctl status rpc-gssd

Dostanete následující výpis:

Condition: start condition failed at Thu 2018-05-06 06:12:22 CET; 20s ago
           └─ ConditionPathExists=/etc/krb5.keytab was not met

Řešením může být tedy například to, že vytvoříte prázdný soubor v /etc pomocí následujícího příkazu:

touch /etc/krb5.keytab

Následně stačí službu rpc-gssd restartovat a znovu provést mount.

FileSender

Z důvodů zachování bezpečnosti naše servery vyžadují TLSv1.2, který podporují všechny populární prohlížeče ve svých posledních verzích.

Odeslání více emailu více příjemcům

Popis problému: Jak poslat zprávy ve FileSenderu o uložení souboru více příjemcům?

Řešení: Oddělte emailové adresy příjemců čárkou.

Odeslání více souborů

Popis problému: Jak poslat více souborů?

Řešení: Na výběr máte dvě možnosti, jak dosáhnout zaslání více souborů najednou. Jednou z možností je vytvořit archív pomocí WinZip, tar apod.
Druhá možnost je soubory do FileSenderu vložit přímo - Filesender poté nabídne stažení souborů samostatně, zabalené v archivu typu zip nebo typu tar. Pokud narazíte na chybu, či nestandardní chování, tak nám prosím napište na support(zavináč)cesnet.cz

Požadavky FileSenderu na Váš prohlížeč

Popis problému: Jaké jsou požadavky FileSenderu na Váš prohlížeč?

Řešení: Váš prohlížeč musí podporovat technologii HTML5, tedy všechny populární prohlížeče ve svých posledních verzích.

Doba expirace pro uložená data

Popis problému: Jaká je maximální možná nastavitelná doba uložení dat ve FileSenderu?

Řešení: Současná verze FileSenderu dovoluje uložení dat po dobu 1 měsíce.

API a nahrávání souborů z příkazové řádky

Popis problému: Lze nahrávát soubory jiným způsobem než přes webové rozhraní, tedy např. přímo z měřících či výpočetních strojů?

Řešení: Ano, pokud má systém možnosti využití příkazové řádky a pythonu verze 3, je možné využít nabízeného skriptu přímo v rozhraní FileSenderu. Tento skript naleznete po přihlášení do FileSenderu pod svým uživatelským účtem (ověření přes eduID) v části „Můj profil“ a odstavci „Python CLI Client“, kde jsou ke stažení 2 soubory - samotný pythonový-skript a konfigurace obsahující rovnou i API-klíč, který nahrajeme do cesty svého domácího adresáře ~/.filesender/filesender.py.ini . Skript lze použít i bez konfiguračního souboru, avšak minimálně API-klič a „Identifikace uživatele“ (formát xyz@einfra.cesnet.cz) je poté nutné použít jako parametry na příkazové řádce.

Ukázka nahrání se staženým a správně umístěným konfiguračním souborem:

python3 filesender.py -r email@prijemce.koncovka nahravany.soubor1 nahravany.soubor2

Ukázka nahrání za použití API-klíče:

python3 filesender.py -a 1234567890123456789012345678901234567890123456789012345678901234567890 -u abcdefghijklmnopqrstuvwxyz0123456789@einfra.cesnet.cz -r email@prijemce.koncovka nahravany.soubor1 nahravany.soubor2

Globus

Podporuje Globus Online IPv6?

  • Ano, podporuje. Nicméně je podpora IPv6 zatím pouze experimentální. Z toho důvodu jsme ji zatím na naších serverech nepovolili.

Zacházení s daty typu archiv a zálohy

V souvislosti s provozními pravidly platnými od 1.1.2018 došlo ke změně v systému zacházení s daty, který by měl pomoci předejít kritickému zaplnění úložišť. Jedná se zejména o klasifikaci dat na permanentní archivy a zálohy.

Nový systém zacházení s daty se aplikuje na úložiště zprovozněná od roku 2018. Netýká se tedy úložišť du2 a du3, tam jsou všechna data považována za archiv.

Co je archiv a co záloha?

Popis problému: Co se rozumí pod pojmy archiv a záloha? Jak se s nimi na úložišti zachází?

Řešení: Data typu archivu jsou data trvalé hodnoty. Jejich uložení na úložišti je omezeno objemem přidělené kvóty na objem dat a počet souborů.

Prostory pro zálohy oproti tomu slouží pro dočasná data, která není třeba uchovávat příliš dlouho. Jejich uložení na úložišti je omezeno časem: po uplynutí jednoho roku je správce úložiště oprávněn data typu zálohy smazat. Předtím samozřejmě vlastníkovi dat pošle mailové upozornění. To by mělo vyhovovat většině uživatelů, kteří na úložiště zálohují, při rozumné strategii nedává smysl uchovávat zbytečně staré zálohy.

Správce úložiště typicky přiděluje prostor pro zálohy. Pro data trvalé hodnoty vyžaduje zdůvodnění účelu a využití takového prostoru. Používání prostoru pro trvalá data pro zálohování se považuje za vážné porušování provozních pravidel úložišť.

Detailní specifikace dat typu archiv a zálohy je uvedena v odstavci č. 3 provozních pravidel.

Jak poznám, že jsou moje zdroje určeny pro archiv nebo zálohu?

Popis problému: Jak poznám, jestli je moje úložiště (zdroje) určeno pro archiv nebo zálohy?

Řešení: Ve struktuře složek na úložišti je toto rozlišení jasně poznat, podívejte se na popis adresářové struktury.

Co když mám prostor pro archivy a potřebuji zálohovat, nebo naopak?

Popis problému: Mám prostor pro zálohy a potřebuji archiv (nebo naopak).

Řešení: Obraťte se na správce vaší virtuální organizace, aby přidání příslušného prostoru dohodnul se správcem úložiště.

Migrace na nové úložiště

Chci si přesunout moje data, ale nedaří se mi přihlásit se na úložiště

Popis problému: Dostal jsem výzvu, abych si přesunul moje data, ale nemohu se přihlásit na úložiště.

Řešení: Toto může být způsobeno tím, že je Vaše členství v předmětné virtuální organizaci expirované, nebo uplynula vyhrazená doba pro přenos vašich souborů.

V případě podezření na expirované členství, zkontrolujte prosím došlé emaily a ujistěte se, že jste si vaše členství prodloužili. Pokud jste tak neučinili stačí vyplnit prodlužovací přihlášku (odkaz naleznete v obržených emailech s informacemi o prodloužení členství) a vaše členství i přístup na úložiště by tak měl být obnoven do 60min od schválení vaší přihlášky správcem virtuální organizace.

Pokud jste nestihl(a) vaše data přestěhovat během 14 dní od první notifikace, tak je následně váš přístup na úložiště omezen z důvodu stěhování dalších uživatelů. Pokud jste přesun vašich dat nestihl(a) kontaktujte správce úložiště, který vám umožní opětovný přístup.

Chci si přesunout moje data, ale narážím na problém s přístupovými právy

Popis problému: Pokouším se přesunout moje data pomocí protokolu Globus/rsync, ale dostávám na mých datech problém s nedostatečnými právy viz například Globus protokol:

Error (transfer)
      Endpoint: ducesnet#globusonline (d8eb370a-6d04-11e5-ba46-22000b92c6ec)
      Server: globus.du4.cesnet.cz:2811
      File: /~/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0
      Command: RETR ~/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0
      Message: Fatal FTP response
      ---
      Details: 500-Command failed. : globus_l_gfs_file_open  failed.\r\n500-globus_xio: Unable to open file  
      /exports/home/username/VO_storage-cache_tape/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0\r\n500- 
      globus_xio:  System error in open: Permission denied\r\n500-globus_xio: A system  call failed: Permission denied\r\n500 End.\r\n
K tomuto problému typicky dochází, pokud přenášíte šifrovaná data, případně data vytvořená zálohovacím nástrojem.

Řešení: Problém lze jednoduše odstranit tím, že provedete kontrolu přístupových práv přímo na úložišti. Pokud používáte operační systém z rodiny Windows, můžete pro připojení k úložišti a následnou kontrolu použít tento návod.

Připojte se na úložiště pomocí protokolu ssh.

ssh username@ssh.du4.cesnet.cz

Přejděte do adresáře, který chcete zkontrolovat. Zde je na první pohled patrné, které soubory způsobují problémy. Jedná se o test1 a testfile1

username@store:~>cd VO_storage-cache_tape
username@store:~/VO_storage-cache_tape>ls -alh
total 84K
drwx-----T    4 username storage  82 May  3 09:57 .
drwxr-x--- 1378 root     storage 56K May  3 13:30 ..
d---------    2 username storage  10 May  3 09:56 test1
drwxr-xr-x    2 username storage  10 May  3 09:56 test2
----------    1 username storage   0 May  3 09:56 testfile1
-rw-r--r--    1 username storage   0 May  3 09:56 testfile2

Pokud chcete v dané adresářové struktuře vyhledat problematické soubory a adresáře, můžete použít tento příkaz:

# find -L . -perm +u-rwx,g-rwx,o-rwx

Případně můžete soubory a adresáře vyhledat a rovnou u nich opravit nedostatečná práva.

# find -L . -perm +u-rwx,g-rwx,o-rwx -exec chmod u+rX '{}' \;

LTP

Služba LTP zahájila v březnu 2019 svůj pilotní provoz, proto zde zatím nenajdete žádné často kladené dotazy. Momentálně sbíráme data z provozu. Až proběhne jejich vyhodnocení, bude tato sekce doplněna.

Objektové úložiště S3


Multipart nahrávání

Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.

Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.



Objektové úložiště RBD


Ceph RBD (RADOS Block Device) poskytuje uživatelům síťové blokové zařízení, které se v systému, kde je připojeno, tváří jako lokální disk. Blokové zařízení je plně pod správou uživatele, který si zde může vytvořit file-systém a používat ho dle svých potřeb.

Výhody RBD

  • možnost zvětšení obrazu blokového zařízení
  • import/export obrazu blokového zařízení
  • stripping a replikace napříč clusterem
  • možnost vytváření read-only snapshotů; obnovení snapshotů (pokud chcete mít sami možnost operovat se snapshoty je třeba nám tento požadavek sdělit)
  • možnost připojení pomocí Linux nebo QEMU KVM klienta
Příprava pro připojení RBD
Pro připojení RBD je doporučené, abyste na vašem systému měli novější verzi jádra. V nižších verzích jádra jsou zastaralé příslušné moduly pro připojení RBD a nejsou podporovány všechny rozšířující funkce. Vývojáři doporučují dokonce verzi jádra alespoň 5.0 a vyšší. Nicméně například i novejší verze CentOS 7 backportovali plno funkcionalit do jejich standardního jádra, takže by aktualizovaný CentOS 7 měl dostačovat.
Pro správnou funkčnost je vysoce žádoucí používat stejnou verzi Ceph nástrojů, jako je aktuální verze provozovaná na našich clusterech, aktuálně se jedná o verzi 17 s krycím názvem Quincy. Níže tedy provedeme nastavení příslušných repozitářů. Pokud používáte velmi novou verzi operačního systému, může se stát, že aktuální balíky již nejsou dostupné. Použijte proto nejnovější verzi Ceph klientských balíků.

Následující návod se vztahuje k distribuci CENTOS/RHEL. Návod pro UBUNTU/DEBIAN naleznete na konci této sekce.

Nejdříve nainstalujeme release.asc klíč pro Ceph repozitáře.

sudo rpm --import 'https://download.ceph.com/keys/release.asc'

V adresáři /etc/yum.repos.d/ vytvoříme textový soubor ceph.repo a do něho vyplníme záznam pro Ceph nástroje. Pro CentOS 8 upravíme v řádek baseurl z „/rpm-pacific/el7/“ na „/rpm-pacific/el8/“.

Některé balíčky z Ceph repozitáře vyžadují pro správnou funkčnost rovněž knihovny třetích stran, proto ještě přidáme repozitář EPEL.

CentOS 7

sudo yum install -y epel-release

CentOS 8

sudo dnf install -y epel-release

RedHat 7

sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

Nakonec si nainstalujeme základní nástroje pro Ceph, které rovněž obsahují podporu RBD.

sudo yum install ceph-common

Instalace ceph nástrojů v Debian/Ubuntu

Instalace ceph nástrojů v Debian/Ubuntu

Nejdříve je nezbytné přidat příslušné repozítáře do balíčkovače, do /etc/apt/sources.list přidáme následující řádky.

deb https://eu.ceph.com/debian-pacific/ bionic main
deb http://cz.archive.ubuntu.com/ubuntu/ bionic main  (potreba pro jeden balik potrebny pri instalaci)

Nainstalujeme potřebné balíky z buster repozitáře.

 sudo apt install -t buster x11-common libevent-core-2.1-6 libevent-pthreads-2.1-6 python-scgi

Přidáme Ubuntu PGP klíče.

apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E84AC2C0460F3994
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3B4FE6ACC0B21F32

Nainstalujeme balíček ceph.

sudo apt install ceph-common


Konfigurace RBD a jeho namapování

Pro konfiguraci a připojení RBD využijeme údaje, které jste obdrželi od správce systému. Jedná se o následující:

  • název poolu: rbd_vo_poolname
  • název image: vo_name_username
  • keyring: [client.rbd_user] key = key_hash==

V adresáři /etc/ceph/ vytvoříme textový soubor ceph.conf s následujícím obsahem.

V případě jihlavského úložistě s kódovým označením CL1:

[global]
fsid = 19f6785a-70e1-45e8-a23a-5cff0c39aa54
mon_host = [v2:78.128.244.33:3300,v1:78.128.244.33:6789],[v2:78.128.244.37:3300,v1:78.128.244.37:6789],[v2:78.128.244.41:3300,v1:78.128.244.41:6789]
auth_client_required = cephx

V případě plzeňského úložistě s kódovým označením CL2:

[global]
fsid = 3ea58563-c8b9-4e63-84b0-a504a5c71f76
mon_host = [v2:78.128.244.65:3300/0,v1:78.128.244.65:6789/0],[v2:78.128.244.69:3300/0,v1:78.128.244.69:6789/0],[v2:78.128.244.71:3300/0,v1:78.128.244.71:6789/0]
auth_client_required = cephx

V případě ostravkého úložistě s kódovým označením CL3:

[global]
fsid = b16aa2d2-fbe7-4f35-bc2f-3de29100e958
mon_host = [v2:78.128.244.240:3300/0,v1:78.128.244.240:6789/0],[v2:78.128.244.241:3300/0,v1:78.128.244.241:6789/0],[v2:78.128.244.242:3300/0,v1:78.128.244.242:6789/0]
auth_client_required = cephx

V případě brněnského úložistě s kódovým označením CL4:

[global]
fsid = c4ad8c6f-7ef3-4b0e-873c-b16b00b5aac4
mon_host = [v2:78.128.245.29:3300/0,v1:78.128.245.29:6789/0] [v2:78.128.245.30:3300/0,v1:78.128.245.30:6789/0] [v2:78.128.245.31:3300/0,v1:78.128.245.31:6789/0]
auth_client_required = cephx

V případě dolnich brezan úložistě s kódovým označením CL5:

[global]
fsid = c581dace-40ff-4519-878b-c0ffeec0ffee
mon_host = [v2:78.128.245.157:3300/0,v1:78.128.245.157:6789/0] [v2:78.128.245.158:3300/0,v1:78.128.245.158:6789/0] [v2:78.128.245.159:3300/0,v1:78.128.245.159:6789/0]
auth_client_required = cephx

Dále v adresáři /etc/ceph/ vytvoříme textový soubor ceph.keyring, do kterého uložíme zaslaný keyring, viz příklad níže.

[client.rbd_user]
	key = sdsaetdfrterp+sfsdM3iKY5teisfsdXoZ5==

Silně doporučujeme připojovat (mapovat) RBD image s volbou –exclusive. Tato volba zabrání vícenásobnému připojení image (lokálně nebo na více strojích), a tím řeší případy, že by došlo k zápisu do image přes jeden server a o chvílí později k zápisu do toho samého image přes jiný server, což by vyustílo k nenávratnému poškození dat! Pokud tedy hrozí ve vašem prostředí i minimální riziko, že dojde k připojení jednoho image na více mist naráz, doporučujeme volbu –exclusive použít.

Scénář kde by bylo naopak nežádoucí použít –exclusive může být RBD image připojený cíleně na více mist, kde ale zámkování řeší clustrový file-systém.

Nyní můžeme provést namapování RBD (rbd_user je string pocházející z keyringu, po oříznutí stringu client..

sudo rbd --id rbd_user --exclusive device map nazev_poolu/nazev_image
Pokud změníte umístění souborů ceph.conf a username.keyring z výchozího adresáře /etc/ceph/, budete muset při mapování zadat příslušné cesty.
sudo rbd -c /home/username/ceph/ceph.conf -k /home/username/ceph/username.keyring --id rbd_user device map nazev_poolu/nazev_image

Následně prověříme připojení ve zprávách od kernelu.

dmesg

Nyní můžeme zkontrolovat stav RBD.

sudo rbd device list | grep "nazev_image"
Šifrování a vytvoření souborového systému

Dalším krokem je zašifrování namapovaného image. Pro šifrování využijeme program cryptsetup-luks

sudo yum install cryptsetup-luks

Následně provedeme zašifrování příslušného zařízení.

sudo cryptsetup -s 512 luksFormat --type luks2 /dev/rbdX

Pokud chcete využít automatického připojení a dešifrování RBD po startu, pak doporučujeme přidat ješte šifrovací soubor (tzv. keyfile). Pokud nepotřebujete automatického připojení a dešifrování RBD po startu, nebo sekundární způsob pro dešifrování můžete tento krok přeskočit.

Keyfile může být libovolný soubor obsahující posloupnost znaků či byte použitou pro šifrování. Může tedy obsahovat heslo, nebo to může být třeba i nějaký binární soubor typu obrázek. Důležité je tento soubor neztratit, jelikož bez něj nebo bez znalosti hesla (pokud jste tedy na vytvoření šifrované části použili heslo a pak ještě přidali keyfile jako sekundardní metodu) nebudete schopni již nikdy obsah dešifrovat!

Pro jednoduchost si zde obsah souboru vygenerujeme přes dd.

dd if=/dev/random of=/etc/ceph/luks.keyfile bs=512 count=4

Pozor na to, abyste na dané cestě již neměli jiný keyfile pro jiný disk, protože byste si ho tímto příkazem přepsali.

sudo cryptsetup luksAddKey /dev/rbdX /etc/ceph/luks.keyfile

Na konec zkontrolujeme nastavení.

sudo cryptsetup luksDump /dev/rbdX

Abychom mohli provádět s daným zařízením další akce, musíme jej nejdříve dešifrovat.

sudo cryptsetup luksOpen /dev/rbdX luks_rbdX

Doporučujeme u nových RBD imagů nepoužívat discard pri vytváření file-systému, protože u větších imagů by trvalo zbytečné příliš dlouho.
Vypnutí discard pro XFS a EXT4:
mkfs.xfs -K /dev/rbdX
mkfs.ext4 -E nodiscard /dev/rbdX

Dále doporučujeme u větších image nebo těch, kde časem bude třeba je zvětšit na více než 200TB použít rovnou XFS místo EXT4, jelikož EXT4 má relativně velké omezení co do počtu inodů.

Nyní na daném zařízení vytvoříme souborový systém, zde příklad xfs.

sudo mkfs.xfs -K /dev/mapper/luks_rbdX
V případě použití XFS nepoužívejte volbu nobarrier při připojování, mohla by zapříčinit ztrátu dat!

Jakmile máme připravený souborový systém, můžeme zařízení připojit do předem vytvořené složky v /mnt/.

sudo mount /dev/mapper/luks_rbdX /mnt/rbd
Ukončení práce s RBD

Odpojení svazku.

sudo umount /mnt/rbd/

Uzamknutí svazku.

sudo cryptsetup luksClose /dev/mapper/luks_rbdX

Odmapování svazku.

sudo rbd --id rbd_user device unmap /dev/rbdX
Pro zajištění většího výkonu je vhodné zvětšit read_ahead cache. Zde záleží na možnostech vašeho stroje resp. velikosti paměti. Ideální je alespoň 8GB. Pokud máte nedostatek paměti zvažte alespoň třeba hodnotu 512MB. Vámi zvolenou hodnotu je nutno přepočítat na kB a vložit do souboru /sys/block/rbd0/queue/read_ahead_kb.

Pro 8GB:
echo 8388608 > /sys/block/rbd0/queue/read_ahead_kb

Pro 512MB:
echo 524288 > /sys/block/rbd0/queue/read_ahead_kb

Pro aplikaci je nutné image odpojit a znovu připojit.


Postup výše v podobě úpravy hodnoty v /sys není pernamentní a po restartu zařízení bude opět použita výchozí (nízka) hodnota. Pro zachování nastavení je třeba použít následující udev pravidlo.

# Setting specific kernel parameters for a subset of block devices (Ceph RBD)
KERNEL=="rbd[0-9]*", ENV{DEVTYPE}=="disk", ACTION=="add|change", ATTR{bdi/read_ahead_kb}="524288"

Obsah uložte do souboru /etc/udev/rules.d/50-read-ahead-kb.rules

Trvalé mapování RBD

Nastavení pro automatické připojení RBD včetně rozšifrování LUKS a mount filesystémů. + řádné odpojení (v obráceném pořadí) při řízeném vypnutí stroje.

Níže je uvedené nastavení příslušných konfiguračních souborů pro automatické mapovaní a mountování RBD.

dev-mapper-rbd_luks.device … pomocná, automaticky vytvořená podle fstab (resp. dev-mapper-rbd_luks_ec.device) mnt-rbd_luks.mount … automaticky vytvořená podle fstab (resp. mnt-rbd_luks_ec.mount)

Doplníme následující řádky do konfiguračních souborů:

Doplníme následující řádky do konfiguračních souborů:

Nástroj rbdmap
POZOR služba rbdmap.service musí být enablována pomocí systemctl enable rbdmap.service.
/etc/ceph/rbdmap

# RbdDevice             Parameters
#poolname/imagename     id=client,keyring=/etc/ceph/ceph.client.keyring
nazev_poolu/nazev_image id=rbd_user,keyring=/etc/ceph/ceph.keyring,exclusive

LUKS - šifrování
POZOR cryptab vytvoří pomocnou servisu: systemd-cryptsetup@rbd_luks.service
/etc/crypttab

# <target name> <source device>         <key file>      <options>
rbd_luks /dev/rbd/rbd_pool/rbd_name  /etc/ceph/luks.keyfile luks,_netdev

/etc/ceph/luks.keyfile je LUKS klíč.

cesta k blokovému zařízení („<source device>“) je obecně /dev/rbd/$POOL/$IMAGE

fstab
POZOR fstab opět vytvoří pomocnou servisu: dev-mapper-rbd_luks.device.
POZOR fstab následně vytvoří servisu pro mountování: mnt-rbd_luks.mount, kterou následně využijeme pro ruční připojení a odpojení.
/etc/fstab

# <file system> <mount point>   <type>  <options>       <dump>  <pass>
/dev/mapper/rbd_luks_pool /mnt/rbd_luks_pool xfs defaults,noatime,auto,_netdev 0 0
cesta k LUKS kontejneru („<file system>“) je obecně /dev/mapper/$LUKS_NAME,
kde $LUKS_NAME je definováno v /etc/crypttab (jako „<taget name>“)

systemd
Toto změnu doporučujeme provést pomocí příkazu systemctl edit systemd-cryptsetup a následně uložit jako soubor s názvem 10-deps.conf.
/etc/systemd/system/systemd-cryptsetup@rbd_luks.service.d/10-deps.conf

[Unit]
After=rbdmap.service
Requires=rbdmap.service
Before=mnt-rbd_luks.mount
Na Debianu 10 byla v jednom případě z nějakého důvodu používána systemd jednotka
ceph-rbdmap.service místo rbdmap.service
(bylo nutno upravit na řádcích After= a Requires=)


ruční připojení/odpojení
připojení
systemctl start mnt-rbd_luks.mount

- jsou-li závislosti systemd jednotek správně, provede RBD map, odemkne LUKS a připojí všechny automatické fs závislé na rbdmap, kterou uvedená .mount jednotka potřebuje (⇒ v popisované konfiguraci připojí oba obrazy).

odpojení
systemctl stop rbdmap.service

(resp. systemctl stop ceph-rbdmap.service)
- tento příkaz by měl při správně nastavených závislostech provést umount, LUKS close i RBD unmap.

resize image s luksem

při změně velikosti šifrovaného image, je nutné dodržet pořadí a hlavní je řádek s cryptsetup –verbose resize nazev_image

rbd resize rbd_nazev_poolu/nazev_image --size 200T
cryptsetup --verbose resize nazev_image
mount /storage/rbd/nazev_image
xfs_growfs /dev/mapper/nazev_image

Často kladené dotazy

Timeoutující spojení

Popis problému: Nejde namapovat RBD a spojení vytimeoutuje.

Řešení:

Nejpravděpodobněji Váš firewall zařezává navazování komunikace do internetu. Je nezbytné na něm povolit rozsah dle daného clusteru na portech 3300 a rozsah portů 6789-7300.

1. na firewallu nastavit „related/established“

2. nastavit na firewallu rozsah clusteru clX a povolit porty u nich port 3300/tcp a rozsah portu 6789 - 7300/tcp.

cl1 - 78.128.244.32/27
cl2 - 78.128.244.64/26
cl3 - 78.128.244.128/25
cl4 - 78.128.245.0/25

3. aktivovat JUMBO frame - samozřejmě ty musí být aktivní na vašich síťových prvcích a pak i na samotném serveru. Na naší straně a pateřní síti CESNET jsou zapnuté.

/



Poslední úprava:: 31.03.2023 21:06