Toto je starší verze dokumentu!
Můžete se obrátit na technickou podporu CESNETu:
support(zavináč)cesnet.cz
Popis problému: Zapomněl jsem heslo, které jsem si nastavil pro přístup ke službě datových úložišť (Přihláška do VO).
Řešení:
Nové heslo pro přístup na úložiště CESNET lze nastavit na stránce v Perunovi. Zde se musíte nejprve přihlásit přihlašovacími údaji své instituce a následně budete přesměrováni na formulář pro resetování hesla. Změna se týká většiny virtuálních organizací v e-infrastruktuře. Tímto formulářem změníte např. i heslo do MetaCentra. Pro přístup k formuláři pro změnu se přihlašte pomocí federace.
Pokud se registrujete do VO Storage a registrační proces se nezeptal na heslo, je pravděpodobné, že máte nebo jste měl účet v MetaCentru. Pokud si původní heslo již nepamatujete, změníte ho na odkazu výše.
Popis problému: Spojení k datovému úložišti mi stále timeoutuje, proč je tomu tak?
Řešení: Datová úložiště používají architekturu HSM (Hierarchical Storage Management). Zde může z důvodu nečinnosti dojít k odmigrování dat na nižší (pomalejší) vrstvu, což ve výsledku způsobí pomalejší manipulaci s těmito daty, jelikož je nutné před přístupem k nim data přesunout zpět na vyšší vrstvu. Tato zpoždění se v aplikaci mohou projevovat timeoutem.
Abyste úspěšně stáhli soubor(y), tak si u dané aplikace prosím změňte nastavení timeoutu podle návodu u jednotlivých aplikací. V závislosti na aplikaci, může také docházet k opětovné zobrazení výzvy pro zadání hesla. V tomto případě zvolte volbu pro zapamatování jména a hesla.
Popis problému: Při vyplňování přihlášky do virtuální organizace jsem dostal hlášku, že v systému Perun již existuje uživatel se stejným jménem a jsem to já. Jak mám postupovat?
Řešení: Pokud disponujete minimálně dvěma identitami z různých institucí a chcete pro přístup do systému správy uživatelů (Perun) používat libovolnou z nich s tím, že z pohledu systému Perun se budou jevit, jako jedna a tatáž, nehledě na to, kterou identitu zrovna použijete, musíte provést jejich sloučení (konsolidaci).
Návod níže je popsán pro dvě smyšlené identity - 4352@cvut.cz a jura03@fel.cvut.cz. Pokud jích máte více, budete muset postup opakovat dle potřeby.
Pokud proběhlo vše v pořádku, můžete nyní pro přístup do systému Perun použít 4352@cvut.cz nebo jura03@fel.cvut.cz. Z pohledu systému se budou jevit jako jedna a tatáž identita. V případě výskytu komplikací, se prosím obraťe na technickou podporu: support(zavináč)cesnet.cz
Popis problému: Chci se bezpečně odhlásit od všech federovaných služeb. Jak toho docílím?
Řešení: Pokud se přihlašujete za pomoci účtu v eduID.cz k webovým službám (ownCloud, FileSender …) a po skončení práce se od služby chcete bezpečně odhlásit, musíte ještě ukončit webový prohlížeč.
Odhlášení z aplikace totiž neznamená odhlášení z kontextu federace eduID.cz. Je možné, že po určitou dobu bude možné přihlásit se do aplikace bez nutnosti autentizace (zadávání uživatelského jména a hesla). Proto, pokud k vašemu počítači mají přístup i jiní lidé, doporučujeme pro jistotu ukončit prohlížeč. Tímto dosáhnete jistého odhlášení ze vsěch aplikací, které jste navštívili v rámci federace eduID.cz.
Popis problému: Ztrácíte se v množství protokolů a služeb? Nevíte který je pro vaše použití výhodnější?
Popis problému: Nevím, jakou mám použít adresu pro přístup k úložišti pro mnou zvolenou službu.
Řešení:
Popis problému: Po přihlášení na úložiště a vylistování adresáře vidím soubory a adresáře, které jsem nevytvářel. Kde se vzaly?
Řešení: Ve vašem domovském adresáři na vzdáleném úložišti jsou podadresáře představující migračni politiky. Je velmi důležitě se seznámit s touto adresářovou strukturou před nahráváním dat.
Popis problému: Zajímalo by mne, co se stane s mými daty po nahrání na úložiště.
Řešení: Pokud vás zajímá podrobnější popis zacházení s daty v rámci datového úložiště, navštivte prosím tuto stránku.
Popis problému: Jak zjistím informace o kvótě a množství uložených dat?
Řešení: Pro zjištění množství uložených dat můžete využít službu Accounting-Návod.
Doporučujeme nepoužívat prohlížeč Internet Explorer 11, nefunguje v něm správně JavaScript nutný pro chod webového rozhraní.
Prohlížeč Internet Explorer 6 používá SSLv3, u něhož byla nalezena zranitelnost. Z důvodů zachováni bezpečnosti, naše servery vyžadují TLSv1.0 a vyšší. Je tedy nutné použít prohlížeč, který nepoužívá SSL, ale TLS.
Popis problému: Chybové hlášení CSRF dostanete vždy, pokud mezi přístupem na přihlašovací stránku a následým přihlášením uplyne delší doba, při které dojde k vypršení platnosti tokenu. Jedná se o bezpečnostní prvek proti útokům.
Řešení: Zavřít aktivní okno a znovu jít na přihlašovací stránku. V případě opakování by mělo pomoci spuštění nové instatnce internetového prohlížeče. Problém nastane pokud jdete na ownCloud předchozím linkem s plným zněním, tz. včetně vyplnění uživatele a taktéž si nesete starý token. Vcházejte na ownCloud pouze přes https://owncloud.cesnet.cz/
Popis problému: Po každém restartu mého systému se po přihlášení otevře okno webového prohlížeče, kde se musím příhlásit a autorizovat desktopového klienta ownCloud.
Řešení: Tento problém je spojený s ukládáním tokenu desktopového klienta do vašeho systému. Pokud klient naběhne dříve než subsystémy odpovědné za uložení přístupového klientského tokenu, požádá ownCloud klient o pětovnou autorizaci.
V případě systému Linux je nezbytné využívat službu Keyring příslušného prostředí (např. GNOME Keyring, MATE Keyring, apod.), i tak však můžete narazit na to, že se klient spustí dříve než příslušný Keyring. V případě systému Windows se jedná o podobnou chybu. Tento problém bude vyřešen v nové verzi desktopového klienta.
Popis problému: Přihlásil jsem se do webového rozhraní ownCloud pomocí mé univerzitní identity a nevidím má data.
Řešení: Pravděpodobný problém spočívá v tom, že jste se do služby ownCloud přihlásil jinou identitou než při prvním přihlášení. V případě, že máte identity u více organizací, pak se pro každou z nich vytvoří nový účet v ownCloudu. V tomto případě je nezbytné Vaše identity sloučit, čímž docílíte toho, že po přihlášení buď jednou, nebo druhou uvidíte stále stejná data. Pro sloučení identit pro službu ownCloud nás prosím kontaktujte na: support(zavináč)cesnet.cz
Popis problému: Po přihlášení do webového rozhraní ownCloud jsem nahrál soubor: Po skončení uploadu jej nemohu nikde nalézt.
Řešení: Aktuálně lze nahrávat jeden soubor přes webové rozhraní maximálně po dobu 4 hodin. Jestliže nahráváte soubor přes desktopového klienta, pak toto omezení neplatí, tudíž prosím pro nahrání objemnějších souborů použijte desktopového klienta viz sekce Desktopový klient.
Popis problému: Klient se nepřipojí na ownCloud server, přestože používám správné heslo.
Řešení:
OwnCloud verze 10 a mechanismy pro registraci klientů nasazené v červnu 2018 vyžadují klienta verze 2.4.0 nebo vyššího.
Klient obvykle přímo nabízí aktualizaci, jakmile je zveřejněna nová verze.
Pro aktualizaci doporučujeme použít rozcestník, kde jsou k dispozici oficiální klienti pro platformy Windows, OS X a Linux. V připadě Linuxu je navíc velmi dobré dodat do systému repozitář, díky němuž budete mít dostupné nové verze klasickým způsobem (apt-get update, yum update …).
Popis problému:
Pokouším se sdílet soubor mému kolegovi (zadávám jeho emailovou adresu), ale nemohu nalézt příslušného uživatele.
Řešení:
Našeptávání uživatelů, je z důvodu ochrany osobních údajů vypnuto. Pro sdílení konkrétnímu uživateli musí být daný uživatel registrován ve službě https://owncloud.cesnet.cz/. Následně můžete pro časté sdílení se svými kolegy využít kontaktů v ownCloudu dle návodu návodu. Další možností je sdílení pokud znáte celé uživatelské jméno vašeho kolegy, o které ho musíte požádat (uživatelského jméno nemusí být nutně shodné s používanou emailovou adresou). Uživatelské jméno v ownCloudu naleznete na stránce „Osobní“ (Přihlašte se do webového rozhraní → Vpravo klikněte na Vaše jméno → Osobní).
Popis problému:
Synchronizoval jsem spustitelný soubor z jednoho počítače na druhý. Na druhém počítači ale soubor spustitelný není.
Řešení:
ownCloud server aktuálně nepodporuje přenos práv souborů. Přenosem souboru z jednoho klienta na druhého se informace o právech souboru ztratí. Více info: https://github.com/owncloud/core/issues/6983.
Popis problému:
Klient odmítá synchronizovat některé složky. Vrací chybovou hlášku: „Jsou dostupné nové adresáře, které nebyly synchronizovány z důvodu jejich nadměrné velikosti: ownCloud/… (seznam adresářů).“
Řešení: Řešením je rozbalit ikonou seznam složek a zaškrtnout všechny nadlimitní složky. Poté stisknout tlačítko „použít“ v dolní části u chybového hlášení.
Popis problému: Klient nemůže nahrát soubor s dlouhým názvem. Synchronizace končí na Connection closed nebo Bad Request.
Řešení: Maximální doporučovaná délka názvu souboru je 210 znaků.
Popis problému: Při zadání hesla a uživatelského jména vygenerovaného ve webovém rozhraní se mi ve Windows opakovaně zobrazuje dialogové okno pro zadání přihlašovacích údajů.
Řešení: Zkontrolujte, zda i přes opakovanou výzvu pro zadání přihlašovacích údajů nedošlo k připojení svazku. Pokud se svazek nepřipojil, bude nezbytné provést změnu nastavení v registrech Windows. Postupovat můžete podle následujícícho návodu.
Návod pro editaci registru Windows
Návod pro editaci registru Windows
1. Click Start, type regedit, and then press Enter.
2. Locate and then select the following registry subkey:
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\WebClient\Parameters
3. On the Edit menu, point to New, and then click Multi-String Value.
4. Type AuthForwardServerList, and then press Enter.
5. On the Edit menu, click Modify.
6. In the Value data box, type the URL of the server that hosts the web share (https://owncloud.cesnet.cz/remote.php/webdav/), and then click OK.
7. Exit Registry Editor.
Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.
Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.
Popis problému: Po nahrání dat na úložiště není zachován původní čas modifikace souborů, lze s tím něco dělat?
Řešení: FTP protokol bohužel nastavování času souborů ve své platné specifikaci neumožňuje. RFC 3659 definuje příkaz MDTM, který umožňuje dle specifikace získávat čas a ne ho měnit, dokonce to zakazuje. Některé FTP servery i klienti však měnit čas pomocí tohoto příkazu umožňují. Námi používaný FTP server příkaz MDTM pro zápis podporuje. Bohužel klienti Filezilla, Total Commander ani WinSCP tento způsob nastavování času nepodporují, lze však využít řádkový klient lftp, se zapnutou volbou ftp:use-mdtm-overloaded.
Popis problému: Mohu připojit více svazků s různými krb5 identitami?
Řešení: Od verze Kerberos 1.10 je v možné používat složku pro uchování lístků vašich identit namísto samotného souboru a mít tak více aktivních identit současně, mezi kterými lze přepínat. Standardně se vytváří samostatný soubor v /tmp/ (např. /tmp/krb5cc_0_dX1u6IH8jO). Pomocí jednoduché úpravy je možné změnit cestu do vybrané složky.
Nejprve si připravíme složku, do které chceme ukládat lístky identit. Zvolíme umístění této složky do /run/, protože při restartu bude tato složka vyčištěna.
# mkdir -p /run/user/0/krb5cc # chmod og-rwx /run/user/0/krb5cc
Nastavíme do proměnné KRB5CCNAME cestu k dané složce.
# export KRB5CCNAME=DIR:/run/user/0/krb5cc
Nyní máme složku pro ukládání lístku připravenou a můžeme inicializovat identity.
# kinit user@DOMAIN1 # kinit user@EINFRA
Pro výpis všech dostupných lístků identit můžeme použít příkazů klist -A nebo klist -l.
# klist -A Ticket cache: DIR::/run/user/0/krb5cc/tkta0Hysv Default principal: user@DOMAIN1 Valid starting Expires Service principal 9.6.2015 13:54:44 9.6.2015 23:54:38 krbtgt/DOMAIN1@DOMAIN1 renew until 24/06/2015 13:54 Ticket cache: DIR::/run/user/0/krb5cc/tkt5PDllX Default principal: user@EINFRA Valid starting Expires Service principal 9.6.2015 13:54:22 9.6.2015 23:54:16 krbtgt/EINFRA@EINFRA renew until 16/06/2015 13:54 # klist -l Principal name Cache name -------------- ---------- user@DOMAIN1 DIR::/run/user/0/krb5cc/tkta0Hysv user@EINFRA DIR::/run/user/0/krb5cc/tkt5PDllX
Použitím samotného příkazu klist vidíme, která identita je aktivní.
# klist Ticket cache: DIR::/run/user/0/krb5cc/tkta0Hysv Default principal: user@DOMAIN1 Valid starting Expires Service principal 9.6.2015 13:54:44 9.6.2015 23:54:38 krbtgt/DOMAIN1@DOMAIN1 renew until 24/06/2015 13:54
Pro přepínání identit slouží příkaz kswitch.
# kswitch -p user@EINFRA # klist Ticket cache: DIR::/run/user/0/krb5cc/tkt5PDllX Default principal: user@EINFRA Valid starting Expires Service principal 9.6.2015 13:54:22 9.6.2015 23:54:16 krbtgt/EINFRA@EINFRA renew until 16/06/2015 13:54
Pokud tedy chceme připojit dva NFSv4 svazky s různými identitami, pak stačí spustit příkaz mount s aktivní první identitou, přepnout identity pomocí kswitch a následně připojit druhý svazek s aktivní druhou identitou.
# mount -o sec=krb5i,proto=tcp,port=2049,intr storage-jihlava1-cerit.metacentrum.cz:/ /mnt/storage-cerit # kswitch -p user@EINFRA # mount -o rw,nfsvers=4,hard,intr,sec=krb5i nfs.du4.cesnet.cz:~/ /mnt/storage-du4
Popis problému: Zkouším se připojit k novému úložišti pomocí NFS, avšak stále se mi to nedaří.
Řešení: Pro případ připojení k úložišti v Ostravě by měl být v krb5.conf záznam pro [domain_realm] pro úložiště v Ostravě, obdobně pro další úložiště.
.du4.cesnet.cz = EINFRA-SERVICES
Popis problému: Zkouším se připojit k úložišti pomocí NFS, avšak dostávám chybové hlášení.
mount.nfs: Network is unreachable
Řešení: Problém je způsoben neběžící službou rpc-gssd, pokud se podíváte na status služby:
systemctl status rpc-gssd
Dostanete následující výpis:
Condition: start condition failed at Thu 2018-05-06 06:12:22 CET; 20s ago └─ ConditionPathExists=/etc/krb5.keytab was not met
Řešením může být tedy například to, že vytvoříte prázdný soubor v /etc pomocí následujícího příkazu:
touch /etc/krb5.keytab
Následně stačí službu rpc-gssd restartovat a znovu provést mount.
Z důvodů zachování bezpečnosti naše servery vyžadují TLSv1.2, který podporují všechny populární prohlížeče ve svých posledních verzích.
Popis problému: Jak poslat zprávy ve FileSenderu o uložení souboru více příjemcům?
Řešení: Oddělte emailové adresy příjemců čárkou.
Popis problému: Jak poslat více souborů?
Řešení:
Na výběr máte dvě možnosti, jak dosáhnout zaslání více souborů najednou. Jednou z možností je vytvořit archív pomocí WinZip, tar apod.
Druhá možnost je soubory do FileSenderu vložit přímo - Filesender poté nabídne stažení souborů samostatně, zabalené v archivu typu zip nebo typu tar. Pokud narazíte na chybu, či nestandardní chování, tak nám prosím napište na support(zavináč)cesnet.cz
Popis problému: Jaké jsou požadavky FileSenderu na Váš prohlížeč?
Řešení: Váš prohlížeč musí podporovat technologii HTML5, tedy všechny populární prohlížeče ve svých posledních verzích.
Popis problému: Jaká je maximální možná nastavitelná doba uložení dat ve FileSenderu?
Řešení: Současná verze FileSenderu dovoluje uložení dat po dobu 1 měsíce.
Popis problému: Lze nahrávát soubory jiným způsobem než přes webové rozhraní, tedy např. přímo z měřících či výpočetních strojů?
Řešení: Ano, pokud má systém možnosti využití příkazové řádky a pythonu verze 3, je možné využít nabízeného skriptu přímo v rozhraní FileSenderu. Tento skript naleznete po přihlášení do FileSenderu pod svým uživatelským účtem (ověření přes eduID) v části „Můj profil“ a odstavci „Python CLI Client“, kde jsou ke stažení 2 soubory - samotný pythonový-skript a konfigurace obsahující rovnou i API-klíč, který nahrajeme do cesty svého domácího adresáře ~/.filesender/filesender.py.ini . Skript lze použít i bez konfiguračního souboru, avšak minimálně API-klič a „Identifikace uživatele“ (formát xyz@einfra.cesnet.cz) je poté nutné použít jako parametry na příkazové řádce.
Ukázka nahrání se staženým a správně umístěným konfiguračním souborem:
python3 filesender.py -r email@prijemce.koncovka nahravany.soubor1 nahravany.soubor2
Ukázka nahrání za použití API-klíče:
python3 filesender.py -a 1234567890123456789012345678901234567890123456789012345678901234567890 -u abcdefghijklmnopqrstuvwxyz0123456789@einfra.cesnet.cz -r email@prijemce.koncovka nahravany.soubor1 nahravany.soubor2
Podporuje Globus Online IPv6?
V souvislosti s provozními pravidly platnými od 1.1.2018 došlo ke změně v systému zacházení s daty, který by měl pomoci předejít kritickému zaplnění úložišť. Jedná se zejména o klasifikaci dat na permanentní archivy a zálohy.
Nový systém zacházení s daty se aplikuje na úložiště zprovozněná od roku 2018. Netýká se tedy úložišť du2 a du3, tam jsou všechna data považována za archiv.
Popis problému: Co se rozumí pod pojmy archiv a záloha? Jak se s nimi na úložišti zachází?
Řešení: Data typu archivu jsou data trvalé hodnoty. Jejich uložení na úložišti je omezeno objemem přidělené kvóty na objem dat a počet souborů.
Prostory pro zálohy oproti tomu slouží pro dočasná data, která není třeba uchovávat příliš dlouho. Jejich uložení na úložišti je omezeno časem: po uplynutí jednoho roku je správce úložiště oprávněn data typu zálohy smazat. Předtím samozřejmě vlastníkovi dat pošle mailové upozornění. To by mělo vyhovovat většině uživatelů, kteří na úložiště zálohují, při rozumné strategii nedává smysl uchovávat zbytečně staré zálohy.
Správce úložiště typicky přiděluje prostor pro zálohy. Pro data trvalé hodnoty vyžaduje zdůvodnění účelu a využití takového prostoru. Používání prostoru pro trvalá data pro zálohování se považuje za vážné porušování provozních pravidel úložišť.
Detailní specifikace dat typu archiv a zálohy je uvedena v odstavci č. 3 provozních pravidel.
Popis problému: Jak poznám, jestli je moje úložiště (zdroje) určeno pro archiv nebo zálohy?
Řešení: Ve struktuře složek na úložišti je toto rozlišení jasně poznat, podívejte se na popis adresářové struktury.
Popis problému: Mám prostor pro zálohy a potřebuji archiv (nebo naopak).
Řešení: Obraťte se na správce vaší virtuální organizace, aby přidání příslušného prostoru dohodnul se správcem úložiště.
Popis problému: Dostal jsem výzvu, abych si přesunul moje data, ale nemohu se přihlásit na úložiště.
Řešení: Toto může být způsobeno tím, že je Vaše členství v předmětné virtuální organizaci expirované, nebo uplynula vyhrazená doba pro přenos vašich souborů.
V případě podezření na expirované členství, zkontrolujte prosím došlé emaily a ujistěte se, že jste si vaše členství prodloužili. Pokud jste tak neučinili stačí vyplnit prodlužovací přihlášku (odkaz naleznete v obržených emailech s informacemi o prodloužení členství) a vaše členství i přístup na úložiště by tak měl být obnoven do 60min od schválení vaší přihlášky správcem virtuální organizace.
Pokud jste nestihl(a) vaše data přestěhovat během 14 dní od první notifikace, tak je následně váš přístup na úložiště omezen z důvodu stěhování dalších uživatelů. Pokud jste přesun vašich dat nestihl(a) kontaktujte správce úložiště, který vám umožní opětovný přístup.
Popis problému: Pokouším se přesunout moje data pomocí protokolu Globus/rsync, ale dostávám na mých datech problém s nedostatečnými právy viz například Globus protokol:
Error (transfer) Endpoint: ducesnet#globusonline (d8eb370a-6d04-11e5-ba46-22000b92c6ec) Server: globus.du4.cesnet.cz:2811 File: /~/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0 Command: RETR ~/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0 Message: Fatal FTP response --- Details: 500-Command failed. : globus_l_gfs_file_open failed.\r\n500-globus_xio: Unable to open file /exports/home/username/VO_storage-cache_tape/VO_storage-cache_tape/backups/tests/fLLgaxLv2R1/4Hcy5vd98A0\r\n500- globus_xio: System error in open: Permission denied\r\n500-globus_xio: A system call failed: Permission denied\r\n500 End.\r\n
Řešení: Problém lze jednoduše odstranit tím, že provedete kontrolu přístupových práv přímo na úložišti. Pokud používáte operační systém z rodiny Windows, můžete pro připojení k úložišti a následnou kontrolu použít tento návod.
Připojte se na úložiště pomocí protokolu ssh.
ssh username@ssh.du4.cesnet.cz
Přejděte do adresáře, který chcete zkontrolovat. Zde je na první pohled patrné, které soubory způsobují problémy. Jedná se o test1 a testfile1
username@store:~>cd VO_storage-cache_tape username@store:~/VO_storage-cache_tape>ls -alh total 84K drwx-----T 4 username storage 82 May 3 09:57 . drwxr-x--- 1378 root storage 56K May 3 13:30 .. d--------- 2 username storage 10 May 3 09:56 test1 drwxr-xr-x 2 username storage 10 May 3 09:56 test2 ---------- 1 username storage 0 May 3 09:56 testfile1 -rw-r--r-- 1 username storage 0 May 3 09:56 testfile2
Pokud chcete v dané adresářové struktuře vyhledat problematické soubory a adresáře, můžete použít tento příkaz:
# find -L . -perm +u-rwx,g-rwx,o-rwx
Případně můžete soubory a adresáře vyhledat a rovnou u nich opravit nedostatečná práva.
# find -L . -perm +u-rwx,g-rwx,o-rwx -exec chmod u+rX '{}' \;
Služba LTP zahájila v březnu 2019 svůj pilotní provoz, proto zde zatím nenajdete žádné často kladené dotazy. Momentálně sbíráme data z provozu. Až proběhne jejich vyhodnocení, bude tato sekce doplněna.
Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.
Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.
Ceph RBD (RADOS Block Device) poskytuje uživatelům síťové blokové zařízení, které se v systému, kde je připojeno, tváří jako lokální disk. Blokové zařízení je plně pod správou uživatele, který si zde může vytvořit file-systém a používat ho dle svých potřeb.
Následující návod se vztahuje k distribuci CENTOS/RHEL. Návod pro UBUNTU/DEBIAN naleznete na konci této sekce.
Nejdříve nainstalujeme release.asc klíč pro Ceph repozitáře.
sudo rpm --import 'https://download.ceph.com/keys/release.asc'
V adresáři /etc/yum.repos.d/ vytvoříme textový soubor ceph.repo a do něho vyplníme záznam pro Ceph nástroje. Pro CentOS 8 upravíme v řádek baseurl z „/rpm-pacific/el7/“ na „/rpm-pacific/el8/“.
Některé balíčky z Ceph repozitáře vyžadují pro správnou funkčnost rovněž knihovny třetích stran, proto ještě přidáme repozitář EPEL.
CentOS 7
sudo yum install -y epel-release
CentOS 8
sudo dnf install -y epel-release
RedHat 7
sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
Nakonec si nainstalujeme základní nástroje pro Ceph, které rovněž obsahují podporu RBD.
sudo yum install ceph-common
Instalace ceph nástrojů v Debian/Ubuntu
Instalace ceph nástrojů v Debian/Ubuntu
Nejdříve je nezbytné přidat příslušné repozítáře do balíčkovače, do /etc/apt/sources.list přidáme následující řádky.
deb https://eu.ceph.com/debian-pacific/ bionic main deb http://cz.archive.ubuntu.com/ubuntu/ bionic main (potreba pro jeden balik potrebny pri instalaci)
Nainstalujeme potřebné balíky z buster repozitáře.
sudo apt install -t buster x11-common libevent-core-2.1-6 libevent-pthreads-2.1-6 python-scgi
Přidáme Ubuntu PGP klíče.
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E84AC2C0460F3994 apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3B4FE6ACC0B21F32
Nainstalujeme balíček ceph.
sudo apt install ceph-common
Pro konfiguraci a připojení RBD využijeme údaje, které jste obdrželi od správce systému. Jedná se o následující:
V adresáři /etc/ceph/ vytvoříme textový soubor ceph.conf s následujícím obsahem.
V případě jihlavského úložistě s kódovým označením CL1:
[global] fsid = 19f6785a-70e1-45e8-a23a-5cff0c39aa54 mon_host = [v2:78.128.244.33:3300,v1:78.128.244.33:6789],[v2:78.128.244.37:3300,v1:78.128.244.37:6789],[v2:78.128.244.41:3300,v1:78.128.244.41:6789] auth_client_required = cephx
V případě plzeňského úložistě s kódovým označením CL2:
[global] fsid = 3ea58563-c8b9-4e63-84b0-a504a5c71f76 mon_host = [v2:78.128.244.65:3300/0,v1:78.128.244.65:6789/0],[v2:78.128.244.69:3300/0,v1:78.128.244.69:6789/0],[v2:78.128.244.71:3300/0,v1:78.128.244.71:6789/0] auth_client_required = cephx
V případě ostravkého úložistě s kódovým označením CL3:
[global] fsid = b16aa2d2-fbe7-4f35-bc2f-3de29100e958 mon_host = [v2:78.128.244.240:3300/0,v1:78.128.244.240:6789/0],[v2:78.128.244.241:3300/0,v1:78.128.244.241:6789/0],[v2:78.128.244.242:3300/0,v1:78.128.244.242:6789/0] auth_client_required = cephx
V případě brněnského úložistě s kódovým označením CL4:
[global] fsid = c4ad8c6f-7ef3-4b0e-873c-b16b00b5aac4 mon_host = [v2:78.128.245.29:3300/0,v1:78.128.245.29:6789/0] [v2:78.128.245.30:3300/0,v1:78.128.245.30:6789/0] [v2:78.128.245.31:3300/0,v1:78.128.245.31:6789/0] auth_client_required = cephx
V případě dolnich brezan úložistě s kódovým označením CL5:
[global] fsid = c581dace-40ff-4519-878b-c0ffeec0ffee mon_host = [v2:78.128.245.157:3300/0,v1:78.128.245.157:6789/0] [v2:78.128.245.158:3300/0,v1:78.128.245.158:6789/0] [v2:78.128.245.159:3300/0,v1:78.128.245.159:6789/0] auth_client_required = cephx
Dále v adresáři /etc/ceph/ vytvoříme textový soubor ceph.keyring, do kterého uložíme zaslaný keyring, viz příklad níže.
[client.rbd_user] key = sdsaetdfrterp+sfsdM3iKY5teisfsdXoZ5==
Silně doporučujeme připojovat (mapovat) RBD image s volbou –exclusive. Tato volba zabrání vícenásobnému připojení image (lokálně nebo na více strojích), a tím řeší případy, že by došlo k zápisu do image přes jeden server a o chvílí později k zápisu do toho samého image přes jiný server, což by vyustílo k nenávratnému poškození dat! Pokud tedy hrozí ve vašem prostředí i minimální riziko, že dojde k připojení jednoho image na více mist naráz, doporučujeme volbu –exclusive použít.
Scénář kde by bylo naopak nežádoucí použít –exclusive může být RBD image připojený cíleně na více mist, kde ale zámkování řeší clustrový file-systém.
Nyní můžeme provést namapování RBD (rbd_user je string pocházející z keyringu, po oříznutí stringu client..
sudo rbd --id rbd_user --exclusive device map nazev_poolu/nazev_image
sudo rbd -c /home/username/ceph/ceph.conf -k /home/username/ceph/username.keyring --id rbd_user device map nazev_poolu/nazev_image
Následně prověříme připojení ve zprávách od kernelu.
dmesg
Nyní můžeme zkontrolovat stav RBD.
sudo rbd device list | grep "nazev_image"
Dalším krokem je zašifrování namapovaného image. Pro šifrování využijeme program cryptsetup-luks
sudo yum install cryptsetup-luks
Následně provedeme zašifrování příslušného zařízení.
sudo cryptsetup -s 512 luksFormat --type luks2 /dev/rbdX
Pokud chcete využít automatického připojení a dešifrování RBD po startu, pak doporučujeme přidat ješte šifrovací soubor (tzv. keyfile). Pokud nepotřebujete automatického připojení a dešifrování RBD po startu, nebo sekundární způsob pro dešifrování můžete tento krok přeskočit.
Keyfile může být libovolný soubor obsahující posloupnost znaků či byte použitou pro šifrování. Může tedy obsahovat heslo, nebo to může být třeba i nějaký binární soubor typu obrázek. Důležité je tento soubor neztratit, jelikož bez něj nebo bez znalosti hesla (pokud jste tedy na vytvoření šifrované části použili heslo a pak ještě přidali keyfile jako sekundardní metodu) nebudete schopni již nikdy obsah dešifrovat!
Pro jednoduchost si zde obsah souboru vygenerujeme přes dd.
dd if=/dev/random of=/etc/ceph/luks.keyfile bs=512 count=4
Pozor na to, abyste na dané cestě již neměli jiný keyfile pro jiný disk, protože byste si ho tímto příkazem přepsali.
sudo cryptsetup luksAddKey /dev/rbdX /etc/ceph/luks.keyfile
Na konec zkontrolujeme nastavení.
sudo cryptsetup luksDump /dev/rbdX
Abychom mohli provádět s daným zařízením další akce, musíme jej nejdříve dešifrovat.
sudo cryptsetup luksOpen /dev/rbdX luks_rbdX
Doporučujeme u nových RBD imagů nepoužívat discard pri vytváření file-systému, protože u větších imagů by trvalo zbytečné příliš dlouho.
Vypnutí discard pro XFS a EXT4:
mkfs.xfs -K /dev/rbdX
mkfs.ext4 -E nodiscard /dev/rbdX
Dále doporučujeme u větších image nebo těch, kde časem bude třeba je zvětšit na více než 200TB použít rovnou XFS místo EXT4, jelikož EXT4 má relativně velké omezení co do počtu inodů.
Nyní na daném zařízení vytvoříme souborový systém, zde příklad xfs.
sudo mkfs.xfs -K /dev/mapper/luks_rbdX
Jakmile máme připravený souborový systém, můžeme zařízení připojit do předem vytvořené složky v /mnt/.
sudo mount /dev/mapper/luks_rbdX /mnt/rbd
Odpojení svazku.
sudo umount /mnt/rbd/
Uzamknutí svazku.
sudo cryptsetup luksClose /dev/mapper/luks_rbdX
Odmapování svazku.
sudo rbd --id rbd_user device unmap /dev/rbdX
Pro 512MB:
echo 524288 > /sys/block/rbd0/queue/read_ahead_kb
Pro aplikaci je nutné image odpojit a znovu připojit.
Postup výše v podobě úpravy hodnoty v /sys není pernamentní a po restartu zařízení bude opět použita výchozí (nízka) hodnota. Pro zachování nastavení je třeba použít následující udev pravidlo.
# Setting specific kernel parameters for a subset of block devices (Ceph RBD) KERNEL=="rbd[0-9]*", ENV{DEVTYPE}=="disk", ACTION=="add|change", ATTR{bdi/read_ahead_kb}="524288"
Obsah uložte do souboru /etc/udev/rules.d/50-read-ahead-kb.rules
Nastavení pro automatické připojení RBD včetně rozšifrování LUKS a mount filesystémů. + řádné odpojení (v obráceném pořadí) při řízeném vypnutí stroje.
Níže je uvedené nastavení příslušných konfiguračních souborů pro automatické mapovaní a mountování RBD.
dev-mapper-rbd_luks.device … pomocná, automaticky vytvořená podle fstab (resp. dev-mapper-rbd_luks_ec.device) mnt-rbd_luks.mount … automaticky vytvořená podle fstab (resp. mnt-rbd_luks_ec.mount)
Doplníme následující řádky do konfiguračních souborů:
Doplníme následující řádky do konfiguračních souborů:
Nástroj rbdmap
POZOR služba rbdmap.service
musí být enablována pomocí systemctl enable rbdmap.service
.
/etc/ceph/rbdmap
# RbdDevice Parameters #poolname/imagename id=client,keyring=/etc/ceph/ceph.client.keyring rbd_nazev_poolu/nazev_image id=rbd_user,keyring=/etc/ceph/ceph.keyring,exclusive
LUKS - šifrování
POZOR cryptab vytvoří pomocnou servisu: systemd-cryptsetup@rbd_luks.service
/etc/crypttab
# <target name> <source device> <key file> <options> rbd_luks /dev/rbd/rbd_nazev_poolu/nazev_image /etc/ceph/luks.keyfile luks,_netdev
/etc/ceph/luks.keyfile
je LUKS klíč.
/dev/rbd/$POOL/$IMAGE
fstab
POZOR fstab opět vytvoří pomocnou servisu: dev-mapper-rbd_luks.device
.
POZOR fstab následně vytvoří servisu pro mountování: mnt-rbd_luks.mount
, kterou následně využijeme pro ruční připojení a odpojení.
/etc/fstab
# <file system> <mount point> <type> <options> <dump> <pass> /dev/mapper/rbd_luks /mnt/rbd_luks xfs defaults,noatime,auto,_netdev 0 0
/dev/mapper/$LUKS_NAME
, $LUKS_NAME
je definováno v /etc/crypttab
(jako „<taget name>“)
systemd
Toto změnu doporučujeme provést pomocí příkazu systemctl edit systemd-cryptsetup
a následně uložit jako soubor s názvem 10-deps.conf
.
/etc/systemd/system/systemd-cryptsetup@rbd_luks.service.d/10-deps.conf
[Unit] After=rbdmap.service Requires=rbdmap.service Before=mnt-rbd_luks.mount
ceph-rbdmap.service
místo rbdmap.service
After=
a Requires=
)
systemctl start mnt-rbd_luks.mount
- jsou-li závislosti systemd jednotek správně, provede RBD map, odemkne LUKS a připojí všechny automatické fs závislé na rbdmap, kterou uvedená .mount jednotka potřebuje (⇒ v popisované konfiguraci připojí oba obrazy).
systemctl stop rbdmap.service
(resp. systemctl stop ceph-rbdmap.service
)
- tento příkaz by měl při správně nastavených závislostech provést umount
, LUKS close
i RBD unmap.
Při změně velikosti šifrovaného image, je nutné dodržet pořadí a použít nástroj pro správný filesystem (zde XFS)
(pozor: nástroje pro jiné filesystémy mohou vyžadovat jako parametr blokové zařízení místo mount pointu a odpojený filesystem).
rbd -c ceph_conf -k ceph_keyring --id ceph_user resize rbd_nazev_poolu/nazev_image --size 200T rbd -c ceph_conf -k ceph_keyring --id ceph_user device map rbd_nazev_poolu/nazev_image cryptsetup open --key-file soubor_s_luks_klicem /dev/rbd/rbd_nazev_poolu/nazev_image rbd_luks cryptsetup resize --key-file soubor_s_luks_klicem --verbose rbd_luks mount /dev/mapper/rbd_luks /mnt/mount_point xfs_growfs /mnt/mount_point
Popis problému: Nejde namapovat RBD a spojení vytimeoutuje.
Řešení:
Nejpravděpodobněji Váš firewall zařezává navazování komunikace do internetu. Je nezbytné na něm povolit rozsah dle daného clusteru na portech 3300 a rozsah portů 6789-7300.
1. na firewallu nastavit „related/established“
2. nastavit na firewallu rozsah clusteru clX a povolit porty u nich port 3300/tcp a rozsah portu 6789 - 7300/tcp.
cl1 - 78.128.244.32/27 cl2 - 78.128.244.64/26 cl3 - 78.128.244.128/25 cl4 - 78.128.245.0/25
3. aktivujte jumbo frames (podporu velkých rámců). Ty musí být korektně nastaveny po celé cestě až do páteřní sítě CESNET, resp. je musíte mít nastavené na všech vašich aktivních síťových prvcích směrem do CESNET sítě, ale i na samotném serveru, kde zkoušíte RBD image připojit. Na serveru doporučujeme nastavit 9000 bytes, v případě aktivních prvků záleží na více faktorech, které konzultujte s vaším správcem sítě.
CESNET, z. s. p. o.
Generála Píky 26
160 00 Praha 6
Tel: +420 234 680 222
Fax: +420 224 320 269
info@cesnet.cz
Tel: +420 234 680 222
GSM: +420 602 252 531
Fax: +420 224 313 211
support@cesnet.cz