cs:navody:object_storage:cesnet_s3:start

Připojení a konfigurace CESNET S3

CESNET S3 používá konvenci doména.cz/tenant:bucket, kde tenant název VO „vo_name“ a doména s3.clX.du.cesnet.cz , což je rozdíl oproti standartnímu AWS S3 kde se používá formát bucket.doména.com. Pokud tenant neuvedete, mělo by dojít k automatickému rozponání podle přístupových klíčů (access_key a secret_key) a tudíž dostačuje formát s3.clX.du.cesnet.cz/bucket

Pokud vámi vybraný klient bere S3 endpoint jako čistý AWS, je nutné přepnout na obecný S3 endpoint, který je z velké části kompatibilní z pohledu protokolu. Většina nástrojů umí automaticky zpracovat oba formáty, u některých je však potřeba ho explicitně specifikovat.„

Návody se odkazují na access_key, secret_key a URL k S3 endpointu. Ppřístupové údaje si jednoduše vygenerujte pomocí aplikace Gatekeeper. URL adresa S3 endpointu je ve tvaru „https://s3.clX.du.cesnet.cz“ a je to název objektového S3 úložiště.
 cl1 - https://s3.cl1.du.cesnet.cz
 cl2 - https://s3.cl2.du.cesnet.cz
 cl3 - https://s3.cl3.du.cesnet.cz
 cl4 - https://s3.cl4.du.cesnet.cz
 cl5 - https://s3.cl5.du.cesnet.cz
Jméno bucketu musí být unikátní a mělo by obsahovat pouze malá písmena, čísla a pomlčky a tečky. Název bucketu musí začínat pouze písmenem nebo číslem a nesmí obsahovat tečky vedle pomlček nebo více teček. Dále doporučujeme nepoužívat „/“ v názvu, protože by to znemožnilo jeho použití přes API.

Osobní S3 účet

Osobní S3 účet je speciální služba poskytovaná v rámci S3. Jedná se o osobní prostor pro ukládání dat, která nepotřebujete dále sdílet. Pro získání osobního prostoru stačí postupovat podle tohoto návodu.

Linux klienti

AWS-CLI

AWS CLI - Amazon Web Services Command Line Interface - je standardní nástroj podporující práci přes s3 rozhraní. Za pomoci jediného nástroje můžete spravovat vaše data a konfiguraci S3. Vše můžete ovládat z příkazového řádku a automatizovat pomocí skriptů. Návod pro AWS CLI


S3cmd

S3cmd je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v S3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. Návod pro S3cmd


Rclone - synchronizace dat

Nástroj Rclone je vhodný pro synchronizaci dat, migrování souborů mezi více S3 endpointy, a to i různých poskytovatelů atd. Zachovává časová razítka a kontroluje kontrolní součty. Je napsán v programovacím jazyku Go a je dostupný pro GNU/Linux, Windows, macOS, BSD a Solaris. V tomto návodu budeme diskutovat použití primárně pro GNU/Linux systémy. Návod pro Rclone

s5cmd pro velmi rychlé přenosy

Pokud disponujete připojením rychlejším než 1-2Gbps a chcete přenos optimalizovat pro dosažení maximální rychlosti, použijte nástroj s5cmd. Nástroj je dostupný ve formě předkompilovaných binárek pro Windows, Linux a macOS. Dále je dostupný ve formě kódu nebo docker image. Výběr záleží na vašem systému a požadovaném použiti. Kompletní přehled najdete na githubu projektu. Návod pro s5cmd

VEEAM

VEEAM je software pro zálohování, replikaci, obnovení po havárii a další. Návod na připojení S3 úložiště přes VEEAM

Windows klienti

Na výběr je více možností, zde nabízíme na výběr několika otestovaných free klientů pro S3.

WinSCP

WinSCP WinSCP je oblíbený SFTP klient a FTP klient pro Microsoft Windows! Přenos souborů mezi místním počítačem a vzdálenými servery pomocí protokolů pro přenos souborů FTP, FTPS, SCP, SFTP, WebDAV nebo S3. Návod pro WinSCP

CloudBerry Explorer for Amazon S3

CloudBerry Explorer je intuitivní průzkumník souborů, který vám pomůže spravovat váš účet S3, jako by to byla ještě jedna složka na vašem místním disku. Program má rozhraní s dvojitým podoknem a funguje jako klient FTP, přičemž každé okno je věnováno jedné složce. Tato umístění nejsou pevná a lze je přepnout tak, aby vyhovovala vašemu aktuálnímu úkolu: místní počítač a vzdálený server S3, dvě místní složky nebo dokonce dva účty S3. Návod pro CloudBerry

S3 Browser

S3 Browser je freewarový výkonný a snadno použitelný klient Windows pro S3 úložiště. Návod pro S3 Browser

CyberDuck

CyberDuck je všestranný prohlížeč S3 s příjemným rozhraním. Není to ale jen průzkumník, ve skutečnosti je CyberDuck bezplatný server, který funguje také jako prohlížeč cloudového úložiště a podporuje protokoly jako FTP, SFTP, WebDAV, OpenStack, OneDrive, Google Drive, Dropbox, aj. Podporuje rychlé nahrávání a stahování souborů a umožňuje pracovat se soubory bez downloadu.Návod pro CyberDuck

Mountain Duck

Mountain Duck je rozšíření Cyberducku pro montování svazků do průzkumníku souborů, kdy pracujte s daty jako na lokálním disku. Mountain Duck vám umožňuje připojit cloudové úložiště jako disk ve Finderu (macOS) a Průzkumníku souborů (Windows).

Pokročilé funkcionality S3

Sdílení S3 objektu

S3 verzování objektů

Pomocí S3 verzování můžete ponechat více verzí objektu v jednom bucketu. Umožní vám to obnovit objekty, které byly náhodně odstraněny nebo přepsány. Návod pro verzování S3 objektů

Sdílení bucketů v rámci tenantu

Často kladené otázky pro S3

Multipart nahrávání

Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.

Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.

Poslední úprava:: 27.03.2024 19:42