CESNET S3 používá konvenci doména.cz/tenant:bucket, kde tenant název VO „vo_name“ a doména s3.clX.du.cesnet.cz , což je rozdíl oproti standartnímu AWS S3 kde se používá formát bucket.doména.com. Pokud tenant neuvedete, mělo by dojít k automatickému rozponání podle přístupových klíčů (access_key a secret_key) a tudíž dostačuje formát s3.clX.du.cesnet.cz/bucket
Pokud vámi vybraný klient bere S3 endpoint jako čistý AWS, je nutné přepnout na obecný S3 endpoint, který je z velké části kompatibilní z pohledu protokolu. Většina nástrojů umí automaticky zpracovat oba formáty, u některých je však potřeba ho explicitně specifikovat.„
cl1 - https://s3.cl1.du.cesnet.cz cl2 - https://s3.cl2.du.cesnet.cz cl3 - https://s3.cl3.du.cesnet.cz cl4 - https://s3.cl4.du.cesnet.cz cl5 - https://s3.cl5.du.cesnet.cz
Osobní S3 účet je speciální služba poskytovaná v rámci S3. Jedná se o osobní prostor pro ukládání dat, která nepotřebujete dále sdílet. Pro získání osobního prostoru stačí postupovat podle tohoto návodu.
AWS CLI - Amazon Web Services Command Line Interface - je standardní nástroj podporující práci přes s3 rozhraní. Za pomoci jediného nástroje můžete spravovat vaše data a konfiguraci S3. Vše můžete ovládat z příkazového řádku a automatizovat pomocí skriptů. Návod pro AWS CLI
S3cmd je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v S3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. Návod pro S3cmd
Nástroj Rclone je vhodný pro synchronizaci dat, migrování souborů mezi více S3 endpointy, a to i různých poskytovatelů atd. Zachovává časová razítka a kontroluje kontrolní součty. Je napsán v programovacím jazyku Go a je dostupný pro GNU/Linux, Windows, macOS, BSD a Solaris. V tomto návodu budeme diskutovat použití primárně pro GNU/Linux systémy. Návod pro Rclone
Pokud disponujete připojením rychlejším než 1-2Gbps a chcete přenos optimalizovat pro dosažení maximální rychlosti, použijte nástroj s5cmd. Nástroj je dostupný ve formě předkompilovaných binárek pro Windows, Linux a macOS. Dále je dostupný ve formě kódu nebo docker image. Výběr záleží na vašem systému a požadovaném použiti. Kompletní přehled najdete na githubu projektu. Návod pro s5cmd
VEEAM je software pro zálohování, replikaci, obnovení po havárii a další. Návod na připojení S3 úložiště přes VEEAM.
Využití WORM modelu: WORM model VEEAM
Na výběr je více možností, zde nabízíme na výběr několika otestovaných free klientů pro S3.
WinSCP WinSCP je oblíbený SFTP klient a FTP klient pro Microsoft Windows! Přenos souborů mezi místním počítačem a vzdálenými servery pomocí protokolů pro přenos souborů FTP, FTPS, SCP, SFTP, WebDAV nebo S3. Návod pro WinSCP
CloudBerry Explorer je intuitivní průzkumník souborů, který vám pomůže spravovat váš účet S3, jako by to byla ještě jedna složka na vašem místním disku. Program má rozhraní s dvojitým podoknem a funguje jako klient FTP, přičemž každé okno je věnováno jedné složce. Tato umístění nejsou pevná a lze je přepnout tak, aby vyhovovala vašemu aktuálnímu úkolu: místní počítač a vzdálený server S3, dvě místní složky nebo dokonce dva účty S3. Návod pro CloudBerry
S3 Browser je freewarový výkonný a snadno použitelný klient Windows pro S3 úložiště. Návod pro S3 Browser
CyberDuck je všestranný prohlížeč S3 s příjemným rozhraním. Není to ale jen průzkumník, ve skutečnosti je CyberDuck bezplatný server, který funguje také jako prohlížeč cloudového úložiště a podporuje protokoly jako FTP, SFTP, WebDAV, OpenStack, OneDrive, Google Drive, Dropbox, aj. Podporuje rychlé nahrávání a stahování souborů a umožňuje pracovat se soubory bez downloadu.Návod pro CyberDuck
Mountain Duck je rozšíření Cyberducku pro montování svazků do průzkumníku souborů, kdy pracujte s daty jako na lokálním disku. Mountain Duck vám umožňuje připojit cloudové úložiště jako disk ve Finderu (macOS) a Průzkumníku souborů (Windows).
Pomocí S3 verzování můžete ponechat více verzí objektu v jednom bucketu. Umožní vám to obnovit objekty, které byly náhodně odstraněny nebo přepsány. Návod pro verzování S3 objektů
Popis problému: Nemohu nahrát soubor větší než 5GB. Dostávám chybu „our proposed upload exceeds the maximum allowed object size“.
Řešení problému: Řešením je použití tzv. multipartového nahrávání. Multipart nahrávání umožňuje nahrát jeden objekt jako sadu souvisejících částí. Po nahrání všech částí vašeho objektu Ceph prezentuje data jako jeden objekt. Pomocí této funkce můžete vytvářet paralelní nahrávání, pozastavit a obnovit nahrávání objektu a zahájit nahrávání dříve, než budete znát celkovou velikost objektu. Jednotlivé objekty mohou mít velikost od minimálních 0B do typicky 5GB, ale tato hodnota se může lišit dle použitého klienta. Největší objekt, který lze nahrát v rámci jedné PUT operace je typicky 5 GB. Obecně u objektů větších než 100 MB byste měli zvážit použití funkce multipart nahrávání.