Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revize Předchozí verze Následující verze | Předchozí verze Následující verze Obě strany příští revize | ||
cs:navody:object_storage:cesnet_s3:start [27.09.2019 12:40] danecek@cesnet.cz |
cs:navody:object_storage:cesnet_s3:start [23.06.2020 12:24] Mgr. Tomáš Hlava úprava s3cmd konfigu |
||
---|---|---|---|
Řádek 1: | Řádek 1: | ||
===== Připojení a konfigurace CESNET s3 ===== | ===== Připojení a konfigurace CESNET s3 ===== | ||
- | |||
- | |||
- | ==== Linux klient s3cmd ==== | ||
- | |||
- | [[https://s3tools.org/download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. | ||
- | |||
- | === Instalace s3cmd === | ||
- | |||
- | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
- | |||
- | ** | ||
- | Na CentOS/RHEL:** | ||
- | |||
- | <code>$ sudo yum install s3cmd </code> | ||
- | ** | ||
- | Na Ubuntu/Debian:** | ||
- | |||
- | <code>$ sudo apt install s3cmd </code> | ||
- | |||
- | |||
- | === Konfigurace s3cmd === | ||
- | |||
- | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
- | |||
- | [default] | ||
- | host_base = https://s3.cl1.du.cesnet.cz | ||
- | use_https = True | ||
- | bucket_location = cze | ||
- | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
- | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
- | |||
- | |||
- | === Použití s3cmd příkazů === | ||
- | |||
- | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | <hidden **Práce s buckety**> | ||
- | |||
- | |||
- | ** Vylistování všech s3 bucketů** | ||
- | |||
- | <code>$ s3cmd ls </code> | ||
- | |||
- | ** Výroba nového s3 bucketu** | ||
- | |||
- | <code>$ s3cmd mb s3://newbacket </code> | ||
- | |||
- | |||
- | ** Odstranění s3 bucketu** | ||
- | |||
- | <code>$ s3cmd rb s3://newbacket </code> | ||
- | Bucket jde odstranit pouze prázdný! \\ \\ | ||
- | |||
- | |||
- | </hidden> | ||
- | |||
- | \\ | ||
- | |||
- | <hidden **Práce se soubory a adresáři** > | ||
- | |||
- | |||
- | ** Vylistování obsahu s3 bucketu** | ||
- | |||
- | <code>$ s3cmd ls s3://newbacket/ </code> | ||
- | |||
- | ** Nahrávání dat do s3 bucketu** | ||
- | |||
- | Upload souborů | ||
- | <code>$ s3cmd put file.txt s3://newbacket/ </code> | ||
- | Uploud složek | ||
- | <code>$ s3cmd put -r directory s3://newbacket/ </code> | ||
- | Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/), jinak nahraje pouze obsah adresáře. \\ \\ | ||
- | |||
- | |||
- | |||
- | ** Stahování souboru z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd get s3://newbacket/file.txt </code> | ||
- | |||
- | ** Odstranění dat z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd del s3://newbacket/file.txt </code> | ||
- | <code>$ s3cmd del s3://newbacket/directory </code> | ||
- | |||
- | ** Synchronizování dat do s3 bucketu** | ||
- | |||
- | <code>$ s3cmd sync /local/path/ s3://newbacket/backup/ </code> | ||
- | |||
- | ** Synchronizování dat z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd sync s3://newbacket/backup/ ~/restore/ </code> | ||
- | |||
- | |||
- | |||
- | </hidden> \\ | ||
Řádek 121: | Řádek 22: | ||
- | Dále musíme provést konfiguraci AWS CLI. Pro konfiguraci doporučujeme používat volbu **<nowiki>--profile</nowiki>**, která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu. | + | <note tip>Pro konfiguraci AWS CLI doporučujeme použít volbu **<nowiki>--profile</nowiki>**, která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu. Můžete však použít rovněž výchozí nastavení (bez volby **<nowiki>--profile</nowiki>**). Všechny příkazy pak budou shodné, jen nebudou obsahovat volbu **<nowiki>--profile</nowiki>** a použije se výchozí nastavení.</note> |
+ | |||
+ | Dále provedeme konfiguraci AWS CLI. Následující přiklady využívají konfiguraci s použitím volby **<nowiki>--profile</nowiki>**. | ||
<code>$ aws configure --profile pepa_servis | <code>$ aws configure --profile pepa_servis | ||
AWS Access Key ID [None]: AKIAI44QH8DHBEXAMPLE | AWS Access Key ID [None]: AKIAI44QH8DHBEXAMPLE | ||
AWS Secret Access Key [None]: je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY | AWS Secret Access Key [None]: je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY | ||
- | Default region name [None]: None | + | Default region name [None]: |
Default output format [None]: text</code> | Default output format [None]: text</code> | ||
Řádek 237: | Řádek 140: | ||
<code></code> | <code></code> | ||
- | <code></code> | + | */ |
- | <code></code> | + | <note> V případě rozhodnutí se používání S3 verzování objektů je [[:cs:navody:object_storage:cesnet_s3_versioning|návod zde]].</note> |
+ | ==== Linux klient s3cmd ==== | ||
- | <code></code> | + | [[https://s3tools.org/download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. |
+ | |||
+ | === Instalace s3cmd === | ||
+ | |||
+ | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
+ | |||
+ | ** | ||
+ | Na CentOS/RHEL:** | ||
+ | |||
+ | <code>$ sudo yum install s3cmd </code> | ||
+ | ** | ||
+ | Na Ubuntu/Debian:** | ||
+ | |||
+ | <code>$ sudo apt install s3cmd </code> | ||
+ | |||
+ | |||
+ | === Konfigurace s3cmd === | ||
+ | |||
+ | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
+ | |||
+ | [default] | ||
+ | host_base = https://s3.cl1.du.cesnet.cz | ||
+ | use_https = True | ||
+ | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
+ | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | host_bucket = s3.cl1.du.cesnet.cz | ||
+ | gpg_command = /usr/bin/gpg | ||
+ | gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
+ | gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
+ | gpg_passphrase = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | |||
+ | |||
+ | === Použití s3cmd příkazů === | ||
+ | |||
+ | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | <hidden **Práce s buckety**> | ||
+ | |||
+ | |||
+ | ** Vylistování všech s3 bucketů** | ||
+ | |||
+ | <code>$ s3cmd ls </code> | ||
+ | |||
+ | ** Výroba nového s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd mb s3://newbucket </code> | ||
+ | |||
+ | |||
+ | ** Odstranění s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd rb s3://newbucket </code> | ||
+ | Bucket jde odstranit pouze prázdný! \\ \\ | ||
+ | |||
+ | |||
+ | </hidden> | ||
+ | |||
+ | \\ | ||
+ | |||
+ | <hidden **Práce se soubory a adresáři** > | ||
+ | |||
+ | |||
+ | ** Vylistování obsahu s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd ls s3://newbucket/ </code> | ||
+ | |||
+ | ** Nahrávání dat do s3 bucketu** | ||
+ | |||
+ | Upload souborů | ||
+ | <code>$ s3cmd put file.txt s3://newbucket/ </code> | ||
+ | |||
+ | Upload zašifrovaných souborů | ||
+ | $ s3cmd put -e file.txt s3://newbucket/ | ||
+ | |||
+ | |||
+ | Upload složek | ||
+ | <code>$ s3cmd put -r directory s3://newbucket/ </code> | ||
+ | Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/), jinak nahraje pouze obsah adresáře. \\ \\ | ||
+ | |||
+ | |||
+ | |||
+ | ** Stahování souboru z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd get s3://newbucket/file.txt </code> | ||
+ | |||
+ | ** Odstranění dat z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd del s3://newbucket/file.txt </code> | ||
+ | <code>$ s3cmd del s3://newbucket/directory </code> | ||
+ | |||
+ | ** Synchronizování dat do s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd sync /local/path/ s3://newbucket/backup/ </code> | ||
+ | |||
+ | ** Synchronizování dat z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd sync s3://newbucket/backup/ ~/restore/ </code> | ||
+ | |||
+ | |||
+ | |||
+ | </hidden> \\ | ||
- | <code></code> | ||
- | */ | ||