Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revize Předchozí verze Následující verze | Předchozí verze Následující verze Obě strany příští revize | ||
cs:navody:object_storage:cesnet_s3:start [26.09.2019 17:26] strnad@cesnet.cz |
cs:navody:object_storage:cesnet_s3:start [21.10.2019 12:16] Milan Daneček |
||
---|---|---|---|
Řádek 1: | Řádek 1: | ||
===== Připojení a konfigurace CESNET s3 ===== | ===== Připojení a konfigurace CESNET s3 ===== | ||
- | |||
- | |||
- | ==== Linux klient s3cmd ==== | ||
- | |||
- | [[https://s3tools.org/download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. | ||
- | |||
- | === Instalace s3cmd === | ||
- | |||
- | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
- | |||
- | ** | ||
- | Na CentOS/RHEL:** | ||
- | |||
- | <code>$ sudo yum install s3cmd </code> | ||
- | ** | ||
- | Na Ubuntu/Debian:** | ||
- | |||
- | <code>$ sudo apt install s3cmd </code> | ||
- | |||
- | |||
- | === Konfigurace s3cmd === | ||
- | |||
- | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, kter7 jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
- | |||
- | [default] | ||
- | host_base = https://s3.cl1.du.cesnet.cz | ||
- | use_https = True | ||
- | bucket_location = cze | ||
- | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
- | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
- | |||
- | |||
- | === Použití s3cmd příkazů === | ||
- | |||
- | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | <hidden **Práce s buckety**> | ||
- | |||
- | |||
- | ** Vylistování všech s3 bucketů** | ||
- | |||
- | <code>$ s3cmd ls </code> | ||
- | |||
- | ** Výroba nového s3 bucketu** | ||
- | |||
- | <code>$ s3cmd mb s3://newbacket </code> | ||
- | |||
- | |||
- | ** Odstranění s3 bucketu** | ||
- | |||
- | <code>$ s3cmd rb s3://newbacket </code> | ||
- | Bucket jde odstranit pouze prázdný! \\ \\ | ||
- | |||
- | |||
- | </hidden> | ||
- | |||
- | \\ | ||
- | |||
- | <hidden **Práce se soubory a adresáři** > | ||
- | |||
- | |||
- | ** Vylistování obsahu s3 bucketu** | ||
- | |||
- | <code>$ s3cmd ls s3://newbacket/ </code> | ||
- | |||
- | ** Nahrávání dat do s3 bucketu** | ||
- | |||
- | Upload souborů | ||
- | <code>$ s3cmd put file.txt s3://newbacket/ </code> | ||
- | Uploud složek | ||
- | <code>$ s3cmd put -r directory s3://newbacket/ </code> | ||
- | Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/), jinak nahraje pouze obsah adresáře. \\ \\ | ||
- | |||
- | |||
- | |||
- | ** Stahování souboru z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd get s3://newbacket/file.txt </code> | ||
- | |||
- | ** Odstranění dat z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd del s3://newbacket/file.txt </code> | ||
- | <code>$ s3cmd del s3://newbacket/directory </code> | ||
- | |||
- | ** Synchronizování dat do s3 bucketu** | ||
- | |||
- | <code>$ s3cmd sync /local/path/ s3://newbacket/backup/ </code> | ||
- | |||
- | ** Synchronizování dat z s3 bucketu** | ||
- | |||
- | <code>$ s3cmd sync s3://newbacket/backup/ ~/restore/ </code> | ||
- | |||
- | |||
- | |||
- | </hidden> \\ | ||
Řádek 121: | Řádek 22: | ||
- | Dále musíme provést konfiguraci AWS CLI. Pro konfiguraci doporučujeme používat volbu **<nowiki>--profile</nowiki>**, která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu. | + | <note tip>Pro konfiguraci AWS CLI doporučujeme použít volbu **<nowiki>--profile</nowiki>**, která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu. Můžete však použít rovněž výchozí nastavení (bez volby **<nowiki>--profile</nowiki>**). Všechny příkazy pak budou shodné, jen nebudou obsahovat volbu **<nowiki>--profile</nowiki>** a použije se výchozí nastavení.</note> |
+ | |||
+ | Dále provedeme konfiguraci AWS CLI. Následující přiklady využívají konfiguraci s použitím volby **<nowiki>--profile</nowiki>**. | ||
<code>$ aws configure --profile pepa_servis | <code>$ aws configure --profile pepa_servis | ||
AWS Access Key ID [None]: AKIAI44QH8DHBEXAMPLE | AWS Access Key ID [None]: AKIAI44QH8DHBEXAMPLE | ||
AWS Secret Access Key [None]: je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY | AWS Secret Access Key [None]: je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY | ||
- | Default region name [None]: None | + | Default region name [None]: |
Default output format [None]: text</code> | Default output format [None]: text</code> | ||
Řádek 245: | Řádek 148: | ||
<code></code> | <code></code> | ||
*/ | */ | ||
+ | |||
+ | |||
+ | ==== Linux klient s3cmd ==== | ||
+ | |||
+ | [[https://s3tools.org/download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání, načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. | ||
+ | |||
+ | === Instalace s3cmd === | ||
+ | |||
+ | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
+ | |||
+ | ** | ||
+ | Na CentOS/RHEL:** | ||
+ | |||
+ | <code>$ sudo yum install s3cmd </code> | ||
+ | ** | ||
+ | Na Ubuntu/Debian:** | ||
+ | |||
+ | <code>$ sudo apt install s3cmd </code> | ||
+ | |||
+ | |||
+ | === Konfigurace s3cmd === | ||
+ | |||
+ | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
+ | |||
+ | [default] | ||
+ | host_base = https://s3.cl1.du.cesnet.cz | ||
+ | use_https = True | ||
+ | bucket_location = cze | ||
+ | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
+ | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | gpg_command = /usr/bin/gpg | ||
+ | gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
+ | gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
+ | gpg_passphrase = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | |||
+ | **Alternativně lze konfigurační soubor získat použitím interaktivního průvodce:** | ||
+ | |||
+ | |||
+ | |||
+ | <hidden **s3cmd --configure**> | ||
+ | | ||
+ | \\ | ||
+ | | ||
+ | $ s3cmd --configure | ||
+ | |||
+ | Enter new values or accept defaults in brackets with Enter. | ||
+ | Refer to user manual for detailed description of all options. | ||
+ | |||
+ | Access key and Secret key are your identifiers for Amazon S3. Leave them empty for using the env variables. | ||
+ | Access Key: xxxxxxxxxxxxxxxxxxxxxx | ||
+ | Secret Key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | Default Region [US]: cze | ||
+ | S3 Endpoint [s3.amazonaws.com]: s3.cl1.du.cesnet.cz | ||
+ | DNS-style bucket+hostname:port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]: | ||
+ | Encryption password: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
+ | Path to GPG program [/usr/bin/gpg]: | ||
+ | Use HTTPS protocol [Yes]: | ||
+ | Test access with supplied credentials? [Y/n] y | ||
+ | Save settings? [y/N] y | ||
+ | Configuration saved to '~/.s3cfg' | ||
+ | |||
+ | </hidden> | ||
+ | |||
+ | |||
+ | \\ | ||
+ | |||
+ | |||
+ | === Použití s3cmd příkazů === | ||
+ | |||
+ | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | <hidden **Práce s buckety**> | ||
+ | |||
+ | |||
+ | ** Vylistování všech s3 bucketů** | ||
+ | |||
+ | <code>$ s3cmd ls </code> | ||
+ | |||
+ | ** Výroba nového s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd mb s3://newbucket </code> | ||
+ | |||
+ | |||
+ | ** Odstranění s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd rb s3://newbucket </code> | ||
+ | Bucket jde odstranit pouze prázdný! \\ \\ | ||
+ | |||
+ | |||
+ | </hidden> | ||
+ | |||
+ | \\ | ||
+ | |||
+ | <hidden **Práce se soubory a adresáři** > | ||
+ | |||
+ | |||
+ | ** Vylistování obsahu s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd ls s3://newbucket/ </code> | ||
+ | |||
+ | ** Nahrávání dat do s3 bucketu** | ||
+ | |||
+ | Upload souborů | ||
+ | <code>$ s3cmd put file.txt s3://newbucket/ </code> | ||
+ | |||
+ | Upload zašifrovaných souborů | ||
+ | $ s3cmd put -e file.txt s3://newbucket/ | ||
+ | |||
+ | |||
+ | Upload složek | ||
+ | <code>$ s3cmd put -r directory s3://newbucket/ </code> | ||
+ | Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/), jinak nahraje pouze obsah adresáře. \\ \\ | ||
+ | |||
+ | |||
+ | |||
+ | ** Stahování souboru z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd get s3://newbucket/file.txt </code> | ||
+ | |||
+ | ** Odstranění dat z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd del s3://newbucket/file.txt </code> | ||
+ | <code>$ s3cmd del s3://newbucket/directory </code> | ||
+ | |||
+ | ** Synchronizování dat do s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd sync /local/path/ s3://newbucket/backup/ </code> | ||
+ | |||
+ | ** Synchronizování dat z s3 bucketu** | ||
+ | |||
+ | <code>$ s3cmd sync s3://newbucket/backup/ ~/restore/ </code> | ||
+ | |||
+ | |||
+ | |||
+ | </hidden> \\ | ||
+ | |||