cs:navody:object_storage:cesnet_s3:start

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revize Předchozí verze
Následující verze
Předchozí verze
Následující verze Obě strany příští revize
cs:navody:object_storage:cesnet_s3:start [27.09.2019 12:51]
bauer@cesnet.cz
cs:navody:object_storage:cesnet_s3:start [27.05.2020 15:19]
Lukáš Strnad [Linux klient AWS CLI]
Řádek 1: Řádek 1:
 ===== Připojení a konfigurace CESNET s3 ===== ===== Připojení a konfigurace CESNET s3 =====
- 
- 
-==== Linux klient s3cmd ==== 
- 
-[[https://​s3tools.org/​download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání,​ načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. 
- 
-=== Instalace s3cmd === 
- 
-s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. 
- 
-** 
-Na CentOS/​RHEL:​** 
- 
-<​code>​$ sudo yum install s3cmd </​code>​ 
-** 
-Na Ubuntu/​Debian:​** 
- 
-<​code>​$ sudo apt install s3cmd </​code>​ 
- 
- 
-=== Konfigurace s3cmd  === 
- 
-Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/​home/​user/​.s3cfg**. 
- 
-  [default] 
-  host_base = https://​s3.cl1.du.cesnet.cz 
-  use_https = True 
-  bucket_location = cze 
-  access_key = xxxxxxxxxxxxxxxxxxxxxx 
-  secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
-  gpg_command = /​​usr/​​bin/​​gpg 
-  gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s 
-  gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s 
-  gpg_passphrase = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
-   
-Alternativně lze konfigurační soubor získat použitím interaktivního průvodce: 
-   
-  $ s3cmd --configure 
-  s3cmd --configure 
-   
-  Enter new values or accept defaults in brackets with Enter. 
-  Refer to user manual for detailed description of all options. 
-  
-  Access key and Secret key are your identifiers for Amazon S3. Leave them empty for using the env variables. 
-  Access Key: xxxxxxxxxxxxxxxxxxxxxx 
-  Secret Key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
-  Default Region [US]: cze 
-  S3 Endpoint [s3.amazonaws.com]:​​ s3.cl1.du.cesnet.cz 
-  DNS-style bucket+hostname:​​port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]:​ ​ 
-  Encryption password: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
-  Path to GPG program [/​​usr/​​bin/​​gpg]:​​ 
-  Use HTTPS protocol [Yes]: 
-  Test access with supplied credentials?​​ [Y/n] y 
-  Save settings? [y/N] y 
-  Configuration saved to '​​~/​​.s3cfg'​​ 
- 
- 
- 
-=== Použití s3cmd příkazů === 
- 
-s3 příkazy podporují běžné operace s buckety, například vytváření,​ listování a mazání. 
- 
- 
- 
- 
- 
-<hidden **Práce s buckety**>​ 
- 
- 
-** Vylistování všech s3 bucketů** 
- 
-<​code>​$ s3cmd ls </​code>​ 
- 
-** Výroba nového s3 bucketu** 
- 
-<​code>​$ s3cmd mb s3://​newbucket </​code>​ 
- 
- 
-** Odstranění s3 bucketu** 
- 
-<​code>​$ s3cmd rb s3://​newbucket </​code>​ 
-Bucket jde odstranit pouze prázdný! \\ \\ 
- 
- 
-</​hidden>​ 
- 
-\\ 
- 
-<hidden **Práce se soubory a adresáři** > 
- 
- 
-** Vylistování obsahu s3 bucketu** 
- 
-<​code>​$ s3cmd ls s3://​newbucket/​ </​code>​ 
- 
-** Nahrávání dat do s3 bucketu** 
- 
-Upload souborů 
-<​code>​$ s3cmd put file.txt s3://​newbucket/​ </​code>​ 
- 
-Upload zašifrovaných souborů ​ 
-  $ s3cmd put -e file.txt s3://​​newbucket/​​ 
- 
- 
-Upload složek 
-<​code>​$ s3cmd put -r directory s3://​newbucket/​ </​code>​ 
-Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/​),​ jinak nahraje pouze obsah adresáře. \\ \\ 
- 
- 
- 
-** Stahování souboru z s3 bucketu** 
- 
-<​code>​$ s3cmd get s3://​newbucket/​file.txt </​code>​ 
- 
-** Odstranění dat z s3 bucketu** 
- 
-<​code>​$ s3cmd del s3://​newbucket/​file.txt </​code>​ 
-<​code>​$ s3cmd del s3://​newbucket/​directory </​code>​ 
- 
-** Synchronizování dat do s3 bucketu** 
- 
-<​code>​$ s3cmd sync /​local/​path/​ s3://​newbucket/​backup/​ </​code>​ 
- 
-** Synchronizování dat z s3 bucketu** 
- 
-<​code>​$ s3cmd sync s3://​newbucket/​backup/​ ~/restore/ </​code>​ 
- 
- 
- 
-</​hidden>​ \\ 
  
  
Řádek 152: Řádek 22:
  
  
-Dále musíme provést ​konfiguraci AWS CLI. Pro konfiguraci ​doporučujeme používat volbu **<​nowiki>​--profile</​nowiki>​**,​ která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu.+<note tip>​Pro ​konfiguraci AWS CLI doporučujeme použít volbu **<​nowiki>​--profile</​nowiki>​**,​ která vám umožní definovat více uživatelských profilů, například pro vás a servisní identitu. Můžete však použít rovněž výchozí nastavení (bez volby **<​nowiki>​--profile</​nowiki>​**). Všechny příkazy pak budou shodné, jen nebudou obsahovat volbu **<​nowiki>​--profile</​nowiki>​** a použije se výchozí nastavení.</​note>​ 
 + 
 +Dále provedeme konfiguraci AWS CLI. Následující přiklady využívají konfiguraci s použitím volby **<​nowiki>​--profile</​nowiki>​**.
  
 <​code>​$ aws configure --profile pepa_servis <​code>​$ aws configure --profile pepa_servis
Řádek 268: Řádek 140:
 <​code></​code>​ <​code></​code>​
  
-<​code><​/code>+*/
  
-<code></code>+<noteV případě rozhodnutí se používání S3 verzování objektů je   ​[[:​cs:​navody:​object_storage:​cesnet_s3_versioning|návod zde]].</note> 
 +==== Linux klient s3cmd ====
  
-<​code></​code>​+[[https://​s3tools.org/​download|S3cmd]] je bezplatný nástroj příkazového řádku a klient pro nahrávání,​ načítání a správu dat v s3 cloudových úložišťích. S3cmd je psán v Pythonu. Je to open source projekt dostupný pod GNU Public License v2 (GPLv2) a je zdarma pro komerční i soukromé použití. 
 + 
 +=== Instalace s3cmd === 
 + 
 +s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. 
 + 
 +** 
 +Na CentOS/​RHEL:​** 
 + 
 +<​code>​$ sudo yum install s3cmd </​code>​ 
 +** 
 +Na Ubuntu/​Debian:​** 
 + 
 +<​code>​$ sudo apt install s3cmd </​code>​ 
 + 
 + 
 +=== Konfigurace s3cmd  === 
 + 
 +Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/​home/​user/​.s3cfg**. 
 + 
 +  [default] 
 +  host_base = https://​s3.cl1.du.cesnet.cz 
 +  use_https = True 
 +  bucket_location = cze 
 +  access_key = xxxxxxxxxxxxxxxxxxxxxx 
 +  secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
 +  gpg_command = /​​usr/​​bin/​​gpg 
 +  gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s 
 +  gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s 
 +  gpg_passphrase = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
 +   
 +**Alternativně lze konfigurační soubor získat použitím interaktivního průvodce:​** 
 + 
 + 
 + 
 +<hidden **s3cmd --configure**>​  
 +   
 +  \\ 
 +   
 +  $ s3cmd --configure 
 +   
 +  Enter new values or accept defaults in brackets with Enter. 
 +  Refer to user manual for detailed description of all options. 
 +  
 +  Access key and Secret key are your identifiers for Amazon S3. Leave them empty for using the env variables. 
 +  Access Key: xxxxxxxxxxxxxxxxxxxxxx 
 +  Secret Key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
 +  Default Region [US]: cze 
 +  S3 Endpoint [s3.amazonaws.com]:​​ s3.cl1.du.cesnet.cz 
 +  DNS-style bucket+hostname:​​port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]:​ ​ 
 +  Encryption password: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
 +  Path to GPG program [/​​usr/​​bin/​​gpg]:​​ 
 +  Use HTTPS protocol [Yes]: 
 +  Test access with supplied credentials?​​ [Y/n] y 
 +  Save settings? [y/N] y 
 +  Configuration saved to '​​~/​​.s3cfg'​​ 
 + 
 +</​hidden>​ 
 + 
 + 
 +\\ 
 + 
 + 
 +=== Použití s3cmd příkazů === 
 + 
 +s3 příkazy podporují běžné operace s buckety, například vytváření,​ listování a mazání. 
 + 
 + 
 + 
 + 
 + 
 +<hidden **Práce s buckety**>​ 
 + 
 + 
 +** Vylistování všech s3 bucketů** 
 + 
 +<​code>​$ s3cmd ls </​code>​ 
 + 
 +** Výroba nového s3 bucketu** 
 + 
 +<​code>​$ s3cmd mb s3://​newbucket </​code>​ 
 + 
 + 
 +** Odstranění s3 bucketu** 
 + 
 +<​code>​$ s3cmd rb s3://​newbucket </​code>​ 
 +Bucket jde odstranit pouze prázdný! \\ \\ 
 + 
 + 
 +</​hidden>​ 
 + 
 +\\ 
 + 
 +<hidden **Práce se soubory a adresáři** > 
 + 
 + 
 +** Vylistování obsahu s3 bucketu** 
 + 
 +<​code>​$ s3cmd ls s3://​newbucket/​ </​code>​ 
 + 
 +** Nahrávání dat do s3 bucketu** 
 + 
 +Upload souborů 
 +<​code>​$ s3cmd put file.txt s3://​newbucket/​ </​code>​ 
 + 
 +Upload zašifrovaných souborů  
 +  $ s3cmd put -e file.txt s3://​​newbucket/​​ 
 + 
 + 
 +Upload složek 
 +<​code>​$ s3cmd put -r directory s3://​newbucket/​ </​code>​ 
 +Ujistěte se, že nepřidáváte koncové lomítko v adresáři (např .: directory/​),​ jinak nahraje pouze obsah adresáře. \\ \\ 
 + 
 + 
 + 
 +** Stahování souboru z s3 bucketu** 
 + 
 +<​code>​$ s3cmd get s3://​newbucket/​file.txt </​code>​ 
 + 
 +** Odstranění dat z s3 bucketu** 
 + 
 +<​code>​$ s3cmd del s3://​newbucket/​file.txt </​code>​ 
 +<​code>​$ s3cmd del s3://​newbucket/​directory </​code>​ 
 + 
 +** Synchronizování dat do s3 bucketu** 
 + 
 +<​code>​$ s3cmd sync /​local/​path/​ s3://​newbucket/​backup/​ </​code>​ 
 + 
 +** Synchronizování dat z s3 bucketu** 
 + 
 +<​code>​$ s3cmd sync s3://​newbucket/​backup/​ ~/restore/ </​code>​ 
 + 
 + 
 + 
 +</​hidden>​ \\
  
-<​code></​code>​ 
-*/ 
  
Poslední úprava: 23.06.2020 13:10