Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
| Obě strany předchozí revize Předchozí verze Následující verze | Předchozí verze Následující verze Obě strany příští revize | ||
|
cs:navody:object_storage:cesnet_s3:start [09.09.2020 13:23] Lukáš Strnad |
cs:navody:object_storage:cesnet_s3:start [04.11.2020 14:50] Lukáš Strnad |
||
|---|---|---|---|
| Řádek 1: | Řádek 1: | ||
| - | ===== Připojení a konfigurace CESNET s3 ===== | + | ====== Připojení a konfigurace CESNET s3 ====== |
| {{anchor:aws_cli}} | {{anchor:aws_cli}} | ||
| - | ==== Linux klient AWS CLI ==== | + | ===== Linux klient AWS CLI ===== |
| Klient AWS CLI je standardní nástroj podporující práci přes s3 rozhraní. Klient je napsaný v pythonu, je tedy nezbytné mít nainstalovaný **python alespoň ve verzi 3.3+**. Dle oficiální dokumentace je sice podporován i python 2.6.5+, nicméně můžete narazit na problémy s kompatibilitou s ohledem na námi provozovanou verzi Cephu. | Klient AWS CLI je standardní nástroj podporující práci přes s3 rozhraní. Klient je napsaný v pythonu, je tedy nezbytné mít nainstalovaný **python alespoň ve verzi 3.3+**. Dle oficiální dokumentace je sice podporován i python 2.6.5+, nicméně můžete narazit na problémy s kompatibilitou s ohledem na námi provozovanou verzi Cephu. | ||
| Řádek 8: | Řádek 8: | ||
| <note important>Pokud provozujete CENTOS 7, pravděpodobně budete řešit problém s verzí pythonu, která je ve výchozím stavu 2.7.5. V takovém případě doporučujeme buď upgrade na CENTOS 8, kde je již implementovan python 3+, případně použít SCL (Software Collection environment).</note> | <note important>Pokud provozujete CENTOS 7, pravděpodobně budete řešit problém s verzí pythonu, která je ve výchozím stavu 2.7.5. V takovém případě doporučujeme buď upgrade na CENTOS 8, kde je již implementovan python 3+, případně použít SCL (Software Collection environment).</note> | ||
| - | ===Instalace AWS CLI a jeho konfigurace=== | + | ====Instalace AWS CLI a jeho konfigurace==== |
| Nejprve nainstalujeme AWS CLI klienta pomoci pip, kde **<nowiki>--upgrade</nowiki>** provede upgrade všech již nainstalovaných součástí; **<nowiki>--user</nowiki>** použije podadresář aktuálního uživatele, pod kterým spouštíte pip, aby nedošlo k modifikaci systémových knihoven. | Nejprve nainstalujeme AWS CLI klienta pomoci pip, kde **<nowiki>--upgrade</nowiki>** provede upgrade všech již nainstalovaných součástí; **<nowiki>--user</nowiki>** použije podadresář aktuálního uživatele, pod kterým spouštíte pip, aby nedošlo k modifikaci systémových knihoven. | ||
| Řádek 39: | Řádek 39: | ||
| <note important>Pro správnou funkčnost je nezbytné překonfigurovat **endpoint-url** na servery CESNETu. K tomu budeme potřebovat nainstalovat nástroj [[https://github.com/wbingli/awscli-plugin-endpoint|awscli-plugin-endpoint]], viz návod níže.</note> | <note important>Pro správnou funkčnost je nezbytné překonfigurovat **endpoint-url** na servery CESNETu. K tomu budeme potřebovat nainstalovat nástroj [[https://github.com/wbingli/awscli-plugin-endpoint|awscli-plugin-endpoint]], viz návod níže.</note> | ||
| - | == Instalace awscli-plugin-endpointu == | + | ==== Instalace awscli-plugin-endpointu ==== |
| Nejdříve provedeme instalaci pomocí pip. | Nejdříve provedeme instalaci pomocí pip. | ||
| <code>pip3.6 install awscli-plugin-endpoint --user</code> | <code>pip3.6 install awscli-plugin-endpoint --user</code> | ||
| Řádek 49: | Řádek 49: | ||
| <code>aws configure set plugins.endpoint awscli_plugin_endpoint</code> | <code>aws configure set plugins.endpoint awscli_plugin_endpoint</code> | ||
| - | Následně pomocí pluginu přidáme adresu CESNET s3 endpointu. | + | Následně pomocí pluginu přidáme adresu CESNET s3 endpointu pro plzeňské úložistě s kódovým označením CL2: |
| - | <code>aws configure --profile pepa_servis set s3.endpoint_url https://s3.cl1.du.cesnet.cz</code> | + | <code>aws configure --profile pepa_servis set s3.endpoint_url https://s3.cl2.du.cesnet.cz</code> |
| Výše uvedené příkazy by měly provést změny ve vašem configu, viz níže. | Výše uvedené příkazy by měly provést změny ve vašem configu, viz níže. | ||
| Řádek 59: | Řádek 59: | ||
| output = text | output = text | ||
| s3 = | s3 = | ||
| - | endpoint_url = https://s3.cl1.du.cesnet.cz | + | endpoint_url = https://s3.cl2.du.cesnet.cz |
| [plugins] | [plugins] | ||
| endpoint = awscli_plugin_endpoint | endpoint = awscli_plugin_endpoint | ||
| Řádek 72: | Řádek 72: | ||
| </code> | </code> | ||
| - | ==Ovládání AWS CLI - high-level (s3)== | + | ====Ovládání AWS CLI - high-level (s3)==== |
| **Pro zobrazení plné nápovědy (dostupných příkazů) můžeme využít help** | **Pro zobrazení plné nápovědy (dostupných příkazů) můžeme využít help** | ||
| Řádek 132: | Řádek 132: | ||
| - | ==Ovládání AWS CLI - api-level (s3api)== | + | ====Ovládání AWS CLI - api-level (s3api)==== |
| <code>$ aws s3api help</code> | <code>$ aws s3api help</code> | ||
| Řádek 151: | Řádek 151: | ||
| </note> | </note> | ||
| - | === Instalace s3cmd === | + | ===== Instalace s3cmd ===== |
| s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
| Řádek 165: | Řádek 165: | ||
| - | === Konfigurace s3cmd === | + | ==== Konfigurace s3cmd ==== |
| Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
| [default] | [default] | ||
| - | host_base = https://s3.cl1.du.cesnet.cz | + | host_base = https://s3.cl2.du.cesnet.cz |
| use_https = True | use_https = True | ||
| access_key = xxxxxxxxxxxxxxxxxxxxxx | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
| secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
| - | host_bucket = s3.cl1.du.cesnet.cz | + | host_bucket = s3.cl2.du.cesnet.cz |
| gpg_command = /usr/bin/gpg | gpg_command = /usr/bin/gpg | ||
| gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
| Řádek 181: | Řádek 181: | ||
| - | === Použití s3cmd příkazů === | + | ==== Použití s3cmd příkazů ==== |
| s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
CESNET, z. s. p. o.
Generála Píky 26
160 00 Praha 6
Tel: +420 234 680 222
Fax: +420 224 320 269
info@cesnet.cz
Tel: +420 234 680 222
GSM: +420 602 252 531
Fax: +420 224 313 211
support@cesnet.cz