Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revize Předchozí verze Následující verze | Předchozí verze Následující verze Obě strany příští revize | ||
cs:navody:object_storage:cesnet_s3:start [09.09.2020 13:23] Lukáš Strnad |
cs:navody:object_storage:cesnet_s3:start [04.11.2020 23:20] Lukáš Strnad |
||
---|---|---|---|
Řádek 1: | Řádek 1: | ||
- | ===== Připojení a konfigurace CESNET s3 ===== | + | ====== Připojení a konfigurace CESNET s3 ====== |
{{anchor:aws_cli}} | {{anchor:aws_cli}} | ||
- | ==== Linux klient AWS CLI ==== | + | ===== Linux klient AWS CLI ===== |
Klient AWS CLI je standardní nástroj podporující práci přes s3 rozhraní. Klient je napsaný v pythonu, je tedy nezbytné mít nainstalovaný **python alespoň ve verzi 3.3+**. Dle oficiální dokumentace je sice podporován i python 2.6.5+, nicméně můžete narazit na problémy s kompatibilitou s ohledem na námi provozovanou verzi Cephu. | Klient AWS CLI je standardní nástroj podporující práci přes s3 rozhraní. Klient je napsaný v pythonu, je tedy nezbytné mít nainstalovaný **python alespoň ve verzi 3.3+**. Dle oficiální dokumentace je sice podporován i python 2.6.5+, nicméně můžete narazit na problémy s kompatibilitou s ohledem na námi provozovanou verzi Cephu. | ||
Řádek 8: | Řádek 8: | ||
<note important>Pokud provozujete CENTOS 7, pravděpodobně budete řešit problém s verzí pythonu, která je ve výchozím stavu 2.7.5. V takovém případě doporučujeme buď upgrade na CENTOS 8, kde je již implementovan python 3+, případně použít SCL (Software Collection environment).</note> | <note important>Pokud provozujete CENTOS 7, pravděpodobně budete řešit problém s verzí pythonu, která je ve výchozím stavu 2.7.5. V takovém případě doporučujeme buď upgrade na CENTOS 8, kde je již implementovan python 3+, případně použít SCL (Software Collection environment).</note> | ||
- | ===Instalace AWS CLI a jeho konfigurace=== | + | ====Instalace AWS CLI a jeho konfigurace==== |
Nejprve nainstalujeme AWS CLI klienta pomoci pip, kde **<nowiki>--upgrade</nowiki>** provede upgrade všech již nainstalovaných součástí; **<nowiki>--user</nowiki>** použije podadresář aktuálního uživatele, pod kterým spouštíte pip, aby nedošlo k modifikaci systémových knihoven. | Nejprve nainstalujeme AWS CLI klienta pomoci pip, kde **<nowiki>--upgrade</nowiki>** provede upgrade všech již nainstalovaných součástí; **<nowiki>--user</nowiki>** použije podadresář aktuálního uživatele, pod kterým spouštíte pip, aby nedošlo k modifikaci systémových knihoven. | ||
Řádek 39: | Řádek 39: | ||
<note important>Pro správnou funkčnost je nezbytné překonfigurovat **endpoint-url** na servery CESNETu. K tomu budeme potřebovat nainstalovat nástroj [[https://github.com/wbingli/awscli-plugin-endpoint|awscli-plugin-endpoint]], viz návod níže.</note> | <note important>Pro správnou funkčnost je nezbytné překonfigurovat **endpoint-url** na servery CESNETu. K tomu budeme potřebovat nainstalovat nástroj [[https://github.com/wbingli/awscli-plugin-endpoint|awscli-plugin-endpoint]], viz návod níže.</note> | ||
- | == Instalace awscli-plugin-endpointu == | + | ==== Instalace awscli-plugin-endpointu ==== |
Nejdříve provedeme instalaci pomocí pip. | Nejdříve provedeme instalaci pomocí pip. | ||
<code>pip3.6 install awscli-plugin-endpoint --user</code> | <code>pip3.6 install awscli-plugin-endpoint --user</code> | ||
Řádek 49: | Řádek 49: | ||
<code>aws configure set plugins.endpoint awscli_plugin_endpoint</code> | <code>aws configure set plugins.endpoint awscli_plugin_endpoint</code> | ||
- | Následně pomocí pluginu přidáme adresu CESNET s3 endpointu. | + | Následně pomocí pluginu přidáme adresu CESNET s3 endpointu pro plzeňské úložistě s kódovým označením CL2: |
- | <code>aws configure --profile pepa_servis set s3.endpoint_url https://s3.cl1.du.cesnet.cz</code> | + | <code>aws configure --profile pepa_servis set s3.endpoint_url https://s3.cl2.du.cesnet.cz</code> |
Výše uvedené příkazy by měly provést změny ve vašem configu, viz níže. | Výše uvedené příkazy by měly provést změny ve vašem configu, viz níže. | ||
Řádek 59: | Řádek 59: | ||
output = text | output = text | ||
s3 = | s3 = | ||
- | endpoint_url = https://s3.cl1.du.cesnet.cz | + | endpoint_url = https://s3.cl2.du.cesnet.cz |
[plugins] | [plugins] | ||
endpoint = awscli_plugin_endpoint | endpoint = awscli_plugin_endpoint | ||
Řádek 72: | Řádek 72: | ||
</code> | </code> | ||
- | ==Ovládání AWS CLI - high-level (s3)== | + | ====Ovládání AWS CLI - high-level (s3)==== |
**Pro zobrazení plné nápovědy (dostupných příkazů) můžeme využít help** | **Pro zobrazení plné nápovědy (dostupných příkazů) můžeme využít help** | ||
Řádek 132: | Řádek 132: | ||
- | ==Ovládání AWS CLI - api-level (s3api)== | + | ====Ovládání AWS CLI - api-level (s3api)==== |
<code>$ aws s3api help</code> | <code>$ aws s3api help</code> | ||
Řádek 151: | Řádek 151: | ||
</note> | </note> | ||
- | === Instalace s3cmd === | + | ===== Instalace s3cmd ===== |
s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | s3cmd je k dispozici ve výchozích repozitářích rpm pro systémy CentOS, RHEL a Ubuntu. Nainstalujte jej pomocí jednoduchého spuštění následujících příkazů ve vašem systému. | ||
Řádek 165: | Řádek 165: | ||
- | === Konfigurace s3cmd === | + | ==== Konfigurace s3cmd ==== |
Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | Pro konfiguraci s3cmd potřebujete **Access Key** a **Secret Key**, který jste si vygenerovali. Po získání klíčů je vložte do konfiguračního souboru **/home/user/.s3cfg**. | ||
[default] | [default] | ||
- | host_base = https://s3.cl1.du.cesnet.cz | + | host_base = https://s3.cl2.du.cesnet.cz |
use_https = True | use_https = True | ||
access_key = xxxxxxxxxxxxxxxxxxxxxx | access_key = xxxxxxxxxxxxxxxxxxxxxx | ||
secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx | ||
- | host_bucket = s3.cl1.du.cesnet.cz | + | host_bucket = s3.cl2.du.cesnet.cz |
gpg_command = /usr/bin/gpg | gpg_command = /usr/bin/gpg | ||
gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s | ||
Řádek 181: | Řádek 181: | ||
- | === Použití s3cmd příkazů === | + | ==== Použití s3cmd příkazů ==== |
s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | s3 příkazy podporují běžné operace s buckety, například vytváření, listování a mazání. | ||
Řádek 254: | Řádek 254: | ||
</hidden> \\ | </hidden> \\ | ||
+ | <note>S3 umí verzování bucketů, více viz[[https://du.cesnet.cz/cs/navody/object_storage/cesnet_s3_versioning| návod]].</note> | ||