Infrastruktura úložišť

Datová úložiště provozovaná sdružením CESNET jsou postavena na několika elementárních technologiích. Jedná se o klasická hierarchická úložiště tzv. HSM, objektová úložiště postavená na technologii Ceph a disková RAID pole. Datová úložiště jsou umístěna v data centrech pouze v České republice, tudíž žádná data neopouští ČR. Distribuovaný model datových úložišť rovněž umožňuje zvýšení redundance dat pomocí geografických replik. Tento model přináší výhodu výrazně vyšší odolnosti proti ztrátě dat způsobené poškozením médií, přírodní katastrofou nebo chybou uživatele či administrátora. Další výhoda může spočívat v možnosti využít nejbližšího úložiště, se kterým lze komunikovat rychleji.

Datová uložiště CESNET používají následující technologie:

HSM - Hierarchical Storage Management - Hierarchický model spočívá v tom, že méně často používaná data jsou odsouvána na levnější média s vyšší kapacitou (pásky). Tímto je umožněno s danými náklady dosáhnout výrazně vyšší kapacity oproti čistě diskovému úložišti. Naproti tomu často používaná data budou uložena na velmi rychlých médiích (SAS „Serial Attached SCSI“ disky), a tak budou k dispozici uživateli ve velmi krátkém čase.

Disková pole postavená na RAID - Redundant Array of Independent Disks – vícenásobné diskové pole nezávislých disků, je metoda zabezpečení dat proti selhání pevného disku. Zabezpečení je realizováno specifickým ukládáním dat na více nezávislých disků, potažmo polí, kdy jsou uložená data zachována/dopočítána i při selhání některého z nich. Používáme RAID 6, u kterého je možné data dopočítat ze samoopravných kódů a to i při současné ztrátě 2 disků z 8.

CEPH - Ceph je technologie pro objektová úložiště. Objektová úložiště se liší od klasikých souborových úložišť. Objektová úložiště ukládájí data v podobě objektů nikoliv jako datové bloky v případě souborových úložišť. Metadata jsou asociována přimo k určitému objektu, což eliminuje potřebu hierarchické struktury používané v souborových úložištích. Vše je tedy uloženo v plochém jmenném prostoru, který je snadno škálovatelný. Ceph je softwarově definované ukládání dat na otevřené platformě, která odděluje hardware od software a umožňuje tak efektivní provoz. Jedná se o škálovatelný, distribuovaný úložný systém. Skládá se z úložiště objektů, blokového úložiště a distribuovaného systému souborů. Kromě objektového přístupu (RADOS) podporuje i přístup blokový a souborový. Data se replikují na více uzlů a je tak zajištěna ochrana proti selhání jediného bodu.

Úložiště v Ostravě je HSM postavené na dvouvrstvém modelu. Tier 1 je soubor diskových polí složených celkem ze 755ks 10TB SAS disků. Tier 2 je tvořen páskovou jednotkou TS4500 se 12mechanikami obsluhovaných dvojicí robotů. Osazenost 1167 pásek, každá o kapacitě 15TB. Disková kapacita HSM je zpřístupněna pomocí souborového systému GPFS, který zahrnuje jak Tier 1 tak diskovou část Tier 2 jako další pool. Nová a aktivně využívaná data jsou na Tieru 1 a postupně jako LIFO (Last In First Out) odsouvána na Tier 2. O přístup k datům se starají tři frontendové servery.

• Jsou zde zakládány všechny účty VO Storage.
• DU4 má migrační politiky tape, tape_tape a disk_only
• Virtuální Organizace zde mají všechny data typu Archive a větší část Backup.
• DU4 obsahuje též data ownCloud, Filesender a LTP.
• Fotografie úložiště

Úložiště v Jihlavě se skládá ze tří diskových polí, z nichž každé je složené z 39 raidových setů RAID6 (8+2) obsahujících 10TB NL HDD (Near Line). Celková „užitná“ kapacita úložiště je 9.36 PB. Metadata mají vlastní diskové pole na SSD technologii o kapacitě 144 TB. O přístup k datům se stará pět frontendových serverů, zajišťujících dostatečnou propustnost.

• zde leží část dat typu Backup pro Virtuální Organizace.
• DU5 má migrační politiku disk_only
• Fotografie úložiště

Za zajímavost stojí reportáž úložiště na serveru Lupa.cz

Objektové úložiště CL1 je postaveno na technologii CEPH a je složeno ze 17 storage serverů, každý s 48ks 12TB HDD s celkovou kapacitou 10.560PB.

• provozované služby: RBD a S3.
• Fotografie úložiště

Objektové úložiště CL2 je postaveno na technologii CEPH a je složeno ze 33 storage serverů, každý s 48ks 16TB HDD s celkovou kapacitou 25.344PB.

• provozované služby: RBD a S3.
• Fotografie úložiště

Objektové úložiště CL3 je postaveno na technologii CEPH a je složeno ze 74 storage serverů, každý s 24ks HDD a SSD s celkovou hrubou kapacitou 33.673PB.

• provozované služby: RBD a S3.
• Fotografie úložiště

Objektové úložiště CL4 je postaveno na technologii CEPH a je složeno ze 50 storage serverů s celkem 1400 HDD a SSD s celkovou hrubou kapacitou 26.607PB.

• provozované služby: RBD a S3.

Objektové úložiště CL5 je postaveno na technologii CEPH a je složeno ze 50 storage serverů, každý s 30ks HDD a SSD s celkovou hrubou kapacitou 25.536PB.

• provozované služby: RBD a S3.
• Fotografie úložiště

Rozdíly mezi jednotlivými datacentry jsou v použití různých technologií uchovávání dat. Výběr úložiště je v prvopočátku určen požadovanou službou a typu nakládání s daty. O tyto náležitosti se starají administrátoři oddělení Datových Úložišť CESNETu.

K poskytovaným službám, patří rovněž zabezpečení systémů. Hlavní důraz je kladen především na kybernetickou bezpečnost, která má tři stupně zabezpečení: Ochrana před útoky typu DDoS, zabezpečení síťového provozu firewallem, webový aplikační firewall.

Historie úložišť