Le coût du stockage de données peut paraître négligeable aujourd’hui, de par le faible coût des supports de stockage domestique, ainsi que de la démocratisation du stockage en ligne, apparemment gratuit. Cependant,cela ne réprésente pas la réalité du coût du stockage dans une grande infrastructure. En effet, contrairement au stockage domestique, qui ne nécessite qu’un ou deux supports — de coût modéré — le stockage de masse nécessite des supports dimensionnés pour un usage intensif et performant — bien plus honéreux — ainsi que des duplications des supports afin d’assurer la disponibilité et la préservation des données — ce qui ajoute des coûts.

En plus de ce coût matériel — masqué par le financement publicitaire ou la valeur de vos données personnelles — le stockage en ligne masque un autre problème : le cout de l’expertise humaine. On oublie en effet trop souvent que maintenir en état une infrastructure grande échelle nécessite du temps humain — là où un stockage personnel ne nécessite que l’achat d’un nouveau support.

Résumé

	Pool chaud	Pool froid
Utilisation	Travail	Archivage
Quota min	60 Go	1 To
Quota max	1To	15 To
Extension	Auto	Demande
Accès	Défaut	Dossier archives

Pools de stockage

Osaka dispose de deux volumes de stockages destinés aux données utilisateurs. Ces volumes sont accessibles depuis le noeud frontal ainsi que depuis tous les noeuds de calcul.

Le volume « chaud »

Destiné à l’utilisation courante. C’est le volume par défaut pour les données utilisateur.

Le volume « froid »

Destiné à l’archivage, c’est à dire toutes données ne nécessitant pas un accès en lecture ou écriture haute performance.

C’est la solution BeeGFS qui fait fonctionner ces pools de stockage. BeeGFS est un système de fichier parallèle, optimisé pour le calcul haute performance. La commande beegfs-ctl donne accès à des commandes avancées permettant la gestion fine de vos données.

Utilisation courante

Chaque utilisateur dispose d’un espace disque de 60 Go alloué par défaut sur le pool chaud. Cet espace de stockage est extensible, de façon automatique, afin de ne pas pénaliser l’exécution d’un calcul qui ferait dépasser ce
quota. Très exactement, le quota augmente de 5% lorsque 95% du quota courant est atteint. Par exemple, la première extension de quota s’effectue lorsque la barre de 60 × 0.95 = 57 Go est dépassée. Le nouveau quota est alors de
60 + 60 × 0.05 = 63 Go. La limite maximale autorisée à cette ré-évaluation de quota est fixée à 1 To.

Archivage

Chaque utilisateur dispose d’un quota de 1 To sur le volume d’archivage. Il est possible d’étendre ce quota à la demande, dans la limite de 15 To.

Archivage automatique

Pour faciliter l’opération d’archivage, chaque « home » utilisateur se voit attribuer automatiquement un dossier archives. Tout fichier déplacé dans ce dossier sera automatiquement déplacé durant le week-end suivant sur le volume « froid ». L’emplacement, « chaud » ou « froid », d’un fichier ne change rien à son accessibilité du point de vue utilisateur.
Ainsi, pour l’utilisateur, un fichier archivé sur le pool « froid » n’est rien d’autre qu’un fichier dans son dossier archives. Par contre, tout fichier présent dans le dossier archives ne compte pas dans le quota de stockage chaud : il compte dans le quota du stockage froid.

Attention : le déplacement des données du pool froid vers le pool chaud n’est pas automatique. Cela signifie qu’un fichier du pool froid, déplacé depuis le dossier archives vers un autre emplacement de votre arborescence, restera dans le pool froid.

Archivage manuel

Si vous désirez déplacer vous même des fichiers depuis le pool chaud vers le pool froid (sans attendre le déplacement automatique), vous devez déplacer ces fichiers dans le dossier archives puis utiliser la commande suivante :

>> beegfs-ctl --migrate --storagepoolid=1 --destinationpoolid=2 /chemin/vers/le/fichier

Si vous désirez déplacer vous même des fichiers depuis le pool froid vers le pool chaud (pour profiter des meilleurs temps d’accès du pool chaud), vous devez déplacer ces éléments hors du dossier `archives/` et les attribuer manuellement au pool chaud :

>> beegfs-ctl --migrate --storagepoolid=2 --destinationpoolid=1 /chemin/vers/le/fichier

Avec une gestion manuelle de l’archivage, il n’est pas nécessaire de déplacer un fichier dans l’arboresence logique pour changer son pool de stockage. Cependant, afin de ne pas oublier ce qui relève de l’archive et ce qui n’en est
pas, nous recommandons de déplacer dans le dossier archives/ tout fichier archivé manuellement dans le pool froid.

État des quotas

Votre utilisation courante de l’espace disque vous est communiquée de plusieurs façons.

Login

Lors de la connection en ssh, après les éventuels messages diffusés à l’ensemble des utilisateurs, deux lignes vous renseignent sur l’état actuel de votre utilisation sur les deux pools :

Votre quota disque sur le pool chaud (ID 1) : XX.X Go utilise sur YY.Y Go alloue (ZZ.Z%)
Votre quota disque sur le pool froid (ID 2) : XX.x Go utilise sur YY.Y Go alloue (ZZ.Z%)

Invite de commande

Dans votre invite de commande.

À moins que vous n’ayez personnalisé votre invite de commande, l’invite de commande par défaut vous indique l’état de votre quota sur le pool chaud.

USERNAME@frontal01-osaka (XX.X Go < 60 Go) :~
>>

Cette information est mise à jour toutes les heures, aussi ne vous étonnez pas de ne pas voir votre utilisation diminuer instantanément lorsque vous effacez des fichiers.

Lorsque votre utilisation dépasse le quota par défaut, l’information d’utilisation passe à l’orange. Lorsqu’elle dépasse dépasse 4 fois le quota par défaut (240 Go), elle passe au rouge. Enfin, si vous dépassez 16 fois le quota par défaut (960 Go), elle passe au rouge inversé, ce qui rend l’invite de commande désagréablement envahissante. C’est fait exprès 😛.

BeegFS-ctl

Il est possible d’interroger directement le système de stockage avec la commande suivante :

>> beegfs-ctl --getquota --uid $USER

Cependant, l’information ainsi récupérée n’est pas « en temps réel ». Pour ne pas baisser les performances du système de stockage, les informations sur les quotas sont mis à jour toute les 5 minutes.