Vos données sur le cluster Osaka sont gérées par le système de stockage distribué BeeGFS. Cela signifie que vos données sont « découpées » et réparties sur plusieurs baies de disques afin d’accélérer leur accès en lecture / écriture.
Infrastructure matérielle
Depuis novembre 2019, le système BeeGFS d’osaka dispose de 2 baies :
- une baie n°1, composée de disques SSD, d’une capacité utile de 42 To et décomposée en 2 volumes,
- une baie n°2, composée de disques rotatif NLSAS, d’une capacité utile de 180 To et décomposée en 2 volumes.
La baie n°1 est destinée aux accès rapides. Elle sert à la production de vos données pendant l’exécution de vos simulations (données chaudes). En revanche, son coût est élevé et son espace disque est donc plutôt faible. Elle ne peut donc pas accueillir toutes vos données.
La baie n°2 est plus capacitive. Son coût au To est moindre mais la vitesse de lecture / écriture des données s’y fait moins rapidement. Cette baie est destinée à accueillir vos « données froides », c’est à dire les données de post-simulation sur lesquelles vous ferez des accès de manière ponctuelle (données froides).
Politique de stockage
Voici les règles établies :
- Les données de votre répertoire d’accueil sont sur la baie n°1 (pool chaud),
- Les données que vous souhaitez placer sur la baie n°2 (pool froid) doivent être déplacées dans votre répertoire
archives, - Vous ne devez pas supprimer ce dossier
archives: il s’agit du répertoire qui vous lie au « pool froid », - Votre quota disque sur le pool chaud (baie n°1) est par défaut de 60 Go. Sa valeur ne pourra pas excéder 1 To,
- Votre quota disque sur le pool froid (baie n°2) est par défaut de 1 To. Sa valeur ne pourra pas excéder 15 To.
- Vos données réparties sur ces 2 pools de stockage sont sauvegardées, sur le système de sauvegarde de l’université. Afin d’optimiser cette sauvegarde, il est possible de définir des filtres d’exclusion sur certains fichiers ou dossiers. Ces filtres sont créés à la demande.
Utilisation de BeeGFS
Informations sur les quotas
Vous pouvez obtenir les informations sur vos quotas par pool grâce à la commande beegfs-ctl −−getquota −−uid $USER :
>> beegfs-ctl --getquota --uid $USER
Quota information for storage pool Default (ID: 1):
user/group || size || chunk files
name | id || used | hard || used | hard
--------------|------||------------|------------||---------|---------
<LOGIN>| 52055|| 10.87 GiB| 60.00 GiB|| 11291|unlimited
Quota information for storage pool Froid (ID: 2):
user/group || size || chunk files
name | id || used | hard || used | hard
--------------|------||------------|------------||---------|---------
<LOGIN>| 52055|| 6.25 GiB| 1024.00 GiB|| 97|unlimited
Il est à noter que les données de ces 2 pools apparaissent « unifiées » au sein de systeme d’exploitation. Par exemple, en utilisant la commande df (qui résume l’utilisation de l’espace de stockage) sur le point de montage /u, on obtient une unique réponse :
>> df /u -h Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur beegfs_nodev 221T 38T 183T 17% /u
Gestion des pools
Pour avoir plus d’informations, il est par exemple possible d’utiliser la commande beegfs-df :
>> beegfs-df
METADATA SERVERS:
TargetID Cap. Pool Total Free % ITotal IFree %
======== ========= ===== ==== = ====== ===== =
1 normal 268.6GiB 265.7GiB 99% 179.4M 166.2M 93%
2 normal 278.6GiB 278.2GiB 100% 186.0M 185.9M 100%
STORAGE TARGETS:
TargetID Cap. Pool Total Free % ITotal IFree %
======== ========= ===== ==== = ====== ===== =
1 normal 21456.3GiB 3486.4GiB 16% 2145.8M 2139.5M 100%
2 normal 21456.3GiB 3486.3GiB 16% 2145.8M 2139.5M 100%
3 normal 91233.0GiB 91141.2GiB 100% 1824.7M 1824.7M 100%
4 normal 91233.0GiB 91141.2GiB 100% 1824.7M 1824.7M 100%