Description des fonctionnalités SmartTier
Parmis les nombreuses fonctionnalités de stockage des baies Huawei, nous retrouvons la fonctionnalité « SmartTier ». Cette fonctionnalité sert à stocker automatiquement des données sur différents niveaux selon des stratégies spécifiques pour une gestion intelligente des données.
SmartTier permet notamment aux utilisateurs de définir des politiques de hiérarchisation pour les espaces de noms ou les arborescences de répertoires.
Les données peuvent être stockées sur différents supports de stockage automatiquement ou manuellement et peuvent être migrées entre différents niveaux en fonction de stratégies spécifiques, répondant ainsi aux exigences diversifiées des utilisateurs en matière de performances de traitement de fichiers, de capacité de stockage et de coûts. De cette manière, elle permet d’utiliser correctement l’espace de stockage, d’améliorer les performances d’accès du système de stockage et de réduit le coût global de déploiement. SmartTier prend en charge le stockage hiérarchisé des données froides. Les données qui ne sont pas utilisées pendant une longue période mais qui ne peuvent pas être supprimées sont hiérarchisées vers diférents dispositifs (Tape, stockage disque capacitif, disques Blu-ray, Cloud, etc..).
SmartTier intra-cluster
La fonctionnalité SmartTier intra-cluster est basée sur les pools de disques. C’est-à-dire que les espaces de noms peuvent être migrés entre les pools de disques. Les espaces de stockage sont classés selon trois niveaux : Chaud, Tiède et Froid.
Chaque niveau peut contenir plusieurs pools de disques. Le système équilibre automatiquement les charges entre les différents pools de disques d’un niveau de stockage (équilibrage de charge, équilibrage de la capacité, etc.). Les recommandations de configuration d’un niveau d’un pool de disques sont les suivantes :
- Lors de l’utilisation de SSD ou cartes SSD et de SSD NVMe comme stockage principal, le niveau du pool de disques est « hot ».
- Lors de l’utilisation de disques SAS comme stockage principal, le niveau du pool de disques est « warm ».
- Lors de l’utilisation de disques SATA comme stockage principal, le niveau du pool de disques est « cold ».
Nous vous conseillons d’associer les données les plus sollicitées à un pool de disques de niveau Chaud afin d’accélérer la réponse du système aux données hotspot et d’améliorer les performances globales du stockage. Nous vous conseillons d’associer les données moins sollicitées à un pool de disques de niveau « warm » ou « cold » afin de réduire les coûts de déploiement et de maintenance.
SmartTier à l’extérieur d’un cluster
SmartTier à l’extérieur d’un cluster consiste à hiérarchiser les données vers un autre ensemble de stockage objet (S3) moins coûteux. En d’autres termes, les données d’un espace de noms peuvent circuler entre le cluster local et un dispositif de stockage objets à l’extérieur du cluster.
Actuellement, le cloud public AWS, Huawei Cloud, le stockage Blu-ray et d’autres clusters de stockage objets de la gamme OceanStor Pacific sont pris en charge. Les dispositifs de stockage objets à l’extérieur du cluster sont appelés dispositifs hétérogènes dans les sections suivantes.
Pour SmartTier à l’extérieur d’un cluster, il est recommandé que les données de plus de 90 jours (les données de moins de 30 jours ne sont pas recommandées) soient hiérarchisées afin d’éviter une récupération fréquente des données en raison de leur utilisation.
Les données sont hiérarchisées vers les dispositiifs hétérogènes. Seules les données sont hiérarchisées, les métadonnées ne le sont pas. Le format de données de la hiérarchisation des données est défini par l’utilisateur. Par conséquent, les données hiérarchisées sur des éléments différents ne peuvent pas être lues directement. Les données doivent être lues à partir du cluster OceanStor Pacific.
Les données qui ont été hiérarchisées sur des éléments différents sont à l’état « Archived ». Les données qui ont été récupérées à partir de ces éléments sont dans l’état « Restored ». L’état du fichier peut être obtenu via l’interface S3 ou les commandes en CLI.
Lorsque les données sont hiérarchisées sur différents éléments de stockage, l’agrégation de petits fichiers, la compression des données et le cryptage des données peuvent être activés. Vous pouvez configurer ces fonctionnalités lors de la configuration des politiques de migration, si nécessaire.
La fonctionnalité « WORM », la gestion des versions et le cycle de service ne doivent pas être configurés pour des « Buckets » sur des éléments de stockage différents. Cela pourrait entrainer une incohérence des données.
Les données qui ont été hiérarchisées sur différents éléments de stockage peuvent être récupérées via l’interface de récupération S3 (récupération d’un objet à la fois) ou une tâche de récupération unique (la récupération par lots est cependant supportée) configurée dans DeviceManager. L’action de récupération lit les données du dispositif hétérogène vers le cluster OceanStor Pacific, mais les données hébergées sur différents éléments de stockage ne sont pas supprimées.
Lors de la récupération des données, vous devez indiquer la période de conservation (de 1 à 30 jours). Si les données ne sont pas modifiées à l’expiration de la période de conservation, les données locales sont supprimées et seules les données des différents éléments de stockage sont conservées. Si les données ont été modifiées, les données stockées sur les différents éléments de stockage seront supprimées. Lorsque les données remplissent à nouveau les conditions de hiérarchisation, elles sont à nouveau hiérarchisées vers ces éléments de stockage externes.
Les données qui ont été hiérarchisées sur les éléments de stockage externes peuvent être lues par le biais de différents protocoles. Le cluster OceanStor Pacific lit directement les données correspondantes du stockage externe et renvoie les données. Dans le même temps, la demande de lecture déclenche l’extraction de la totalité du fichier en arrière-plan (par défaut, le fichier est conservé pendant un jour), de sorte que le fichier puisse être lu ou modifié en continu. Si la bande passante du réseau entre le cluster OceanStor Pacific et le stockage externe est faible et que la latence est importante (par exemple, la transmission de données de 1 Mo prend plusieurs secondes), une série d’opérations telle que la récupération peut échouer en raison de la lenteur de la lecture en directe. Dans ce cas, il est déconseillé d’utiliser la lecture directe. Vous pouvez exécuter des commandes CLI pour désactiver cette fonction.
Les données contenues dans les stockages externes ne peuvent pas être modifiées directement. elles ne peuvent être modifiées qu’après avoir été récupérées (directement ou indirectement récupérées par des requêtes de lecture).
Vous pouvez définir la qualité de service (QoS) afin de contrôler la bande passante de hiérarchisation des éléments de stockage externes et de garantir une bande passante suffisante pour les services frontaux.
Vous pouvez visualiser la bande passante de la hiérarchisation en temps réel sur la page Performance Monitoring.
Concernant les données protégées par des snapshots, l’espace ne peut pas être récupéré sur les éléments de stockage locaux ou externes tant que ces snapshots n’ont pas été supprimés. Les données historiques des snapshots ne peuvent pas être récupérées.
Politiques de hiérarchisation
Politique de disposition
Une politique de disposition est utilisée pour décrire l'emplacement et les conditions de stockage des données nouvellement écrites dans un espace de noms ou une arborescence de répertoires. Les données écrites dans un fichier sont placées à l'emplacement qui est déterminé lors de la création du fichier. L'emplacement ne change pas même si le fichier est migré ou si la politique de disposition de l’espace de noms ou de l’arborescence de répertoires à laquelle le fichier appartient est modifiée. Les données écrites dans un fichier nouvellement créé dans un espace de noms ou une arborescence de répertoires sont placées conformément à la politique de disposition existante. Les politiques de disposition sont classées selon les types suivants :
Politique de disposition par défaut
- Les métadonnées sont placées dans un stockage à chaud par défaut et l'emplacement de disposition ne peut pas être modifié.
- Si aucune autre politique de disposition ne correspond, les données sont stockées sur la base de la politique de disposition par défaut. − Politique de disposition commune Les données d’un fichier dans un espace de noms ou une arborescence de répertoires sont placées dans l'emplacement de stockage spécifié en fonction des règles de disposition spécifiées.
Politique de migration
Une politique de migration décrit l'emplacement de stockage de destination et les conditions de migration de l’espace de noms ou de l’arborescence de répertoires. Vous pouvez ajouter, modifier ou supprimer une politique de migration.
Une politique de migration peut être périodique ou ponctuelle.
Politique de migration périodique :
Une tâche de hiérarchisation est créée sur DeviceManager, les espaces de noms ou les arborescences de répertoires sont périodiquement analysés, et les données sont migrées en fonction de la politique de migration correspondante. La politique de migration est exécutée à une heure fixe la nuit et la période d’exécution par défaut est d’un jour. Si la tâche de hiérarchisation n’est pas terminée, elle continue à être exécutée, aucune nouvelle tâche n’est lancée. Vous pouvez modifier la période d’exécution et l’heure de début des politiques de migration.
Politique de migration ponctuelle :
La tâche de hiérarchisation en arrière-plan n’est exécutée qu’une seule fois. En d’autres termes, les espaces de noms ou les arborescences de répertoires ne sont analysés et migrés qu’une seule fois. La tâche est exécutée immédiatement après avoir été définie sur DeviceManager. La politique de migration ponctuelle peut également être utilisée pour extraire des données qui ont été migrées vers un dispositif hétérogène.
Politique de suppression
Une politique de suppression décrit les conditions de suppression de données des espaces de noms ou des arborescences de répertoires. Vous pouvez ajouter, modifier ou supprimer un politique de suppression. Vous pouvez activer les espaces de noms du service objet pour définir les politiques d’expiration d’objet.
Le système crée une tâche de hiérarchisation en arrière-plan, analyse périodiquement les espaces de noms ou les arborescences de répertoires et supprime les données en fonction de la politique de suppression correspondante. La politique de suppression est exécutée à une heure fixe la nuit et la période d’exécution par défaut est d’un jour. Si la tâche de hiérarchisation n’est pas terminée, elle continue à être exécutée, aucune nouvelle tâche n’est lancée.
Vous pouvez modifier la période d’exécution et l’heure de début d’une politique de suppression.
