Cloudian – Presentation de la solution

Tweet

Technologie Cloudian

Depuis 10 ans, Cloudian apporte à ses clients les bénéfices et la valeur d’une solution objet complète.

Cloudian est une société exclusivement tournée vers le stockage objet et dispose de son offre phare – HyperStore permettant d’intégrer une solution Cloud de type « on-premise » – ce qui en fait un des leaders du marché notamment auprès des fournisseurs de service (ISP / MSP).

En effet, Cloudian est une solution de stockage objet multi-tenant et 100 % compatible avec le protocole S3 d’Amazon.

Le système HyperStore a été conçu spécifiquement pour supporter des capacités volumineuses sans pour autant restreindre ses fonctionnalités majeures :

• Développée nativement sur le protocole S3, la technologie HyperStore reprend les grands principes d’AWS S3 en terme de terminologie et de design pour une plus grande simplicité d’intégration.
• La solution de stockage objet Cloudian est modulaire. Elle peut débuter par quelques nœuds au sein d’un seul site et évoluer au fur et à mesure sur deux ou plusieurs sites.
• Tous les nœuds participent et fournissent les principaux services s3, CMC, API, HyperStore, etc. au sein du cluster.

Les besoins supportés sont diverses :

• stockage à la demande (OpenShift & Kubernetes)
• archivage actif NAS
• archivage légal
• stockage pour Splunk
• sauvegarde avec un archivage S3
• datalake, intelligence artificielle, machine learning
• cloud privé
• etc…

Évolutions granulaires et modulaires

La mise en place d’un cluster HyperStore ne demande pas d’investissement significatif : l’offre Cloudian est granulaire, grâce à son développement orienté purement « Software-Defined Storage », qui va de quelques Go à plusieurs Po.

Cloudian permet de commencer par une infrastructure basée sur 3 nœuds en Production (1 seul nœud est nécessaire en terme de démonstration ou bien de PoC). Celle-ci pourra évoluer au fur et à mesure des besoins par l’ajout de nœuds supplémentaires en mode « scale-out ».

Le cluster HyperStore supporte les évolutions massives sur le long terme et permet de pérenniser l’investissement initial des clients en offrant la possibilité d’ajouter des nœuds de capacités différentes au sein du même cluster, mais aussi de pouvoir décommissionner, certains nœuds après leur durée de vie, si nécessaire.

Disponibilité du système

Le cluster Cloudian est un système totalement distribué basé sur une architecture peer-to-peer limitant les SPOF (Single Point Of Failure). Il est résilient aux défaillances de disques et de nœuds mais aussi de réseau grâce à son système de réplication et de processus de récupération inhérent à son architecture. Un cluster Cloudian peut être déployé en tant qu’un système Géo-Cluster au travers de multiples datacenters et ainsi fournir une redondance et une résilience éprouvée même lors d’un sinistre complet de datacenter.

La technologie HyperStore s’appuie sur plusieurs concepts innovants et permettant de garantir la durabilité de la donnée :

✔ Peer-to-peer system
✔ Distributed everything (data, metadata, configuration)

De plus, ces concepts sont associés à des protections de la donnée tels que :

✔  le Replica Factor (RF => RF3, RF4 etc.) : processus permettant de copier un objet plusieurs fois à plusieurs endroits afin de garantir sa redondance. Chaque copie est mise à jour si l’objet est modifié.

1. ✔  l’Erasure Coding (EC => EC 3+2, 4+2 et plus) : processus permettant de découper l’objet en fragments avec un encodage autorisant la reconstruction de la donnée si besoin. Les fragments sont isolés sur des médias et des nœuds différents. La protection « +2 » peut être augmentée facilement : +3, +4, etc. Ces topologies s’appliquent sur un DataCenter ou sur plusieurs DataCenters. En effet, nous supportons le RF across DC, l’EC répliqué sur 2 DataCenters ou davantage et l’EC distribué sur 3 DataCenters minimum.

• ✔ ou bien encore la réplication asynchrone (Cross Region Replication – CRR) : processus permettant la réplication complète (async) d’un bucket sur un site distant (DR). Ainsi, il est possible de définir une architecture hautement disponible débutant par la répartition des données sur un ou plusieurs datacenters (distribution) et associant la redondance d’un schéma de protection résiliant à plusieurs pannes. Puisque le choix du schéma de protection s’effectue au niveau du bucket, il est donc possible d’avoir différents niveaux de protection sans pour autant devoir ré-initialiser son cluster ou bien migrer ses données. Autrement dit, un schéma de protection « Replicated EC 4 + 2 » sur deux datacenters permet de s’affranchir de 2 pannes (disque et/ou nœud) ou de la perte totale d’un datacenter. Ce schéma de protection peut évoluer dans le temps et gagner en robustesse par l’ajout de nœud ou bien de datacenter.

Le mode de protection optimum est la géo-distribution sur plusieurs datacenters pour un même cluster.

La gestion fine et granulaire d’HyperStore permet de s’affranchir des politiques communes et inappropriées pour tous les utilisateurs. En effet, HyperStore permet de créer plusieurs politiques de stockage pouvant être visibles de tous ou non et ainsi fournir des SLA différents pour les tenants et utilisateurs.

D’autres fonctionnalités complétent la résilience du système afin de garantir la pérennité des données telles que :

✔ automatic data repair (réparation dynamique et continue)

✔ proactive repair
✔ repair-on-read
✔ disk failure detection