Qu'est-ce que le stockage objet ?
Le stockage objet, également appelé stockage basé sur des objets, est une architecture de stockage conçue pour gérer les données non structurées à l'échelle souhaitée. Alors que le stockage en mode bloc répartit les données en blocs dotés d'identifiants uniques et que les systèmes de fichiers gèrent les données selon une hiérarchie de fichiers, le stockage objet stocke les données sous forme d'objets. Chaque objet correspond à un référentiel de données distinct et autonome, composé de trois parties : un identifiant unique au monde qui sert à traiter les objets, les métadonnées et la charge utile des données (ou données brutes). Les métadonnées contiennent des informations sur la charge utile des données, mais peuvent également contenir des données système telles que des stratégies de protection ou des métadonnées personnalisées.
Les objets sont stockés selon une organisation horizontale, sans les dossiers et les structures hiérarchiques qui sont généralement utilisés dans un système de fichiers. Comme les bases de données avec la paire clé-valeur, le stockage objet utilise l'identifiant unique de chaque objet (clé) pour se référer aux données de charge utile (valeur). Les métadonnées spécifiques à chaque objet sont personnalisables. Elles peuvent contenir des attributs définis par l'utilisateur pour simplifier la recherche de fichiers, les requêtes, l'indexation et les analyses.
Le stockage objet repose sur la création d’espaces de noms : un moyen simple d’accéder aux données stockées en tant qu’objets. Généralement, dans un cluster de stockage objet, un catalogue global représente un portail d’accès logique unique pour les utilisateurs et les applications. Le stockage objet permet d’accéder aux données via divers protocoles, notamment S3 et HTTP(S).
Selon IDC, 80 % des données mondiales seront non structurées d'ici 2025. C'est une bonne occasion de stocker toutes ces données dans un stockage objet ou fichier. Le stockage objet est souvent privilégié par rapport au stockage en mode fichier pour conserver des données en archive pendant une longue période (données froides/inactives, sauvegardes et répliques, données de conformité, données analytiques, fichiers multimédias, etc.). Le stockage objet est beaucoup plus économique et évolutif que le stockage en mode bloc ou fichier. Il est, en général, mis en œuvre sur site, sous forme de Cloud privé, ou selon un modèle de paiement à l'utilisation, sous forme de service de Cloud public.
Évaluation des solutions de stockage objet
Par Eric Burgener d'IDC et des experts du stockage objet de DataCore Voir le webinaire
Principales capacités du stockage objet
Évolutivité
L'une des principales raisons pour lesquelles les organisations utilisent le stockage objet est son évolutivité sans précédent. Les clusters de stockage objet peuvent évoluer considérablement, passant de l'ordre des téraoctets à celui des exaoctets, et stocker des milliards de fichiers auxquels peuvent accéder des millions d'utilisateurs. Le fichiers ne sont plus stockés dans un système de fichiers, mais stockés en tant qu'objets dans un espace d'adressage plat.
En dissociant la gestion des fichiers de la gestion des blocs de bas niveau, chaque disque du cluster de stockage objet participe à l'espace de noms. Les services de données sont superposés par dessus. Ce niveau de séparation offre une excellente facilité de gestion à l'échelle souhaitée. En outre, la gestion extensible des données basée sur des métadonnées simplifie la gestion de l'accès aux données. Cela rend le stockage objet pratiquement illimité pour traiter n'importe quelle capacité de données.
Accès distribué
Le stockage objet permet aux utilisateurs et aux applications d’accéder au contenu via divers protocoles et méthodes d’accès, notamment S3, HTTP(S) et les API REST. Dans une configuration d’accès distribué, un certain nombre d’utilisateurs répartis sur plusieurs sites peuvent accéder simultanément aux fichiers.
Si un utilisateur doit effectuer une modification sur un objet, cela créera une nouvelle version de l'objet au lieu de modifier l'existant.Le nombre de versions d'objet pouvant être créées est souvent configurable par l'administrateur. Il existe également une fonctionnalité supplémentaire de verrouillage des objets basée sur des règles qui limite la modification d'un objet ou d'un groupe d'objets à une période spécifique ou indéfiniment. Ce niveau de flexibilité d'accès, de modification et de verrouillage permet de donner un véritable accès distribué aux utilisateurs finaux et un contrôle efficace aux administrateurs.
Métadonnées personnalisées
Dans les solutions de stockage objet, les métadonnées stockent des informations sur les données et sont utilisées pour la récupération et la gouvernance des données. Le stockage objet permet aux utilisateurs d'enrichir les métadonnées d'un fichier par un nombre quelconque d'attributs personnalisés.
Cela simplifie la recherche, l'indexation et les analyses de contenu. Les métadonnées peuvent également servir à définir des stratégies au niveau des objets ou des buckets pour définir la façon dont les données doivent être protégées et stockées.
Durabilité des données
Alors que la disponibilité des données renvoie à la disponibilité du système, la durabilité des données vise à garantir leur protection à long terme. Les solutions de stockage objet offrent de solides capacités de protection des données pour garantir leur durabilité et éliminer les points de défaillance uniques.
- La réplication des données vers un ou plusieurs nœuds garantit que les copies de données sont répliquées de manière synchrone ou asynchrone au sein du système ou en externe vers un site de reprise après sinistre. En cas de problème, le système de stockage objet crée automatiquement des copies supplémentaires en suivant la stratégie définie pour conserver la redondance des données. Les copies de données sont également récupérées depuis le site de reprise après sinistre en cas de défaillance d'un site.
- Le codage par effacement combine les données avec les informations de parité, puis les segmente et les distribue sur le cluster de stockage objet. En cas de perte de données, les données sont immédiatement reconstituées à partir des segments codés par effacement et restaurées à leur état d'origine.
Immuabilité
Il s'agit de la capacité de la plateforme de stockage objet à rendre les objets immuables, c'est-à-dire impossibles à supprimer ou modifier. L'immuabilité permet de préserver les enregistrements et de maintenir l'intégrité des données. Si un utilisateur essaie de modifier un fichier, une nouvelle version de l'objet est créée tandis que l'objet d'origine est conservé tel quel.
En cas de menace (par exemple, une attaque de ransomware) ou de suppression ou remplacement involontaire des données, les administrateurs peuvent facilement restaurer les données d'origine. Les réglementations en matière de conformité exigent également de stocker les données sur des supports non effaçables et non réinscriptibles, ainsi que de respecter une certaine durée de conservation des fichiers à des fins juridiques. L'immuabilité permet de satisfaire toutes ces exigences et rend le stockage objet conforme à la norme WORM (Write-Once-Read-Many - écriture unique, lecture multiple).
Gestion intelligente des données
Le stockage objet est principalement utilisé comme archivage à faible coût, mais il présente d'autres avantages, en plus d'être « économique et profond ». Il permet de gérer le cycle de vie des données, en couvrant la création, la modification, la suppression, l'accès, la collaboration et la protection. Il prend en charge la création de copies de données à l'aide de la réplication, du verrouillage et du chiffrement de fichiers, la protection contre la suppression, l'application de contrôles d'accès, la recherche de fichiers à l'aide de métadonnées enrichies, l'intégration avec des applications via des API REST, etc.
Certaines solutions de stockage objet permettent de diffuser du contenu en streaming directement à partir de la couche de stockage, sans avoir à le télécharger dans un référentiel local. Une interface utilisateur intuitive est habituellement utilisée comme portail de contenus pour permettre aux utilisateurs d'accéder aux fichiers sur Internet. Les cas d'utilisation du stockage objet s'étendent ainsi de l'archivage à une plateforme complète de gestion et de diffusion de contenus.
Gestion multi-clients
Une architecture de stockage objet multi-clients permet de partager les ressources d'un cluster avec plusieurs clients (utilisateurs internes ou abonnés externes). Cette solution est couramment mise en œuvre par les fournisseurs de services, qui hébergent des ressources de stockage pour leurs clients dans un cluster de stockage centralisé et partagé, dans un Cloud public ou privé). Les clients disposent de différents niveaux d'autorisation et de contrôle d'accès aux données en fonction de leur niveau d'abonnement. Si différents départements au sein d'une même organisation doivent stocker et protéger leurs données en fonction de stratégies spécifiques, l'entreprise peut même adopter un déploiement multi-clients à l'intérieur de son datacenter.
Principales caractéristiques du stockage objet multi-clients :
- Intégration avec des systèmes de gestion d'identité tels qu'AD et LDAP pour mettre en œuvre des contrôles d'accès et des stratégies de sécurité.
- Mesures et quotas d'utilisation de la capacité en vue de déterminer et de gérer l'utilisation entre les différents clients.
- Capacités d'audit et de reporting pour permettre aux fournisseurs de services de gérer la facturation et les comptes.
- Options de l'utilisateur final en libre-service permettant une gestion des données au niveau du client, à l'aide de contrôles d'accès granulaires, d'autorisations utilisateur, de quotas, etc.
Banc d'essai des performances du stockage objet
Utilisation de l'environnement de supercluster de données
du Science and Technology Facilities Council
Cas d'utilisation courants du stockage objet
Voici quelques cas d’utilisation courants du stockage objet répondant aux besoins de différents secteurs d'activité. Il existe de nombreuses autres applications du stockage objet dans les environnements des organisations et des fournisseurs de services.
Archive active
Transfère les données du stockage NAS principal pour le soulager
Stockage immuable pour les sauvegardes
Protège contre la perte de données et les vecteurs de menace
Archive quasi en ligne (nearline)
Prend en charge les flux de travail multimédias numériques à la fois dans les locaux et sur le plateau (en périphérie)
Stockage d’origine
Pour les services OTT/VOD et la diffusion de contenu
Archive d’imagerie médicale
Stocke des images médicales, des systèmes d'archivage et de communication d'images (PACS), ainsi que des archives ouvertes (VNA) pour les secteurs de la santé
Archive de gestion des ressources numériques
Protège les ressources, en permettant un accès à faible latence
Stockage Data Lake
Gère des charges de travail massives dans les domaines de la recherche, du Big Data, de l’IoT et de l’IA/ML
Stockage multi-clients
Facilite diverses offres de services cloud (par exemple, StaaS)
Conservation des données à long terme
Pérennise la protection du contenu, sans nécessiter de mise à niveau lourde
Solution de remplacement du Cloud public et de la bande LTO
Idéal pour le stockage de données en ligne et sur site
Différences entre les stockages bloc, fichier et objet
Examinons quelques-unes des principales différences entre le stockage bloc, le stockage fichier et le stockage objet en matière d'architecture, de caractéristiques et d'application.
Stockage en blocs | Stockage fichier | Stockage en mode objet | |
---|---|---|---|
:Idéal pour | Stockage bloc :Données hautement transactionnelles, applications à faible latence, bases de données et charges de travail de machine virtuelle | Stockage fichier :Partage de fichiers et collaboration distribués, système de fichiers évolutif | Stockage objet :Consultation, diffusion et archivage de contenus distribués |
:Comment les données sont stockées | Stockage bloc :Données divisées en blocs dans les voies et les secteurs du disque | Stockage fichier :Fichiers organisés en dossiers avec un répertoire/chemin d'accès | Stockage objet :Objets autonomes |
:Structure des données | Stockage bloc :Volume, LUN | Stockage fichier :Hiérarchique | Stockage objet :Clé/valeur |
:Protocoles couramment utilisés pour l'accès aux données | Stockage bloc :iSCSI et Fibre Channel | Stockage fichier :NFS et SMB | Stockage objet : S3 et HTTP(S) |
:Prise en charge des métadonnées | Stockage bloc :Non | Stockage fichier :Oui, métadonnées du système de fichiers fixes. Stockées séparément du dossier. | Stockage objet :Oui, métadonnées personnalisées. Stockées avec l'objet lui-même. |
:Prise en charge de l'espace de noms | Stockage bloc :Non | Stockage fichier :Oui | Stockage objet :Oui |
:Performances | Stockage bloc :Niveau très élevé | Stockage fichier :Niveau élevé | Stockage objet :Niveau élevé (optimisé pour le débit) |
:Évolutivité | Stockage bloc :Comparativement faible | Stockage fichier :Niveau élevé | Stockage objet :Niveau très élevé |
:Coût | Stockage bloc :Niveau très élevé | Stockage fichier :Niveau élevé | Stockage objet :Faible |
Avantages du stockage objet DataCore Swarm
DataCore Swarm fournit une solution de stockage objet sur site qui simplifie considérablement la gestion, le stockage et la protection des données, tout en permettant un accès S3/HTTP(S) à tout périphérique, application ou utilisateur final. Swarm transforme vos archives de données en bibliothèque de contenu flexible et immédiatement accessible, qui rend possibles les flux de travail distants, l’accès à la demande et l’évolutivité massive.
Swarm fournit une plateforme de protection, de gestion, d’organisation et de recherche des données à l’échelle de l’entreprise. Vous n’avez plus besoin de faire migrer les données vers des solutions disparates pour les conserver à long terme, les rendre accessibles ou les analyser. Regroupez tous les fichiers sur Swarm, trouvez rapidement les données que vous recherchez et réduisez le coût total de possession en faisant évoluer le matériel et en optimisant les ressources en permanence.
Démarrez avec Swarm, Le stockage objet Software-Defined
Stockez vos données en pleine croissance sur une archive active évolutive et sécurisée. Fini, les coûts insensés du Cloud !
Rejoignez des milliers de professionnels de l'informatique qui ont bénéficié des solutions DataCore.
« L'évolutivité est l'un des aspects les plus intéressants de Swarm. Ce que j'aime avec cette plate-forme, c'est que lorsqu'on dépose un nouveau nœud, il se construit tout seul à partir de rien. Si vous voulez ajouter un nœud de 72 To ou Po, il suffit de le déposer. »