Ajouter un volume AWS dans PowerStore pour Zimbra

Ajouter un volume AWS dans PowerStore pour Zimbra

L’augmentation des données sur un serveur mail utilisant le protocole IMAP ou ActiveSync Exchange est constant. Utilisateur de la solution Zimbra et de Zextras depuis de nombreuses années, j’utilise les fonctions de stockage que propose PowerStore. Réaliser un archivage massif ou encore dédupliquer les données peut être long. Nous allons réaliser un archivage d’objets à chaud simplement vers Amazon Web Service.

Sommaire

1. Création et configuration d’un Bucket S3 chez AWS
2. Intégration du Bucket S3 AWS en tant que volume secondaire dans Zextra PowerStore
3. Création d’une politique de gestion du stockage avec HSM

Création et configuration d’un Bucket S3 chez AWS

Pour débuter, nous allons créer un stockage d’objet dit Bucket S3. Il est composé de data et de metadata et répond à une API REST. Rendons-nous sur la page d’inscription et suivons les instructions :

La suite est relativement basique, il est conseillé de créer un compte utilisateur pour chaque instance S3. Pour cela, rendons-nous à la page suivante : IAM/AWS  et cliquons sur Démarrer avec AWS IAM, voici le tableau de bord :

Je vous invite à activer l’authentification double facteur (MFA) sur le compte racine puis d’appliquer une stratégie de mot de passe IAM afin d’avoir un statut de sécurité opérationnel. Ensuite, cliquons sur Utilisateurs puis ajoutons notre utilisateur :

L’étape 2 consiste à autoriser l’utilisateur à obtenir des accès sur les services AWS :

Avant, nous allons devoir créer un groupe dédié à notre stockage S3, en cliquant sur Créer un groupe :

L’autorisation AmazonS3FullAccess est importante car elle permet au compte zxpowerstore de manager complétement les instances S3. Une fois faite, continuons vers l’étape 3 et cliquons sur Créer un utilisateur :

L’utilisateur de démonstration est disponible, voici l’ensemble des informations le concernant :

Nous allons désormais créer l’instance Amazon S3 pour Zextras PowerStore. Les classes de stockage compatibles sont:

• Amazon S3 Standard
• Amazon S3 Standard – Infrequent Access

J’utilise la classe de stockage Standard – Infréquent Access afin de réaliser mes archivages car ce sont des consultations peu fréquentes. Plus d’informations sur les différentes classes proposées par Amazon S3. Rendons-nous sur la page suivante : S3/AWS puis nous avons la possibilité de créer notre compartiment à Londres (Zone EU_WEST_2) :

L’étape 4 permet d’avoir une vue d’ensemble de notre bucket S3 :

Notre compartiment nommé Zextras et désormais disponible dans notre tableau de bord Amazon S3. Nous avons remarqué que les noms des compartiments doivent être uniques. Pour terminer, il est possible de créer des dossiers :

Intégration du Bucket S3 AWS en tant que volume secondaire dans Zextra PowerStore

Nous avons créer un utilisateur kassianoff.fr qui est membre d’un groupe nommé zxpowerstore avec les autorisations AmazonS3FullAccess. Notre groupe est à présent capable de gérer l’ensemble de nos compartiments. L’étape d’intégration du Bucket S3 dans Zextra PowerStore est désormais possible depuis l’interface Admin de Zimbra :

configurerParamètres globauxLes buckets S3

Dans les champs clé d’accès/Secret, ajoutons les informations de connexion de l’utilisateur kassianoff.fr.
Ensuite rendons-nous à l’accueil depuis : ZextrasZxPowerStoreVolume secondaire et ajoutons le :

Nous terminons l’étape d’ajout du Bucket S3 dans Zextra PowerStore, le résultat devrait être celui-ci :

Nous allons désormais vérifier que la connexion a bien été établie lors du test. Rendons-nous dans la console AWS,  dans le bucket S3 et dans le dossier Archives un nouveau répertoire est présent avec un fichier test_connection :

Création d’une politique de gestion du stockage avec HSM

Nous sommes désormais prêt à réaliser une ou plusieurs régles vers notre compartiment S3 avec la politique HSM (Hierarchical Storage Management). Exemple avec une politique d’archivage :

Il est possible de réaliser un lancer manuellement de la politique et de ne pas activer la planification (en haut à droite) sur l’interface. Pour suivre en l’avancement du déplacement des données en CLI voici la commande :

powerstore monitor 99307b88-bc0c-4aa5-a97f-77c0d74c0380
 --
 Checked Mailboxes:  0/12
 Affected Mailboxes: 0/12
 Last Account:
 Policies:           [appointment,task,message,document:before:-2015years]
 Moved Blobs:        0
 Copied Blobs:       0
 Linked Blobs:       0
 Skipped Blobs:      0
 Total Data Read:    0 bytes [0 bytes]
 Total Data Written: 0 bytes [0 bytes]
 Total Data Saved:   0 bytes [0 bytes]

 --
 Checked Mailboxes:  0/12
 Affected Mailboxes: 0/12
 Last Account:
 Policies:           [appointment,task,message,document:before:-2015years]
 Moved Blobs:        4112
 Copied Blobs:       4112
 Linked Blobs:       0
 Skipped Blobs:      0
 Total Data Read:    622.96 MB [653218417 bytes]
 Total Data Written: 399.61 MB [419019246 bytes]
 Total Data Saved:   223.35 MB [234199171 bytes]

 --
 Checked Mailboxes:  2/12
 Affected Mailboxes: 2/12
 Last Account:       [email protected]
 Policies:           [appointment,task,message,document:before:-2015years]
 Moved Blobs:        4223
 Copied Blobs:       4223
 Linked Blobs:       0
 Skipped Blobs:      0
 Total Data Read:    638.98 MB [670020812 bytes]
 Total Data Written: 409.2 MB [429075752 bytes]
 Total Data Saved:   229.78 MB [240945060 bytes]

Le résultat est semblable à ceci :

== Notifications ==

Subject: ZeXtras Powerstore Notification, Move Blobs started.
Date: 07/04/2018 17:46:09
Level: Information
Server: webmail.kassianoff.fr
Text:
This is an automated notification from ZxPowerstore about Move Blobs.

Operation Move Blobs Started.

Operation Id: 99307b88-bc0c-4aa5-a97f-00a0d74c0000
Operation Host: webmail.kassianoff.fr
Monitor Command: zxsuite powerstore monitor 99307b88-bc0c-4aa5-a97f-77c0d74c0380

Operation requested by: [email protected]

ZeXtras Suite Version: 2.6.4
commit: 41e7532fb18b24a9200ac14ff8db3ccc1afddd89

Zal Version: 2.2.1
Zal commit: 32cec282603bf945c1f192e24776250f9bca46dd
Zimbra version: 8.8.6_GA_1906 20171130041047 20171130-0528 FOSS

Policy: [appointment,task,message,document:before:-2015years]
Custom Policy: No custom policy set


Subject: ZeXtras Powerstore Notification, Move Blobs completed.
Date: 07/04/2018 17:52:47
Level: Information
Server: webmail.kassianoff.fr
Text:
This is an automated notification from ZxPowerstore about Move Blobs.

Operation Move Blobs Completed.

Operation Id: 99307b88-bc0c-4aa5-a97f-77c0d74c0380
Operation Host: webmail.kassianoff.fr
Operation Start Time: 07/04/2018 17:46:09
Operation Duration: 6 minutes, 37 seconds

Operation requested by: [email protected]

ZeXtras Suite Version: 2.6.4
commit: 41e7532fb18b24a9200ac14ff8db3ccc1afddd89

Zal Version: 2.2.1
Zal commit: 32cec282603bf945c1f192e24776250f9bca46dd
Zimbra version: 8.8.6_GA_1906 20171130041047 20171130-0528 FOSS

Policy: [appointment,task,message,document:before:-2015years]
Custom Policy: No custom policy set

- stats -
                    moved items: 10605
                   linked items: 0
                  skipped items: 0
                    mbytes read: 1.71 GB
                 mbytes written: 1.12 GB
                   mbytes saved: 600.36 MB

Dans notre Bucket S3, l’archive est désormais visible :

Il est également possible de réaliser de la déduplication d’items afin d’économiser de la place sur le volume 1 :

Nous avons ajouté un volume AWS dans Zextra PowerStore et réalisé une déduplications d’items dans Zimbra.