Aucun message portant le libellé storage. Afficher tous les messages
Aucun message portant le libellé storage. Afficher tous les messages

dimanche, mars 17, 2013

Enfin de la quincaillerie neuve!

Voila un billet composé il y a presque 2 ans. Il a languit dans mon Inbox tout ce temps.
----

J'ai finalement pris possession de ma nouvelle station de travail hier soir. Sa prédécesseure ayant déjà presque 4 ans et déménageant à Beijing à la fin du mois, je voulais une machine qui me donnera au moins 4 bonnes années de performance continue.
J'ai donc jeté mon dévolu sur une machine basée sur une carte-mère Supermicro H8DG6-F ayant 2 processeurs AMD Opteron Magny-Cours 6128 à 2 GHz et 32 GB de Ram Kingston DDR3 ECC. Le châssis est un Cooler Master HAF932 Advanced. Ce n'était pas mon premier choix mais ce châssis fournira toute la ventilation nécessaire aux Opteron couronnés de radiateurs Noctua NH-U12DO A3 et ventilateurs Noctua NF-P12.
Le bloc d'alimentation est un Thermaltake Toughpower Grand 750 qui permettra d'alimenter très efficacement (93%) les processeurs et la carte vidéo qui sont les 2 plus grands consommateurs d'électricité de cette machine. C'est mon 2e bloc d'alimentation de ce modèle, le 1er aliment le serveur de fichier que j'ai acquis en octobre (je devrais bien écrire un petit quelque choses la-dessus.).
Pour la première fois j'ai choisis une carte video performante, la ASUS HD6870 DirectCU. Cette carte peut aussi servir d'unité de calcul parallèle offrant environ 2 TeraFlops de puissance de calculs lorsque programmée avec OpenCL. C'est pour cette raison que j'ai choisi d'y aller avec une carte performante. Pas pour jouer à des jeux mais bien faire de la programmation parallèle. Savoir programmer des systèmes massivement parallèle est une habileté qu'il est essentiel d'avoir. Et j'ai décidé d'y aller avec une carte AMD car je trouve que leur modèle de programmation avec OpenCL (qui est maintenant un standard: http://www.khronos.org/opencl/) est supérieur a celui de NVidia. De plus AMD offre maintenant des cartes vidéos avec un ratio puissance de calcul/cout * dissipation thermique supérieur à NVidia.
Comme ma carte-mère est destinée à être utilisée dans un serveur, j'ai du ajouter une carte audio. Comme ma machine roulera sous Ubuntu, le choix etait plutôt restreint du côté des cartes PCIe. J'ai choisi la Asus Xonar DX basé simplement sur sa compatibilité avec Ubuntu. mes besoins audio ne sont pas élevés, je veux simplement pouvoir écouter de la musique en travaillant.
Finalement les unités de stockage! Le disque principal est un Crucial C300 128G et contiendra les partitions / et /boot. J'ai choisi ce disque car la très grande majorité des revues que j'ai lu étaient bonnes et que ces performances avec des blocs de donnée de 4k sont au-dessus de presque toute la compétition. Je voulais absolument un SSD comme disque principal car la différence de vitesse est phénoménale comparée à un HDD. Comme la capacité des SSD est encore restreinte et que le nombre d'écriture est limité je l'ai couplé à un HDD Caviar Black de 2TB afin d'y mettre la partition de swap, /var et /home. Les deux disques sont au standard SATA III à 6Gb/sec. Comme ma carte-mère n'offre que 6 connecteurs SATA II à 3Gb/sec, je les ai branchés au contrôleur SAS qui est compatible avec SATA III et qui est cadencés à 6Gb/sec. Je n'ai pas encore fait de tests mais les performances devrait être extraordinaire! J'ai volontairement limité le nombre de disque dans cette machine car mes données résident surtout dans mon serveur de fichier principal avec des sauvegardes sur deux disques durs Western Digital MyBook Live attachés au réseau: un sur mon réseau local et un hors-site accessible via l'internet. Je me suis aussi procuré un mini serveur QNAP TS-439 Pro II+ afin de mettre 4 des disques de mon ancienne station de travail (lien vers sa description). Le QNAP offre plusieurs fonctions haut de gamme telle que iSCSI, SNMP, network bonding, VLAN, NFS, FTP, RAID, syslog, eSATA, UPS, etc. Cette unité servira à ajoute de la capacité de stockage à mon réseau ou servira de serveur central de sauvegarde. J'écrirai un autre article sur le QNAP quand j'aurai le temps. Ces temps-ci, ce sont les préparatifs du déménagement qui me tienne occuppsé.

mercredi, février 04, 2009

Talk at OCLUG

Here are the slides of my talk of yesterday at OCLUG "Deduplication on the cheap"
Voila la presentation que j'ai faites hier soir a OCLUG: "Deduplication on the cheap"

vendredi, août 31, 2007

L'ordi s'en vient!

L’ordi sera prêt mardi! Seul changement/pépin : le fan choisi pour le CPU ne fitte pas avec cette carte mère. Ils ont du installer le stock fan. Pour booter, j’ai fait ajouter un disque de 320GB.

mercredi, juillet 25, 2007

Nouvelle babasse commandée

J'ai finalement passé commande pour mon nouvel ordinateur qui va remplacé mon dual MP1800+ datant de 2002!
Ce n'est pas la machine de rêve (dual Xeon 53xx, 8GB de RAM, carte-mère Supermicro...) que j'aurais aimé mais c'est pas rien quand même: Un Intel Q6600 avec 4GB de DDR2 monté sur une carte mère Gigabyte GA-N680SLI-DQ6. Ça devrait être une bonne station de travail.
Je suis un peu préoccupé par les problèmes qu'aurait le chipset nVidia 680i à supporter 4GB (4 x 1GB) de mémoire DDR2-800: Mon vendeur n'a pas réussi à garder stable une Asus Striker (qui a le même chipset que la Gigabyte que j'ai choisi) avec 4GB de DDR2-800. On va essayer de garder la Gigabyte stable avec de la DDR2-800 ayant un timing moins agressif que sur la Striker. Si ça marche pas, y va falloir que je me contente de DDR2-667.
Mon Q6600 sera refroidi par un Zalman CNPS9700 LED. J'ai hésité entre ce cooler et le Thermalright Ultra-120 Extreme. J'ai choisi le Zalman car plus léger, moins haut et moins cher. J'avais peur que le Thermalright exerce trop de torque sur la carte mère.
J'ai hâte de tester les cartes de réseau gigabits intégrées avec "TCP/IP offloading". Ça devrait aider quand je fais mes backups: à ce moment là, ma carte de réseau actuelle génère 10000 interrupts/seconde! Les 4 cartes de réseau intégrées me permettront de créer des liens direct avec d'autres serveurs sans passer par une switch ou d'en lier deux en bonding.
Le case est énorme, un Thermaltake Armor VA8000BWS: Il aura amplement d'espace pour 4 disques durs, un graveur de DVD, 2 tape backups DLT et mêmes pour d'autres drives. L'air devrait pouvoir circuler librement, évitant la création de zones plus chaudes. Comme les drives seront à l'avant du case, 3 des 4 disques au-dessus de la carte mère et que je n'aurai en tout que deux cartes courtes à l'arrière (une carte video Asus 7600GS et une carte SCSI dans un des slots PCI), le centre du case sera pas mal vide ne laissant aucun obstacles aux multiples ventilateurs pour faire leur travail.
J'utiliserai 4 drives de 750GB pour le stockage.
Le power supply est un Thermaltake Thoughpower 750W WO117RU. Le système de câblage modulaire devrait faire en sorte que je puisse installer seulement les câbles dont j'ai besoin, augmentant ainsi le flot d'air qui serait obstrué par trop de câbles inutiles. 750W sera amplement suffisant pour bien alimenter toutes les composantes et fournir le courant de pointe lors du démarrage.
Côté drivers sous Gentoo Linux, je ne crois pas que j'aurai des problèmes. Les cartes réseaux sont bien supportées, les contrôleurs de disques, la carte de son, les ports USB et Firewire le sont aussi.
Plus de renseignements plus tard.

mardi, février 27, 2007

Enfin de l'espace pour respirer

Une fois les disques installés, voilà ce que sa donne:

Mosix3 etc # df -lh
Filesystem Size Used Avail Use% Mounted on
/dev/hda3 28G 16G 11G 59% /
udev 502M 2.8M 499M 1% /dev
/dev/md/0 559G 541G 19G 97% /big
/dev/mapper/backup-backup
789G 359G 431G 46% /backup
shm 502M 0 502M 0% /dev/shm
/dev/md3 280G 33M 280G 1% /big2

Un total de 1.6TB, libre à 44% (741GB!). ;-)
Bébé content...
Le backup de mon array principal à enfin pu continuer.

dimanche, février 25, 2007

Encore de la casse (suite et fin?)

Ce matin, j'enlève le Seagate et je remets le WD1200JB que je crois brisé.
Après avoir passé pas mal de temps sur Google pour trouver ce qu'est le problème ou quelqu'un avec un problème similaire, j'ai trouvé le cas d'un gars dont la SX6000 a indiqué 2 drives "? : ? failed or disconnected" sans aucune raison. La solution à son problème a été de détruire l'array puis de le recontituer sans l'initialiser. Et pour lui ça a marché. Je me proposais de faire la même chose même si je n'ai perdu "qu'un" disque. C'est pour cette raison que j'ai rebranché ce matin le disque original. Comble de chance pour moi, le manuel de Promise sur la récupération d'array est très clair (pages 23 à 28).
En rebootant la machine qu'elle ne fut pas ma surprise de voir que mon array n'était plus "Offline" mais "Critical". En allant dans le BIOS de la SX6000, j'ai pu voir que la SX6000 était en train de rebâtir l'array et que le disque 1 est fautif alors que le disque qui était initialement indiqué comme fautif était le 6. SI la carte finit par tout rebâtir et que je ne perds pas de données, je n'aurai pas à suivre la procédure risquée du manuel de Promise. Je vais faire un backup complet de l'array (je fait un rsync des 2/3 de l'array à tout les 3 heures sur un JBOD qui ensuite est transféré sur des tapes DLT une fois par semaine). Sur le JBOD auquel j'ajouterai 1TB de capacité. Je metterai aussi ce qui est hyper-critique, mais ne change pas souvent, sur des DVDs. Ma stratégie de backup est correcte mais ne couvre pas tout. Mais avec le coût des disques qui tombe sans cesse, je peux me permettre de passer de RAID 5 à "pseudo-RAID50" (i.e. faire un backup d'un RAID5 sur un autre RAID5). Aussi, je vais générer une image pour VMWare de la machine qui héberge la carte. On est jamais trop prudent...
Je ne devrais pas me plaindre de mon array. Ça fait 5 ans qu'il roule 24/7 et je n'ai eu qu'à remplacer qu'un disque. La SX6000 n'est pas la meilleure carte du monde, elle m'a donné pas mal de toubles au début mais elle a remplit sa mission. Il faut que je commence a penser à la remplacer...

samedi, février 24, 2007

Encore de la casse (suite et désespoir)

J'ai un gros problème avec ma carte RAID Promise SX6000. Un de mes drives est mort la semaine passée. Et la je ne parviens plus à rien.
Voila ce que j'ai fait. Si vous avez une suggestion ne vous gênez pas à laisser un commentaire:
  • J'ai remplacé le WD1200JB par un WD2000JB. La SX6000 me retourne encore le message "? : ? failed or disconnected".
  • J'ai remplacé le cable IDE d'origine par un autre. Même message d'erreur.
  • J'ai mis le jumper en mode master. Même message d'erreur.
  • Je me suis procuré un drive Seagate 160GB (le plus petit que j'ai trouvé). Je l'ai installé. Même message d'erreur.
  • J'ai remis le cable d'origine et le Seagate. Même message d'erreur.
  • J' ai mis le jumper en mode master sur le Seagate. Même message d'erreur.
  • J'ai partitionné le Seagate, créant une partition de 120034MB, pour que la taille de la première partition du Seagate ait la même taille qu'un WD1200JB. Même message d'erreur.

Je ne sais plus quoi faire. Des idées?

mardi, janvier 16, 2007

Un autre pépin

Un disque vient de me lâcher. Heureusement, il fait partie d'un array en RAID 5. Je vais donc le remplacer demain soir si j'ai le temps. Je me serais bien passé de ça.

lundi, janvier 15, 2007

Il neige

Je sais, je me suis déjà énervé avec ça. C'est pas que j'aime la neige, c'est juste qu'elle se fait rare. On en annonce pour aujourd'hui et la température chutera jusqu'à -9C. J'espère que je n'arriverai pas en retard à mon entrevue...
J'ai réparé le problème que j'avais avec deux partitions reiserfs sur mon serveur de fichier principal. Après un crash massif pendant que je rzip-pais des fichiers de 30GB, j'ai du faire un shutdown pas trop clean. En rebootant, pas moyen de remonter mes deux partitions formatées en reiserfs... Panique... Mais rapellons-nous que Google est notre ami. Googlant le message d'erreur, je constate qu'il est du à un bug dans la version de reiserfs qui est compilée dans le kernel 2.6.16. Une mise-à-jour à 2.6.18 résout magiquement le problème. Une des deux partitions contenait mes backups (aussi off-site sur des tapes DLT) et l'autre 600 GB de données en RAID 10.
Vous constaterez aussi que j'ai ajouté un blogroll en bas à gauche. C'est la liste des blogs/sites que je lis quotidiennement. Va falloir que je trimme ça, je passe trop de temps à lire ça.
J'ai aussi ajouté tout en bas la liste des 10 dernières chansons que j'ai écouté. Cette liste se met à jour par elle-même!
Ça fait que c'est ça qui est ça...

vendredi, décembre 22, 2006

Pot-pourri pré-Noël

Pas mal de truc ces derniers temps, dans aucun ordre particulier:
  • J'ai acheté deux disques durs de 500GB cette semaine. Je ne pensais jamais acheter des disques de cette capacité mais le prix était irrésistible (à peine plus cher que des 400GB). Je me rappelle encore de mon premier disque de plus de 1GB, un disque de 6GB acheté en 1997 je crois. On en a fait du progrès depuis. Ces deux disques vont soit servir à étendre mon système de backup ou à former un array haute performance dans mon file server. Ça remplacerait une paire de 80GB qui commencent à dater.
  • J'ai aussi acheté deux cartes vidéo nVidia 6200 AGP. Ça commence à être dur à trouver, tout le monde passe à PCI-e. Une remplacera une Matrox G450 et l'autre sera ajoutée à la boîte MythTV que je prépare pour ma douce. Il faudra bien que je finisse ça en revenant des vacances de Noël...
  • Ottawa est encore vert. Il semble que ça restera vert jusqu'à Noël. Ça fait bizarre de penser à un Noël vert. Mon seul Noël vert fut en 1998 à Hong Kong (suivi par un jour de l'an sur une plage de Thaïlande ;-) ). Pas évident pour un p'tit gars qui a grandit à Québec...
  • Nous sommes allés au Palais Impérial pour souper la semaine passée. On a essayé quelque chose de nouveau: un met de boeuf épicé et croustillant. Pas mal bon, on va le prendre à nouveau. Juste plate que je ne me rappelle pas du nom du plat exactement.
  • Mardi on a essayé un autre restaurant chinois dans Chinatown: Northern Han Restaurant avec un couple d'amis. Les dumplings étaient excellent! Presqu'aussi bon que dans ce petit resto près de notre bureau à Taipei.
  • Un des drives d'un de mes arrays dans mon file server est devenu "dirty". Commande magique pour le réintégrer dans l'array: raidhotadd /dev/md1 /dev/sda1 L'array se re-synchronise à 51MB/sec: pas mal!
  • Je vais essayer de rattrapper mon retard de lecture de "The Economist". Je suis rendu à lire le premier de numéro de juin alors que je continue à recevoir un numéro par semaine. Je n'ai jamais le temps de lire ce que je veux... Je veux aussi commencer à lire "Head First Java". J'ai lu d'excellentes revues de ce livre. Je veux absolument apprendre Java mais je n'ai jamais trouvé de livre qui capte et garde mon attention sur le sujet.
  • Deux tendances parallèles qui s'entrecoupent: 1. Je passe pas mal de temps à jouer avec VMWare et je trouve que c'est un outil fabuleux pour tester et apprendre: si on fait une gaffe, on tue la machine virtuelle, on en part une autre et on recommence. 2. Je pense aussi à me bâtir une machine pas mal puissante pour remplacer la ribambelle de machines (PII400/512MB/HD:120GB/Gentoo Linux, Sempron2800/1GB/HD:760GB/WindowsXP Pro, Dual PIII500/1GB/HD:108GB/Gentoo Linux, Dual MP1800+/2GB/HD:240GB/Gentoo Linux, AMD3000+/1GB/HD:1.2TB/Gentoo Linux) dans mon bureau, d'ou l'intérêt de VMWare. Je pourrais avoir une grosse machine, ayant des machines virtuelles roulant par-dessus tout en gardant le gros de ma capacité de stockage sur un serveur de fichier indépendant. Les deux machines pourraient être liées par une connection dédiée à 1Gb/sec. Un avantage de cette configuration serait de réduire la consommation d'électricité (et le bruit!) et la génération de chaleur dans mon bureau (appréciée en hiver mais détestée en été). Pour ce qui est de la grosse machine, j'hésite entre un dual Opteron 2212 dual-core ou un dual Xeon 5335 Quad-core (mais les deux avec un motherboard Supermicro. Tyan et Asus ne sont pas assez stable pour moi.). Le Xeon est super rapide et offre 4 coeurs/cpu mais les performances de l'Opteron en matière d'accès à la mémoire sont imbattables. Au bout du compte il faudra que je détermine si ce que je fais est CPU-bound ou memory-bound. Grosses décisions et gros sous...
  • Ma douce m'a demandé de digitaliser des vidéos de voyages qu'elle a tournés avec une caméra Sony Handicam TR66. Pour ce faire j'ai du assemble une de mes vieilles boîtes avec ma carte de capture Pinnacle DV500. J'ai installé Windows 2000 comme OS. Ça faisait pas mal de temps que je n'avais pas utilisé W2K. Je ne me rappellais plus combien smooth et stable c'était.
  • J'ai finalement résous le problème de stabilité de ma machine principale: une banque de mémoire n'était pas assise correctement dans son slot... On l'a probablement bougée en enlevant la carte de capture vidéo.

mercredi, octobre 04, 2006

HOWTO replace/upgrade a disk part of a LVM2 volume

Voilà un petit "Howto" (en anglais) que j'ai écrit expliquant comment changer un disque qui fait partie d'un volume LVM. Le formattage est pas super, je vais essayé de travailler là-dessus un de ces quatre...
Dernière mise à jour: 27 février 2007

HOWTO replace/upgrade a disk part of a LVM2 volume

This is a quick HOWTO about how to replace/upgrade a hard disk which is part of an LVM2 volume. It is an enhanced version of this document.

This document lists all the steps you needed.

In my situation:

  • the physical drive to remove is /dev/hdd and it had one partition (/dev/hdd1) that was 46G big
  • the logical volume is: /dev/mapper/backup-vol1, in my /etc/fstab it is mounted as /backup
  • the volume group is named backup
  • the file system is reiserfs

I’ll put the specific of my situation in italic in the text to ease their change for your real values.

You can’t start this procedure unless you have more free space on your volume than the size of the disk you want to replace.

Before starting, back up your volume! One never knows when Murphy will strike…

Let’s begin. Unmount the logical volume for which you want to replace a disk as most operations can’t be performed with the volume mounted.

umount /backup

If you can't unmount the logical volume, comment its line in /etc/fstab then reboot.

See if a physical volume has free extent by typing:

pvdisplay | grepFree PE

If the number following “Free PE” is greater than 0, you have free physical extent.

Typically, the output of the previous command will be like:

--- Physical volume ---
PV Name /dev/hdb
VG Name vg_store1
PV Size 57.23 GB / not usable 0
Allocatable yes (but full)
PE Size (KByte) 4096
Total PE 14651
Free PE 0
Allocated PE 14651
PV UUID 7cryMN-plCs-YuF2-fpxn-BcIJ-OKpG-t3yRQf

If you have more free extent than the number of extent on the drive you want to replace, you can skip the next two steps.

If you don’t you will need to resize the partition to reduce it by the size of the disk you are replacing (see next two steps).

We first want to make sure the volume is error-free.

Check the file system of the logical volume. This is a two steps operation if you use reiserfs. If you use ext2/ext3, there is only one step.

If you use reiserfs as your file system:

reiserfsck --check --logfile /tmp/check.log /dev/mapper/backup-vol1

Then, if the first step revealed errors:

reiserfsck --fix-fixable –logfile /tmp/fixable.log /dev/mapper/backup-vol1

If you use ext2 or ext3 as your file system, there is only one step:

fsck.ext2 –p /dev/mapper/backup-vol1

Then we need to resize the partition. The partition size has to be reduced so we can remove the disk without damaging the data still on the partition. Once again the instructions differs depending on your file system

If you use reiserfs:

resize_reiserfs -s -47G /dev/mapper/backup-vol1

If you use ext2 or ext3 (this link may be of interest here.):

Resize2fs /dev/mapper/backup-vol1 newsizeofvolume

where newsizeofvolume is the size of the initial volume minus the size of the hard drive you are removing/replacing.

Note that the volume MUST be offline for this to work.

We can now start the operations to remove the data from the disk we will physically replace. Once the file system size has been reduced, we can reduce the size of the logical volume:

lvreduce -L-47G /dev/backup/vol1

We now move the data out of the physical disk we want to remove:

pvmove /dev/hdd1

Now, as the volume doesn’t have any data on the disk we want to remove, we remove the disk from the volume group:

vgreduce backup /dev/hdd1

Now power down the computer, take your tools and replace the disk we moved the data out of.

Restart the computer.

Create a partition taking the whole disk on the disk you just installed. Set the type of partition to "Linux LVM":

fdisk /dev/hdd

Prepare the physical volume:

pvcreate /dev/hdd1


Add the new physical volume to the volume group:

vgextend backup /dev/hdd1

Expand the logical volume by the capacity just added:
lvextend -L +40G /dev/backup/vol1 /dev/hdd1

Resize the partition to add the capacity just added (I added a 40G hard
disk):

If you use reiserfs:

resize_reiserfs -s +40G /dev/mapper/backup-vol1

If you use ext2/ext3:

Resize2fs /dev/mapper/backup-vol1 newsizeofvolume

where newsizeofvolume is the size of the initial volume plus the size of the hard drive you are adding/replacing.

Note that the volume MUST be offline for this to work.

Mount the partition:

mount /dev/mapper/backup-vol1

Since this mount point should be in your /etc/fstab, you do not need to specify the file system type

Done! You have successfully replaced/upgraded a disk in your LVM2 volume.

Last updated on February 27th 2007.

lundi, octobre 02, 2006

Le disque est encore vivant

Contrairement à ce que j'ai rapporté dans mon autre blog, mon disque n'est pas mort. Après un reboot, Reiserfs a rebatit le volume sur lequel je fais mes back-ups et tout est tiguidou.
Je vais prendre livraison demain d'un 3e tape back-up DLT.