Here are the slides of my talk of yesterday at OCLUG "Deduplication on the cheap"
Voila la presentation que j'ai faites hier soir a OCLUG: "Deduplication on the cheap"
Aucun message portant le libellé tape. Afficher tous les messages
Aucun message portant le libellé tape. Afficher tous les messages
mercredi, février 04, 2009
mardi, septembre 18, 2007
Problèmes de backups
Je fais des backups de mes données importantes à toutes les 8 heures sur une machine dédiée que j’ai peuplée de disques plus assez rapides pour être dans ma station de travail principale. C’est disques forment un gros volume (600G) via LVM2. Une fois par semaine, je transfère mon backup hebdomadaire sur 5 rubans DLT40. Normalement, tout va bien. Je peux faire le transfert sur mes 5 rubans via deux unités en environ 8 heures. Mais depuis deux semaines, le transfert des données du serveur de disque (d’où elles sont rendues disponibles via NFSv3) au serveur de ruban est très lent, environ 3MB/s sur un réseau gigabit. Probablement que les backups sont rendus sur le disque le plus lent du volume… En attendant, il faut que je corrige la situation. Après pas mal de Googlage, je suis tombe sur un utilitaire nommé mbuffer. Celui-ci créé un tampon entre le réseau et l’unité de disque évitant à celle-ci de toujours avoir à reculer le ruban quand le flux de données est trop lent. Voilà « l’incantation magique » :
Ça dit à mbuffer de créer un tampon de 350M, de ne pas commencer à écrire sur le ruban avant que le tampon ne soit remplit a 95% et d’écrire en block de 32k.
Ce n’est pas la vitesse optimale mais c’est mieux que rien. Ma vitesse de backup est remontée à 2.2MB/s. Pas encore à sa limite théorique de 6MB/s mais ça devrait aller pour le moment. Il faudrait peut-être que le change mes backups de volume…
tar cvbf 64 - 'Photos de ma camera3' | mbuffer -m 350M -P 95 -s 32768 -v 4 -f –o /dev/nst0
Ça dit à mbuffer de créer un tampon de 350M, de ne pas commencer à écrire sur le ruban avant que le tampon ne soit remplit a 95% et d’écrire en block de 32k.
Ce n’est pas la vitesse optimale mais c’est mieux que rien. Ma vitesse de backup est remontée à 2.2MB/s. Pas encore à sa limite théorique de 6MB/s mais ça devrait aller pour le moment. Il faudrait peut-être que le change mes backups de volume…
lundi, septembre 10, 2007
Nouvelle babasse, première semaine
J’ai finalement pris livraison de mon nouvel ordinateur vendredi soir dernier. Initialement, j’ai trouvé quelques erreurs d’assemblage : Un lecteur/graveur de DVD PATA avait été installé au lieu d’un SATA (Avec une carte mère ayant un chipset nVidia 680i, on ne peut booter d’un lecteur de DVD PATA pour installer Linux), le modèle non modulaire du bloc d’installation a été installé au lieu du modèle modulaire (J’avais choisi le modèle modulaire afin de n’avoir qu’à seulement installer les câbles requis. Je ne voulais pas que des câbles inutiles bloquent le flot d’air mais ce n’est pas un problème jusqu’à maintenant) et les trois baies inférieures ont été populés avec des disques durs alors que j’avais demandé de laisser libre les 4 dernières afin d’installer mes deux unités de backup DLT interne.
Une fois que j’ai eu fini de changer le lecteur/graveur de DVD, et mis les disques durs au bon endroit en haut du case, j’ai découvert une grosse faille avec le case : Le case a 11 baies de 5.25’’ de large. Toutefois, entre ces baies, sur les côtés, il y a une petite lamelle de métal pour supporter les côtés des drives insérés. C’est très pratique et bien pensé SAUF quand on veut insérer des unités double-hauteur comme des drives DLT… À ce point-ci deux solution : soit on désassemble tout (pour ne pas avoir de poussières de métal conducteur dans les connecteurs et sur la carte mère) puis on meule/plie ces lamelles ou on met les drives DLT dans une autre boîte. J’ai choisi la 2e solution, plus facile (redonnant ainsi une raison d'être à mon ancienne station de travail dual P3-500).
Après l’inspection interne et la reconfiguration des drives, j’ai descendu la boîte dans mon bureau pour l’installation de Gentoo Linux. Premièrement j’ai booté la machine avec Knoppix LiveCD pour voir si toutes les composantes étaient détectées et si je pouvais tweaker le BIOS un peu. Je ne voulais rien overclocker (surtout que le fan que j’ai choisi n’a pu être installé car trop lourd, je suis maintenant pris avec le stock fan d’Intel qui n’est quand même pas si mauvais que ça), juste voir si tout était optimal. Un test de mémoire a suivi en utilisant memtest86+. Aucuns problèmes rapportés
L’installation a été comme sur des roulettes. Un seul détail : même si le système est complètement SATA, il faut quand même compiler le kernel avec le support générique pour PATA. Sinon ça ne boote pas. Une fois le système de base installé, j’ai installé XOrg et KDE. À ma grande joie, la compilation c’est faite extrêmement rapidement (comparé à ma boîte précédente, un dual Athlon MP-1800+).
Ce qui m’amène à parler d’une manière générale des performances : Avoir un quad-cores c’est génial pour faire plusieurs tâches en même temps comme compiler avec gcc (via make –j5), convertir 4 films de .avi à .mpg en même temps ou faire des requêtes compliquées sur des bases de données. Mais pour qqn qui ne veut que faire des choses de bases, c’est juste trop. Pour ce genre de situation, un dual-cores est plus que suffisant. J’ai acheté un quad-cores parce que je veux faire pas mal d’édition vidéo, de la programmation (Erlang roule magnifiquement sur une machine multi-cores/multi-cpus), rouler VMWare avec plusieurs machines virtuelles et des bases de données. Je prévois aussi garder ma machine 5 ans et je veux être sur qu’elle sera encore utilie jusque là, on ne sait jamais quel genre de bloatware peut surgir ni quelle « killer app » verra le jour d’ici là. Pour ma situation un quad-cores est un bon choix mais pour quelqu’un qui veut juste une machine qui répond vite je recommanderais pour le même prix un Intel E6850. Ce CPU n’est que dual-cores mais cadencé à 3Ghz plutôt qu’à 2.4Ghz comme sur le Q6600.
Côté disques, je suis un peu déçu. Je m’attendais à ce que la performance soit de beaucoup supérieure à celle des mes drives PATA. Un benchmark rapide réalisé avec Bonnie montre que mon disque principal transfère les données à environ 55MB/sec et mon array de 5 disques en RAID-5 transfert à environ 57MB/sec. Je m’attendais à mieux de la part d’un RAID-5.
J’ai maintenant installé presque toutes les applications dont j’ai besoin. La performance est excellente te très smooth. Le kernel 2.6.22 est très stable aussi, pas encore de plantage après 6 jours d’usage continu, gardons les doigts croisés
Une fois que j’ai eu fini de changer le lecteur/graveur de DVD, et mis les disques durs au bon endroit en haut du case, j’ai découvert une grosse faille avec le case : Le case a 11 baies de 5.25’’ de large. Toutefois, entre ces baies, sur les côtés, il y a une petite lamelle de métal pour supporter les côtés des drives insérés. C’est très pratique et bien pensé SAUF quand on veut insérer des unités double-hauteur comme des drives DLT… À ce point-ci deux solution : soit on désassemble tout (pour ne pas avoir de poussières de métal conducteur dans les connecteurs et sur la carte mère) puis on meule/plie ces lamelles ou on met les drives DLT dans une autre boîte. J’ai choisi la 2e solution, plus facile (redonnant ainsi une raison d'être à mon ancienne station de travail dual P3-500).
Après l’inspection interne et la reconfiguration des drives, j’ai descendu la boîte dans mon bureau pour l’installation de Gentoo Linux. Premièrement j’ai booté la machine avec Knoppix LiveCD pour voir si toutes les composantes étaient détectées et si je pouvais tweaker le BIOS un peu. Je ne voulais rien overclocker (surtout que le fan que j’ai choisi n’a pu être installé car trop lourd, je suis maintenant pris avec le stock fan d’Intel qui n’est quand même pas si mauvais que ça), juste voir si tout était optimal. Un test de mémoire a suivi en utilisant memtest86+. Aucuns problèmes rapportés
L’installation a été comme sur des roulettes. Un seul détail : même si le système est complètement SATA, il faut quand même compiler le kernel avec le support générique pour PATA. Sinon ça ne boote pas. Une fois le système de base installé, j’ai installé XOrg et KDE. À ma grande joie, la compilation c’est faite extrêmement rapidement (comparé à ma boîte précédente, un dual Athlon MP-1800+).
Ce qui m’amène à parler d’une manière générale des performances : Avoir un quad-cores c’est génial pour faire plusieurs tâches en même temps comme compiler avec gcc (via make –j5), convertir 4 films de .avi à .mpg en même temps ou faire des requêtes compliquées sur des bases de données. Mais pour qqn qui ne veut que faire des choses de bases, c’est juste trop. Pour ce genre de situation, un dual-cores est plus que suffisant. J’ai acheté un quad-cores parce que je veux faire pas mal d’édition vidéo, de la programmation (Erlang roule magnifiquement sur une machine multi-cores/multi-cpus), rouler VMWare avec plusieurs machines virtuelles et des bases de données. Je prévois aussi garder ma machine 5 ans et je veux être sur qu’elle sera encore utilie jusque là, on ne sait jamais quel genre de bloatware peut surgir ni quelle « killer app » verra le jour d’ici là. Pour ma situation un quad-cores est un bon choix mais pour quelqu’un qui veut juste une machine qui répond vite je recommanderais pour le même prix un Intel E6850. Ce CPU n’est que dual-cores mais cadencé à 3Ghz plutôt qu’à 2.4Ghz comme sur le Q6600.
Côté disques, je suis un peu déçu. Je m’attendais à ce que la performance soit de beaucoup supérieure à celle des mes drives PATA. Un benchmark rapide réalisé avec Bonnie montre que mon disque principal transfère les données à environ 55MB/sec et mon array de 5 disques en RAID-5 transfert à environ 57MB/sec. Je m’attendais à mieux de la part d’un RAID-5.
J’ai maintenant installé presque toutes les applications dont j’ai besoin. La performance est excellente te très smooth. Le kernel 2.6.22 est très stable aussi, pas encore de plantage après 6 jours d’usage continu, gardons les doigts croisés
jeudi, mai 03, 2007
"Plaisir" avec un HP ML570G4
J'ai eu le "plaisir" de me voir confier l'installation et la configuration d'un premier HP ProLiant ML570 G4 au bureau la semaine passée. Ce qui aurait pu être une tâche simple et aggréable s'est transformée en un véritable calvaire gracieuseté de l'ami Murphy...
La machine est musclée: 4 Xeon Dual Core Hyperthread à 3Ghz, 8 Gigabytes de RAM, 10 disques SAS de 146GB, 4 cartes de réseau à 1Gbps, 1 tape backup AIT3, 2 power supply de 675W et suffisament de ventilateurs pour faire décoler le machin et chauffer mon bureau en même temps.
En résumé:
La machine est musclée: 4 Xeon Dual Core Hyperthread à 3Ghz, 8 Gigabytes de RAM, 10 disques SAS de 146GB, 4 cartes de réseau à 1Gbps, 1 tape backup AIT3, 2 power supply de 675W et suffisament de ventilateurs pour faire décoler le machin et chauffer mon bureau en même temps.
En résumé:
- HP nous envoie la version 7.60 de SmartStart avec la bête, ça ne marche pas avec notre configuration car on utilise le controleur SCSI P800. Il faut la version 7.70 de SmartStart. Merci HP!
- On essaie d'installer Windows Server 2003 Entreprise (WS2003E): Ça ne marcha pas parce que notre CD était rayé et que pour installer WS2003E sur une machine ayant plus de 2 CPUs, ça prends au moins WS2003ESP1. En plus il faut désactivé l'hyperthreading dans le BIOS avant de faire l'installation. Découvrir les deux points ci-haut énumérés nous a couté presqu'une semaine. Merci Microsoft!
- Ne vous fiez pas sur le fait que HP livre un CD avec machine veut dire que c'est LE CD à utiliser.
- Ce n'est pas parce que vous payez un prix astronomique pour WS2003E que vous avez un produit de qualité...
jeudi, mars 29, 2007
Bric-à-brac
Quelques points. Ça fait longtemps que je n'ai pas bloggué, je sais:
- J'ai un nouveau Blackberry
J'ai hérité au bureau d'un Blackberry 7280. Ce n'est pas le dernier modèle, mais ça marche. Je peux recevoir et envoyer du courrier de n'importe où. Et la qualité téléphonique est bonne. Il ne me reste qu'à maitriser la boîte vocale et tout sera tiguidou.
- L'option -W de tar
Je fais le backup de mes backups (sur tape DLT) à l'aide de la commande tar (je sais, je suis paranoïaque). Jusqu'ici je ne faisait pas de passe de vérification de mes tapes après le backup. Je pensais que je devais faire mon backup, rebobiner le tape puis faire ma vérification. Mais maintenant que j'ai découvert l'option -W, je peux faire les deux séquentiellement sans rebobiner le tape. Pas mal génial!
dimanche, février 25, 2007
Encore de la casse (suite et fin?)
Ce matin, j'enlève le Seagate et je remets le WD1200JB que je crois brisé.
Après avoir passé pas mal de temps sur Google pour trouver ce qu'est le problème ou quelqu'un avec un problème similaire, j'ai trouvé le cas d'un gars dont la SX6000 a indiqué 2 drives "? : ? failed or disconnected" sans aucune raison. La solution à son problème a été de détruire l'array puis de le recontituer sans l'initialiser. Et pour lui ça a marché. Je me proposais de faire la même chose même si je n'ai perdu "qu'un" disque. C'est pour cette raison que j'ai rebranché ce matin le disque original. Comble de chance pour moi, le manuel de Promise sur la récupération d'array est très clair (pages 23 à 28).
En rebootant la machine qu'elle ne fut pas ma surprise de voir que mon array n'était plus "Offline" mais "Critical". En allant dans le BIOS de la SX6000, j'ai pu voir que la SX6000 était en train de rebâtir l'array et que le disque 1 est fautif alors que le disque qui était initialement indiqué comme fautif était le 6. SI la carte finit par tout rebâtir et que je ne perds pas de données, je n'aurai pas à suivre la procédure risquée du manuel de Promise. Je vais faire un backup complet de l'array (je fait un rsync des 2/3 de l'array à tout les 3 heures sur un JBOD qui ensuite est transféré sur des tapes DLT une fois par semaine). Sur le JBOD auquel j'ajouterai 1TB de capacité. Je metterai aussi ce qui est hyper-critique, mais ne change pas souvent, sur des DVDs. Ma stratégie de backup est correcte mais ne couvre pas tout. Mais avec le coût des disques qui tombe sans cesse, je peux me permettre de passer de RAID 5 à "pseudo-RAID50" (i.e. faire un backup d'un RAID5 sur un autre RAID5). Aussi, je vais générer une image pour VMWare de la machine qui héberge la carte. On est jamais trop prudent...
Je ne devrais pas me plaindre de mon array. Ça fait 5 ans qu'il roule 24/7 et je n'ai eu qu'à remplacer qu'un disque. La SX6000 n'est pas la meilleure carte du monde, elle m'a donné pas mal de toubles au début mais elle a remplit sa mission. Il faut que je commence a penser à la remplacer...
Après avoir passé pas mal de temps sur Google pour trouver ce qu'est le problème ou quelqu'un avec un problème similaire, j'ai trouvé le cas d'un gars dont la SX6000 a indiqué 2 drives "? : ? failed or disconnected" sans aucune raison. La solution à son problème a été de détruire l'array puis de le recontituer sans l'initialiser. Et pour lui ça a marché. Je me proposais de faire la même chose même si je n'ai perdu "qu'un" disque. C'est pour cette raison que j'ai rebranché ce matin le disque original. Comble de chance pour moi, le manuel de Promise sur la récupération d'array est très clair (pages 23 à 28).
En rebootant la machine qu'elle ne fut pas ma surprise de voir que mon array n'était plus "Offline" mais "Critical". En allant dans le BIOS de la SX6000, j'ai pu voir que la SX6000 était en train de rebâtir l'array et que le disque 1 est fautif alors que le disque qui était initialement indiqué comme fautif était le 6. SI la carte finit par tout rebâtir et que je ne perds pas de données, je n'aurai pas à suivre la procédure risquée du manuel de Promise. Je vais faire un backup complet de l'array (je fait un rsync des 2/3 de l'array à tout les 3 heures sur un JBOD qui ensuite est transféré sur des tapes DLT une fois par semaine). Sur le JBOD auquel j'ajouterai 1TB de capacité. Je metterai aussi ce qui est hyper-critique, mais ne change pas souvent, sur des DVDs. Ma stratégie de backup est correcte mais ne couvre pas tout. Mais avec le coût des disques qui tombe sans cesse, je peux me permettre de passer de RAID 5 à "pseudo-RAID50" (i.e. faire un backup d'un RAID5 sur un autre RAID5). Aussi, je vais générer une image pour VMWare de la machine qui héberge la carte. On est jamais trop prudent...
Je ne devrais pas me plaindre de mon array. Ça fait 5 ans qu'il roule 24/7 et je n'ai eu qu'à remplacer qu'un disque. La SX6000 n'est pas la meilleure carte du monde, elle m'a donné pas mal de toubles au début mais elle a remplit sa mission. Il faut que je commence a penser à la remplacer...
mardi, janvier 23, 2007
Nouveau gadget japonais
Nouveau gadget chez JVC. Akihabara News nous annonce que JVC vient de lancer un enregistreur DVD/disque dur/miniDV. Génial! Pour quelqu'un qui a pas mal de cassettes DV et qui veut les convertir en DVD sans ordinateur, c'est génial.
Même pour quelqu'un comme moi qui fait ses montages vidéos sur ordinateur, c'est génial car le joujou a une sortie Firewire. Il est bien connu que les caméscopes DV ne sont pas capable de servir de magnétoscope sur une base régulière. Il est recommandé, si vous faites beaucoup d'édition DV, de vous procurer un magnétoscope DV pour transférer votre matériel des cassettes DV à l'ordinateur et vice-versa. C'est pourquoi je me suis procuré il y a quelques années un magnétoscope S-VHS/DV: Le Sony WV-DR9. Ce deck fonctionne à merveille avec Adobe Premiere. Malheureusement ce modèle n'est plus manufacturé par Sony. La raison donnée, à l'époque, était que ce modèle n'était pas assez bon pour l'utilisation par les stations de télévision mais overkill pour l'usage domestique. J'espère que ce modèle de JVC sera disponible en Amérique et qu'il sera une excellente alternative au Sonu WV-DR9.
Même pour quelqu'un comme moi qui fait ses montages vidéos sur ordinateur, c'est génial car le joujou a une sortie Firewire. Il est bien connu que les caméscopes DV ne sont pas capable de servir de magnétoscope sur une base régulière. Il est recommandé, si vous faites beaucoup d'édition DV, de vous procurer un magnétoscope DV pour transférer votre matériel des cassettes DV à l'ordinateur et vice-versa. C'est pourquoi je me suis procuré il y a quelques années un magnétoscope S-VHS/DV: Le Sony WV-DR9. Ce deck fonctionne à merveille avec Adobe Premiere. Malheureusement ce modèle n'est plus manufacturé par Sony. La raison donnée, à l'époque, était que ce modèle n'était pas assez bon pour l'utilisation par les stations de télévision mais overkill pour l'usage domestique. J'espère que ce modèle de JVC sera disponible en Amérique et qu'il sera une excellente alternative au Sonu WV-DR9.
lundi, janvier 15, 2007
Il neige
Je sais, je me suis déjà énervé avec ça. C'est pas que j'aime la neige, c'est juste qu'elle se fait rare. On en annonce pour aujourd'hui et la température chutera jusqu'à -9C. J'espère que je n'arriverai pas en retard à mon entrevue...
J'ai réparé le problème que j'avais avec deux partitions reiserfs sur mon serveur de fichier principal. Après un crash massif pendant que je rzip-pais des fichiers de 30GB, j'ai du faire un shutdown pas trop clean. En rebootant, pas moyen de remonter mes deux partitions formatées en reiserfs... Panique... Mais rapellons-nous que Google est notre ami. Googlant le message d'erreur, je constate qu'il est du à un bug dans la version de reiserfs qui est compilée dans le kernel 2.6.16. Une mise-à-jour à 2.6.18 résout magiquement le problème. Une des deux partitions contenait mes backups (aussi off-site sur des tapes DLT) et l'autre 600 GB de données en RAID 10.
Vous constaterez aussi que j'ai ajouté un blogroll en bas à gauche. C'est la liste des blogs/sites que je lis quotidiennement. Va falloir que je trimme ça, je passe trop de temps à lire ça.
J'ai aussi ajouté tout en bas la liste des 10 dernières chansons que j'ai écouté. Cette liste se met à jour par elle-même!
Ça fait que c'est ça qui est ça...
J'ai réparé le problème que j'avais avec deux partitions reiserfs sur mon serveur de fichier principal. Après un crash massif pendant que je rzip-pais des fichiers de 30GB, j'ai du faire un shutdown pas trop clean. En rebootant, pas moyen de remonter mes deux partitions formatées en reiserfs... Panique... Mais rapellons-nous que Google est notre ami. Googlant le message d'erreur, je constate qu'il est du à un bug dans la version de reiserfs qui est compilée dans le kernel 2.6.16. Une mise-à-jour à 2.6.18 résout magiquement le problème. Une des deux partitions contenait mes backups (aussi off-site sur des tapes DLT) et l'autre 600 GB de données en RAID 10.
Vous constaterez aussi que j'ai ajouté un blogroll en bas à gauche. C'est la liste des blogs/sites que je lis quotidiennement. Va falloir que je trimme ça, je passe trop de temps à lire ça.
J'ai aussi ajouté tout en bas la liste des 10 dernières chansons que j'ai écouté. Cette liste se met à jour par elle-même!
Ça fait que c'est ça qui est ça...
jeudi, octobre 05, 2006
Le tape repond
Un peu de testing demontre que mon tape est bien branche:
Fukuoka etc # mt -f /dev/st0 status
SCSI 2 tape drive:
File number=-1, block number=-1, partition=0.
Tape block size 0 bytes. Density code 0x0 (default).
Soft error count since last status=0
General status bits on (50000):
DR_OPEN IM_REP_EN
Fukuoka etc # mt -f /dev/nst0 status
SCSI 2 tape drive:
File number=-1, block number=-1, partition=0.
Tape block size 0 bytes. Density code 0x0 (default).
Soft error count since last status=0
General status bits on (50000):
DR_OPEN IM_REP_EN
Nouveau tape backup installe!
Mon nouveau tape back-up est installé!
Fukuoka scsi # cat scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 01 Lun: 00
Vendor: IBM Model: DDYS-T18350N Rev: S96H
Type: Direct-Access ANSI SCSI revision: 03
Host: scsi0 Channel: 00 Id: 02 Lun: 00
Vendor: PIONEER Model: DVD-ROM DVD-305 Rev: 1.03
Type: CD-ROM ANSI SCSI revision: 02
Host: scsi0 Channel: 00 Id: 04 Lun: 00
Vendor: PLEXTOR Model: CD-R PX-W1210S Rev: 1.02
Type: CD-ROM ANSI SCSI revision: 02
Host: scsi0 Channel: 00 Id: 05 Lun: 00
Vendor: QUANTUM Model: DLT7000 Rev: 1E46
Type: Sequential-Access ANSI SCSI revision: 02
Host: scsi0 Channel: 00 Id: 06 Lun: 00
Vendor: IBM Model: DDYS-T18350N Rev: S96H
Type: Direct-Access ANSI SCSI revision: 03
Host: scsi0 Channel: 00 Id: 09 Lun: 00
Vendor: IBM Model: DDYS-T18350N Rev: S96H
Type: Direct-Access ANSI SCSI revision: 03
Host: scsi0 Channel: 00 Id: 12 Lun: 00
Vendor: MAXTOR Model: ATLAS10K4_36WLS Rev: DFL0
Type: Direct-Access ANSI SCSI revision: 03
lundi, octobre 02, 2006
Le disque est encore vivant
Contrairement à ce que j'ai rapporté dans mon autre blog, mon disque n'est pas mort. Après un reboot, Reiserfs a rebatit le volume sur lequel je fais mes back-ups et tout est tiguidou.
Je vais prendre livraison demain d'un 3e tape back-up DLT.
Je vais prendre livraison demain d'un 3e tape back-up DLT.
S'abonner à :
Messages (Atom)
