Lire la suite »]]> Ce petit bout script à pour but de faire une sauvegarde incrémentale et automatisée grâce au outils rsync et cron ainsi que le langage de script bash et éventuellement de SSH.

Il est aussi prévu de pouvoir l’utiliser pour une sauvegarde d’un site web distant disposant d’un serveur ssh ainsi que des commandes pré-sauvegarde dans le fichier de configuration.

Utilisation

Directe en ligne de commande

# bash rsyncer.sh fichier.conf

Tâche  »cron »

En cas d’utilisation à travers SSH, voir d’abord: connexion_ssh_sans_mot_de_passe

Ensuite, il faut définir une tâche cron qui s’executera périodiquement. L’exécution des tâches cron se fait en arrière plan, sans aucun affichage. Il peut donc être utile de générer de fichier de log en redirigeant la sortie standard vers un fichier.

La crontab pourrai ressembler à cela, pour une sauvegarde d’arofarn.info par un NAS tous les jours à 5h00 avec la création d’un fichier de log écrasé à chaque fois:

#minute hour mday month wday who command
0 5 * * * arofarn sh /volume1/homes/arofarn/rsyncer/rsyncer.sh /volume1/homes/arofarn/rsyncer/conf.d/arofarn.info.conf > /volume1/homes/arofarn/rsyncer/log/arofarn.info.log

Script principal: rsyncer.sh

#!/bin/bash
#########################################
# Script de sauvegarde via rsync et ssh #
#########################################
 
# Le fichier de configuration est fourni en argument
 
source $1
 
echo ""
echo "Début de la sauvegarde"
echo "######################"
echo ""
echo "Fichier de configuration: $1"
 
echo "Création du répertoire de sauvegarde incrémentale:"
echo "$DESTINATION/$DATE"
mkdir $DESTINATION/$DATE
 
# Commande de sauvegarde
rsync $OPTIONS --exclude-from=$EXCLUS --backup-dir=$DESTINATION/$DATE $CIBLE $DESTINATION/$DERNIER
 
echo ""
echo "Fin de la sauvegarde"
echo "####################"

Le script de sauvegarde est donc très simple ! Le reste est dans le fichier de configuration.

Fichier de configuration

Complet (connexion ssh + commande pré-sauvegarde)

Exemple concret et complet: arofarn.info.conf

Cet exemple permet la sauvegarde d’un site distant à travers une connexion sécurisée SSH et lance en plus deux commande de copie des bases de donnée MySQL inaccessibles directement depuis Internet. Les commandes de pré-sauvegarde ne sont absolument pas obligatoire.

Quelques explications:

• le paramètre CIBLE est en générale le chemin vers le répertoire à sauvegarder. Ici il est plus complexe pour permettre la sauvegarde d’un répertoire via une connexion SSH;
• DESTINATION est je pense assez explicite comme nom;
• DERNIER: ce paramètre est le nom de la version courante de la sauvegarde. Il s’agit d’un sous-répertoire de DESTINATION;
• DATE: fourni le nom du sous-répertoire de DESTINATION ou seront copier les anciennes versions des fichiers modifier ou supprimer depuis la sauvegarde précédentes (sauvegarde incrémentale);
• EXCLUS: Il est fait référence à un fichier vide.exclus. Il s’agit d’une liste des noms de fichiers ou répertoires à ne pas sauvegarder. Il y a un nom de fichier ou répertoire ou une expression régulière par ligne. Dans mon cas, ce fichier est vide, mais il peut être utiles de ne pas sauvegarder des fichiers temporaires ou des fichiers volumineux non-indispensables (vidéos par exemple).
• OPTIONS: ce sont les options fourni à rsync pour la sauvegarde. Voir la documentation de rsync.

# Configuration de la sauvegarde d'arofarn.info
 
# Répertoire à sauvegarder
CIBLE="-e ssh userXXXXXXXXX@arofarn.info:~/"
 
# Répertoires de la sauvegarde:
DESTINATION="/media/Sauvegardes/arofarn.info"
DERNIER="derniere"
DATE=`date +%Y%m%d_%Hh%M`
 
# Liste des répertoires et fichiers à exclure:
EXCLUS="conf.d/vide.exclus"
 
# Options
OPTIONS="--archive --verbose --compress --force --ignore-errors --delete --delete-excluded --backup"
 
# Commandes pre-sauvegarde optionnelles
# Création des sauvegardes de base de données grâce à msqldump executer via ssh
 
echo "BDD: Wordpress, blog.arofarn.info"
ssh userXXXXXXXXX@arofarn.info 'mysqldump --compress --opt --host=db-server --user=db-userXXXXXXXXX --password=passwdXXXXXXXXX XXXXXXXXXXX > ~/db/blog-arofarn.info.sql'
echo "BDD: ZenPhoto, zen.arofarn.info"
ssh userXXXXXXXXX@arofarn.info 'mysqldump --compress --opt --host=db-server --user=db-userYYYYYYYYY --password=passwdYYYYYYYYY YYYYYYYYYYY > ~/db/zen-arofarn.info.sql'

Lire la suite »]]> Encore raté… finalement j’ai quand même un peu de mal cette année à me remettre à poster. Pourtant j’ai quelques truc sympa à partager.

Projets

En particulier mon petit serveur à domicile qui a bien avancé:

• configuration des partition et montage
• serveur lighttp avec WebDAV et dépôts de fichiers Jyraphe
• sauvegarde automatique en local et à distance avec SSH, rsync et une pointe de sudo, de mysqldump et de Wake On Lan
• téléchargement Bittorrent en cours de réalisation, j’hésite encore sur le client à utiliser. Je cherche un client avec interface web assez complet (scan de répertoire pour lancer automatique les fichiers .torrent, quota de ratio, quota de bande passante, déplacement des fichiers après téléchargement…)
• client DynDNS

A venir: partage NFS et Samba sur le réseau local, gestion de l’onduleur UPS avec nut.

A propos de sauvegarde, j’ai réécrit complètement mon ancien script. Il faudra que je mette aussi ça à jour. Au menu des nouveautés:

• fichiers de configuration complètement séparés
• possibilité de lancer des commandes de préparations de la sauvegarde : dump de bases MySQL avec mysqldump (site web LAMP) ou réveiller une machine éteinte avec wakeonlan
• possibilité d’éteindre une machine à la fin de la sauvegarde…

Je vais peut-être le réécrire en Perl… histoire d’apprendre un langage un peu plus évolué que le simple bash. A voir si je trouve le temps.

Par contre, le projet de grand raid en roller est reporté à l’an prochain. Je n’ai pas la condition physique nécessaire pour l’instant.

Lutte contre la loi HADOPI

Il y a eu aussi la campagne de lutte contre la loi HADOPI, j’ai bloqué l’accès direct au site pendant plusieurs mois, suivant l’appel au « Black-Out » du net français de la Quadrature du Net.

Il suffit de parcourir un peu le web pour se rendre compte que cette histoire ne s’est malheureusement pas terminé avec la censure du Conseil Constitutionnel la suite arrive rapidement. Je ne vais pas revenir en détail sur le sujet, d’autre comme la Quadrature et PC INpact, suivent de très près cette actualité, mais en ce qui me concerne,ce qui me gène le plus dans ce projet c’est l’aspect automatique, arbitraire et privé de la procédure et le fait de défendre désespérement un système qui a vécu et doit se trouver une nouvelle voie et faire face à la disparation de la rareté dans l’ère du tout numérique.

Le pompon, c’était l’incompétence totale de la ministre C. Albanel sur le sujet. Je ne comprends pas comment quelqu’un peu s’enliser aussi profond dans un dossier sans rien y connaitre

En plus, partage et respect du droit d’auteur sont tout à fait compatible. En ce qui me concerne, j’ai abandonné les téléchargements illégaux de musique, de film et de logiciel depuis plusieurs années et détruit fichiers et CD ou DVD qui s’y rapportent. C’est ma conversion aux Logiciels Libres qui fut le déclic. J’y suis venu par curiosité et pour aller plus loin dans la maitrise de mon système et j’y suis resté pour la philosophie. Cette philosophie du Libre et basé sur le respect mutuel et réciproque du créateur et du public et donc du droit d’auteur. Ainsi il est hypocrite de défendre d’un côté les respect des Licences Libres et d’un autre côté profiter de biens, même virtuels, contre la volonté de leurs auteurs.

Pour moi, la conséquence est assez nette: la moitié de ma collection musicale vient de Jamendo et autres sources libres, l’autres provient des CD que j’ai acheté, la plupart étant relativement anciens (sortis dans années 80-90) et trouvé à bas prix en promotion ou d’occasion. Pas question de payer plus de 10€ pour un simple album. Au-delà, je considère que c’est abusif donc je fait l’impasse et tant pis pour tout le monde, y compris les « ayant-droit », un CD que je n’achete pas, je ne le fait pas non plus écouté à mes proches, ni ne donne envie de se le procurer. Je suis quand même assez sensible aux bonus comme les vidéos qui accompagnent certains albums.

Lire la suite »]]> Nouvelle mise à jour !

Après avoir tout d’abord essayer de transférer mes scripts vers un wiki perso, je me suis aperçu que ce script était relativement demandé (page la plus visitée de mon pauvre blog…). Re-voilà donc le script de sauvegarde auto, dans sa dernière version avec quelques explication qui vous seront utile je l’espère.

Ca se passe maintenant par la: Script de sauvegarde automatique

J’ai enfin mis à jour et terminé la page concernant les sauvegardes automatiques sous GNU/Linux. Ce script et sa configuration sont intégralement commentée.

Ce script bash utilise entre autre rsync pour réalisé un archivage incrémental sur une partition dédiée et cron pour l’automatisation.

Ça se passe par la:  Script de sauvegarde automatique