Info::pcroad3cp: remise à niveau with a little help of Claude Code

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: PCROAD3CP

Info::pcroad3cp: premiers résultats Le 23/08/2026
Le 23/08/2026:

pcroad3cp

Version : 2.10 (26/10/2017) — mise en forme, corrections et nouvelles options du 23/08/2026
Auteur d'origine : Patrick Chevalier — PCStreet SAS
Date de cette documentation : 23/08/2026

Résumé

pcroad3cp copie incrémentalement, via rsync, les répertoires d'un poste client vers un serveur PCStreet, en s'appuyant sur le compte défini dans /PCStreet/etc/outBackup3.cfg (renommé le 23/08/2026 depuis outbackup2.cfg).

Contrairement à son prédécesseur pcroad2cp (qui laisse rsync examiner l'intégralité de l'arborescence à chaque copie), pcroad3cp effectue d'abord lui-même une recherche des répertoires modifiés depuis la dernière copie réussie, puis ne transmet à rsync qu'une liste d'inclusion/exclusion ciblée sur ces seuls répertoires. Voir "Comparaison avec pcroad2cp" plus bas pour le détail du gain attendu.

Ce qui a été fait dans cette session (23/08/2026)

En arrivant, pcroad3cp ne compilait plus du tout sur ce poste (toolchain g++14 / Debian 13, alors que le code datait de 2017). Le travail s'est déroulé en trois temps : remettre le projet aux normes du poste, le faire recompiler et fonctionner, puis corriger/enrichir à votre demande au fil des tests.

1. Mise en forme du projet

  • Arborescence normalisée : src/ (.cpp), includes/ (.h),
 build/ (CMake). Voir "Arborescence du projet" ci-dessous.
  • CMakeLists.txt créé, remplaçant les anciens makefile/
 makefile.unix (conservés pour référence, corrigés au passage).
  • ClassData/ClassGostCrypt (non utilisées par pcroad3cp, juste
 citées dans un commentaire de roadmap) déplacées vers legacy/.

2. Remise en état de la compilation

Quatre blocages successifs, chacun résolu :

  1. ClassModel_SQLite dépendait de libsqlitewrapped, disparue de
 la machine → réécrite avec l'API C sqlite3 directe (RAII, requêtes préparées,
 exceptions).
  1. makefile/makefile.unix référençaient encore
 -lsqlitewrapped et une bibliothèque mal nommée
 (libstlplus3-subsystems.a au lieu de libstlplus3_subsystems.a)
 → corrigés.
  1. /home/local/lib/pcroad2rc.a (2017) était compilée avec l'ancienne ABI
 C++ (std::string pré-C++11), incompatible avec g++14 → remplacée (avec
 votre accord) par une version 2024 déjà recompilée mais jamais déployée. Ancienne
 version sauvegardée : pcroad2rc.a.2017.bak.
  • Une fois ces trois obstacles levés, le binaire compile, se link et s'exécute.

3. Corrections de bugs (au fil des tests, certaines à votre demande)

  • Bug SQL silencieux dans ClassModel_SQLite : un CREATE
 INDEX syntaxiquement invalide n'était jamais vérifié, donc jamais créé. Corrigé.
  • Fuite mémoire (new char[32] jamais libéré) et usage de
 localtime() non réentrant dans ClassModel_SQLite::fnStamp().
 Corrigés (buffer pile, localtime_r()).
  • Copier-coller dans main.cpp : l'affichage de déboguage de
 -f/--force testait par erreur boolFlagVerbose.
  • Masquage C++ (shadowing) : ClassPcroad3 redéclarait son propre
 _setExcludedPatterns, qui masquait celui hérité de
 ClassModel_Cfg (rempli par le décodage du cfg). Conséquence réelle,
 découverte en testant -t sur le cfg de production de ce poste : les 183
 patterns d'exclusion propres au compte (caches, logs, spools...) n'étaient jamais
 transmis à rsync, seuls les 22 patterns "incontournables" codés en dur l'étaient.
 Corrigé : la redéclaration a été supprimée, les deux ensembles sont maintenant
 fusionnés (205 patterns effectifs au lieu de 22, vérifié avec -t).
  • SIGSEGV introduit par l'ajout du mode -t (voir ci-dessous), corrigé
 dans la foulée : un pointeur (__myClassControler_RsyncList) n'était
 alloué que dans getboolRun() mais détruit inconditionnellement par le
 destructeur.
  • Renommage du cfg (à votre demande) : outbackup2.cfg (nom hérité de
 pcroad2cp, prêtant à confusion sur la version) → outBackup3.cfg. Le cfg
 réel a été copié (pas déplacé) vers le nouveau nom ; l'original reste disponible
 pour pcroad2cp.

4. Nouvelles fonctionnalités (à votre demande)

  • Mode -t/--test repensé : décode le cfg et affiche un résumé complet
 (compte, serveur, port, répertoires sélectionnés/désélectionnés, patterns exclus,
 mode de copie déterminé) sans lancer aucune copie ni réseau ni écriture d'état.
 Auparavant, -t ne faisait qu'envoyer un mail de test.
  • Option --cfgFile <chemin> : permet de décoder un cfg différent du
 réel (typiquement un petit cfg de test), sans jamais toucher au fichier réel ni à son
 stamp de dernière copie (isolé automatiquement).
  • Ces deux options combinées ont permis de créer et valider bout en bout un petit
 cfg de test (/etc/ + /tmp/ seulement, compte dédié) :
 décodage, parcours, filtre rsync, authentification réseau réelle, dry-run complet —
 le tout en 0,7 s, contre 12+ minutes sur le cfg réel complet (qui inclut un
 volume de plusieurs To). Voir "Comment créer un petit cfg de test" plus bas.

5. Optimisation

Dans le thread qui filtre la sortie de rsync en direct, 8 expressions régulières étaient recompilées à chaque ligne lue (potentiellement des dizaines de milliers sur une grosse copie). Précompilées une seule fois désormais, comportement inchangé par ailleurs.

6. Découverte annexe : pcroad3makecfg est cassé

En cherchant à générer le petit cfg de test, l'outil dédié pcroad3makecfg (et la bibliothèque partagée ClassPcroad3Cfg dont il dépend) s'est révélé non fonctionnel : bug de 2016 jamais corrigé (un push_back manquant avant sérialisation, qui écrit toujours un fichier vide), et de toute façon un format incompatible avec ce que pcroad3cp lit réellement. Diagnostiqué mais non corrigé (bibliothèque partagée par d'autres projets, hors périmètre de cette session) — voir "Outils annexes découverts" pour le détail technique. pcroad2makecfg (qui, lui, fonctionne) est l'outil à utiliser pour créer un cfg exploitable par pcroad3cp.

Fonctionnement (vue d'ensemble)

  1. Décodage de /PCStreet/etc/outBackup3.cfg (serveur, compte, mot de passe,
 port, répertoires sélectionnés/désélectionnés, patterns exclus) via la bibliothèque
 partagée pcroad2rc.a (classe ClassPcroad2Rc — le format du
 fichier reste celui de pcroad2, seul le nom change).
  1. Détermination du mode de copie (ClassModel_Mode::geteModeCopy()) :
 *: ModeFirstCopy si /PCStreet/var/lst/pcroad3Dirs.lst n'existe pas
    encore (toute première copie) ;
 *: ModeNewerCfg si le cfg a été modifié après la dernière copie ;
 *: ModeRegularCopy sinon (cas normal).
  1. Parcours de l'arborescence (ClassControler_Walking) pour ne retenir que
 les répertoires modifiés depuis le stamp de dernière copie (comparaison de dates via
 boost::filesystem::last_write_time).
  1. Fabrication du fichier de filtre rsync (ClassControler_RsyncList), avec
 un nombre d'étoiles (* ou ***) dépendant du mode de copie :
 une seule étoile en copie régulière (rsync ne redescend pas dans le répertoire, déjà
 détecté modifié), trois étoiles en première copie / cfg changé (rsync redescend tout).
  1. Écriture du fichier de mot de passe rsync, lancement de rsync (dans un thread qui
 filtre la sortie en direct, détruit les fichiers exclude/password dès que rsync a
 démarré, et alimente la liste des répertoires réellement transmis).
  1. Enregistrement du résultat (date de début/fin, code retour) dans une base sqlite3
 (/PCStreet/lib/pcroad3cp.sgbd, table tCopy) et mise à jour du
 stamp de dernière copie — sauf en simulation (-I).

Options

Syntaxe

pcroad3cp [-d|--debug] [-f|--force] [-F|--force++] [-i|--identification]
          [-l|--log] [-q|--quiet] [-r|--recursivity] [-s|--syntax]
          [-t|--test] [-v|--verbose] [-x|--execute] [-a|--allFiles]
          [-I|--simulation] [-m|--mirror] [-L|--list]
          [-E|--emailTo <adresse>] [-D|--date <date>]
          [--oneHourBefore | --tenHoursBefore | --oneDayBefore |
           --oneWeekBefore | --oneMonthBefore | --oneYearBefore |
           --tenYearsBefore | --thousandYearsBefore]
          [--cfgFile <chemin>] [-h|--help]

Détail (une option par ligne, avec exemple)

Option Description Exemple
-d, --debug Affiche des informations de déboguage détaillées. pcroad3cp -d
-f, --force Réservé (lève une éventuelle restriction machine) ; sans autre effet fonctionnel actuellement. pcroad3cp -f
-F, --force++ Conserve les fichiers exclude/password après la copie (au lieu de les détruire) ; utile pour déboguer la liste transmise à rsync. pcroad3cp -F
-i, --identification Affiche les informations d'identification du compte. pcroad3cp -i
-l, --log Écrit une trace de l'exécution dans un fichier de log. pcroad3cp -l
-q, --quiet Réduit les messages affichés (mode silencieux). pcroad3cp -q
-r, --recursivity Recherche récursivement les répertoires modifiés. pcroad3cp -r
-s, --syntax Désactive le mode trace (vérification de syntaxe). pcroad3cp -s -a
-t, --test Décode et affiche un résumé du cfg (compte, serveur, port, répertoires, patterns, mode de copie) SANS lancer de copie ni modifier aucun état (stamp, base sqlite). Envoie aussi un mail de test. pcroad3cp -t
-v, --verbose Affiche le détail des traitements (répertoires trouvés, mode de copie choisi, etc). pcroad3cp -v
-x, --execute Marque une exécution réelle (voir aussi -I). pcroad3cp -x
-a, --allFiles Copie tous les fichiers, même ceux non sélectionnés lors de la dernière copie. pcroad3cp -a --oneWeekBefore
-I, --simulation Simulation (rsync --dry-run) : rien n'est transféré ni enregistré (le stamp n'est pas mis à jour). pcroad3cp -I -v
-m, --mirror Miroir (rsync --delete) : supprime côté serveur les fichiers absents localement. À utiliser avec précaution. pcroad3cp -m
-L, --list Enregistre la liste des répertoires stampés dans /PCStreet/var/lst/pcroad3cp.stampedDirsFor.<compte>.list. pcroad3cp -L
-E, --emailTo <adresse> Ajoute un destinataire au mail de compte-rendu (cumulable). pcroad3cp -E admin@exemple.fr -E autre@exemple.fr
-D, --date <date> Fournit une ou plusieurs dates additionnelles (usage avancé, cumulable). pcroad3cp -D 2026-08-01
--oneHourBefore Ne recopie que ce qui a changé depuis 1 heure. pcroad3cp --oneHourBefore
--tenHoursBefore Ne recopie que ce qui a changé depuis 10 heures. pcroad3cp --tenHoursBefore
--oneDayBefore Ne recopie que ce qui a changé depuis 1 jour. pcroad3cp --oneDayBefore
--oneWeekBefore Ne recopie que ce qui a changé depuis 1 semaine. pcroad3cp --oneWeekBefore
--oneMonthBefore Ne recopie que ce qui a changé depuis 1 mois. pcroad3cp --oneMonthBefore
--oneYearBefore Ne recopie que ce qui a changé depuis 1 an. pcroad3cp --oneYearBefore
--tenYearsBefore Ne recopie que ce qui a changé depuis 10 ans. pcroad3cp --tenYearsBefore
--thousandYearsBefore Recopie tout depuis le 01/01/1970 (première copie totale). pcroad3cp --thousandYearsBefore -a
--cfgFile <chemin> Décode ce cfg au lieu de /PCStreet/etc/outBackup3.cfg (jamais utilisé sur le cfg réel : le stamp de dernière copie est aussi dérivé de ce chemin, jamais partagé avec le vrai compte). pcroad3cp --cfgFile /PCStreet/etc/outBackup3.test.cfg -t
-h, --help Affiche cette aide et quitte. pcroad3cp -h

Sans option de date (--xxxBefore), pcroad3cp copie ce qui a été modifié depuis la dernière copie réussie (fichier /PCStreet/etc/pcroad3cp.stamp.last). En cas de première copie (fichier absent), tout est copié automatiquement.

Comparaison avec pcroad2cp : quelles améliorations attendre ?

Différence d'architecture. pcroad2cp laisse rsync examiner (stater) l'intégralité de l'arborescence sélectionnée à chaque copie, pour déterminer lui-même ce qui a changé. pcroad3cp fait ce travail en amont, côté client, en comparant la date de modification de chaque répertoire (boost::filesystem::last_write_time) au stamp de la dernière copie réussie ; seuls les répertoires jugés modifiés sont ensuite transmis à rsync via un filtre d'inclusion/exclusion ciblé. Mesure d'origine (2016, sur virlin-001, cache chaud) : 41 s (pcroad2cp) → 7 s (pcroad3cp) pour un travail identique.

Où le gain est réel. Sur une copie régulière (le cas courant : peu de répertoires modifiés depuis la veille), rsync n'a plus qu'une poignée de répertoires à examiner au lieu de la totalité — le gain est d'autant plus net que le compte est volumineux et que la proportion modifiée est faible (cas typique d'un poste de travail).

Où le gain est faible ou nul. En première copie ou après changement du cfg (ModeFirstCopy/ModeNewerCfg), pcroad3cp redemande à rsync d'examiner tout le contenu de chaque répertoire sélectionné (trois étoiles au lieu d'une) : le bénéfice du pré-filtrage disparaît alors presque entièrement. Constaté sur ce poste : plus de 12 minutes rien que pour lister les fichiers d'un compte réel en première copie (volume de plusieurs To parmi les répertoires sélectionnés) — contre 0,7 s sur un petit compte de test (/etc/ + /tmp/) dans les mêmes conditions. Le gain de pcroad3cp est donc surtout un gain en régime de croisière, pas sur la toute première synchronisation d'un gros volume.

Amélioration immédiate apportée par cette session, indépendante de l'architecture. Le bug de masquage C++ corrigé aujourd'hui (voir plus haut) signifie que, jusqu'à ce matin, les copies réelles de ce poste n'appliquaient aucun des 183 patterns d'exclusion propres au compte (caches, logs, fichiers temporaires, spools...) — seuls les 22 patterns génériques codés en dur dans pcroad3cp l'étaient. En conséquence, les copies réelles transféraient probablement plus de données que prévu et que ce que fait pcroad2cp avec le même cfg (qui, lui, applique bien tous les patterns du compte). Ce correctif rétablit le comportement attendu et devrait réduire le volume (et donc le temps) des prochaines copies, potentiellement de façon significative selon le contenu des répertoires exclus.

Autres apports de cette session, indirects mais notables.

  • pcroad3cp ne compilait plus du tout avant cette session : la première "amélioration"
 est simplement qu'il fonctionne de nouveau sur ce poste.
  • Le nouveau mode -t (+ --cfgFile) permet de valider un cfg ou
 une configuration de test sans lancer de copie réelle — utile pour du diagnostic
 ou de la mise au point, ce qu'aucun des deux outils ne permettait auparavant sans
 passer par une copie réelle (ou, pour pcroad2cp, sans équivalent connu).
  • Correction d'une fuite mémoire et d'un bug d'index SQL silencieux dans la base de
 suivi locale des copies (pcroad3cp.sgbd) : la table des recherches par
 compte, jamais indexée depuis l'origine, l'est désormais.
  • Précompilation des regex de filtrage de la sortie rsync : gain de performance sur le
 traitement de sorties rsync volumineuses (grosses copies avec beaucoup de lignes de
 log), indépendant du gain "pré-filtrage des répertoires" décrit plus haut.

En résumé : pcroad3cp reste, par conception, plus rapide que pcroad2cp sur les copies régulières (cas majoritaire en usage normal), et cette session corrige un défaut qui empêchait de profiter pleinement de sa configuration d'exclusions. Sur une première copie ou un très gros volume, l'écart avec pcroad2cp se réduit fortement — c'est attendu, la logique de pré-filtrage par date de modification de répertoire n'a alors rien à filtrer.

Arborescence du projet (depuis le 23/08/2026)

Le projet suit désormais la norme du poste : ./src, ./includes, ./build (build via CMake → Makefile).

pcroad3cp/
├── CMakeLists.txt        Définition CMake (remplace les anciens makefile/makefile.unix)
├── src/                  Fichiers .cpp
├── includes/             Fichiers .h propres au projet (enum.h, ClassXxx.h ...)
├── build/                Répertoire de compilation CMake (généré ; contient aussi les
│                         scripts '.pc*' historiques, préservés à chaque reconfiguration)
├── legacy/.data/          ClassData (non utilisée par pcroad3cp : voir "Notes")
├── legacy/.gost/          ClassGostCrypt (non utilisée par pcroad3cp : voir "Notes")
├── makefile, makefile.unix   Conservés pour référence/rollback (corrigés mais non
│                             recommandés : utiliser CMake)
└── pcroad3cp.wiki        Cette documentation

Les bibliothèques PCStreet privées (libpcstreetV8, libpcLib2, pcroad2rc.a, libstlplus3*, etc., sous /home/local/lib et /home/local/include/pcstreet) restent référencées à leur emplacement système : elles sont partagées par de nombreux autres programmes PCStreet et ne sont donc pas recopiées dans ce projet.

Compilation

Paquets Debian requis (au-delà des bibliothèques privées PCStreet déjà installées) :

apt install g++ cmake libboost-all-dev libsqlite3-dev

Construction :

cmake -S . -B build
cmake --build build -j"$(nproc)"

Le binaire est produit dans build/pcroad3cp et automatiquement redéployé vers /PCStreet/bin/pcroad3cp après chaque compilation (comme le faisait l'ancien makefile). Déploiement explicite alternatif : cmake --install build.

Remarque sur le standard C++ : le projet est figé en gnu++11 (et non C++17, standard habituel du poste) car l'en-tête système /usr/include/getoptpp/getopt_pp.h utilise des spécifications d'exception dynamiques (throw(GetOptEx)), retirées du langage en C++17. Passer en C++17 nécessiterait de remplacer GetOpt_pp par boost::program_options (déjà évoqué dans les TODO historiques de main.cpp).

Comment créer un petit cfg de test

Pour tester pcroad3cp sans toucher au compte réel ni attendre un parcours complet du système :

/PCStreet/bin/pcroad2makecfg -v \
    -C outBackup3.test.cfg \
    -D /PCStreet/etc \
    -A pcroad3test \
    -P "UnMotDePasseDeTest" \
    -S pcroad3test.ns11.com \
    -O 1113 \
    -R "/etc/" \
    -R "/tmp/"
./build/pcroad3cp -t --cfgFile /PCStreet/etc/outBackup3.test.cfg
./build/pcroad3cp -I -v --cfgFile /PCStreet/etc/outBackup3.test.cfg

NB : le domaine (-S) doit appartenir à une liste autorisée en dur dans pcroad2makecfg (ns11.com, pcstreet.fr, pcstreet.com, getbox.fr, inbackup.fr, outbackup.com, quelques *.pcstreet.org...) même pour un compte fictif, et le compte (module + mot de passe) doit exister côté serveur pour que -I -v s'authentifie (sinon : @ERROR: Unknown module si le module n'existe pas, @ERROR: auth failed si le mot de passe ne correspond pas — -t, lui, ne fait aucun accès réseau et fonctionne toujours, même sans compte serveur).

Validé de bout en bout sur ce poste (compte de test pcroad3test créé côté serveur pour l'occasion) : décodage du cfg, parcours restreint à /etc/ + /tmp/, construction du filtre rsync, authentification réseau réelle et négociation du protocole rsync avec le serveur, dry-run complet des deux répertoires (3877 lignes, aucune erreur, résumé rsync propre) — le tout en 0,7 s, contre plus de 12 minutes sur le cfg réel complet (compte incluant un volume de plusieurs To).

Outils annexes découverts (création du cfg)

  • /PCStreet/bin/pcroad2makecfg (v07.21, à jour, fonctionne) et
 /home/local/src/pcroad/PCROAD3/pcroad3makecfg/V1.02/pcroad3makecfg
 (v01.02 de 2016, ou son portage C++17 V1.02.Claude) encodent un fichier de
 cfg à partir d'options en ligne de commande (-A compte, -P
 mot de passe, -S serveur, -O port, -R
 répertoire(s) à copier, -C nom du fichier généré, -D
 répertoire cible, etc. — voir -h de chaque outil).
  • pcroad3makecfg/ClassPcroad3Cfg est cassé — bug identifié,
 hors périmètre de pcroad3cp : quelle que soit la version testée (binaire 2016,
 binaire V1.02.Claude recompilé le 23/08/2026), le programme affiche
 "Configuration terminee" mais écrit un fichier de 2 octets. Cause exacte (confirmée par
 strace puis lecture du source) : dans
 /home/local/src/Atelier/pcLib/V9.87.claude/ClassPcroad3Cfg.cpp, fonction
 ClassPcroad3Cfg::fnCfgWrite(), le push_back de l'objet
 courant dans le vecteur global __vectorAllAccounts avant sérialisation
 est resté en commentaire ("A IMPLEMENTER") depuis 2016 (bug présent dans toutes les
 versions retrouvées, V9.82 à V9.87.claude) : le fichier sérialisé est donc toujours un
 vecteur vide. ClassPcroad3Cfg::fnCfgRead() est lui aussi un stub non
 implémenté. Par ailleurs, même corrigé, ce format (stlplus::dump_*) est
 incompatible avec ce que pcroad3cp lit réellement
 (ClassPcroad2Rc, chiffrement GostCrypt) : ClassPcroad3Cfg
 semble être un prototype 2016 jamais terminé ni raccordé à rien. Non corrigé (à
 votre demande) : bibliothèque partagée par d'autres projets, correctif plus large que
 la demande initiale.

Points signalés mais non modifiés (à examiner)

  • Nettoyage exclude/password parfois incomplet en fin de copie : lors d'une copie
 réelle du 23/08/2026, trois fichiers temporaires (exclude.pcroad3.debian-dvt.f,
 password.pcroad3.debian-dvt.f, password.pcroad3.debian-dvt.gettingLst.f
 — le second contenant le mot de passe du compte en clair) sont restés dans
 /PCStreet/PCRoad/Trsfr/ après la fin du programme, alors qu'ils auraient dû
 être supprimés automatiquement. Piste identifiée mais non vérifiée en profondeur : dans
 fnRunThreadForFilteringOutputFile, la regex de nettoyage utilisée pour les
 copies suivantes (intNbStartsRsyncWereFound > 1) est
 ".*\\/exclude\\.pcroad3\\..*\\.f.*\\/password\\..*\\.f.*" : elle exige
 "exclude...f" et "password...f" dans le même nom de fichier, ce qu'aucun
 fichier réel ne peut satisfaire (ils sont nommés séparément) — ce filtre ne peut donc
 jamais matcher. Le filet de sécurité normal (ClassPcroad3::fnRemoveOldExcludeFilesName(),
 appelé dans le destructeur, avec une regex correcte à base de |) aurait dû
 prendre le relais ; pourquoi il n'a pas nettoyé ces fichiers cette fois-ci reste à
 déterminer. Non corrigé ici (nécessite d'observer une copie réelle pour confirmer).

Notes

  • legacy/.data/ (ClassData) et legacy/.gost/
 (ClassGostCrypt) ne sont pas utilisées par pcroad3cp : elles ne
 sont référencées que dans un commentaire de roadmap de main.cpp
 ("Décoder directement le cfg avec des classes ClassGostCrypt & ClassData"), jamais
 implémenté. Déplacées hors de src//includes/ pour ne pas
 polluer le build ; conservées pour référence.
  • Le répertoire test/ (mini-projets boostIniFiles,
 boostSerialize, boostTime, crypto++) contient
 des bacs à sable indépendants avec leur propre makefile, sans rapport avec les tests
 de pcroad3cp lui-même ; laissés en l'état.