Info::pcroad3cp: remise à niveau with a little help of Claude Code
KEYWORDS: PCROAD3CP
Info::pcroad3cp: premiers résultats Le 23/08/2026
Le 23/08/2026:
pcroad3cp
Version : 2.10 (26/10/2017) — mise en forme, corrections et nouvelles options du 23/08/2026
Auteur d'origine : Patrick Chevalier — PCStreet SAS
Date de cette documentation : 23/08/2026
Résumé
pcroad3cp copie incrémentalement, via rsync, les répertoires d'un poste
client vers un serveur PCStreet, en s'appuyant sur le compte défini dans
/PCStreet/etc/outBackup3.cfg (renommé le 23/08/2026 depuis
outbackup2.cfg).
Contrairement à son prédécesseur pcroad2cp (qui laisse rsync examiner l'intégralité de l'arborescence à chaque copie), pcroad3cp effectue d'abord lui-même une recherche des répertoires modifiés depuis la dernière copie réussie, puis ne transmet à rsync qu'une liste d'inclusion/exclusion ciblée sur ces seuls répertoires. Voir "Comparaison avec pcroad2cp" plus bas pour le détail du gain attendu.
Ce qui a été fait dans cette session (23/08/2026)
En arrivant, pcroad3cp ne compilait plus du tout sur ce poste (toolchain g++14 / Debian 13, alors que le code datait de 2017). Le travail s'est déroulé en trois temps : remettre le projet aux normes du poste, le faire recompiler et fonctionner, puis corriger/enrichir à votre demande au fil des tests.
1. Mise en forme du projet
- Arborescence normalisée :
src/(.cpp),includes/(.h),
build/ (CMake). Voir "Arborescence du projet" ci-dessous.
CMakeLists.txtcréé, remplaçant les anciensmakefile/
makefile.unix (conservés pour référence, corrigés au passage).
ClassData/ClassGostCrypt(non utilisées par pcroad3cp, juste
citées dans un commentaire de roadmap) déplacées vers legacy/.
2. Remise en état de la compilation
Quatre blocages successifs, chacun résolu :
ClassModel_SQLitedépendait delibsqlitewrapped, disparue de
la machine → réécrite avec l'API C sqlite3 directe (RAII, requêtes préparées, exceptions).
makefile/makefile.unixréférençaient encore
-lsqlitewrappedet une bibliothèque mal nommée (libstlplus3-subsystems.aau lieu delibstlplus3_subsystems.a) → corrigés.
/home/local/lib/pcroad2rc.a(2017) était compilée avec l'ancienne ABI
C++ (std::stringpré-C++11), incompatible avec g++14 → remplacée (avec votre accord) par une version 2024 déjà recompilée mais jamais déployée. Ancienne version sauvegardée :pcroad2rc.a.2017.bak.
- Une fois ces trois obstacles levés, le binaire compile, se link et s'exécute.
3. Corrections de bugs (au fil des tests, certaines à votre demande)
- Bug SQL silencieux dans
ClassModel_SQLite: unCREATE
INDEX syntaxiquement invalide n'était jamais vérifié, donc jamais créé. Corrigé.
- Fuite mémoire (
new char[32]jamais libéré) et usage de
localtime()non réentrant dansClassModel_SQLite::fnStamp(). Corrigés (buffer pile,localtime_r()).
- Copier-coller dans
main.cpp: l'affichage de déboguage de
-f/--forcetestait par erreurboolFlagVerbose.
- Masquage C++ (shadowing) :
ClassPcroad3redéclarait son propre
_setExcludedPatterns, qui masquait celui hérité deClassModel_Cfg(rempli par le décodage du cfg). Conséquence réelle, découverte en testant-tsur le cfg de production de ce poste : les 183 patterns d'exclusion propres au compte (caches, logs, spools...) n'étaient jamais transmis à rsync, seuls les 22 patterns "incontournables" codés en dur l'étaient. Corrigé : la redéclaration a été supprimée, les deux ensembles sont maintenant fusionnés (205 patterns effectifs au lieu de 22, vérifié avec-t).
- SIGSEGV introduit par l'ajout du mode
-t(voir ci-dessous), corrigé
dans la foulée : un pointeur (__myClassControler_RsyncList) n'était alloué que dansgetboolRun()mais détruit inconditionnellement par le destructeur.
- Renommage du cfg (à votre demande) :
outbackup2.cfg(nom hérité de
pcroad2cp, prêtant à confusion sur la version) → outBackup3.cfg. Le cfg
réel a été copié (pas déplacé) vers le nouveau nom ; l'original reste disponible
pour pcroad2cp.
4. Nouvelles fonctionnalités (à votre demande)
- Mode
-t/--testrepensé : décode le cfg et affiche un résumé complet
(compte, serveur, port, répertoires sélectionnés/désélectionnés, patterns exclus,
mode de copie déterminé) sans lancer aucune copie ni réseau ni écriture d'état.
Auparavant, -t ne faisait qu'envoyer un mail de test.
- Option
--cfgFile <chemin>: permet de décoder un cfg différent du
réel (typiquement un petit cfg de test), sans jamais toucher au fichier réel ni à son stamp de dernière copie (isolé automatiquement).
- Ces deux options combinées ont permis de créer et valider bout en bout un petit
cfg de test (/etc/+/tmp/seulement, compte dédié) : décodage, parcours, filtre rsync, authentification réseau réelle, dry-run complet — le tout en 0,7 s, contre 12+ minutes sur le cfg réel complet (qui inclut un volume de plusieurs To). Voir "Comment créer un petit cfg de test" plus bas.
5. Optimisation
Dans le thread qui filtre la sortie de rsync en direct, 8 expressions régulières étaient recompilées à chaque ligne lue (potentiellement des dizaines de milliers sur une grosse copie). Précompilées une seule fois désormais, comportement inchangé par ailleurs.
6. Découverte annexe : pcroad3makecfg est cassé
En cherchant à générer le petit cfg de test, l'outil dédié pcroad3makecfg
(et la bibliothèque partagée ClassPcroad3Cfg dont il dépend) s'est révélé
non fonctionnel : bug de 2016 jamais corrigé (un push_back manquant avant
sérialisation, qui écrit toujours un fichier vide), et de toute façon un format
incompatible avec ce que pcroad3cp lit réellement. Diagnostiqué mais non corrigé
(bibliothèque partagée par d'autres projets, hors périmètre de cette session) — voir
"Outils annexes découverts" pour le détail technique. pcroad2makecfg (qui,
lui, fonctionne) est l'outil à utiliser pour créer un cfg exploitable par pcroad3cp.
Fonctionnement (vue d'ensemble)
- Décodage de
/PCStreet/etc/outBackup3.cfg(serveur, compte, mot de passe,
port, répertoires sélectionnés/désélectionnés, patterns exclus) via la bibliothèque partagéepcroad2rc.a(classeClassPcroad2Rc— le format du fichier reste celui de pcroad2, seul le nom change).
- Détermination du mode de copie (
ClassModel_Mode::geteModeCopy()) :
*: ModeFirstCopy si /PCStreet/var/lst/pcroad3Dirs.lst n'existe pas
encore (toute première copie) ;
*: ModeNewerCfg si le cfg a été modifié après la dernière copie ;
*: ModeRegularCopy sinon (cas normal).
- Parcours de l'arborescence (
ClassControler_Walking) pour ne retenir que
les répertoires modifiés depuis le stamp de dernière copie (comparaison de dates via
boost::filesystem::last_write_time).
- Fabrication du fichier de filtre rsync (
ClassControler_RsyncList), avec
un nombre d'étoiles (*ou***) dépendant du mode de copie : une seule étoile en copie régulière (rsync ne redescend pas dans le répertoire, déjà détecté modifié), trois étoiles en première copie / cfg changé (rsync redescend tout).
- Écriture du fichier de mot de passe rsync, lancement de rsync (dans un thread qui
filtre la sortie en direct, détruit les fichiers exclude/password dès que rsync a démarré, et alimente la liste des répertoires réellement transmis).
- Enregistrement du résultat (date de début/fin, code retour) dans une base sqlite3
(/PCStreet/lib/pcroad3cp.sgbd, tabletCopy) et mise à jour du stamp de dernière copie — sauf en simulation (-I).
Options
Syntaxe
pcroad3cp [-d|--debug] [-f|--force] [-F|--force++] [-i|--identification]
[-l|--log] [-q|--quiet] [-r|--recursivity] [-s|--syntax]
[-t|--test] [-v|--verbose] [-x|--execute] [-a|--allFiles]
[-I|--simulation] [-m|--mirror] [-L|--list]
[-E|--emailTo <adresse>] [-D|--date <date>]
[--oneHourBefore | --tenHoursBefore | --oneDayBefore |
--oneWeekBefore | --oneMonthBefore | --oneYearBefore |
--tenYearsBefore | --thousandYearsBefore]
[--cfgFile <chemin>] [-h|--help]
Détail (une option par ligne, avec exemple)
| Option | Description | Exemple |
|---|---|---|
-d, --debug |
Affiche des informations de déboguage détaillées. | pcroad3cp -d
|
-f, --force |
Réservé (lève une éventuelle restriction machine) ; sans autre effet fonctionnel actuellement. | pcroad3cp -f
|
-F, --force++ |
Conserve les fichiers exclude/password après la copie (au lieu de les détruire) ; utile pour déboguer la liste transmise à rsync. | pcroad3cp -F
|
-i, --identification |
Affiche les informations d'identification du compte. | pcroad3cp -i
|
-l, --log |
Écrit une trace de l'exécution dans un fichier de log. | pcroad3cp -l
|
-q, --quiet |
Réduit les messages affichés (mode silencieux). | pcroad3cp -q
|
-r, --recursivity |
Recherche récursivement les répertoires modifiés. | pcroad3cp -r
|
-s, --syntax |
Désactive le mode trace (vérification de syntaxe). | pcroad3cp -s -a
|
-t, --test |
Décode et affiche un résumé du cfg (compte, serveur, port, répertoires, patterns, mode de copie) SANS lancer de copie ni modifier aucun état (stamp, base sqlite). Envoie aussi un mail de test. | pcroad3cp -t
|
-v, --verbose |
Affiche le détail des traitements (répertoires trouvés, mode de copie choisi, etc). | pcroad3cp -v
|
-x, --execute |
Marque une exécution réelle (voir aussi -I). |
pcroad3cp -x
|
-a, --allFiles |
Copie tous les fichiers, même ceux non sélectionnés lors de la dernière copie. | pcroad3cp -a --oneWeekBefore
|
-I, --simulation |
Simulation (rsync --dry-run) : rien n'est transféré ni enregistré (le stamp n'est pas mis à jour). |
pcroad3cp -I -v
|
-m, --mirror |
Miroir (rsync --delete) : supprime côté serveur les fichiers absents localement. À utiliser avec précaution. |
pcroad3cp -m
|
-L, --list |
Enregistre la liste des répertoires stampés dans /PCStreet/var/lst/pcroad3cp.stampedDirsFor.<compte>.list. |
pcroad3cp -L
|
-E, --emailTo <adresse> |
Ajoute un destinataire au mail de compte-rendu (cumulable). | pcroad3cp -E admin@exemple.fr -E autre@exemple.fr
|
-D, --date <date> |
Fournit une ou plusieurs dates additionnelles (usage avancé, cumulable). | pcroad3cp -D 2026-08-01
|
--oneHourBefore |
Ne recopie que ce qui a changé depuis 1 heure. | pcroad3cp --oneHourBefore
|
--tenHoursBefore |
Ne recopie que ce qui a changé depuis 10 heures. | pcroad3cp --tenHoursBefore
|
--oneDayBefore |
Ne recopie que ce qui a changé depuis 1 jour. | pcroad3cp --oneDayBefore
|
--oneWeekBefore |
Ne recopie que ce qui a changé depuis 1 semaine. | pcroad3cp --oneWeekBefore
|
--oneMonthBefore |
Ne recopie que ce qui a changé depuis 1 mois. | pcroad3cp --oneMonthBefore
|
--oneYearBefore |
Ne recopie que ce qui a changé depuis 1 an. | pcroad3cp --oneYearBefore
|
--tenYearsBefore |
Ne recopie que ce qui a changé depuis 10 ans. | pcroad3cp --tenYearsBefore
|
--thousandYearsBefore |
Recopie tout depuis le 01/01/1970 (première copie totale). | pcroad3cp --thousandYearsBefore -a
|
--cfgFile <chemin> |
Décode ce cfg au lieu de /PCStreet/etc/outBackup3.cfg (jamais utilisé sur le cfg réel : le stamp de dernière copie est aussi dérivé de ce chemin, jamais partagé avec le vrai compte). |
pcroad3cp --cfgFile /PCStreet/etc/outBackup3.test.cfg -t
|
-h, --help |
Affiche cette aide et quitte. | pcroad3cp -h
|
Sans option de date (--xxxBefore), pcroad3cp copie ce qui a été modifié
depuis la dernière copie réussie (fichier /PCStreet/etc/pcroad3cp.stamp.last).
En cas de première copie (fichier absent), tout est copié automatiquement.
Comparaison avec pcroad2cp : quelles améliorations attendre ?
Différence d'architecture. pcroad2cp laisse rsync examiner (stater) l'intégralité
de l'arborescence sélectionnée à chaque copie, pour déterminer lui-même ce qui a changé.
pcroad3cp fait ce travail en amont, côté client, en comparant la date de
modification de chaque répertoire (boost::filesystem::last_write_time) au
stamp de la dernière copie réussie ; seuls les répertoires jugés modifiés sont ensuite
transmis à rsync via un filtre d'inclusion/exclusion ciblé. Mesure d'origine (2016, sur
virlin-001, cache chaud) : 41 s (pcroad2cp) → 7 s (pcroad3cp) pour un travail
identique.
Où le gain est réel. Sur une copie régulière (le cas courant : peu de répertoires modifiés depuis la veille), rsync n'a plus qu'une poignée de répertoires à examiner au lieu de la totalité — le gain est d'autant plus net que le compte est volumineux et que la proportion modifiée est faible (cas typique d'un poste de travail).
Où le gain est faible ou nul. En première copie ou après changement du
cfg (ModeFirstCopy/ModeNewerCfg), pcroad3cp redemande à
rsync d'examiner tout le contenu de chaque répertoire sélectionné (trois étoiles au lieu
d'une) : le bénéfice du pré-filtrage disparaît alors presque entièrement. Constaté sur
ce poste : plus de 12 minutes rien que pour lister les fichiers d'un compte réel en
première copie (volume de plusieurs To parmi les répertoires sélectionnés) — contre 0,7 s
sur un petit compte de test (/etc/ + /tmp/) dans les mêmes
conditions. Le gain de pcroad3cp est donc surtout un gain en régime de croisière,
pas sur la toute première synchronisation d'un gros volume.
Amélioration immédiate apportée par cette session, indépendante de l'architecture. Le bug de masquage C++ corrigé aujourd'hui (voir plus haut) signifie que, jusqu'à ce matin, les copies réelles de ce poste n'appliquaient aucun des 183 patterns d'exclusion propres au compte (caches, logs, fichiers temporaires, spools...) — seuls les 22 patterns génériques codés en dur dans pcroad3cp l'étaient. En conséquence, les copies réelles transféraient probablement plus de données que prévu et que ce que fait pcroad2cp avec le même cfg (qui, lui, applique bien tous les patterns du compte). Ce correctif rétablit le comportement attendu et devrait réduire le volume (et donc le temps) des prochaines copies, potentiellement de façon significative selon le contenu des répertoires exclus.
Autres apports de cette session, indirects mais notables.
- pcroad3cp ne compilait plus du tout avant cette session : la première "amélioration"
est simplement qu'il fonctionne de nouveau sur ce poste.
- Le nouveau mode
-t(+--cfgFile) permet de valider un cfg ou
une configuration de test sans lancer de copie réelle — utile pour du diagnostic ou de la mise au point, ce qu'aucun des deux outils ne permettait auparavant sans passer par une copie réelle (ou, pour pcroad2cp, sans équivalent connu).
- Correction d'une fuite mémoire et d'un bug d'index SQL silencieux dans la base de
suivi locale des copies (pcroad3cp.sgbd) : la table des recherches par
compte, jamais indexée depuis l'origine, l'est désormais.
- Précompilation des regex de filtrage de la sortie rsync : gain de performance sur le
traitement de sorties rsync volumineuses (grosses copies avec beaucoup de lignes de log), indépendant du gain "pré-filtrage des répertoires" décrit plus haut.
En résumé : pcroad3cp reste, par conception, plus rapide que pcroad2cp sur les copies régulières (cas majoritaire en usage normal), et cette session corrige un défaut qui empêchait de profiter pleinement de sa configuration d'exclusions. Sur une première copie ou un très gros volume, l'écart avec pcroad2cp se réduit fortement — c'est attendu, la logique de pré-filtrage par date de modification de répertoire n'a alors rien à filtrer.
Arborescence du projet (depuis le 23/08/2026)
Le projet suit désormais la norme du poste : ./src, ./includes,
./build (build via CMake → Makefile).
pcroad3cp/ ├── CMakeLists.txt Définition CMake (remplace les anciens makefile/makefile.unix) ├── src/ Fichiers .cpp ├── includes/ Fichiers .h propres au projet (enum.h, ClassXxx.h ...) ├── build/ Répertoire de compilation CMake (généré ; contient aussi les │ scripts '.pc*' historiques, préservés à chaque reconfiguration) ├── legacy/.data/ ClassData (non utilisée par pcroad3cp : voir "Notes") ├── legacy/.gost/ ClassGostCrypt (non utilisée par pcroad3cp : voir "Notes") ├── makefile, makefile.unix Conservés pour référence/rollback (corrigés mais non │ recommandés : utiliser CMake) └── pcroad3cp.wiki Cette documentation
Les bibliothèques PCStreet privées (libpcstreetV8, libpcLib2,
pcroad2rc.a, libstlplus3*, etc., sous /home/local/lib et
/home/local/include/pcstreet) restent référencées à leur emplacement
système : elles sont partagées par de nombreux autres programmes PCStreet et ne sont
donc pas recopiées dans ce projet.
Compilation
Paquets Debian requis (au-delà des bibliothèques privées PCStreet déjà installées) :
apt install g++ cmake libboost-all-dev libsqlite3-dev
Construction :
cmake -S . -B build cmake --build build -j"$(nproc)"
Le binaire est produit dans build/pcroad3cp et automatiquement redéployé
vers /PCStreet/bin/pcroad3cp après chaque compilation (comme le faisait
l'ancien makefile). Déploiement explicite alternatif : cmake --install build.
Remarque sur le standard C++ : le projet est figé en gnu++11 (et non
C++17, standard habituel du poste) car l'en-tête système
/usr/include/getoptpp/getopt_pp.h utilise des spécifications d'exception
dynamiques (throw(GetOptEx)), retirées du langage en C++17. Passer en
C++17 nécessiterait de remplacer GetOpt_pp par
boost::program_options (déjà évoqué dans les TODO historiques de
main.cpp).
Comment créer un petit cfg de test
Pour tester pcroad3cp sans toucher au compte réel ni attendre un parcours complet du système :
/PCStreet/bin/pcroad2makecfg -v \
-C outBackup3.test.cfg \
-D /PCStreet/etc \
-A pcroad3test \
-P "UnMotDePasseDeTest" \
-S pcroad3test.ns11.com \
-O 1113 \
-R "/etc/" \
-R "/tmp/"
./build/pcroad3cp -t --cfgFile /PCStreet/etc/outBackup3.test.cfg ./build/pcroad3cp -I -v --cfgFile /PCStreet/etc/outBackup3.test.cfg
NB : le domaine (-S) doit appartenir à une liste autorisée en dur dans
pcroad2makecfg (ns11.com, pcstreet.fr,
pcstreet.com, getbox.fr, inbackup.fr,
outbackup.com, quelques *.pcstreet.org...) même pour un compte
fictif, et le compte (module + mot de passe) doit exister côté serveur pour que
-I -v s'authentifie (sinon : @ERROR: Unknown module si le
module n'existe pas, @ERROR: auth failed si le mot de passe ne correspond
pas — -t, lui, ne fait aucun accès réseau et fonctionne toujours, même sans
compte serveur).
Validé de bout en bout sur ce poste (compte de test pcroad3test créé
côté serveur pour l'occasion) : décodage du cfg, parcours restreint à
/etc/ + /tmp/, construction du filtre rsync, authentification
réseau réelle et négociation du protocole rsync avec le serveur, dry-run complet des deux
répertoires (3877 lignes, aucune erreur, résumé rsync propre) — le tout en 0,7 s,
contre plus de 12 minutes sur le cfg réel complet (compte incluant un volume de plusieurs
To).
Outils annexes découverts (création du cfg)
/PCStreet/bin/pcroad2makecfg(v07.21, à jour, fonctionne) et
/home/local/src/pcroad/PCROAD3/pcroad3makecfg/V1.02/pcroad3makecfg(v01.02 de 2016, ou son portage C++17V1.02.Claude) encodent un fichier de cfg à partir d'options en ligne de commande (-Acompte,-Pmot de passe,-Sserveur,-Oport,-Rrépertoire(s) à copier,-Cnom du fichier généré,-Drépertoire cible, etc. — voir-hde chaque outil).
pcroad3makecfg/ClassPcroad3Cfgest cassé — bug identifié,
hors périmètre de pcroad3cp : quelle que soit la version testée (binaire 2016, binaireV1.02.Clauderecompilé le 23/08/2026), le programme affiche "Configuration terminee" mais écrit un fichier de 2 octets. Cause exacte (confirmée parstracepuis lecture du source) : dans/home/local/src/Atelier/pcLib/V9.87.claude/ClassPcroad3Cfg.cpp, fonctionClassPcroad3Cfg::fnCfgWrite(), lepush_backde l'objet courant dans le vecteur global__vectorAllAccountsavant sérialisation est resté en commentaire ("A IMPLEMENTER") depuis 2016 (bug présent dans toutes les versions retrouvées, V9.82 à V9.87.claude) : le fichier sérialisé est donc toujours un vecteur vide.ClassPcroad3Cfg::fnCfgRead()est lui aussi un stub non implémenté. Par ailleurs, même corrigé, ce format (stlplus::dump_*) est incompatible avec ce quepcroad3cplit réellement (ClassPcroad2Rc, chiffrement GostCrypt) :ClassPcroad3Cfgsemble être un prototype 2016 jamais terminé ni raccordé à rien. Non corrigé (à votre demande) : bibliothèque partagée par d'autres projets, correctif plus large que la demande initiale.
Points signalés mais non modifiés (à examiner)
- Nettoyage exclude/password parfois incomplet en fin de copie : lors d'une copie
réelle du 23/08/2026, trois fichiers temporaires (exclude.pcroad3.debian-dvt.f,password.pcroad3.debian-dvt.f,password.pcroad3.debian-dvt.gettingLst.f— le second contenant le mot de passe du compte en clair) sont restés dans/PCStreet/PCRoad/Trsfr/après la fin du programme, alors qu'ils auraient dû être supprimés automatiquement. Piste identifiée mais non vérifiée en profondeur : dansfnRunThreadForFilteringOutputFile, la regex de nettoyage utilisée pour les copies suivantes (intNbStartsRsyncWereFound > 1) est".*\\/exclude\\.pcroad3\\..*\\.f.*\\/password\\..*\\.f.*": elle exige "exclude...f" et "password...f" dans le même nom de fichier, ce qu'aucun fichier réel ne peut satisfaire (ils sont nommés séparément) — ce filtre ne peut donc jamais matcher. Le filet de sécurité normal (ClassPcroad3::fnRemoveOldExcludeFilesName(), appelé dans le destructeur, avec une regex correcte à base de|) aurait dû prendre le relais ; pourquoi il n'a pas nettoyé ces fichiers cette fois-ci reste à déterminer. Non corrigé ici (nécessite d'observer une copie réelle pour confirmer).
Notes
legacy/.data/(ClassData) etlegacy/.gost/
(ClassGostCrypt) ne sont pas utilisées par pcroad3cp : elles ne sont référencées que dans un commentaire de roadmap demain.cpp("Décoder directement le cfg avec des classes ClassGostCrypt & ClassData"), jamais implémenté. Déplacées hors desrc//includes/pour ne pas polluer le build ; conservées pour référence.
- Le répertoire
test/(mini-projetsboostIniFiles,
boostSerialize,boostTime,crypto++) contient des bacs à sable indépendants avec leur propre makefile, sans rapport avec les tests de pcroad3cp lui-même ; laissés en l'état.