Unix::PCSEARCH 2020

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: PCSEARCH, SPHINX, TIKA, 16/03/2020

 CHOIX TEMPORAIRE: 
Le 18/03/2020, j'ai décidé, temporairement, de prendre recoll 
qui a pour seul inconvénient de ne pas avoir, dans les recherches, 
la même syntaxe que Sphinx. Sinon, il marche très bien, est très facile à installer, 
et casse-noisette les fichiers à la volée, 
ce qui me reste encore le gros problème à gérer avec sphinx et un tika
qui laisserait derrière lui tous les fichiers traduits en mode texte.
Recoll est très bien et a même un web-ui, ce qui permet de faire partager une indexation:
Exemple: python webui-standalone.py -a 192.168.1.17

Mon idée actuelle est d'indexer /3To/samba/Documents sur srv09 et sur srv17 (à travers un mount)
et d'y avoir ainsi accès  à Villennes et à Bois Dery sur http://192.168.1.[17|24]:8080

Attention, recoll n'utilise pas la définition topDirs dans recoll.conf.
Il faut incorporer les répertoires directement dans le gui de recoll.
NB: apt-get install recoll python-recoll
 BUT: 
 Le but est de re créer un PCSearch 2020 sur, si possible, trois ensembles:
- srv08::Documents (indispensable)
- https://spip.pc229.pcstreet.org (serait un plus)
- http://pcwiki.srv09.pcstreet.org (serait un plus)

A priori, tika cf: https://snapcraft.io/install/tika-app/debian (en java [:-( ) et 
tika-python cf: https://pypi.org/project/tika/
Feraient le Job avec beaucoup de types de documents différents.

Exemple: java -jar  /snap/tika-app/15/jar/tika-app-1.22.jar  /root/Documents  /root/PCSearch
         Crée des fichiers XML qui devraient pouvoir nourrir xmlpipe2. (pas trouvé).

Exemple: java -jar  /snap/tika-app/15/jar/tika-app-1.22.jar  http://pcwiki.srv09.pcstreet.org/ > /root/PCSearch/pcwiki/pcwiki.xml:
         Crée un fichier XML qui devrait pouvoir nourrir xmlpipe2. (pas trouvé)

NB1: pour le moment, le désassemblage de spip ne marche pas.
NB2: machines de test: bois-dery::srv09 & bois-dery::debian9-test (VM)

Pour l'indexer, j'aimerais bien sphinx mais je pourrais admettre aussi xapian ou recoll
 BESOINS: 
- sphinxsearch (apt-get) NB: + /etc/default/sphinxsearch
- mysql-server (apt-get)
- tika (snapd)
- client C++ (?) cf: https://github.com/sphinxsearch/sphinx/blob/rel21/src/search.cpp
- http://sdz.tdct.org/sdz/creer-un-moteur-de-recherche-avec-sphinx-et-php.html
- https://en.wikipedia.org/wiki/Sphinx_(search_engine)
- http://www.sphider.eu/download.php: trop vieux, non installable sans beaucoup de modifications.
- http://www.sphider.eu/installation.php
- https://www.sphider-plus.eu/  trop vieux, non installable sans beaucoup de modifications.
 PROOF OF CONCEPT: 

#1)  FACILE A FAIRE:  Envoyer par rsync seulement les documents de type intéressant vers un serveur dédié
    (.html, .xml, .rtf, .zip, .tgz, .hlp, .doc, .ont, .xls, .txt, .pdf ... )
    full list: http://pcwiki.srv09.pcstreet.org/index.php/Document::tika_full_list_of_supported_documents)

#2)  DONE  Désassembler ces documents avec tika pour pouvoir nourrir xmlpipe2 (sphinx)
    ou Indexer directement ces documents (et les URLs si possible).
    Je crois comprendre qu'il faut désassembler en mode 'PLAIN TEXT' et ensuite, intégrer le texte dans mysql.

#3)  TO DO  Indexer.

#4)  TO DO  Trouver ou fabriquer un site web permettant d'interroger le moteur de recherche choisi (Sphinx ?)
 HOW TO: 
#1) Sélectionner les fichiers intéressants et les placer dans un répertoire particulier (via rsync ou via ln ?).
#2) Lancer tika sur le répertoire choisi pour récupérer du 'plain text'.
    Exemple: java -jar  /snap/tika-app/15/jar/tika-app-1.22.jar  /root/Documents  /root/PCSearch --text
#3) Écrire un parser qui insère les documents plain text dans une base mysql selon le schéma:
    - intId: numéro incrémental automatique
    - [string|int]Catégorie: (informatique, mécanique, musique ...
    - [string|int]Provenance: srv08, pcwiki, spip ...
    - intDate
    - stringExtension: .doc, .xls, .pdf ...
    - stringAllTheTextCasseNoisettised
#4) Écrire une page HTML (en php) qui utilise sphinx.
    NB: il existe bien sphinx-gui, mais il ne casse que peu de types de fichiers (HTML & pdf je crois)

Attention:
- Les apostrophes inclues dans du texte créent un gros problème => à gérer.
- Je n'ai pas compris comment faire marcher xmlpipe2, je pars donc sur de l'inclusion de texte dans mysql.
document::tika full list of supported documents