« Tutoriel SphinxSearch » : différence entre les versions
De wiki_pcwiki2
Aller à la navigationAller à la recherche
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 208 : | Ligne 208 : | ||
| [[image:SchemaSynoptiquePourSphinxSearch.png|1024px|thumb|border|Schema Synoptique Pour SphinxSearch]] | | [[image:SchemaSynoptiquePourSphinxSearch.png|1024px|thumb|border|Schema Synoptique Pour SphinxSearch]] | ||
|} | |} | ||
------------------------------------------------------------------------------------------------- | |||
Ref: http://sphinxsearch.com/docs/current.html#expr-func-yearmonthday | |||
3.10. tsvpipe\csvpipe (Tab\Comma Separated Values) data source | |||
This is the simplest way to pass data to the indexer. | |||
It was created due to xmlpipe2 limitations. Namely, indexer must map each attribute and field tag in XML file to corresponding schema element. | |||
This mapping requires some time. | |||
And time increases with increasing the number of fields and attributes in schema. | |||
There is no such issue in tsvpipe because each field and attribute is a particular column in TSV file. | |||
So, in some cases tsvpipe could work slightly faster than xmlpipe2. Added in 2.2.1-beta. | |||
'''The first column in TSV\CSV file must be a document ID'''. | |||
The rest ones must mirror the declaration of fields and attributes in schema definition. | |||
The difference between tsvpipe and csvpipe is delimiter and quoting rules. | |||
tsvpipe has tab character as hardcoded delimiter and has no quoting rules. | |||
csvpipe has option csvpipe_delimiter for delimiter with default value ',' and also has quoting rules, such as: | |||
- any field may be quoted | |||
- fields containing a line-break, double-quote or commas should be quoted | |||
- a double quote character in a field must be represented by two double quote characters | |||
tsvpipe and csvpipe have same field and attrribute declaration directives as xmlpipe. | |||
'''tsvpipe declarations:''' | |||
tsvpipe_command, tsvpipe_field, tsvpipe_field_string, tsvpipe_attr_uint, tsvpipe_attr_timestamp, tsvpipe_attr_bool, | |||
tsvpipe_attr_float, tsvpipe_attr_bigint, tsvpipe_attr_multi, tsvpipe_attr_multi_64, tsvpipe_attr_string, tsvpipe_attr_json | |||
'''csvpipe declarations:''' | |||
csvpipe_command, csvpipe_field, csvpipe_field_string, csvpipe_attr_uint, csvpipe_attr_timestamp, csvpipe_attr_bool, | |||
csvpipe_attr_float, csvpipe_attr_bigint, csvpipe_attr_multi, csvpipe_attr_multi_64, csvpipe_attr_string, csvpipe_attr_json | |||
source tsv_test | |||
{ | |||
type = tsvpipe | |||
tsvpipe_command = cat /tmp/rock_bands.tsv | |||
tsvpipe_field = name | |||
tsvpipe_attr_multi = genre_tags | |||
} | |||
1 Led Zeppelin 35,23,16 | |||
2 Deep Purple 35,92 | |||
3 Frank Zappa 35,23,16,92,33,24 | |||
Version du 22 février 2022 à 07:09
KEYWORDS: SPHINX, SPHINXSEARCH, TUTO, 21/02/2022:
Ressource: http://sdz.tdct.org/sdz/creer-un-moteur-de-recherche-avec-sphinx-et-php.html
Recherchons avec Sphinx Sphinx Search est un moteur de recherche qui permet de rechercher à une grande vitesse du contenu à travers des milliers de documents. Pour ce faire, il a besoin de connaître ces documents et de les ranger de façon à ce qu'il puisse les retrouver facilement. En effet, si on lui demandait de rechercher à travers une grosse quantité de données sans qu'il ne les ai jamais vues, il devrait tout lire à chaque recherche pour effectuer ensuite des opérations complexes sur les données pour voir si le document correspond à la requête. Tout cela serait bien long, et c'est pour quoi Sphinx opère en deux étapes. La première étape est l'étape d'indexation. Cette étape est l'étape de lecture. 'est à cette étape que Sphinx va lire toutes les données pour les indexer. Il va alors se constituer une grande bibliothèque avec toutes ces données indexées qu'il pourra donc retrouver plus facilement. Cela soulève donc un léger problème, mais nous y reviendrons en temps voulu. La seconde étape est simplement l'étape de recherche. Puisque Sphinx a déjà rangé toutes les données, il est capable de les retrouver en un temps record.
Préparation du terrain. Avant de procéder à une recherche, encore faudrait-il avoir des données à rechercher ! Pour que l'on travaille tous sur une même base de travail, je vous propose de télécharger une liste de 57 news issues du SdZ avec leurs catégories.
Indexer les données. Comme je vous l'avais dit plus tôt, il va falloir indexer les données. Cependant, cela ne se fait pas d'un simple coup de baguette magique : il ne suffit pas de dire à Sphinx « indexe-moi mes news ! », ce serait trop simple ! Non, il va falloir lui donner quelques renseignements. Avec Sphinx, pour effectuer une recherche sur une table, il faut avant tout créer un index. Un index est un bloc d'informations écrit dans le fichier de configuration qui va indiquer à Sphinx sur quoi il devra effectuer la recherche. Un index ne comporte généralement que 2 informations : - Le nom de la source qui lui est associée. Chaque index correspond à une source. C'est dans cette source que vous déterminerez les informations nécessaires au moteur pour pouvoir effectuer la recherche ; - L'emplacement où Sphinx créera sa bibliothèque.
Ainsi, si nous voulons créer notre index news, nous procéderions comme ceci (Sous Linux/Mac OS):
index news
{
source = news
path = /usr/local/sphinx/var/data/news
}
searchd
{
port = 3312
log = /usr/local/sphinx/var/log/searchd/searchd.log
query_log = /usr/local/sphinx/var/log/searchd/query.log
pid_file = /usr/local/sphinx/var/log/searchd/searchd.pid
}
On va maintenant créer notre source news.
Pour commencer, il va falloir dire à Sphinx qu'il devra se connecter à une BDD gérée par MySQL
et lui communiquer les identifiants qui lui permettront de s'y connecter, ainsi que le nom de la base de données.
source news
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass = xxx
sql_db = newssdz
}
Si nous le voulons, Sphinx peut exécuter une requête dès qu'il se connecte.
Ici, nous allons communiquer des données encodées en UTF-8 : il va donc falloir le dire à MySQL grâce à une requête SET NAMES :
source news
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass =
sql_db = newssdz
sql_query_pre = SET NAMES utf8
}
Maintenant, il va falloir indiquer à Sphinx comment récupérer les news pour qu'il les indexe.
Pour cela, on va lui écrire la requête qu'il devra exécuter et qui lui retournera toutes les news, avec les champs désirés.
Pour cela, une simple requête de type SELECT suffit :
source news
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass =
sql_db = newssdz
sql_query_pre = SET NAMES utf8
sql_query = SELECT id\
, categorie\
, titre\
, contenu FROM news
}
Qu'est-ce que j'entends par « avec les champs désirés » ? Visionnez-vous ce que Sphinx va faire : il va récupérer toutes les news en BDD, avec les valeurs des colonnes id, categorie, titre et contenu. Il va analyser chacune de ces colonnes : « Tiens, la première colonne id est une clé primaire unique. J'en déduis qu'elle représente de manière unique, grâce à un identifiant, chaque news. Je vais donc me servir de cet identifiant pour différencier chaque document que j'aurai récupéré. » « Ensuite, il y a une colonne categorie. C'est une simple clé contenant un nombre entier. L'utilisateur veut que je la récupère, donc je m'exécute, mais pour l'instant je vois pas à quoi elle me servira. » « À présent, je vois une colonne titre. Je vois que cette colonne contiendra des valeurs de type texte. Lorsque l'utilisateur effectuera une recherche, j'irai donc chercher là-dedans. » « Ah, il y a aussi une colonne contenu qui est de type texte. J'irai donc aussi chercher là-dedans. » Sphinx ira chercher dans toutes les colonnes de type texte que vous avez spécifiées. Vous voyez que pour l'instant, il est un peu inutile pour Sphinx de récupérer la colonne categorie, ça ne lui est pas utile. Or, pour nous, utilisateurs, on aimerait bien que Sphinx puisse nous classer nos résultats en fonction des catégories par exemple. On va donc dire à Sphinx que categorie est un attribut (on pourra alors filtrer et trier nos news grâce à cet attribut) :
source news
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass =
sql_db = newssdz
sql_query_pre = SET NAMES utf8
sql_query = SELECT id\
, categorie\
, titre\
, contenu FROM news
sql_attr_uint = categorie
}
Enfin, il reste une dernière chose à indiquer à Sphinx.
Lorsqu'on effectuera une recherche, Sphinx ira chercher les résultats dans sa bibliothèque.
Après ça, il ira les rechercher dans la BDD pour nous les donner dans la forme qui convient.
Il va donc falloir lui dire quelle requête exécuter pour récupérer les news qui nous intéressent.
Pour cela, il va donc encore falloir utiliser une requête de type SELECT,
avec la liste des champs qu'on veut qu'il nous retourne
(sachant que, quoi qu'il arrive, Sphinx retournera l'identifiant du document et les attributs qu'on aura créés) :
source news
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass =
sql_db = newssdz
sql_query_pre = SET NAMES utf8
sql_query = SELECT id\
, categorie\
, titre\
, contenu FROM news
sql_attr_uint = categorie
sql_query_info = SELECT titre FROM news WHERE id=$id
}
Ici, Sphinx nous retournera donc l'identifiant, la catégorie (puisque c'est un attribut) ainsi que le titre de la news.
Cela ne s'applique que lors d'une recherche effectuée par le biais de la console (en CLI). E
n effet, si nous effectuons une recherche via PHP ou autre, Sphinx ignorera la ligne sql_query_info.
De la sorte, Sphinx ne nous retournera que l'identifiant de la news et sa catégorie,
peu importe la requête que vous aurez écrite dans cette ligne.
À présent, tout est prêt pour indexer !
Pour cela, il faut utiliser l'outil indexer.
Normalement, Sphinx n'a encore jamais créé de bibliothèque pour votre source news,
donc l'outil indexer se contentera de créer les fichiers constituant la bibliothèque.
Cependant, si vous avez déjà indexé une première fois vos news, la bibliothèque sera alors déjà créée.
Si le moteur est démarré, il ira verrouiller cette bibliothèque et les fichiers ne seront ainsi pas modifiables,
donc la création de la bibliothèque sera impossible.
Pour pallier ce problème et faire en sorte que l'outil puisse remplacer ces fichiers tout en laissant le moteur tourner,
il faut passer à l'outil indexer l'argument --rotate :
indexer news --rotate
Si vous obtenez une erreur du type FATAL: no readable config file (looked in ./sphinx.conf),
alors il va falloir indiquer à Sphinx où se situe le fichier de configuration.
Pour cela, utilisez l'option --config (indexer news --rotate --config /chemin/vers/sphinx.conf
(qui est normalement /usr/local/sphinx/etc/sphinx.conf sous Mac OS et Linux, et C:\Sphinx\sphinx.conf sous Windows).
Ce code signifie simplement qu'on veut indexer les news.
L'argument news passé à l'outil indexer fait référence à la source que l'on a écrite dans notre fichier de configuration.
Si vous êtes perdu et que vous n'avez pas tout suivi sur le fonctionnement l'indexation, voici un petit schéma:
![]() |
------------------------------------------------------------------------------------------------- Ref: http://sphinxsearch.com/docs/current.html#expr-func-yearmonthday 3.10. tsvpipe\csvpipe (Tab\Comma Separated Values) data source This is the simplest way to pass data to the indexer. It was created due to xmlpipe2 limitations. Namely, indexer must map each attribute and field tag in XML file to corresponding schema element. This mapping requires some time. And time increases with increasing the number of fields and attributes in schema. There is no such issue in tsvpipe because each field and attribute is a particular column in TSV file. So, in some cases tsvpipe could work slightly faster than xmlpipe2. Added in 2.2.1-beta. The first column in TSV\CSV file must be a document ID. The rest ones must mirror the declaration of fields and attributes in schema definition. The difference between tsvpipe and csvpipe is delimiter and quoting rules. tsvpipe has tab character as hardcoded delimiter and has no quoting rules. csvpipe has option csvpipe_delimiter for delimiter with default value ',' and also has quoting rules, such as: - any field may be quoted - fields containing a line-break, double-quote or commas should be quoted - a double quote character in a field must be represented by two double quote characters tsvpipe and csvpipe have same field and attrribute declaration directives as xmlpipe. tsvpipe declarations: tsvpipe_command, tsvpipe_field, tsvpipe_field_string, tsvpipe_attr_uint, tsvpipe_attr_timestamp, tsvpipe_attr_bool, tsvpipe_attr_float, tsvpipe_attr_bigint, tsvpipe_attr_multi, tsvpipe_attr_multi_64, tsvpipe_attr_string, tsvpipe_attr_json csvpipe declarations: csvpipe_command, csvpipe_field, csvpipe_field_string, csvpipe_attr_uint, csvpipe_attr_timestamp, csvpipe_attr_bool, csvpipe_attr_float, csvpipe_attr_bigint, csvpipe_attr_multi, csvpipe_attr_multi_64, csvpipe_attr_string, csvpipe_attr_json
source tsv_test
{
type = tsvpipe
tsvpipe_command = cat /tmp/rock_bands.tsv
tsvpipe_field = name
tsvpipe_attr_multi = genre_tags
}
1 Led Zeppelin 35,23,16
2 Deep Purple 35,92
3 Frank Zappa 35,23,16,92,33,24
