root/xmlfr/archives/dev/dev.2004-06

From vdv@dyomedea.com  Tue Jun 22 13:41:15 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 13:41:15 +0200 (CEST)
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 9E17228C987
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 13:41:14 +0200 (CEST)
Received: from gwparis.dyomedea.com ([127.0.0.1])
        by localhost (gwparis.dyomedea.com [127.0.0.1]) (amavisd-new,
        port 10024) with ESMTP id 13537-09 for <dev@gwparis.dyomedea.com>;
        Tue, 22 Jun 2004 13:41:14 +0200 (CEST)
Received: from [10.0.0.2] (unknown [10.0.0.2])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 3B9A628C94F
        for <dev@xmlfr.org>; Tue, 22 Jun 2004 13:41:14 +0200 (CEST)
Subject: [dev@xmlfr.org] Moteur de recherche
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
Content-type: text/plain; charset=iso-8859-15
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1087904474.8945.219.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Tue, 22 Jun 2004 13:41:14 +0200
Content-Transfer-Encoding: 8bit
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11987
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


Bonjour,

Tout d'abord, toutes mes excuses pour le peu de temps que j'ai consacré
à cette liste ces derniers mois.

Mon emploi du temps reste chargé et j'ai peur de ne pas être très
disponible pendant les semaines à venir.

Parmi les sujets de discussion ou de récrimination sur la liste des
rédacteurs, le plus virulent est sans doute les critiques portant sur
l'intégration du moteur de recherche au site XMLfr.

Dans la mesure où c'est un sujet moins structurant que le moteur de
publication, j'ai pensé que nous pourrions choisir ce sujet pour
redémarrer doucement les travaux sur cette liste...

Que reproche t-on au moteur actuel?

     1. Le fait de ne pas pouvoir faire de recherche partielles sur une
        portion du site.
     2. Le fait d'indexer des pages intermédiaires (telles que
        http://xmlfr.org ou http://xmlfr.org/actualites, ...).
     3. Les titres qui ne sont pas parlant dans le cas des brèves.
     4. Le fait de ne pas indexer indépendamment des fragments de pages
        (cas des brèves qui sont regroupées par journée).
     5. Autre? <rajoutez.votre.critique.ici/>...

La plupart de ces griefs peuvent être corrigés avec le moteur actuel
(htdig).

Ainsi par exemple, les recherches partielles sont implémentées dans
htdig :

      *
http://xmlfr.org/chercher/htsearch.cgi?config=htdigv2&words=xslt&restrict=/actualites/breves = recherche de "XSLT" uniquement dans les brèves
      *
http://xmlfr.org/chercher/htsearch.cgi?config=htdigv2&words=xslt&restrict=/actualites = recherche de XSLT dans toutes les actualités (info et brèves)
      *
http://xmlfr.org/chercher/htsearch.cgi?config=htdigv2&words=xslt&exclude=/listes recherche de XSLT partout sauf dans les archives de liste
      *
http://xmlfr.org/chercher/htsearch.cgi?config=htdigv2&words=xslt&restrict=/actualites&exclude=/actualites/breves recherche de XSLT dans les actualités mais pas dans les brèves
      * ...

Il suffirait donc de modifier la forme de saisie 
http://xmlfr.org/chercher/ pour les exposer.

Le problème de la gestion de fragments de documents semble un peu plus
compliquée à résoudre avec htdig mais j'ai quelques astuces dans mes
cartons qui devraient permettre de faire cela.

Ceci dit, c'est sans doute le moment de remettre en cause le choix du
moteur de recherche et de vois si nous ne pourrions pas trouver quelque
chose de plus facilement intégrable dans l'architecture Java/XSLT
actuelle (sans Cocoon) ou future (avec Cocoon).

Parmi les candidats figurent tout naturellement Lucene déjà mentionné
sur cette liste.

Sa particularité est "d'être déconnecté du web" dans la mesure où ce
n'est qu'une API et qu'elle n'intègre pas de crawler.

Sur XMLfr, on pourrait donc écrire un crawler qui indexe directement les
documents source (NITF pour les articles, RSS pour les brèves et
l'agenda, HTML pour les archives de mail et les traduction, ...) et
intégrer complètement les fonctions de recherche dans l'architecture
Java/XSLT du site.

Avez-vous d'autres moteurs de recherche à proposer et/ou des
commentaires permettant d'éclairer ce choix?

Merci,

Eric
-- 
Have you ever thought about unit testing XSLT templates?
                                                     http://xsltunit.org
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------

--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 18:31:59 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 18:31:59 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <frederic.glorieux@ajlsm.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B1AFB28F2D7
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:31:58 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B1AFB28F2D7
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:31:58 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B1AFB28F2D7
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:31:58 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B1AFB28F2D7
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:31:58 +0200 (CEST)
Message-ID: <40D85EFA.2040908@ajlsm.com>
Date: Tue, 22 Jun 2004 18:31:54 +0200
From: =?ISO-8859-15?Q?Fr=E9d=E9ric_Glorieux?= <frederic.glorieux@ajlsm.com>
User-Agent: Mozilla Thunderbird 0.5 (Windows/20040207)
X-Accept-Language: en-us, en
MIME-Version: 1.0
To: dev@xmlfr.org
Subject: [dev@xmlfr.org] Re: Moteur de recherche
References: <1087904474.8945.219.camel@delleric>
In-Reply-To: <1087904474.8945.219.camel@delleric>
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11988
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: frederic.glorieux@ajlsm.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


De retour aussi, un peu plus au calme.

> Parmi les candidats figurent tout naturellement Lucene déjà mentionné
> sur cette liste.
> 
> Sa particularité est "d'être déconnecté du web" dans la mesure où ce
> n'est qu'une API et qu'elle n'intègre pas de crawler.
> 
> Sur XMLfr, on pourrait donc écrire un crawler qui indexe directement les
> documents source (NITF pour les articles, RSS pour les brèves et
> l'agenda, HTML pour les archives de mail et les traduction, ...) et
> intégrer complètement les fonctions de recherche dans l'architecture
> Java/XSLT du site.
> 
> Avez-vous d'autres moteurs de recherche à proposer et/ou des
> commentaires permettant d'éclairer ce choix?

Nous avons une grosse expérience de Lucene intégré à Cocoon 
<http://adnx.org/sdx/>, pour en arriver aux quelques conclusions suivantes
  - Lucene tient le million et demi de (petits) documents (nous visons 
les 5 millions dans quelques mois)
  - il permet une intégration très fine des "analyseurs", pour par 
exemple avoir des indexations différenciées selon les langues (exemple : 
analyse grammaticale de l'arabe)

On a eu à se plaindre d'un modèle de stockage en système de fichiers 
(jusqu'à 16 000 fichiers ouverts en même temps dans certaines 
applications) mais cet inconvénient semble en voie de résorbtion dans 
Lucene.

Il demeure quelques inconvénients incompressibles

  - il s'agit fondamentalement d'un modèle de donnée à "champs" 
(répétables), qui ne rend pas la hiérarchie du XML (sauf à diviser les 
documents avant indexation)
  - l'indexation se fait a priori, autrement dit il faut préparer une 
vue d'indexation qui définit les champs qui seront cherchables (ex: 
titre, auteur, sujet). S'il on découvre un autre noeud intéressant à 
chercher en cours d'exercice, il faut réindexer selon ce nouveau modèle.

Pour des collections ne dépassant les dizaines de milliers de documents 
sans trop d'exigences multilingues, on peut s'intéresser à un DB:XML 
comme exist (requêtes XPath), mais nous n'avons pas encore d'exemple 
d'application en exploitation pour en connaître aussi bien les limites 
que Lucene.


--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 18:56:52 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 18:56:52 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id DE1A628F460
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:56:51 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id DE1A628F460
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:56:51 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id DE1A628F460
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 18:56:51 +0200 (CEST)
Subject: [dev@xmlfr.org] Re: Moteur de recherche
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
In-Reply-To: <40D85EFA.2040908@ajlsm.com>
References: <1087904474.8945.219.camel@delleric> <40D85EFA.2040908@ajlsm.com>
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1087923411.8945.302.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Tue, 22 Jun 2004 18:56:51 +0200
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11989
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


On Tue, 2004-06-22 at 18:31, Frédéric Glorieux wrote:
> De retour aussi, un peu plus au calme.
> 
> > Parmi les candidats figurent tout naturellement Lucene déjà mentionné
> > sur cette liste.
> > 
> > Sa particularité est "d'être déconnecté du web" dans la mesure où ce
> > n'est qu'une API et qu'elle n'intègre pas de crawler.
> > 
> > Sur XMLfr, on pourrait donc écrire un crawler qui indexe directement les
> > documents source (NITF pour les articles, RSS pour les brèves et
> > l'agenda, HTML pour les archives de mail et les traduction, ...) et
> > intégrer complètement les fonctions de recherche dans l'architecture
> > Java/XSLT du site.
> > 
> > Avez-vous d'autres moteurs de recherche à proposer et/ou des
> > commentaires permettant d'éclairer ce choix?
> 
> Nous avons une grosse expérience de Lucene intégré à Cocoon 
> <http://adnx.org/sdx/>, 

Oui, c'est à vous que je pensais quand j'ai écrit que Lucene avait déjà
été mentionné sur cette liste :-) ...

> pour en arriver aux quelques conclusions suivantes
>   - Lucene tient le million et demi de (petits) documents (nous visons 
> les 5 millions dans quelques mois)
>   - il permet une intégration très fine des "analyseurs", pour par 
> exemple avoir des indexations différenciées selon les langues (exemple : 
> analyse grammaticale de l'arabe)
> 
> On a eu à se plaindre d'un modèle de stockage en système de fichiers 
> (jusqu'à 16 000 fichiers ouverts en même temps dans certaines 
> applications) mais cet inconvénient semble en voie de résorbtion dans 
> Lucene.

Compte tenu du volume somme toute raisonnable de XMLfr, cela ne devrait
pas poser de gros problème.
> 
> Il demeure quelques inconvénients incompressibles
> 
>   - il s'agit fondamentalement d'un modèle de donnée à "champs" 
> (répétables), qui ne rend pas la hiérarchie du XML (sauf à diviser les 
> documents avant indexation)

Où peut-être à créer plusieurs champs texte par document? Cela semble
possible mais je n'ai pas encore regardé dans le détail.

>   - l'indexation se fait a priori, autrement dit il faut préparer une 
> vue d'indexation qui définit les champs qui seront cherchables (ex: 
> titre, auteur, sujet). S'il on découvre un autre noeud intéressant à 
> chercher en cours d'exercice, il faut réindexer selon ce nouveau modèle.

Oui, mais sur XMLfr nous avons actuellement peu de types de documents et
ce n'est sans doute pas un gros problème.

> Pour des collections ne dépassant les dizaines de milliers de documents 
> sans trop d'exigences multilingues, on peut s'intéresser à un DB:XML 
> comme exist (requêtes XPath), mais nous n'avons pas encore d'exemple 
> d'application en exploitation pour en connaître aussi bien les limites 
> que Lucene.

Je n'ai pas non plus d'expérience concrète en la matière, mais il me
semble que les bases de données XML en général ne sont pas vraiment
faites pour de la recherche plein texte avec mesure de pertinence des
résultats et autres fonctions du type.

Ni XPath ni XQuery ne conviennent très bien pour ce type de requêtes et
ils doivent être étendus pour pouvoir faire des recherches plein texte
sur contenu mixte.

Certains éditeurs "orientés documents" comme Ixiasoft mettent d'ailleurs
ce type de fonctionnalités en avant comme étant des différenciateurs
marquants de leurs produits. 

Merci pour cet éclairage.

Eric 
-- 
See you in Portland.
                               http://conferences.oreillynet.com/os2004/
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------


--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 21:38:57 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 21:38:57 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <frederic.glorieux@ajlsm.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id E9A3728FDE8
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 21:38:56 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id E9A3728FDE8
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 21:38:56 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id E9A3728FDE8
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 21:38:56 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id E9A3728FDE8
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 21:38:56 +0200 (CEST)
Message-ID: <40D88ACE.40908@ajlsm.com>
Date: Tue, 22 Jun 2004 21:38:54 +0200
From: =?ISO-8859-15?Q?Fr=E9d=E9ric_Glorieux?= <frederic.glorieux@ajlsm.com>
User-Agent: Mozilla Thunderbird 0.5 (Windows/20040207)
X-Accept-Language: en-us, en
MIME-Version: 1.0
To: dev@xmlfr.org
Subject: [dev@xmlfr.org] Re: Moteur de recherche
References: <1087904474.8945.219.camel@delleric> <40D85EFA.2040908@ajlsm.com>
        <1087923411.8945.302.camel@delleric>
In-Reply-To: <1087923411.8945.302.camel@delleric>
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11990
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: frederic.glorieux@ajlsm.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev



> Oui, c'est à vous que je pensais quand j'ai écrit que Lucene avait déjà
> été mentionné sur cette liste :-) ...

Comme j'ai voyagé beaucoup ces derniers mois, je me suis désabonné des 
listes à plus gros traffic (200 messages en webmail, c'est difficile à 
suivre avec une connexion modem...), je craignais d'avoir manquer des 
choses sur celles ci.


>>On a eu à se plaindre d'un modèle de stockage en système de fichiers 
>>(jusqu'à 16 000 fichiers ouverts en même temps dans certaines 
>>applications) mais cet inconvénient semble en voie de résorbtion dans 
>>Lucene.
> 
> 
> Compte tenu du volume somme toute raisonnable de XMLfr, cela ne devrait
> pas poser de gros problème.

Le problème des fichiers ouverts dépendait plus de l'optimisation de 
l'index que la quantité indexée (si je me souviens de nos investigations 
de l'époque), il nous a surpris lorsqu'on a voulu utiliser Lucene comme 
une base de données à tout faire (utilisateurs, relations entre 
documents...).

>>Il demeure quelques inconvénients incompressibles
>>
>>  - il s'agit fondamentalement d'un modèle de donnée à "champs" 
>>(répétables), qui ne rend pas la hiérarchie du XML (sauf à diviser les 
>>documents avant indexation)
> 
> 
> Où peut-être à créer plusieurs champs texte par document? Cela semble
> possible mais je n'ai pas encore regardé dans le détail.

Prenez l'exemple d'une thèse <http://sourcesup.cru.fr/cybertheses/>, 
avec du Xpath on peut explorer à divers niveaux de profondeur, 
livre/chapitre/section... Avec Lucene, l'unité est stricte, on doit 
ruser en créant des "sous-documents" virtuels, qui sont autant de 
documents différents au sens de Lucene, reconstruits applicativement 
dans les résultats de recherche et les URIs qui répondent.

Pour l'idée de répartir un document sur plusieurs champs, je n'ai pas 
explorer dernièrement les sources de Lucene, mais en tous cas pour la 
syntaxe de requête texte 
<http://jakarta.apache.org/lucene/docs/queryparsersyntax.html>, je ne 
vois pas comment interroger, disons, le quatrième titre.

 > Je n'ai pas non plus d'expérience concrète en la matière, mais il me
 > semble que les bases de données XML en général ne sont pas vraiment
 > faites pour de la recherche plein texte avec mesure de pertinence des
 > résultats et autres fonctions du type.

Il y a du plein texte limité (comme MySQL d'ailleurs), mais ej crois peu 
de pertinence (à vérifier). Remarquez que le "tri de pertinence" n'est 
pas très pertinent avant d'avoir une grosse collection (Google).

Je peux même vous dire de nombreux cas où il ne l'est pas du tout. Il y 
a souvent des collections ou l'on cherche plus longtemps le mot qui 
trouve quelque chose que le document que l'on veut lire. Je ne sais pas 
si Lucene a changé, mais un document avec le seul mot "XML" était 
toujours premier avec la requête "XML", même si vous avez indexé la 
norme entière, car bien sûr la fréquence du mot cherché dans le premier 
document est incomparable au second. On a eu le cas où des notices 
bibliographiques passaient avant des textes entiers. Il faudrait toute 
une usine de "pageRank" pour corriger les algorythmes. Je me demande si 
pour XMLfr, l'ordre de pertinence ne serait pas
  1) la date
  2) le type (news, mail, article...)

Je vous en dirais plus dans quelques semaines sur exist après l'avoir 
bien étrenné.

--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 22:25:24 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 22:25:24 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <frederic.glorieux@ajlsm.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 06C4C38C01D
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:25:23 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 06C4C38C01D
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:25:23 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 06C4C38C01D
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:25:23 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 06C4C38C01D
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:25:23 +0200 (CEST)
Message-ID: <40D895B1.6080104@ajlsm.com>
Date: Tue, 22 Jun 2004 22:25:21 +0200
From: =?ISO-8859-15?Q?Fr=E9d=E9ric_Glorieux?= <frederic.glorieux@ajlsm.com>
User-Agent: Mozilla Thunderbird 0.5 (Windows/20040207)
X-Accept-Language: en-us, en
MIME-Version: 1.0
To: dev@xmlfr.org
Subject: [dev@xmlfr.org] Re: Moteur de recherche
References: <1087904474.8945.219.camel@delleric> <40D85EFA.2040908@ajlsm.com>
        <1087923411.8945.302.camel@delleric>
In-Reply-To: <1087923411.8945.302.camel@delleric>
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11991
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: frederic.glorieux@ajlsm.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


Confirmant ce que je disais sur Lucene et la pertinence, je viens de 
réessayer l'implantation cocoon. Vous savez quel est le premier résultat 
à la requête test "cocoon" ?

docs/userdocs/forms/api_java.html

<<
Cocoon Forms: Java API
To be done
To be done.
 >>

Score 50 %

J'ai peur que la concurrence avec google soit dure à tenir.

--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 22:36:45 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 22:36:45 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id C7A3838CF0E
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:36:44 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id C7A3838CF0E
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:36:44 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id C7A3838CF0E
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:36:44 +0200 (CEST)
Subject: [dev@xmlfr.org] Re: Moteur de recherche
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
In-Reply-To: <40D88ACE.40908@ajlsm.com>
References: <1087904474.8945.219.camel@delleric>
        <40D85EFA.2040908@ajlsm.com> <1087923411.8945.302.camel@delleric>
        <40D88ACE.40908@ajlsm.com>
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1087936604.8945.338.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Tue, 22 Jun 2004 22:36:44 +0200
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11992
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


On Tue, 2004-06-22 at 21:38, Frédéric Glorieux wrote:
> > Oui, c'est à vous que je pensais quand j'ai écrit que Lucene avait déjà
> > été mentionné sur cette liste :-) ...
> 
> Comme j'ai voyagé beaucoup ces derniers mois, je me suis désabonné des 
> listes à plus gros traffic (200 messages en webmail, c'est difficile à 
> suivre avec une connexion modem...), je craignais d'avoir manquer des 
> choses sur celles ci.
> 
> 
> >>On a eu à se plaindre d'un modèle de stockage en système de fichiers 
> >>(jusqu'à 16 000 fichiers ouverts en même temps dans certaines 
> >>applications) mais cet inconvénient semble en voie de résorbtion dans 
> >>Lucene.
> > 
> > 
> > Compte tenu du volume somme toute raisonnable de XMLfr, cela ne devrait
> > pas poser de gros problème.
> 
> Le problème des fichiers ouverts dépendait plus de l'optimisation de 
> l'index que la quantité indexée (si je me souviens de nos investigations 
> de l'époque), il nous a surpris lorsqu'on a voulu utiliser Lucene comme 
> une base de données à tout faire (utilisateurs, relations entre 
> documents...).
> 
> >>Il demeure quelques inconvénients incompressibles
> >>
> >>  - il s'agit fondamentalement d'un modèle de donnée à "champs" 
> >>(répétables), qui ne rend pas la hiérarchie du XML (sauf à diviser les 
> >>documents avant indexation)
> > 
> > 
> > Où peut-être à créer plusieurs champs texte par document? Cela semble
> > possible mais je n'ai pas encore regardé dans le détail.
> 
> Prenez l'exemple d'une thèse <http://sourcesup.cru.fr/cybertheses/>, 
> avec du Xpath on peut explorer à divers niveaux de profondeur, 
> livre/chapitre/section... 

Certes, mais XPath pose d'autres problèmes en recherche plein texte...

> Avec Lucene, l'unité est stricte, on doit 
> ruser en créant des "sous-documents" virtuels, qui sont autant de 
> documents différents au sens de Lucene, reconstruits applicativement 
> dans les résultats de recherche et les URIs qui répondent.
> 
> Pour l'idée de répartir un document sur plusieurs champs, je n'ai pas 
> explorer dernièrement les sources de Lucene, mais en tous cas pour la 
> syntaxe de requête texte 
> <http://jakarta.apache.org/lucene/docs/queryparsersyntax.html>, je ne 
> vois pas comment interroger, disons, le quatrième titre.

En le plaçant dans un champ "titre4" et en tapant "titre4:XML" ???

Sinon, il faudrait le gérer au niveau API...

>  > Je n'ai pas non plus d'expérience concrète en la matière, mais il me
>  > semble que les bases de données XML en général ne sont pas vraiment
>  > faites pour de la recherche plein texte avec mesure de pertinence des
>  > résultats et autres fonctions du type.
> 
> Il y a du plein texte limité (comme MySQL d'ailleurs), mais ej crois peu 
> de pertinence (à vérifier). Remarquez que le "tri de pertinence" n'est 
> pas très pertinent avant d'avoir une grosse collection (Google).
> 
> Je peux même vous dire de nombreux cas où il ne l'est pas du tout. Il y 
> a souvent des collections ou l'on cherche plus longtemps le mot qui 
> trouve quelque chose que le document que l'on veut lire. Je ne sais pas 
> si Lucene a changé, mais un document avec le seul mot "XML" était 
> toujours premier avec la requête "XML", même si vous avez indexé la 
> norme entière, car bien sûr la fréquence du mot cherché dans le premier 
> document est incomparable au second. On a eu le cas où des notices 
> bibliographiques passaient avant des textes entiers. Il faudrait toute 
> une usine de "pageRank" pour corriger les algorythmes. Je me demande si 
> pour XMLfr, l'ordre de pertinence ne serait pas
>   1) la date
>   2) le type (news, mail, article...)

Il faut sans doute proposer les deux.

> Je vous en dirais plus dans quelques semaines sur exist après l'avoir 
> bien étrenné.

Nous attendrons avec impatience!

Merci,

Eric

-- 
Don't you think all these XML schema languages should work together?
                                                         http://dsdl.org
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------


--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 22:39:07 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 22:39:08 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 5412738CF3A
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:39:03 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 5412738CF3A
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:39:03 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 5412738CF3A
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:39:03 +0200 (CEST)
Subject: [dev@xmlfr.org] Re: Moteur de recherche
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
In-Reply-To: <40D895B1.6080104@ajlsm.com>
References: <1087904474.8945.219.camel@delleric>
        <40D85EFA.2040908@ajlsm.com> <1087923411.8945.302.camel@delleric>
        <40D895B1.6080104@ajlsm.com>
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1087936740.8945.342.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Tue, 22 Jun 2004 22:39:00 +0200
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11993
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


On Tue, 2004-06-22 at 22:25, Frédéric Glorieux wrote:
> Confirmant ce que je disais sur Lucene et la pertinence, je viens de 
> réessayer l'implantation cocoon. Vous savez quel est le premier résultat 
> à la requête test "cocoon" ?
> 
> docs/userdocs/forms/api_java.html
> 
> <<
> Cocoon Forms: Java API
> To be done
> To be done.
>  >>
> 
> Score 50 %

C'est un coup des développeurs qui veulent pouvoir facilement identifier
ce qu'il leur reste à faire? 

> J'ai peur que la concurrence avec google soit dure à tenir.

Oui, Google a mis la barre trèèèèèèès haut...

On peut toujours proposer une recherche Google, mais se serait trop
simple :-) ...

Eric
-- 
Rendez-vous à Paris (Web Services Convention).
                                                http://masl.to?C12E25728
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------


--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 22:53:45 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 22:53:45 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <frederic.glorieux@ajlsm.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B450D38D08C
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:53:44 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B450D38D08C
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:53:44 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B450D38D08C
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:53:44 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id B450D38D08C
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 22:53:44 +0200 (CEST)
Message-ID: <40D89C56.90001@ajlsm.com>
Date: Tue, 22 Jun 2004 22:53:42 +0200
From: =?ISO-8859-15?Q?Fr=E9d=E9ric_Glorieux?= <frederic.glorieux@ajlsm.com>
User-Agent: Mozilla Thunderbird 0.5 (Windows/20040207)
X-Accept-Language: en-us, en
MIME-Version: 1.0
To: dev@xmlfr.org
Subject: [dev@xmlfr.org] Re: Moteur de recherche
References: <1087904474.8945.219.camel@delleric>        <40D85EFA.2040908@ajlsm.com>
        <1087923411.8945.302.camel@delleric>    <40D895B1.6080104@ajlsm.com>
        <1087936740.8945.342.camel@delleric>
In-Reply-To: <1087936740.8945.342.camel@delleric>
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11994
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: frederic.glorieux@ajlsm.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev



>>Confirmant ce que je disais sur Lucene et la pertinence, je viens de 
>>réessayer l'implantation cocoon. Vous savez quel est le premier résultat 
>>à la requête test "cocoon" ?
>>
>>docs/userdocs/forms/api_java.html
>>
>><<
>>Cocoon Forms: Java API
>>To be done
>>To be done.
>> >>
>>
>>Score 50 %
> 
> 
> C'est un coup des développeurs qui veulent pouvoir facilement identifier
> ce qu'il leur reste à faire? 

Non, non, fréquence du mot cocoon dans une page aussi courte ?

--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Tue Jun 22 23:03:20 2004
Received: with ECARTIS (v1.0.0; list dev); Tue, 22 Jun 2004 23:03:20 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <frederic.glorieux@ajlsm.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 7BF5338D146
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 23:03:19 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 7BF5338D146
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 23:03:19 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 7BF5338D146
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 23:03:19 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 7BF5338D146
        for <dev@gwparis.dyomedea.com>; Tue, 22 Jun 2004 23:03:19 +0200 (CEST)
Message-ID: <40D89E94.9030907@ajlsm.com>
Date: Tue, 22 Jun 2004 23:03:16 +0200
From: =?ISO-8859-15?Q?Fr=E9d=E9ric_Glorieux?= <frederic.glorieux@ajlsm.com>
User-Agent: Mozilla Thunderbird 0.5 (Windows/20040207)
X-Accept-Language: en-us, en
MIME-Version: 1.0
To: dev@xmlfr.org
Subject: [dev@xmlfr.org] Re: Moteur de recherche
References: <1087904474.8945.219.camel@delleric>        <40D85EFA.2040908@ajlsm.com>
        <1087923411.8945.302.camel@delleric>    <40D88ACE.40908@ajlsm.com>
        <1087936604.8945.338.camel@delleric>
In-Reply-To: <1087936604.8945.338.camel@delleric>
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11995
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: frederic.glorieux@ajlsm.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


>>Prenez l'exemple d'une thèse <http://sourcesup.cru.fr/cybertheses/>, 
>>avec du Xpath on peut explorer à divers niveaux de profondeur, 
>>livre/chapitre/section... 
> 
> 
> Certes, mais XPath pose d'autres problèmes en recherche plein texte...

http://exist.sourceforge.net/facts.html
"XPath 2.0/XQuery 1.0 (Nov., 2003 working drafts) with extensions (to 
support fulltext search)"

Mais on ne peut pas imaginer y greffer facilement des analyseurs selon 
les langues, et je ne connais pas la finesse de la syntaxe (et, ou ...)


> En le plaçant dans un champ "titre4" et en tapant "titre4:XML" ???

Certes, dans l'implantation cocoon par défaut ceci signifierait un doc 
du genre
<doc>
   <title1>...
   <title2>...
...
Pourquoi pas, mais je ne suis pas absolument convaincu.


>>  1) la date
>>  2) le type (news, mail, article...)
> 
> 
> Il faut sans doute proposer les deux.

Ou plutôt, pondérer les deux dans la recherche "simple" (après tests 
selon le public visé), et la recherche avancée pour les cas particuliers.



--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Wed Jun 23 11:21:19 2004
Received: with ECARTIS (v1.0.0; list dev); Wed, 23 Jun 2004 11:21:19 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 08EF328ECC5
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 11:21:18 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 08EF328ECC5
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 11:21:18 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 08EF328ECC5
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 11:21:18 +0200 (CEST)
Subject: [dev@xmlfr.org] =?ISO-8859-1?Q?Premi=E8re?=  =?ISO-8859-1?Q?(na=EFve)?=
        proposition d'utilisation de Lucene
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1087982478.8945.370.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Wed, 23 Jun 2004 11:21:18 +0200
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11996
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


Bonjour,

Un petit bout de code vaut mieux qu'un long discours et je viens de
publier une première proposition pour utiliser Lucene sur XMLfr : 

http://dev.xmlfr.org/cgi-bin/viewcvs.cgi/xmlfr-beta/sources/org/xmlfr/lucene/

Pour l'instant, il s'agit de deux utilitaires ligne de commande (Indexer
et Search) qui permettent respectivement d'indexer un jeu de documents
XML au format NITF et d'effectuer des recherches.

J'ai voulu proposer quelque chose de plus léger que les pipelines
d'indexation de SDX et l'indexeur (XmlAnalyser.java) est écrit sous
forme d'un récepteur SAX paramétrable de la manière suivante :

mappings.put("/nitf", new FieldType("contenu", FieldType.UNSTORED));
mappings.put("hedline/hl1", new FieldType("titre1", FieldType.TEXT));
mappings.put("hedline/hl2", new FieldType("titre2", FieldType.TEXT));
mappings.put(
        "dateline/story.date/chron/@norm",
        new FieldType("date", FieldType.DATE));
mappings.put(
        "dateline/story.date/@norm",
        new FieldType("date", FieldType.DATE));

Ces instructions indiquent que tout les textes sous l'élément "/nitf"
seront indexés dans un champ de type "UNSTORED" appelé "contenu", que
les textes sous les éléments hedline/hl1 et hedline/hl2 seront stockés
dans des champs de type TEXT nommés respectivement "titre1" et "titre2"
et que les attributs dateline/story.date/chron/@norm et
dateline/story.date/@norm seront stockés dans des champs de type DATE
nommés "date".

Les chemins sont du simili XPath (je ne me suis pas (encore?) ennuyé à
supporter les espaces de noms). 

Ce paramétrage doit pouvoir être relativement facilement étendu pour
indexer les documents RSS dans lesquels sont stockées les brèves.

L'indexage des archives de mails actuellement en HTML viendra ensuite.

Après indexation, on peut rechercher des choses simples, par exemple
"edifrance" mais également tirer partie des différents champs, par
exemple "titre2:microsoft date:[20030101 TO 20031231]" pour les articles
contenant "microsoft" dans le titre de niveau 2 et publiés en 2003.

Est-ce que nos experts Lucene peuvent jeter un coup d'oeil et me dire ce
qu'ils pensent de tout cela?

Merci,

Eric

PS: pour faire tourner cela chez vous, il vous faut Xerces, Lucene et
Snowball.

-- 
Rendez-vous à Paris (Web Services Convention).
                                                http://masl.to?C12E25728
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------


--
Devenez redacteur <XML>fr et contribuez au developpement du
xml francophone (http://xmlfr.org/infos/redacteurs/) !

Liste de diffusion "dev@xmlfr.org" (http://xmlfr.org).

Cette liste est a votre disposition pour discuter en francais de 
tout sujet technique lie au developpement du site XMLfr.

Pour resilier votre abonnement, envoyez un message contenant 
la commande "unsubscribe" a dev-request@xmlfr.org
(mailto:dev-request@xmlfr.org?Subject=unsubscribe)

From nobody Wed Jun 23 19:33:46 2004
Received: with ECARTIS (v1.0.0; list dev); Wed, 23 Jun 2004 19:33:46 +0200 (CEST)
MIME-Version: 1.0
Return-Path: <vdv@dyomedea.com>
Delivered-To: dev@gwparis.dyomedea.com
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 9CBDC38E81E
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 19:33:45 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 9CBDC38E81E
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 19:33:45 +0200 (CEST)
Received: from localhost (gwparis.dyomedea.com [127.0.0.1])
        by gwparis.dyomedea.com (Postfix) with ESMTP id 9CBDC38E81E
        for <dev@gwparis.dyomedea.com>; Wed, 23 Jun 2004 19:33:45 +0200 (CEST)
Subject: [dev@xmlfr.org] Re: =?ISO-8859-1?Q?Premi=E8re(na=EFve)?=
        proposition d'utilisation de Lucene
From: Eric van der Vlist <vdv@dyomedea.com>
To: dev@xmlfr.org
In-Reply-To: <1087982478.8945.370.camel@delleric>
References: <1087982478.8945.370.camel@delleric>
Organization: Dyomedea (http://dyomedea.com)
Message-Id: <1088012024.8945.497.camel@delleric>
Mime-Version: 1.0
X-Mailer: Ximian Evolution 1.4.6 
Date: Wed, 23 Jun 2004 19:33:45 +0200
X-Virus-Scanned: by amavisd-new-20030616-p7 (Debian) at dyomedea.com
Content-type: text/plain; charset=iso-8859-15
Content-Transfer-Encoding: 8bit
X-Spambayes-Classification: ham; 0.00
X-archive-position: 11997
X-ecartis-version: Ecartis v1.0.0
Sender: dev-bounce@xmlfr.org
Errors-to: dev-bounce@xmlfr.org
X-original-sender: vdv@dyomedea.com
Precedence: list
Reply-to: dev@xmlfr.org
X-list: dev


Bonsoir,

On Wed, 2004-06-23 at 11:21, Eric van der Vlist wrote:
.../...
> Ce paramétrage doit pouvoir être relativement facilement étendu pour
> indexer les documents RSS dans lesquels sont stockées les brèves.

C'est fait et je viens de publier une deuxième version qui gère aussi
bien les brèves dans leurs documents RSS que les articles en NITF.

Eric
-- 
Tired of typing XML tags?
                                                       http://wikiml.org
Upcoming XML schema languages tutorial:
 - Portland   -half day-   (27/07/2004)        http://masl.to/?E6ED13728
------------------------------------------------------------------------
Eric van der Vlist       http://xmlfr.org            http://dyomedea.com
(ISO) RELAX NG   ISBN:0-596-00421-4 http://oreilly.com/catalog/relax
(W3C) XML Schema ISBN:0-596-00252-1 http://oreilly.com/catalog/xmlschema
------------------------------------------------------------------------


--