La Seconde Conférence Internationale sur les
Ressources Linguistiques
et l'Evaluation

ATHENES, GRECE, 31 MAI - 2 JUIN 2000

Accueillie par
L'Institut pour le Traitement du Langage et de la Parole, Athènes, Grèce
L'Université Technique Nationale d'Athènes, Grèce

La Seconde Conférence Internationale sur les Ressources Linguistiques et l'Evaluation est organisée sur l'initiative d'ELRA et en collaboration avec d'autres associations ou consortiums, notamment ACL, ALLC, COCOSDA, ORIENTAL COCOSDA, l'EAFT, EAGLES, EDR, ELSNET, l'ESCA, EURALEX, le réseau FRANCIL, LDC, PAROLE, TELRI, etc..., ainsi qu'avec le concours de grandes organisations nationales ou internationales, notamment la DG XIII de la Commission Européenne, ARPA, la NSF, le Projet IC/863 HTRDP (Chine), la NNSF (National Natural Science Foundation) chinoise, le Comité Permanent d'ICSP (Corée), le Comité Technique sur le Langage Naturel de JEIDA (Japon) et le Projet Japonais pour la Coordination Internationale sur les Corpus, l'Evaluation et l'Etiquetage. La coopération et le soutien de la part d'autres institutions sont actuellement en cours de prospection.

Dans le contexte de la Société de l'Information, le caractère incontournable des Technologies du Langage Humain (TLH) et leur rôle essentiel vis-à-vis de l'ensemble des Technologies de la Société de l'Information (TSI) sont maintenant bien établis.

Actuellement, deux questions sont jugées particulièrement cruciales : 1) la disponibilité des ressources linguistiques et 2) les procédés d'évaluation des ressources, des technologies et des produits. Des bénéfices mutuels substantiels peuvent résulter d'un traitement de ces questions à un niveau de coopération internationale.

Le terme "Ressources Linguistiques" (RL) désigne des ensembles de données et de descriptions linguistiques au format électronique utilisées spécifiquement pour développer et évaluer des algorithmes ou des systèmes de traitement de la parole et du langage naturel, pour les sociétés de localisation de logiciel ou de service linguistique, pour les services d'information et de communication à interface linguistique, pour le commerce électronique, l'édition électronique, les études linguistiques, les utilisations spécialisées ou destinées au grand public.

Comme exemples de RL, citons les corpus oraux ou écrits, les lexiques électroniques, les grammaires, les bases de données terminologiques, ainsi que les outils logiciels de base permettant l'acquisition, la préparation, la collecte, la gestion, l'adaptation et l'utilisation de ce type de ressources.

L'importance de l'évaluation dans le domaine de l'ingénierie linguistique devient de plus en plus flagrante. Elle consiste : à évaluer l'état de l'art des différentes technologies disponibles ; à mesurer les progrès accomplis au cours d'un programme de recherche (et/ou de développement) ; à comparer différentes approches d'un problème donné et à choisir la meilleure solution, en connaissant ses avantages et ses inconvénients ; à estimer la disponibilité d'une technologie pour une application donnée ; à calibrer les performances d'un produit ; et enfin à évaluer la satisfaction de l'utilisateur.

La recherche, le développement et l'ingénierie dans le secteur des technologies linguistiques ont réalisé, ces dernières années, des progrès substantiels en traitement du langage parlé et écrit. Bien que le paradigme de l'évaluation ait été étudié et utilisé dans le cadre de grands programmes nationaux et internationaux, notamment le programme américain ARPA HLT, les programmes européens de R&D dans le secteur de l'Ingénierie Linguistique (LE), le programme francophone de l'AUPELF-UREF et d'autres encore (en particulier LISA et LRC dans le secteur de la localisation), de nombreuses questions scientifiques fondamentales demeurent non résolues.

Le but de cette conférence est de proposer un panorama de l'état de l'art, de discuter des problèmes rencontrés et des solutions possibles, d'échanger des informations sur les activités en cours ou prévues, de présenter les ressources linguistiques et leurs applications. Mais aussi de débattre des méthodologies d'évaluation, de faire connaître les outils disponibles et d'explorer les possibilités de promouvoir des coopérations internationales dans tous les domaines évoqués ci-dessus.

La liste qui suit donne des exemples (non exhaustifs) de thèmes qui peuvent être traités par des articles proposés pour la Conférence :

1. Conception, fabrication et utilisation des RL (théorie et pratique)

• Recommandations, normes, spécifications et modèles pour les RL
• Organisation de la collecte et de la diffusion des RL.
• Méthodes, outils et procédés d'acquisition, de création, d'annotation, de gestion, d'accès, de distribution et d'utilisation des RL.
• Questions juridiques soulevées par la fabrication, l'accès et l'utilisation des RL.
• Disponibilité et utilisation de RL génériques et/ou spécifiques à un domaine d'application.
• Méthodes d'extraction et d'acquisition de connaissances (terminologie, informations lexicales, modèles de langages) à partir des RL.
• RL monolingues et multilingues.
• RL multimodales, RL multimédia.
• Production et utilisation industrielle de RL.
• Intégration de plusieurs modalités dans les RL (parole, vision, langage écrit).
• Exploitation des RL dans différents types d'applications (technologie linguistique, recherche documentaire, interfaces vocales, commerce électronique, etc...).
• Besoins industriels et réponses apportées par la communauté.
• Analyse des besoins des utilisateurs de RL.
• Mécanismes de distribution et de commercialisation des RL.
• Economie des RL.
• Adaptation et utilisation des RL.
• Problématiques de recherche relatives aux RL.

• Evaluation, validation et contrôle qualité des RL.
• Evaluation et calibrage des systèmes, des applications et des produits. Ressources pour le calibrage de performances (benchmarking) et l'évaluation.
• Evaluation en traitement du langage écrit (recherche documentaire, extraction de terminologie, compréhension de messages, alignement de texte, traduction automatique, étiquetage morpho-syntaxique,analyse syntaxique, marquage sémantique, désambigüisation, compréhension de texte, résumé automatique, localisation, etc...).
• Evaluation en traitement du langage parlé (reconnaissance et compréhension de parole, dictée vocale, dialogue oral, synthèse de parole, codage de parole, reconnaissance du locuteur et de la langue, etc...).
• Evaluation en traitement de documents (reconnaissance de documents, reconnaissance de caractères typographiques ou manuscrits par méthodes automatiques, etc...).
• Evaluation des systèmes de recherche et de navigation documentaire multimédia.
• Evaluation de systèmes multimodaux
• Evaluation qualitative et subjective.
• Evaluation de produits et d'applications
• Evaluation de systèmes par des approches de type boîte noire, boîte de verre et par approches diagnostiques.
• Evaluation d'applications in situ.
• Méthodologies d'évaluation, protocoles et mesures.
• De l'évaluation à la standardisation des RL.
• Problématiques de recherche relatives à l'évaluation.

• Projets et activités au niveau national et international.
• Les RL et les besoins et occasions suscités par l'émergence d'un secteur industriel de la culture multimédia.
• Priorités, stratégies et perspectives des politiques nationales et internationales concernant les RL.
• Coopérations internationales : structures existantes, besoins, initiatives.