Recherche bénévoles pour projet de recherche

[sylrob]

Bonjour,

Dans le cadre d'un projet de recherche rassemblant diverses universités francophones à travers le monde et divers industriels, nous cherchons à évaluer des systèmes de traduction automatique.

Vous pouvez consulter la fiche descriptive du projet à l'adresse suivante http://www.technolangue.net/article59.html.

Nous sommes actuellement dans une phase où nous avons besoin d'une cinquantaine de juges humains pour donner des notes à des traductions de petits paragraphes. Chaque juge verra quelques dizaines de traduction, qui seront un mélange aléatoire de traductions automatiques, de traductions faites par des gens qui ne sont pas traducteurs (donc pas très bonnes), et de traductions professionnelles.

Evidemment, plus il y aura de juges inscrits, moins il y aura de paragraphes à juger pour chaque personne, et donc moins ça vous prendra de temps.

A la fin, il y aura un PDA tiré au sort entre tous les juges

Merci de me contacter à surcin @ elda.org.

Cordialement,
Sylvain Surcin

[Olivier]

Nous sommes actuellement dans une phase où nous avons besoin d'une cinquantaine de juges humains pour donner des notes à des traductions de petits paragraphes.

de quelles langues vers quelles langues?
-- Olivier

[Netrunner]

Moi je ne suis plus vraiment traducteur, mais je veux bien aider.

[svernoux]

Evidemment, plus il y aura de juges inscrits, moins il y aura de paragraphes à juger pour chaque personne, et donc moins ça vous prendra de temps.

Si je peux me permettre, es-tu sûr que ce soit une bonne idée ? Normalement, pour assurer le sérieux d'une telle étude, il est recommandé de faire juger un même élément à plusieurs juges différents, sinon, tu n'obtiendras pas un résultat crédible.

de traductions faites par des gens qui ne sont pas traducteurs (donc pas très bonnes)

Oui enfin, à nuancer quand même ! Il y a des non traducteurs qui font de très bonnes traductions (par exemple sur le présent forum). Et parmi les traducteurs professionnels, il y en a aussi qui font du mauvais boulot.

de quelles langues vers quelles langues?

Excellente question.

autre question : profil recherché des juges ?
Moi je suis partante, mais je serai un juge sévère parce que je suis justement traductrice professionnelle...

[chatoune]

Mêmes questions que mes petits camarades aussi.

[sylrob]

Merci pour toutes ces réponses aussi rapidement.

Donc pour répondre à vos questions, il faut que je vous dise tout d'abord que le protocole auquel vous seriez soumis a été mis en place progressivement par le NIST (qui est l'office américain des standards) entre 1994 et 2003. Il est ce qu'il est mais... il est incontournable dans notre domaine (l'évaluation des technologies).

Un des points importants du protocole est justement que vous ne connaissiez pas les directions de traduction, pour éviter des biais positifs lors de traductions littérales de structures sources. Je peux juste dire qu'il y a dans notre cas plusieurs langues sources appartenant à des familles linguistiques différentes et que la langue cible est toujours le français.

Je ne voulais faire aucune généralité sur la qualité des traductions des uns et des autres, professionnels ou non. Disons simplement qu'il y a un mélange de traductions automatiques, de traductions très littérales et de traductions plus éloignées de la source.

Si vous êtes intéressés par le protocole d'évaluation de NIST vous pouvez aller voir http://www.nist.gov/speech/tests/mt/

Dans notre projet, nous voulons reproduire les évaluations NIST, plus d'autres nouveautés proposées récemments dans certaines universités, et démontrer si oui ou non une évaluation aussi simpliste que celle de NIST est valide ou pas, et comparer ça avec les nouveaux résultats expérimentaux.

Cordialement,
Sylvain

[Latinus]

Bonjour,
Dans le cadre d'un projet de recherche rassemblant diverses universités francophones à travers le monde et divers industriels, nous cherchons à évaluer des systèmes de traduction automatique.

Bonjour,

Divers industriels => donc des sous rentrent en compte là dedant, ou ces industriels sont juste "curieux" (hum...) ?

!= systèmes de trad. auto. => pouvons nous connaître lesquels seront sur ce banc de test ?

Merci,
Lat

[sylrob]

Des sous rentrent là-dedans mais pas pour les industriels, sauf pour rembourser le déplacement quand ils doivent venir à une réunion...

Si vous allez faire un tour sur le site du projet, que j'ai cité plus haut, vous verrez la liste des participants.

Codialement,
Sylvain

[svernoux]

Un des points importants du protocole est justement que vous ne connaissiez pas les directions de traduction, pour éviter des biais positifs lors de traductions littérales de structures sources. Je peux juste dire qu'il y a dans notre cas plusieurs langues sources appartenant à des familles linguistiques différentes et que la langue cible est toujours le français.

ah, donc on n'évalue que la qualité de la cible, pas la qualité de la traduction, c'est ça ?

[svernoux]

Ce que j'ai oublié de demander encore (je préfère demander ici que par mp, pour que tout le monde en profite) : c'est quand ? Et dans quels délais ? Parce que dans les jours à venir, je suis pas trop libre...

[Olivier]

Un des points importants du protocole est justement que vous ne connaissiez pas les directions de traduction, pour éviter des biais positifs lors de traductions littérales de structures sources. Je peux juste dire qu'il y a dans notre cas plusieurs langues sources appartenant à des familles linguistiques différentes et que la langue cible est toujours le français.

Je ne comprends pas, déjà on connaît la direction vers le français, et en plus si vous ne dites pas quelles sont les langues sources comment pouvez-vous chercher ici des juges qui connaissent vos langues sources?
-- Olivier

[svernoux]

Un des points importants du protocole est justement que vous ne connaissiez pas les directions de traduction, pour éviter des biais positifs lors de traductions littérales de structures sources. Je peux juste dire qu'il y a dans notre cas plusieurs langues sources appartenant à des familles linguistiques différentes et que la langue cible est toujours le français.

Je ne comprends pas, déjà on connaît la direction vers le français, et en plus si vous ne dites pas quelles sont les langues sources comment pouvez-vous chercher ici des juges qui connaissent vos langues sources?
-- Olivier

C'est ce que je disais : probablement il cherche des personnes pour juger uniquement la qualité du français (fautes d'orthographe, etc.) Ce qui bien sûr ne permettra en aucun cas d'évaluer la qualité de la traduction...
C'est bien aussi pour ça que je disais que la procédure était défectueuse.

[sylrob]

Non, la procédure n'est pas défectueuse, je crois juste que c'est parce qu'il s'agit d'un autre domaine dont vous n'êtes peut-être pas forcément familiers.

En fait, des études ont été menées depuis une dizaine d'années concernant l'évaluation de la traduction automatique par les américains (et nous ne pouvons pas nous permettre de les ignorer puisqu'ils verrouillent le monde de l'évaluation technologique) et il s'avère que la meilleure prédictibilité de la qualité de la traduction se fait à partir de 2 mesures qui concernent uniquement la langue cible : la "fluidité" (un mélange entre la grammaticalité et le style, le sentiment que le texte est "en bon français" s'il s'agit du français langue cible) et "l'adéquation" qui mesure la similarité sémantique entre le texte à juger et un texte de référence.

C'est pourquoi je cherche des francophones qui sont seuls aptes à juger de la fluidité en français. Si en plus ils ne parlent pas la langue source (même sans savoir de laquelle il s'agit), ils auront plus tendance à rejeter naturellement les traductions littérales.

De toute façon à la fin du projet il y aura un atelier public pour présenter les résultats et tous ceux d'entre vous qui le souhaitent pourront bien sûr y assister et éventuellement critiquer la méthodologie.

Sylvain

[Latinus]

En fait, des études ont été menées depuis une dizaine d'années concernant l'évaluation de la traduction automatique par les américains (et nous ne pouvons pas nous permettre de les ignorer puisqu'ils verrouillent le monde de l'évaluation technologique) et il s'avère que la meilleure prédictibilité de la qualité de la traduction se fait à partir de 2 mesures qui concernent uniquement la langue cible : la "fluidité" (un mélange entre la grammaticalité et le style, le sentiment que le texte est "en bon français" s'il s'agit du français langue cible) et "l'adéquation" qui mesure la similarité sémantique entre le texte à juger et un texte de référence.

Alors il devrait plutôt être question de l'évalutation de la construction de phrases/textes dans une langue "x" ; car si on parle d'évaluation de la traduction automatique-ou-non, la langue source est invariablement à prendre en compte.

[Netrunner]

De toute façon à la fin du projet il y aura un atelier public pour présenter les résultats et tous ceux d'entre vous qui le souhaitent pourront bien sûr y assister et éventuellement critiquer la méthodologie.
Sylvain

C'est sûr, en bon français on va très certainement critiquer à tout va