Introduction

L'utilisation des systèmes informatiques passe de plus en plus par une interface homme/machine appropriée. En effet, un dialogue homme/machine trop rigide, ou mal adapté, a généralement pour effet de limiter le nombre d'utilisateurs potentiels, et de les éloigner d'outils informatiques qu'ils rejettent, car trop compliqués, ou trop difficiles à utiliser. L'objectif poursuivi est l'amélioration de l'interaction Personne/Système dans le cadre de l'accès à des systèmes interactifs de connaissances. La personne interagit avec le système dans le but, soit de s'approprier des connaissances, soit d'enrichir le système de nouvelles connaissances. Nos travaux de recherche s'intègrent dans le projet TIPI de l'Université de Technologie de Compiègne, projet de recherche sur la Technologie de l'Information pour une Pédagogie Intégrée. Ce projet pluridisciplinaire porte sur la conception de cours interactif pour enseignement à distance. Il intègre diverses équipes de recherches, notamment l'unité Costech et le laboratoire Heudiasyc, sur des thèmes tels que les bases de données, les bases de connaissances, la capitalisation des connaissances, l'EIAO, les interfaces homme/Machine, l'informatique linguistique, l'ergonomie, la didactique, la communication et les sciences cognitives. L'objectif de ce projet est la conception de cours disponibles soit sous formes de CD-Rom, soit sous Internet, et l'encadrement à distance (via internet) des apprenants.

L'intégration des modes d'entrées/sorties conduit à la mise en Ïuvre et à l'utilisation de nouveaux médias dans les environnements interactifs. Elle intègre diverses disciplines telles que l'ingénierie multimédia [TRIGANO 96], la gestion du dialogue, l'explication multimodale, la métaconnaissance de l'hypernavigation (scénario d'interactivité), l'EIAO, ainsi que l'ergonomie des logiciels, pour la conception d'IHM adaptées à l'activité d'apprentissage par ordinateur [TRIGANO 95]. Le traitement des entrées/sorties s'appuie sur des recherches de base dans des disciplines telles que le traitement des langues naturelles, l'indexation automatique, les accès dans les bases de données et de connaissances documentairesÉ

Outil multimédia de sauvegarde et de gestion de connaissances techniques et administratives, pour la formation.

Dans de nombreux cas, les interfaces graphiques répondent aux besoins des utilisateurs. Cependant, lorsque la gestion des données fait intervenir des représentations très complexes, ou au contraire lorsqu'il s'agit de manipuler des informations non structurées, présentées sous forme textuelle, les interfaces en langue naturelle s'avèrent nécessaires. Nous avons développé un certain nombre de travaux de recherche dans le domaine des interfaces en langues naturelle [TRIGANO & al 90], de l'ingénierie linguistique [DE BERTRAND DE BEUVRON & al 94] et de la compréhension automatique du langage [PLANÈS & al 93] [FOUGÈRES & al 97], dans le but d'améliorer la communication homme/machine langagière.

Notre objectif est la conception d'une infrastructure logicielle destinée à la gestion de textes scientifiques et techniques, permettant d'une part l'archivage de données multimédia et de documents textuels rédigés en langage naturel, et d'autre part l'interrogation et la consultation, à la fois en langage naturel et en langage graphique navigationnel, de la base de connaissances ainsi constituée. Cette recherche concerne à la fois la gestion de connaissances textuelles (rapports, lettres, divers documentsÉ) et celle de documents multimédia (photos, vidéos, sons, musiques). Une partie du projet porte sur l'indexation automatique et le traitement du langage naturel. Notre but est l'amélioration des modes d'accès à des bases de données et de connaissances documentaires [VILLAIN & al 95], utilisées dans le cadre de l'apprentissage par ordinateur. Ainsi, nous nous intéressons aux méthodes d'indexation automatique utilisables pour l'interrogation et la consultation [TRIGANO 94], à la fois en langage naturel et en langage graphique navigationnel de la base. Notre recherche concerne à la fois la gestion de connaissances textuelles (rapports, lettres, divers documentsÉ) et celle de documents multimédia (photos, vidéos, sons, musiques) [TRIGANO 95]. L'objectif est donc de pouvoir gérer l'interface Homme/Machine lors d'une demande d'explications en Langage Naturel, pour tout utilisateur d'une base de connaissances textuelles ou multimédia. On aboutit alors à un système d'interface homme machine convivial, permettant à l'utilisateur de poser des questions en langage naturel, de comprendre ces requêtes, et finalement d'y répondre, par une navigation hypertextuelle et hypermédia, en affichant les morceaux de base de connaissances concernés par la requête. Nos travaux portent à la fois l'acquisition de concepts nouveaux [Enguehard & al 93], l'indexation automatique, la détection automatique de mots ambigus, polysémiques ou homonymiques et l'apprentissage automatique de leur contexte d'utilisation [Demko & Trigano 93], par une méthode de cooccurrence de mots, avec application à la levée des ambiguïtés sémantiques par des méthodes de sémantique lexicale [Deloison & al 95].

Conception d'un CD-Rom Multimédia pour l'enseignement du traitement du signal

Nous travaillons actuellement sur la conception d'un logiciel multimédia permettant de dispenser un enseignement technique sur le traitement du signal. Ce projet est mené en collaboration avec d'autres chercheurs du laboratoire Heudiasyc, Menad Sidahmed et Pierre Morizet, dans le cadre d'un projet Européen LÉONARDO. Il associé des partenaires industriels tels que le CETIM et les sociétés 01DB, Sulzer et Ducatti (Italie), ainsi que des universitaires européens comme l'Université de Southampton (Angleterre) et l'Université de Bologne (Italie). Menad Sidahmed travaille sur le contenu scientifique et technique du CD-Rom (le traitement du signal), Pierre Morizet sur la modélisation de l'apprenant. Pour notre part, notre participation concerne l'ingénierie multimédia et l'ergonomie des interfaces Homme-Machine. Il s'agit de concevoir l'écriture multimédia, le scénario d'interactivité, de choisir un modèle d'interaction homme-machine, de veiller à la consistance et la cohérence des éléments graphiques utilisé, et d'appliquer les règles d'ergonomie du logiciel découvertes dans le projet précédent, sur l'évaluation des logiciels multimédia éducatifs.

A travers un tel projet, nous avons pleinement pris conscience de l'importance de l'ergonomie de l'interface Homme/Machine, dans un système multimédia à vocation éducative. Nous nous sommes alors tournés vers la définition de critères d'évaluation pour les applications multimédia éducatives, au niveau de l'ergonomie des IHM.

En effet, aujourd'hui, nous voyons apparaître un nombre croissant de logiciels multimédia (souvent sous forme de CD-ROM) dits éducatifs et pédagogiques : dictionnaires encyclopédiques, apprentissage des langues, jeux pédagogiques (tables de multiplication, sciences naturelles, mathématiques), accompagnement scolaire (série ADI É), histoire (NapoléonÉ), culture (musée de l'homme, le LouvreÉ), ou même des logiciels d'apprentissage d'autres logiciels (apprentissage de Word, de Excel, de Windows 95, d'Internet É). D'un point de vue éducatif, ces logiciels remplissent-ils vraiment leur mission (enseigner quelque chose), ou sont-ils uniquement des distractions à caractère intellectuel ? Comment évaluer l'intérêt pédagogique de tels systèmes? Quels sont ceux qui réellement peuvent être intégrés dans un processus éducatif, en complément du cours traditionnel ? Comment évaluer leur facilité d'utilisation et leur adéquation au public visé ?

Notre projet consiste à réaliser un système d'aide à l'évaluation de l'interface Homme/Machine de tels outils, de manière à pouvoir décider de l'utilisation ou non d'un logiciel dans le cadre d'un processus éducatif.

Système d'Aide à l'Évaluation de l'Interface Homme/Machine des Logiciels Éducatifs Multimédia

Nous travaillons actuellement sur la réalisation d'un système d'évaluation de produits logiciels éducatifs multimédia, essentiellement d'un point de vue 'Interface Homme/Machine' (mais pas uniquement). En effet, le succès d'un logiciel ne se mesure pas à la difficulté de conception de ce dernier, ni à ses prouesses techniques, mais à la réelle utilisation de celui-ci, et dans le cas d'un logiciel éducatif, à la facilité d'utilisation du programme, au fait que celui-ci soit bien adapté à l'activité de l'apprenant, et a posteriori aux connaissances acquises par l'apprenant, lors de l'utilisation du système. Pour ce projet, nous collaborons avec d'autres équipes de recherche. En effet, nous devrons travailler sur plusieurs domaines complémentaires : informatique et multimédia, interfaces graphiques, graphisme, ergonomie, sciences cognitives, sciences de l'éducation.

Cette recherche est financée par la région Picardie, dans le cadre du pôle régional de recherche 'NTE', sur l'évaluation des Nouvelles Technologies Éducatives. Il a reçu en 1996 une première subvention, pour une durée de 6 mois. Une autre subvention, pour une durée de 3 ans, est en cours d'examen.

Notre objectif est triple : - Définir des critères et une méthodologie pour la validation et l'évaluation des logiciels éducatifs multimédia. - Intégrer ces critères dans un système informatique permettant d'automatiser le processus d'analyse du logiciel testé. Le programme ainsi développé sera une sorte de système expert, constitué d'une grille d'analyse des produits multimédia éducatifs, grille comprenant les critères et la méthodologie évoqués dans le point précédent. - Constituer une base de données d'évaluation de produits, qui recense les résultats d'analyses faites par le logiciel d'aide à l'évaluation, ainsi que des retours réels d'évaluation sur le terrain, autour de groupes d'apprenants, et des 'extraits' (séquences vidéo de recopie d'écrans, pour démonstration) des logiciels évalués, ces séquences permettant d'illustrer leurs points forts, mais également leurs lacunes. Une telle base constituera une aide précieuse pour le choix d'un nouveau logiciel éducatif multimédia.

Ainsi, à travers cette démarche logicielle, il sera possible, lors de l'utilisation d'un nouveau produit multimédia éducatif, d'évaluer une partie de celui-ci (son aspect IHM) en utilisant d'une part le logiciel basé sur la grille d'analyse, et d'autre part en comparant les produits à ceux déjà analysés, voire même validés sur le terrain, à partir des données intégrées dans notre base de données d'évaluations. Selon, le type de produit, et la discipline concernée (mathématiques, langues, sciencesÉ), il sera ainsi facile de retrouver les logiciels analogues, et leur impact réel sur les apprenants.

Actuellement, un premier travail a lieu dans le cadre de ce projet [RIETHMULLER 96]. La lecture de nombreux rapports et ouvrages consacrés à la communication homme/machine nous ont permis de découvrir un certain nombre de techniques et méthodologies d'évaluation des interfaces homme/machine. Certaines sont des processus itératifs, intervenant au cours du processus de conception d'un logiciel. L'utilisation de critères ergonomiques permet la réalisation de questionnaires, dont le but est de mettre en évidence les forces et faiblesses d'un logiciel existant, du point de vue de l'utilisabilité.

Comme base de travail, nous avons choisi un CD-ROM d'évaluation de logiciels multimédia, basé sur un questionnaire. D'autre part, nous disposions d'un ensemble de recommandations de conceptions, organisées autour de 18 critères ergonomiques élémentaires, tels qu'ils sont définis par l'INRIA.

Nous avons donc, dans un premier temps, déduit de ces recommandations ergonomiques un ensemble de questions visant à vérifier l'adéquation d'un logiciel aux critères définis. Puis nous avons repris la structuration du questionnaire CINTE pour y intégrer les questions obtenues à partir des recommandations de l'INRIA. Enfin, un certain nombre de questions ont été ajoutées, dans le but de couvrir une gamme de situations la plus large possible. Dans un second temps, nous avons largement commenté le questionnaire que nous avions obtenu, de manière à permettre une exploitation ultérieure de celui ci. Nous avons ensuite sélectionné un certain nombre de questions qui avaient une influence directe sur les critères définis par l'INRIA. Puis nous avons défini un système de notation arbitraire pour l'ensemble de ces questions, ainsi qu'une feuille de calcul permettant de recevoir les résultats d'une évaluation. Enfin, nous avons défini une représentation graphique des résultats d'une évaluation selon les critères définis par l'INRIA.

Le questionnaire que nous avons réalisé, reprend donc les 18 critères élémentaires définis par l'INRIA et leurs regroupement selon 8 critères principaux. Ces critères sont présentés ci-dessous dans un tableau récapitulatif (d'après [GRISLIN & al. 96], résumé de [BASTIEN & al. 93]). De chacun de ces 18 critères élémentaires découlent un certain nombre de recommandations ergonomiques, sur ce qu'il faut faire ou ne pas faire dans une interface homme/machine. A partir de là, nous avons formulé un ensemble de questions auquel l'évaluateur devra répondre pour juger de l'adéquation de l'interface aux critères concernés. Critères Éléments de l'IHM concernés

Guidage : ensemble des moyens mis en Ïuvre pour conseiller, orienter, informer et conduire l'utilisateur lors de ses interactions avec l'ordinateur. Incitation (1) Informations fournies à l'utilisateur sur l'état dans lequel il se trouve, actions possibles ou attendues et moyens de les mettre en Ïuvre. Groupement / distinction par la localisation (2) Positionnement des items les uns par rapport aux autres pour indiquer leur appartenance ou non à une même classe, ou en montrer la distinction. Groupement / distinction par le format (3) Indices graphiques des items les uns par rapports aux autres pour indiquer leur appartenance ou non à une même classe. Retour informatif (4) Réponses de la machine après actions de l'utilisateur ("Feed-back" immédiat.) Clarté (5) Caractéristiques lexicales de présentation des informations pouvant entraver ou faciliter la lecture de ces informations (Lisibilité) Charge de travail : ensemble des éléments ayant un rôle dans la réduction de la charge perceptive ou mnésique des utilisateurs et dans l'augmentation de l'efficacité du dialogue. Concision (6) Charge de travail perceptive et mnésique en rapport à des éléments individuels d'entrée/sortie. Actions minimales (7) Charge de travail au niveau des options ou moyens utilisés pour atteindre un but. Densité d'information (8) Charge de travail perceptive et mnésique pour des ensembles d'éléments et non pour des items. (Densité informationnelle) Contrôle explicite : prise en compte par le système à la fois des actions explicites des utilisateurs et du contrôle qu'ils ont sur le traitement de leurs actions. Actions explicites (9) Relations explicites entre le fonctionnement de l'application et les actions des utilisateurs. Le système doit exécuter seulement les opérations demandées par l'utilisateur, au moment où il les demande. Contrôle utilisateur (10) L'utilisateur doit toujours avoir la main et donc pouvoir contrôler le déroulement des traitements en cours. Adaptabilité : capacité du système à réagir selon le contexte, les besoins et les préférences de l'utilisateur. Flexibilité (11) Moyens mis à la disposition de l'utilisateur pour personnaliser l'IHM selon ses stratégies ou habitudes de travail et les exigences des tâches. Expérience utilisateur (12) Moyens mis en Ïuvre pour permettre au système de respecter le niveau d'expérience de l'utilisateur. Gestion des erreurs : moyens permettant d'éviter ou réduire les erreurs et les corriger. Protection (13) Moyens mis en place pour détecter les erreurs d'entrées de données ou de commandes ou d'actions aux conséquences néfastes. Qualité des messages (14) Pertinence, facilité de lecture et exactitude de l'information fournie sur la nature des erreurs commises et les actions correctives à entreprendre. Correction des erreurs (15) Moyens mis à la disposition de l'utilisateur pour lui permettre de corriger se erreurs. Homogénéité et cohérence (ou consistance) (16) : Façon dont les choix de conception de l'IHM sont conservés pour des contextes identiques, et différents sinon. Signifiance des codes et dénominations (17) : Adéquation entre l'objet ou l'information affichée ou demandée et son référent. Compatibilité (18) : Accord existant entre les caractéristiques des utilisateurs (mémoire, perception, habitudes, etc.) et les tâches d'une part, et l'organisation des sorties, des entrées, et du dialogue d'une application donnée, d'autre part.

Certains auteurs adoptent des classifications sensiblement différentes pour structurer les multiples recommandations ergonomiques, dont le nombre et la complexité ne cesse d'augmenter. Joëlle Coutaz par exemple considère que l'informaticien n'a ni la compétence ni le temps d'embrasser la connaissance relative à ces multiples recommandations de manière exhaustive [COUTAZ 90]. C'est pourquoi elle propose cinq règles principales, dans un soucis de synthèse et de facilité de compréhension, de manière à montrer que la conception d'interfaces n'est pas uniquement une affaire de bon sens. Ces règles sont : Å règle sur la cohérence, Ç règle sur la concision, É règle sur les retours d'information, Ñ règle sur la structuration des activités, Ö règle sur la flexibilité.

Ces règles sont reprises implicitement dans un certain nombre des questions posées dans notre questionnaire. Il aurait été évidemment possible de structurer notre questionnaire en fonction de ces cinq règles. Cependant, la structuration en 18 critères, d'après les travaux de l'INRIA, nous a paru plus précise et efficace. Pour plus de précisions concernant les règles de J. Coutaz, le lecteur pourra se référer à [COUTAZ 90] (chapitre 4, p.57-88).

Nous avons séparé notre questionnaire en cinq parties principales. Le première partie, "Préliminaires", consiste à identifier les acteurs de l'évaluation, c'est à dire aussi bien l'évaluateur que le logiciel évalué. La seconde partie consiste à réaliser une évaluation sommaire du logiciel. Il s'agit là de donner ses premières impressions sur le logiciel, et de répondre à quelques question en rapport avec le contenu multimédia, l'ergonomie et le contenu pédagogique. Cette première évaluation permet le cas échéant de faire une première exploitation et de décider si une évaluation plus approfondie est nécessaire .

La troisième partie, la plus développée, concerne l'évaluation approfondie du logiciel du point de vue ergonomique. La structuration de cette partie suit dans les grandes lignes la structuration des critères ergonomiques de l'INRIA. Cependant, les trois derniers critères élémentaires ont été placés directement à la suite des critères propres au guidage. En effet, nous avons considéré que l'homogénéité/cohérence, la signifiance des codes et dénominations et la compatibilité, favorisaient, même indirectement le guidage. Malgré cela, position mise à part, ces trois critères restent totalement séparés des autres, au niveau de l'exploitation. Dans cette partie sont également intégrés des chapitres consacrés au contenu multimédia, bien qu'aucun critère spécifique au multimédia n'est été défini. Cependant, l'utilisation des différents médias a une certaine influence sur les critères ergonomiques, et notamment sur les critères de lisibilité et de densité informationnelle.

La quatrième partie est une étude complémentaire, qui n'aura pas d'influence directe sur le résultat de l'évaluation. Cette partie permet de saisir un certain nombre d'informations sur le logiciel, en particulier quand à la configuration technique nécessaire. Elle propose une synthèse de l'évaluation. Il s'agit de quatre questions ouvertes permettant à l'évaluateur de donner son avis sur le contenu, l'ergonomie et la pédagogie. Enfin, il peut faire apporter des remarques ou faire des critiques concernant le questionnaire lui même. Ces dernières pourront être utilisées le cas échéant, lors d'une remise à jours du questionnaire, pour ajouter des questions, changer la formulation de certaines autres, etc...

Voici ci-dessous quelques exemples de questions posées :

(d) Avez vous observé la présence de boutons : Oui ° Non °

(g) Les icônes utilisées pour les boutons sont elles explicites Oui, toujours ° Souvent ° Parfois ° Non, jamais °

(j) Est-il possible d'interrompre les animations ou séquences vidéo ? Oui, toujours ° La plupart du temps ° Souvent ° Parfois ° Rarement ° Non, jamais °

(l) En général, trouver vous que les temps de réponse du logiciel sont : très courts ° appropriés ° plutôt long ° interminable °

Un certain nombre de recommandations sont données pour indiquer la manière d'utiliser les réponses de l'évaluateur pour vérifier l'adéquation du logiciel aux recommandations ergonomiques.

Par exemple, pour la question suivante :

(a) Avez vous identifié immédiatement le fonctionnement de l'application : Oui ° Non °

(b) Le mode de consultation est : Guidé ° Libre °

(c) Les consignes d'utilisation sont : Proposées ° A demander ° Inexistantes °

(d) Qualité de ces consignes : Claires et concises q Exhaustives q Incohérentes q Superficielles q

Le mérite de tels commentaires est de rendre la personne responsable de la transcription, attentive aux problèmes qui peuvent se poser. De plus, dans le cas de la question (d), il peut y avoir un conflit entre le critère incitation (qui intervient dans le guidage) et le critère concision (qui intervient dans la charge de travail. Nous trouverons alors des commentaires tels que : L'incitation guide les utilisateurs et ainsi facilite la navigation dans le logiciel et permet d'éviter les erreurs. Une trop grande incitation peut cependant être un frein, si le but pédagogique du logiciel est d'apprendre aux utilisateurs (apprenants) à s'informer, à rechercher eux mêmes l'information dont ils ont besoin. Il est souhaitable d'obtenir une réponse positive à la question (a), ce qui indique que le guidage est efficace et que le temps d'apprentissage sera court. La seconde question (b) permet de déterminer le mode de consultation. Suivant le but pédagogique, le mode guidé sera préférable au mode libre, ou inversement.

En ce qui concerne la troisième question (c), il est évident que si les consignes sont inexistantes, il y aura un mauvais point pour le logiciel. Quand à savoir si ces consignes doivent être proposées par le logiciel, ou accessibles uniquement sur demande de l'utilisateur, cela dépend de l'objectif pédagogique. Pour ce qui est de la qualité des consignes (question d), les choix possibles parlent d'eux mêmes. On peut remarquer tout de même que cette question concerne également le critère de concision. Il y a souvent un dilemme entre la qualité du guidage (consignes exhaustives) et la concision (consignes claires et concises, voire superficielles).

Les questions ont été introduites dans une table Excel. Il s'agit en fait d'un tableau à double entrée. En lignes, se trouve la liste de toutes les questions. En colonnes, se trouvent les 18 critères ergonomiques élémentaires.

Un extrait de cette table ci-dessous (page suivante), permet de voir comment le questionnaire est transcrit dans la table.

Une fois terminée la transcription (fastidieuse) entre les réponses aux questions et les notes données aux critères, la table Excel permet de donner facilement des résultats synthétiques.

Différents tableaux résument ainsi les résultats de la table Excel, en faisant tout d'abord une synthèse, critère par critère, sur les 18 critères élémentaires. Puis, les résultats élémentaires sont regroupés par critères principaux. Enfin, une synthèse des 8 critères principaux est réalisée pour obtenir une note globale. Nous avons opté pour une représentation dite Radar. Dans une telle représentation on dispose de n axes orthonormés concourant en un même point. Dans le cas de notre évaluation nous disposions donc de 18 axes, correspondant chacun à un critère élémentaire. Pour chaque critère, les moyennes absolues et pondérées sont représentées sur l'axe concerné. En joignant les 18 points nous obtenons une surface qui représente le résultat global de l'évaluation. Plus cette surface est grande, plus le logiciel répond aux recommandations ergonomiques. La moyenne pondérée est également représentée sur ces courbes et le taux de réponse est donnée dans la légende de chaque axe. Un cercle bleu représente la note 0 sur l'ensemble des critères. Si les courbes traversent ce cercle, cela signifie que certains critères obtiennent des notes négatives. C'est probablement sur ces critères qu'un effort d'amélioration devra être porté en priorité par les concepteurs du logiciel concerné.

Une représentation graphique similaire, avec seulement 8 axes, permet de représenter les résultats pour les 8 critères principaux. Le fait de représenter graphiquement, sur une même courbe l'ensemble des résultats pour les 18 critères permet d'avoir une vision d'ensemble de l'évaluation. Ce sera alors au commanditaire de l'évaluation de juger si telle bonne note sur un critère peut compenser ou non telle mauvaise note sur un autre.

Test d'évaluation sur cinq logiciels Après avoir conçu le questionnaire et les représentations graphiques des résultats, il convenait d'appliquer nos règles d'évaluation sur un échantillon représentatif de programmes éducatifs sur une plate-forme de tests logiciels. Le choix des logiciels s'est porté sur deux familles principales de logiciels : les logiciels pour enfants et les logiciels pour adultes.

Cette évaluation est encore en cours. Conclusion

Rappelons que nous cherchons à définir des critères pour l'évaluation de l'interface homme/machine d'un logiciel éducatif, et de valider l'adéquation de ce produit aux utilisateurs visés, notamment à partir d'une étude approfondie des activités de l'utilisateur final.

Pour l'instant, nous avons mené une étude bibliographique permettant de décrire l'état de l'art dans le domaine de l'évaluation des interfaces. Sur ce plan, le rapport que nous avons établi [RIETHMULLER 96] et en particulier la liste bibliographique qui l'accompagne, va nous permettre de disposer de repères précis sur lesquels il pourra baser son travail. D'autre part, la construction d'un questionnaire visant à évaluer l'adéquation de logiciels éducatifs à des critères ergonomiques, nous a permis de formaliser un certain nombre de recommandations ergonomiques proposées par l'INRIA. Le test de ce questionnaire sur un échantillon de cinq logiciels, nous a permis de tester la pertinence de notre questionnaire, et s'avère globalement plutôt satisfaisant.

De ces tests sont ressortis un certain nombre de remarques et de critiques, qu'il conviendra de prendre en compte pour poursuivre dans cette voie. De même, nous proposons des recommandations quand à l'implémentation informatique d'une telle méthode.

L'aspect que nous avons volontairement omis concerne plus précisément l'adéquation d'un logiciel aux activités spécifiques des utilisateurs visés, c'est à dire des apprenants. Cet aspect devra être étudié avec un soin particulier, en étroite collaboration avec des pédagogues, tant ses conséquences sur l'appréciation des critères est importante. Du point de vue multimédia, il faudrait également s'interroger sur l'adéquation du scénario multimédia aux attentes des utilisateurs. Bref, encore beaucoup de travail en perspectivesÉ

RÉFÉRENCES

[BALBO & al. 92] BALBO, S. et COUTAZ, J. : ÔUn pas vers l'évaluation automatique des Interfaces Homme-Machine', Actes du congrès ERGO.IA' 92, Ergonomie et Informatique Avancée, 7-9 Octobre 1992, Biarritz.

[BALBO 94] BALBO, S. : ÔÉvaluation ergonomique des interfaces utilisateur : un pas vers l'automatisation', Thèse de doctorat, Université de Grenoble I, 1994.

[BASTIEN & al. 93] BASTIEN, J.M.C., et SCAPIN, D.L. : ÔErgonomic Criteria for the Évaluation of Human-Computer Interfaces', Rapport technique, INRIA, n° 156, Rocquencourt, juin 1993.

[BASTIEN & al. 94] BASTIEN, J.M.C., et SCAPIN, D.L. : ÔEvaluating a user interface with ergonomic criteria', Rapport de recherche, INRIA, n° 2326, Rocquencourt, août 1994.

[BASTIEN 91] BASTIEN, C. : ÔValidation de critères ergonomiques pour l'évaluation d'interfaces utilisateurs', Rapport de recherche, INRIA, n° 1427, Rocquencourt, mai 1991.

[CINTE 94] ÔÉvaluation des titres multimédias', une production de la Région Rhône-Alpes et de la CURA, Producteur délégué : F. PECCOUD, CD-ROM offert dans CD-RAMA N°11, Novembre 1995.

[COUTAZ 90] COUTAZ, J. : ÔInterfaces homme-ordinateur : Conception et réalisation.', Paris ed Bordas, 1990

[COUTAZ & al. 94] COUTAZ, J., et BALBO, S. : ÔÉvaluation des interfaces utilisateurs : taxonomie et recommandationsÔ, Actes des Sixièmes Journées sur l'Ingénierie des Interfaces Homme-Machine : IHM'94, 8-9 Décembre 1994.

[DE BERTRAND DE BEUVRON & al 94] DE BERTRAND DE BEUVRON, F. et TRIGANO, P. : ÔHierarchically Coded Lexicon with variants', publié dans la revue International Journal of Pattern Recognition and Artificial Intelligence, Vol 8 N°4, janvier 1994.

[DELOISON & al 95] DELOISON, JP., TRIGANO, P., LAMROUS, S. : ÔCréation automatique de thésaurus pour un système d'aide à l'expertise', Les systèmes d'information élaborée, congrès de la SFBA (société française de bibliométrie appliquée), Ile rousse, juin 1995.

[DEMKO & al 93] DEMKO, C. et TRIGANO, P. : ÔLe plus grand sous-graphe commun de deux graphes : un algorithme pour l'acquisition', Atelier d'ingénierie des connaissances et des données (A.I.C.D.), Strasbourg, Janvier 1993.

[ENGUEHARD & al 93] ENGUEHARD, C., TRIGANO, P., MALVACHE, P. : ÔANA : an Automatic Natural Acquisition of new concepts', publié dans la revue International Journal of Pattern Recognition and Artificial Intelligence, Vol 7 N°2, Avril 1993.

[FOUGÈRES & al 97] FOUGÈRES, A.J. et TRIGANO, P. : ÔThe formalisation of specifications from specifications written in natural language', à paraître dans la revue ÒTechnology seriesÓ of IITT.

[GRISLIN & al. 96] GRISLIN, M., et KOLSKI, Ch. : ÔÉvaluation des interfaces homme-machine lors du développement des systèmes interactifsÔ, Technique et Science Informatiques, 1996, vol. 15, n° 3, p. 265-296

[KOLSKI 93] KOLSKI, Ch. : ÔIngénierie des interfaces homme-machine : conception et évaluation', Paris : Hermès, 1993

[PLANÈS & al 93] PLANES, JC. et TRIGANO, P. : ÔSemantic Analysis of Economic Surveys', publié dans la revue Applied Artificial Intelligence, Vol 7, issue 3, septembre 1993.

[RIETHMULLER 96] RIETHMULLER, V. : ÔMéthodologie d'évaluation de l'interface homme/machine', rapport de DEA CDS, Université de Technologie de Cimpègne, septembre 1996.

[ROBERT 90] ROBERT, J.M., et CHAPDELAINE, C. Elaboration d'une grille d'analyse des recommandations ergonomiques d'IHM', Actes du XXVe congrès de la SELF. Montréal, Oct. 1990.

[ROOT & al. 83]. ROOT, R.W. et DRAPER, S. Questionnaire as a software evaluation tool. In JANDA, A. (éd.) Human Factors in Computing Systems-I. Amsterdam, North-Holland : ACM, 1983. p. 83-87

[SCAPIN & al. 88] SCAPIN, D.L., REYNARD, P., et POLLIER, A. : ÔLa conception ergonomique d'interfaces : problèmes de méthode', Rapport de recherche, INRIA, n° 957, Rocquencourt, Décembre 1988.

[SCAPIN 86] SCAPIN, D. : ÔGuide ergonomique de conception des interfaces homme-machine', Rapport technique, INRIA-Rocquencourt, n° 77, Rocquencourt, octobre 1986.

[SCAPIN 90] SCAPIN, D. : 'Organizing human factors knowledge for the evaluation and design of interfaces', International Journal of Human-Computer Interaction, vol. 2, no. 3, p. 203-229.

[SENACH 90] SENACH, B. : ÔÉvaluation ergonomique des interfaces homme-machine : une revue de la littérature', Rapport de recherche, INRIA, Sophia-Antipolis, n° 1180, Rocquencourt, mars 1990.

[TRIGANO & al 90] TRIGANO, P. et BARTHES, J.P. : ÔQuerying an Object Oriented DataBase using Free Language', publié dans la revue International Journal of Pattern Recognition and Artificial Intelligence 3 (4), p 429-445, USA. Et également publié dans le livre "Advances in AI", J.Bezdek, Wold Scientific series in Computer Sc, vol 27, p125-141, Ed Wold Scientific, Singapore, septembre 1990

[TRIGANO 94a] TRIGANO, P : ÔAutomatic Indexation and Knowledge storing', 2ème ISMICK, International Symposium on Management of Industrial and Corporate Knowledge Vaults, Compiègne, France, Octobre 1994.

[TRIGANO 94b] TRIGANO, Ph. : ÔInterfaces Homme/MachineÔ, Rapport Final Confidentiel, Projets Court Terme SR3 et SR4, © IIIA, Centre de Transfert, Université de Technologie de Compiègne, 1994.

[TRIGANO 95] TRIGANO, P : ÔMan-Machine interfaces : do not forget the humans', Conférence invitée en Allemagne, à Bohn, congrès de simulation NAGUA'95 , patronné par GMD, les 14-17 septembre 1995.

[TRIGANO 96] TRIGANO, P : ÔInterfaces Homme/Machine : aspects informatiquesÔ, Rencontres ÔTechnologie-Éducation', UTC, 28 Novembre 1996.

[TRIGANO 97] TRIGANO, P : ÔQuelques critères d'évaluation de l'Interface Homme/Machine des Logiciels Éducatifs Multimédia Ô, ITC 97 "Le Multimédia et la Formation", Paris - Palais des Congrès, 8-10 Janvier 1997.

[VALENTIN & al. 93] VALENTIN, A., VALLERY, G., et LUCONGSANG, R. : ÔL'évaluation ergonomique des logiciels : Une démarche itérative de conception', Montrouge ed ANACT, 1993.

[VILLAIN & al 95] VILLAIN, MC., TRIGANO, P., DELOIRE, J. : ÔIntelligent Textual Database and Automatic Acquisition of word associations', RANLP'95, Recent advances in Natural Language Processing, Tzigov Chark, Bulgarie, Septembre 1995.