Ce chapitre regroupe les études permettant la comparaison de l'image fixe (illustration) ou de l’image en mouvement (film) avec le texte, ce dernier étant présenté oralement (p. ex. bande magnétique, lecture à voix haute faite par l'expérimentateur) ou par écrit (p. ex. livre, vidéo, diapositive). Les comparaisons dans ce chapitre sont limitées aux messages qui ne sont pas délibérément incompatibles l'un avec l'autre. Cette restriction explique entre autres pourquoi l’expérience de Cowen (1984:1) y est traitée (voir tableau 7.2), mais pas les expériences de Cowen (1984:2 et 3).

De façon générale, la comparaison expérimentale illustration/film - texte soulève des problèmes méthodologiques plus complexes que la comparaison texte illustré - texte non illustré (chap. 2 et 3). Ainsi, la conception du matériel expérimental et le choix des mesures dépendantes (i.e. choix multiple, questions, reconnaissance, rappel sériel, etc.) sont affectés par des prémisses théoriques plus difficiles à vérifier empiriquement. Dans la comparaison texte illustré - texte non illustré le format verbal d'un test de compréhension ou de rappel ne constitue pas un biais expérimental en faveur d'une des deux versions dans la mesure où l'information ciblée au test se trouve, généralement, dans le texte. Dans ce dernier paradigme expérimental, la mesure de l'effet attribuable à la présence de l'illustration n'a de raison d'être que par rapport au texte. Il n'en est pas de même lors de la comparaison illustration/film - texte où le choix d'une modalité de réponse - verbale ou picturale - favorise l'une des deux versions. En plus, il n’y a pas toujours une équivalence sémantique entre les deux versions expérimentales, pourtant une condition sine qua non compte tenu des objectifs poursuivis dans certaines études.

Selon le rôle épistémologique qui incombe à la comparaison illustration/film - texte dans les études de ce chapitre, la comparaison des modes pictural et linguistique peut soit constituer l'objectif principal, soit une comparaison parmi d'autres qui remplit essentiellement une fonction contrôle. Dans les études du deuxième type, cette comparaison permet de se prononcer sur la validité du test lui-même plutôt que sur le texte expérimental.

Dans les études du premier type, l'objectif principal est la comparaison directe des modes pictural et linguistique en vue d'examiner leur efficacité relative en tant que mode de présentation d'une information donnée. Ces recherches constituent souvent le prolongement logique de celles qui comparent l'illustration et le mot. Les études classiques ont observé un effet de supériorité remarquablement stable de l'illustration sur le mot dans diverses conditions expérimentales, malgré certaines exceptions (voir p. ex. les revues de Roediger et Weldon, 1987 et de Glaser, 1992). Certains auteurs justifient la répétition de la comparaison picto-verbale au niveau du texte par la complexité des messages véhiculés, complexité qui s'opposerait à toute généralisation à partir d'un matériel picto-verbal restreint.

Ces études se heurtent principalement à deux difficultés. D'abord, pour que la comparaison illustration / film - texte soit valable, il faut s'assurer de l’équivalence des modes pictural et linguistique sur le plan sémantique, un objectif poursuivi par certains auteurs sur la base d'une analyse prédicative des messages pictural et linguistique (Denis, 1974; Langevin, 1983; Piolat et al., 1986). L'analyse prédicative y est considérée en quelque sorte comme l'instance " neutre " par rapport aux deux modalités. En pratique, l'objectif d'équivalence sémantique n'est pas facile à atteindre et est remplacé, dans certaines études, par celui, plus modeste, d'équivalence structurelle entre les deux versions expérimentales. L'équivalence sémantique ou structurelle des versions expérimentales à comparer est généralement testée à l'aide d'une préexpérimentation. On peut présumer que la difficulté de démontrer cette équivalence croît proportionnellement avec la complexité des messages linguistique et pictural. La vérification de l'équivalence sémantique est particulièrement difficile à établir pour l'image en mouvement, le film. Ce n'est pas sans raison que Baggett (1979) et Baggett et Ehrenfeucht (1982, 1983), par exemple, parlent plutôt d'équivalence structurelle entre le texte et le film. Finalement, un biais difficile à contourner, comme le mentionne Cowen (1984), est le temps nécessaire à la présentation des deux modes comparés: le visionnement du film muet prend plus de temps que la lecture du texte équivalent.

Une deuxième difficulté méthodologique est attribuable au fait qu'un test de rappel ne peut être " neutre " sur le plan de la modalité par rapport aux deux versions expérimentales. Le test doit s'articuler en termes linguistiques ou picturaux (ou par une combinaison des deux, ce qui ne change rien au problème). À première vue, cette situation paraît incontournable même dans l'éventualité que le test soit équivalent sémantiquement à l'information présentée dans les deux modes. Il est à signaler que le rappel libre est affecté par cette contrainte tout autant que le rappel dirigé. Si, au rappel libre, la consigne qui précise la tâche expérimentale - en règle générale de type verbal - est rudimentaire et, comme on pourrait croire, moins déterminante sur la réponse fournie par les sujets, le mode de réponse des sujets, par contre, conserve toute son importance. Dans la plupart des expériences, le mode de réponse est de type verbal. Dans le prolongement de l'hypothèse de Tulving et Thomson (" encoding specificity principle "), on ne peut pas exclure la possibilité qu'un test à base d'items picturaux favorise la condition expérimentale illustration comme, à l'inverse, un test à base d'items linguistiques favorise la condition texte. Ce biais risque d'affecter la validité des résultats obtenus même si l'on admet que dans plusieurs études ayant comparé l'illustration et le mot, l'effet de supériorité de l'illustration persiste malgré la nature verbale du test de reconnaissance (p. ex. Madigan, 1983). Jahoda et al. (1976:1) et Baggett et Ehrenfeucht (1982:4) essaient de remédier à ce problème à l'aide d'un plan expérimental qui croise les variables mode de présentation du matériel (pictural, linguistique) et mode de réponse au moment du test (pictural, linguistique). Ce plan donne lieu à quatre conditions expérimentales, dont deux conditions intermodales (pictural - linguistique, linguistique - pictural) et deux conditions intramodales (pictural - pictural, linguistique - linguistique).

Dans la majorité des études de rappel et de compréhension présentées dans cette section, l'objectif principal est la comparaison directe des versions illustration/film et texte. Le traitement expérimental prend alors la forme d'une variable indépendante à deux niveaux. Ce n’est que dans certaines études que la comparaison des versions unimodales représente un objectif parmi d'autres, généralement de moindre importance. La fonction de la version illustration ou film est alors celle d'une condition contrôle, susceptible d'éclairer l'expérimentateur sur l'interprétation des résultats. Lorsque l'hypothèse principale d'une étude porte sur la comparaison des conditions texte non illustré et texte illustré, l'ajout d'une condition contrôle illustration/film permet, dans certains cas, de mieux comprendre la portée réelle des résultats obtenus. La variable indépendante comporte alors au moins trois versions.

Aux tableaux qui suivent, nous limitons la présentation des différents niveaux de la variable indépendante et des résultats à la comparaison des versions unimodales. Le tableau 7.2 regroupe les études qui comprennent des tests de rappel ou de compréhension.

En ce qui concerne les comparaisons validées statistiquement, la version illustration/film est significativement mieux réussie que la version texte dans 12 cas, tandis que la supériorité inverse ne se manifeste qu'à trois reprises (Rohwer et Harris, 1975; Sewell et Moore, 1980; Weintraub, 1960). Cette preuve en faveur de la version picturale est d'autant plus substantielle que, dans toutes les études concernées, le test est de type verbal, ce qui aurait dû favoriser la version texte. Dans l'ensemble, ces résultats soutiennent l'effet de supériorité du mode pictural sur le mode verbal, un effet déjà mentionné.

Dans les études du tableau 7.2, seules deux font varier le mode de présentation du matériel expérimental et du test (Baggett et Ehrenfeucht, 1982:4; Jahoda et al., 1976:1). Les moyennes descriptives obtenues par Baggett et Ehrenfeucht (1982:4) suggèrent une interaction: le film muet semble donner lieu à de meilleurs scores que le texte surtout en présence d’un test pictural. Jahoda et al. (1976:1), dont le plan expérimental est rigoureusement contrôlé, ne montre pas une telle interaction. Le poids argumentatif de cette étude est d'autant plus considérable puisque l'effet d'interaction entre le mode de présentation du matériel et celui du test y est évalué auprès de cinq populations différentes, par le biais de cinq analyses de variance séparées. Dans aucune des cinq analyses, l'effet d'interaction est significatif.

Un test de rappel ou de compréhension, comme nous l’avons déjà dit, ne peut être vraiment " neutre " sur le plan de la modalité par rapport aux versions picturale et verbale. Certaines autres mesures dépendantes échappent toutefois à cette contrainte. Ceci est le cas pour ce qu'on pourrait appeler les tâches psychomotrices: la performance des sujets est étudiée au moyen d'une tâche de manipulation physique qui donne lieu à des mesures telles que le temps d'exécution de la tâche, le nombre d'erreurs ou le nombre de mouvements produits lors de l’exécution (cf. Tableau 7.3-A).

En ce qui concerne la justesse des mouvements corporels des sujets (Juaire, 1987) ou la justesse dans une tâche de manipulation (Murphy et Wood, 1981; Hayes et Henk, 1986), la version illustration s'avère supérieure à la version texte.

De même, les études mesurant le temps d'exécution de la tâche indiquent toutes que la version texte nécessite plus de temps que la version illustration. Ainsi, en interprétant le temps comme un indice de la complexité d'une tâche, on pourrait être porté à considérer la version illustration comme étant plus facile. Dans deux études mesurant le temps et le nombre d'erreurs (Booher, 1973; Reynolds et Booher, 1980), la mesure de temps doit cependant être analysée à la lumière du nombre d'erreurs commises. Le nombre d'erreurs associé à la version illustration est supérieur à celui de la version texte. Seulement dans l'étude de Crandell (1979), les deux mesures pointent dans la même direction: les deux versions picturales prennent moins de temps et donnent lieu à moins d'erreurs que la version texte.

Le tableau 7.3-B regroupe des études périphériques qui se distinguent des recherches précédentes par l'objectif général ou la tâche expérimentale. Pezdek et Stevens (1984) examinent s'il y a interférence entre les informations sonores et visuelles présentées simultanément. Pour ce faire, ils comparent les versions unimodales aux versions bimodales. Dans les autres études, une tâche de reconnaissance consiste à évaluer des stimuli picturaux et verbaux présentés au test comme étant " vieux " (i.e. déjà vus) ou " nouveaux ". La tâche de décision de Marr (1979) s'apparente à la tâche de reconnaissance, la différence étant que la décision à prendre est formulée en termes sémantiques (compatible, incompatible) plutôt que formels (vieux, nouveaux). Une tâche de reconnaissance implique que les sujets comparent des stimuli de même modalité. Par exemple, un stimulus pictural vu en période d'acquisition doit être évalué par rapport à un stimulus pictural vu au test (et non un stimulus verbal). La tâche de décision telle qu'utilisée par Marr n’a pas cette contrainte. Les études du tableau 7.3-B doivent être interprétées en tenant compte du contexte spécifique qui en a motivé le cadre expérimental.

suite...