Dans les chapitres précédents, les composantes picturale et linguistique du matériel expérimental étaient sémantiquement compatibles. La compatibilité picto-verbale n’est pas à confondre avec la redondance sémantique parfaite entre les deux composantes. Les études où le texte et l'illustration véhiculent exactement les mêmes informations représentent l'exception plutôt que la règle. La plupart du temps, il y a recoupement partiel ou complémentarité entre les informations picturales et verbales / linguistiques. L’élément commun de ces études, qui sont très hétérogènes, est le principe que l’illustration (le film) a toujours un rapport avec le texte qu’elle (qu’il) accompagne. Le lecteur du texte illustré est donc assuré qu’il existe un lien sémantique entre les deux composantes constitutives. Il en va de même pour le spectateur d’un film qui interprète le texte entendu (p. ex. les dialogues entre personnages) ou lu (p. ex. les sous-titres). Ceci est vrai même dans le cas extrême où l'illustration contredit systématiquement le texte, un moyen rhétorique utilisé quelquefois dans les bandes dessinées pour confronter de façon ironique les faits aux affirmations fausses d'un des personnages. L'existence d'un lien sémantique entre les informations picturales et linguistiques n'a pas à être indiqué explicitement. Ce lien est sous-entendu. Il n'a pas à être signalé explicitement au lecteur (ou au spectateur d'un film), ce qui fait en sorte que le texte et l'illustration sont généralement simplement juxtaposés, suivant des contraintes spatiales imposées par les média de présentation. Ce n'est qu’exceptionnellement - dans les textes utilitaires plus souvent que dans les textes narratifs - que ce lien est indiqué explicitement. Dans de tels cas, des tirets ou des flèches sont utilisés pour établir une correspondance sémantique entre une partie du texte et une partie de l'illustration. Une autre façon de signaler ce lien picto-verbal est d’insérer une consigne métalinguistique dans le texte (p. ex. Comme on peut voir dans l’illustration ...).

Les études présentées dans le présent chapitre sont caractérisées par une incompatibilité sémantique délibérée entre les informations picturales et linguistiques. Dans plusieurs études, ce résultat est obtenu par un procédé aléatoire qui consiste à jumeler les illustrations et les paragraphes. On peut mettre en doute la validité écologique d'une telle démarche expérimentale. On peut se demander aussi si cette manière de faire ne viole pas en quelque sorte des principes pragmatiques sous-jacents à une situation normale de communication. Par conséquent, comme les sujets ne sont que rarement exposés dans leur pratiques communicatives à de telles situations, l'interprétation des résultats n'est pas chose facile. En effet, les sujets ne sont généralement pas mis au courant du type d'agencement sémantique particulier du matériel expérimental (sauf dans Pressley et al., 1983:3). À cet égard, l'étude de Peeck (1974) se situe également à part, étant donné le caractère moins artificiel du matériel expérimental. Dans Peeck (1974), les illustrations sont compatibles en grande partie avec le texte, à l'exception de certains éléments picturaux qui ont été délibérément modifiés pour contredire le texte.

Le présent chapitre est divisé en deux sections, la première étant consacrée à l'image fixe, la deuxième, à l'illustration en mouvement, i.e. le film.

Certaines études permettent de comparer la version non illustrée d'un texte à une ou plusieurs versions illustrées, dont au moins une comportant une illustration incompatible. Si l'illustration compatible avantage le lecteur, une illustration incompatible devrait affecter négativement sa compréhension du même texte. Le tableau 8.2 regroupe ces études.

Bransford et Johnson (1972). Dans leur première expérience, il y a une version expérimentale que les auteurs appellent " partiellement illustrée ", mais que nous préférons nommer " inappropriée " par rapport au texte. Dans cette version, les objets et les personnages sont changés de place à l'intérieur de l'illustration de façon à en modifier substantiellement le sens général, et ce sans que les lecteurs en soient informés. Bock (1983) a réutilisé cette version. Dans son expérience, il a trouvé comme résultat que les lecteurs éprouvent le besoin de relire le texte. Dans un deuxième texte de Bock (1983), jugé plus facile, l'incompatibilité picto-verbale n'a pas provoqué un besoin analogue de relecture. On pourrait croire qu'en présence d'un texte facile le lecteur se concentre davantage sur le texte et se laisse moins facilement induire en erreur par une illustration incompatible avec le texte.

Arnold et Brooks (1976). À l’instar de Bransford et Johnson (1972), les auteurs de cette étude déplacent les objets et les personnages à l’intérieur de l’illustration de façon à ce qu’elle devienne incompréhensible. De plus, l’illustration est incompatible avec l’histoire présentée aux sujets. Dans leur expérience, l’écoute de l’histoire est précédée d’un organisateur de type pictural ou verbal (première variable indépendante) dont les éléments - picturaux ou linguistiques, selon le cas - sont présentés de façon intégrée ou non intégrée (deuxième variable indépendante). L’interprétation des résultats n’est pas évidente. En effet, l’opposition introduite par la deuxième variable n’a pas les mêmes incidences sur les organisateurs verbal et pictural. La version non intégrée de l’organisateur verbal est compatible avec l’histoire, contrairement à la version non intégrée de l’organisateur pictural (voir les exemples fournis dans le résumé de l’article).

Ketcham et Heath (1962) sont les premiers à avoir étudié l'effet d'un support pictural incompatible. Le résultat de l'étude paraît peu concluant. L'une des deux versions incompatibles (i.e. la présentation de cartes géographiques non reliées à l'histoire) a clairement un impact négatif sur la réussite des sujets au posttest. Par contre, la présentation de formes géométriques non reliées à l'histoire ne semble pas affecter la compréhension. Comment expliquer ce résultat? Il se peut qu’il soit plus facile de dire que les formes géométriques sont non reliées à l'histoire entendue (histoire d'un crime décrivant le meurtre, l'arrestation, le procès et l'exécution) que le sont les cartes géographiques. Dans le cas des cartes géographiques, les sujets pourraient être tentés de créer un lien sémantique entre l'histoire et les cartes en inférant qu’elles indiquent les lieux correspondant aux différents épisodes de l'histoire. Une telle supposition est plus facile à rejeter en présence de formes géométriques clairement arbitraires. Ainsi, on pourrait croire qu'une personne présume d'abord l'existence d'un lien sémantique entre les composantes picturale et linguistique du message perçu, et qu'elle ne renonce à cette idée que lorsque le caractère artificiel et aléatoire d'un tel jumelage devient évident.

L'interprétation des résultats d’O'Keefe et Solman (1987) pose problème. Ces auteurs comparent quatre versions illustrées et une version non illustrée d'un même texte. Deux des versions illustrées sont appelées " composites ", car les éléments picturaux de l'illustration sont répartis aléatoirement, et selon les auteurs, d'une façon semblable à ceux de Bransford et Johnson (1972). Puisque l’article ne fournit pas d’exemple ou de précision, il est impossible de se faire une idée exacte des versions dites composites. L'interprétation des résultats, qui s'inscrivent d'ailleurs plutôt à contre-courant, est alors difficile.

Dans Peeck (1974), l'essentiel de l'histoire peut être facilement compris sans les illustrations. Les illustrations sont en grande partie compatibles avec le texte, mais certains éléments des illustrations sont modifiés de façon à contenir des informations picturales difficiles à concilier avec le texte, parfois même elles sont carrément incompatibles avec celui-ci. Il est important de noter que les lecteurs ne sont pas informés de la nature de ces modifications. Après la lecture du texte, ils répondent à plusieurs tests à choix multiple, dont certains font ressortir l'attrait exercé sur les réponses par les informations picturales incompatibles. Est-ce la preuve que la compréhension des lecteurs en souffre? Pressley, Levin, Pigott, LeComte et Hope (1983) contestent cette interprétation. D'abord, la tâche expérimentale des lecteurs dans Peeck (1974) n'est pas dépourvue d'ambiguïté. On ne dit pas explicitement aux lecteurs de se référer au texte plutôt qu'aux illustrations en cas d'incompatibilité. L'imprécision de la tâche est accrue par le type de test à choix multiple qui comprend parmi ses distracteurs des items vrais par rapport aux illustrations (voir Discussion générale du résumé de Pressley et al., 1983). À cela s’ajoute une autre différence. La version illustrée de Peeck (1974) présente des informations picturales aussi bien compatibles qu'incompatibles avec le texte. Cette combinaison d'informations picturales contribue probablement à induire les lecteurs en erreur. Des illustrations entièrement incompatibles avec le texte susciteraient probablement plus rapidement chez le lecteur une attitude méfiante à l'égard des illustrations.

En conformité avec leur critique de Peeck (1974), Pressley et al. (1983) clarifient la tâche expérimentale dans leur propre étude. Les enfants sont explicitement informés de la présence d’illustrations inappropriées. La première des cinq expériences de l'étude montre que, en comparaison à la version non illustrée, les illustrations compatibles ont un impact positif sur la compréhension du lecteur. L’effet des illustrations incompatibles est non significatif. Leur deuxième expérience souligne l'importance d'informer le lecteur de l'incompatibilité picto-verbale. Les résultats des trois dernières expériences vont dans le même sens (cf. Discussion générale dans le résumé de Pressley et al., 1983). Les résultats de Pressley, Pigott et Bryant (1982:1) ne pointent pas dans la même direction. Même informés de l'incompatibilité picto-verbale, les sujets rappellent moins bien les phrases.

Tout comme Peeck (1974), Wolf et Grotta (1985) présentent aux lecteurs une photo incompatible avec l'article-cible. Les sujets peuvent considérer cette photo comme étant reliée ou non à l'article cible. Comme l'article cible est un parmi plusieurs articles présentés à la une d'un journal, les lecteurs peuvent considérer la photo comme faisant référence à un autre article de la même page, ce qui est en réalité le cas.

La revue des études présentées au tableau 8.2 permet de dégager deux tendances:

• Comparativement au texte avec illustration compatible, la version picto-verbale incompatible affecte négativement la compréhension et le rappel du texte (sauf Wolf et Grotta, 1985; O'Keefe et Solman, 1987: 1 et 3).
• Comparativement au texte non illustré, une illustration incompatible avec le texte a souvent un impact négatif sur la compréhension et le rappel du texte (Bock, 1983; Grinnell, 1982; Ketcham et Heath, 1962; Peeck, 1974; Pressley et al., 1983:2; Pressley, Pigott et Bryant, 1982:1).

Dans la section précédente, l'effet de l'incompatibilité sémantique illustration - texte était généralement analysée sur le plan de la compréhension et du rappel des informations linguistiques. Les informations picturales étaient considérées comme un élément d'interférence par rapport au texte et non comme une composante d'importance égale (mais incompatible avec celui-ci). Ces études s'articulaient la plupart du temps autour d'une tâche de lecture, c'est-à-dire d'une tâche dont le but était la compréhension du texte. L’illustration joue souvent une fonction de second plan, le texte pouvant être compris seul.

Les études sur l'incompatibilité film - texte présentées dans la présente section s'inscrivent dans un contexte différent. La quantité d'informations que peut véhiculer l'illustration " en mouvement " étant considérable, le film (muet) devient une source d'informations aussi importante que le texte oral, c’est-à-dire l’information sonore qu’accompagne le film. Cette orientation se traduit entre autres par une diversification des mesures dépendantes, qui portent aussi bien sur l'information sonore que visuelle. Le mode de présentation oral plutôt qu'écrit du texte dans ces études semble être un critère distinctif moins crucial (sauf dans Cowen, 1984:2).

Cowen (1984). Après un étude préalable du rappel des informations sonore et visuelle en situation sémantique non conflictuelle (Cowen, 1984:1), l’auteur présente aux sujets deux épisodes sémantiquement incompatibles, le personnage principal étant décrit dans l'un comme étant introverti, et dans l'autre, comme étant extraverti (Cowen, 1984:2). Suivant un plan à quatre groupes indépendants, les sujets voient l'une des quatre versions expérimentales: le film de l'épisode introverti avant le texte de l'épisode extraverti, le film de l'épisode extraverti avant le texte de l'épisode introverti, le film de l'épisode introverti après le texte de l'épisode extraverti, le film de l'épisode extraverti après le texte de l'épisode introverti. En s'appuyant principalement sur le rappel libre, l'auteur constate le rôle dominant du film, comparativement au texte (voir la partie Discussion du résumé de Cowen, 1984:2).

Hayes et Birnbaum (1980:1 et 3) conçoivent une émission de télévision incompatible sur le plan picto-verbal. Ils combinent les images d'un premier film avec la bande sonore d'un deuxième film. Dans leur dernière expérience, en plus de la version audiovisuelle intacte (version 1: les images et le son du film A), ils obtiennent deux versions incompatibles (version 2: les images du film A combinées avec le son du film B; version 3: les images du film B combinées avec le son du film A). Les questions posées au test, les mêmes pour les trois groupes expérimentaux, portent sur des informations visuelles et sonores. Pour savoir s'il y a dégradation dans le rappel des informations visuelles en cas d'incompatibilité picto-verbale, les auteurs comparent les versions 1 et 2. La dégradation éventuelle des informations sonores en cas d'incompatibilité est étudiée sur la base des versions 1 et 3. Les auteurs montrent qu'en version audiovisuelle intacte le rappel des informations visuelles et sonores est sensiblement le même. En cas d'incompatibilité picto-verbale, par contre, il y a dégradation dans le rappel des informations sonores mais pas des informations visuelles. Ainsi, auprès de jeunes enfants, le mode de présentation visuel s'avère dominant.

Hayes, Chemelski et Birnbaum (1981) étudient de nouveau cette problématique à partir d'une des deux versions incompatibles de Hayes et Birnbaum (1980:3). Leur expérience confirme la supériorité du rappel visuel sur le rappel sonore, en particulier lorsque le test de rappel est annoncé d’avance aux sujets.

Pezdek et Stevens (1984) reprennent la problématique de Hayes et Birnbaum (1980). Ils reprochent à ces auteurs de ne pas avoir suffisamment contrôlé le type de questions posées au test. En fait, les sujets peuvent répondre aux questions portant sur les informations visuelles à partir des informations sonores et aux questions portant sur des informations sonores à partir d’informations visuelles. L'ajout de deux conditions contrôles (son seul, image seule) aux versions audio-visuelles compatible et incompatible est censé remédier à cette situation en fournissant deux seuils de comparaison. Par ailleurs, aux tests de compréhension des informations visuelles (mesure 2) et sonores (mesure 3) s'ajoutent des tests de reconnaissance de segments visuels vus préalablement ou non (mesure 4) et de segments sonores entendus préalablement ou non (mesure 5). Pezdek et Stevens (1984) arrivent essentiellement au même constat que Hayes, Chemelski et Birnbaum (1981) en ce qui concerne la supériorité du mode visuel sur le mode sonore en cas d'incompatibilité. Leur étude se distingue cependant de celle de Hayes, Chemelski et Birnbaum (1981) dans l'explication du phénomène.

Dans Wetstone et Friedlander (1974), le support visuel utilisé n'est pas réellement incompatible avec l'information linguistique mais plutôt non pertinent à celle-ci. Une histoire est racontée à des enfants: a) par un narrateur présent en salle de classe; b) à l’aide d’un vidéo, la présentation sonore de l'histoire étant accompagnée de l'image du narrateur, assis dans une chaise; c) à l’aide d’une cassette audio. Bien entendu, la présence du narrateur, en personne ou dans le vidéo, n'ajoute aucun indice sémantique qui est nécessaire pour la compréhension de l'histoire.

En faisant abstraction de cette dernière étude, qui se situe nettement à part, le rôle dominant du film muet, comparé au texte (oral ou écrit), est évident. Comparativement au traitement contrôle (i.e. information verbale seule ou version picto-verbale intacte), le rappel des informations verbales souffre plus que celui des informations picturales en cas d'incompatibilité picto-verbale.