En ce qui concerne le matériel expérimental, l’information ciblée au test peut se rapporter à une information: (i) qui est présentée dans le texte seulement; (ii) qui est présentée dans l’illustration seulement; (iii) qui est présentée à la fois dans le texte et dans l’illustration.

Dans la littérature, l’information de type (i) est communément appelée l’information non illustrée et opposée à l’information de type (ii), appelée illustrée. Quant à l’information de type (iii), elle n’est ciblée que rarement et, dans ce cas, généralement à titre de condition contrôle. Les trois catégories permettent une catégorisation exhaustive du phénomène, toute information pouvant être classée comme appartenant à l’une des trois catégories, et à une seule. Bien entendu, ceci n’exclut pas la possibilité qu’un même test puisse contenir des items variables. En effet, dans bien des expériences, le statut picto-verbal varie à travers les items du test: certains items se réfèrent à des informations non illustrées (i), d’autres à des informations du texte qui sont illustrées (ii). Par ailleurs, l’information ciblée par le test peut varier, à l’intérieur d’une même expérience, en fonction des versions expérimentales. C’est le cas dans Guttman, Levin et Pressley (1977:1): les items du test se réfèrent à des informations du texte qui sont illustrées dans l’une des deux versions illustrées, mais non illustrées dans l’autre.

D’après les résultats expérimentaux de Jahoda, Cheyne et al. (1976) et les conclusions de Levie et Lentz (1982) basées sur une revue de la littérature, le statut picto-verbal de l’information constitue un variable significative avec des incidences directes sur les mesures de compréhension de texte. L'absence de ce renseignement dans de nombreuses études semble révélatrice du manque de conscience concernant l'effet que peut exercer ce paramètre. Ainsi, dans certaines études, les auteurs se contentent de constater que l'information ciblée figure dans le texte mais ne précisent pas si elle figure également dans l'illustration. Ce n'est qu'exceptionnellement, généralement dans le cas de thèses de doctorat qui contiennent ces renseignements en annexe, que nous avons pu vérifier en détail le degré d'homogénéité des tests sur le plan picto-verbal. Cette vérification a confirmé notre appréhension comme quoi, dans certaines études, la variabilité des tests (à choix multiple, en particulier) introduit une variable non contrôlée dont l'effet risque d'égaler, voire dépasser celui même de la variable indépendante en jeu (Reinwein, 1986). D'autres auteurs par contre, conscients de l'effet potentiel qu'exerce le statut picto-verbal sur la mesure de compréhension de texte, ont expressément intégré dans leur plan expérimental cette opposition sous forme de variable indépendante (p. ex. Jahoda et al., 1976; Pressley et al., 1982; Miller et Pressley, 1987; Habayeb, 1988) ou en multipliant les mesures dépendantes (Duchastel, 1981; Anglin, 1987).

Un test homogène sur le plan picto-verbal procure-t-il des résultats plus valables qu’un test mixte? La réponse à cette question, croyons-nous, dépend aussi bien des objectifs de la recherche que de la représentativité du test par rapport à l’ensemble du texte illustré. Un test à choix multiple, dont les items sont dûment contrôlés sur le plan picto-verbal, augmente la validité interne de l’étude de façon à ce que le chercheur puisse trouver réponse à des questions plus pointues en recherche fondamentale. Par contre, un test à choix multiple dont les items sont sélectionnés en fonction de leur statut picto-verbal est rarement un outil représentatif de l’ensemble du texte illustré. La sélection des items illustrés risque de surestimer l’effet pictural, et la sélection des items non illustrés, de le sous-estimer. Un test mixte, dont la proportion des items illustrés et non illustrés reflète fidèlement le texte illustré dans son ensemble, paraît un meilleur garant de sa représentativité sur le plan picto-verbal. L’utilisation du test de closure, un test à items mixtes, assure que les items ciblés soient représentatifs du texte illustré dans son ensemble et ce, quel que soit le niveau d’analyse (i.e. syntaxique, sémantique, picto-verbal), étant donné le caractère systématique de l’omission des mots. Pour conclure, un test à choix multiple dûment contrôlé et le test de closure semblent deux outils aussi valables l’un que l’autre, compte tenu des objectifs expérimentaux poursuivis. On ne peut dire autant du test à choix multiple dont les items varient de façon non contrôlé.

Le tableau 2.2.7 indique les résultats obtenus au moyen d’un test homogène sur le plan picto-verbal.

Le statut picto-verbal de l’information est un facteur significatif [Chi2 (2) = 9,453; p = 0,009]. La comparaison de ce constat avec les conclusions de Levie et Lentz (1982) s’impose. Leurs conclusions principales étaient les suivantes:

1. Un test qui se rapporte exclusivement à des informations illustrées du texte fournit un diagnostique plus favorable relatif à l’illustration qu’un test qui se rapporte exclusivement à des informations non illustrées du texte: " When illustrations provide text-redundant information, learning information in the text that is also shown in pictures will be facilitated " (p. 225).
2. Un test qui se rapporte exclusivement à des informations non illustrées du texte, par contre, ne discrimine pas significativement entre les versions illustrée et non illustrée du matériel expérimental: " Illustrations have not effect on learning text information that is not illustrated " (p. 213). Et: " The presence of text-redundant illustrations will neither help nor hinder the learning of information in the text that is not illustrated " (p. 225).
3. Un test mixte donne des résultats intermédiaires: " When the test of learning includes both illustrated and nonillustrated text information, a modest improvement may often result from the addition of pictures. (...) When the test was a mixture of illustrated and nonillustrated text information, the average advantage of pictures fell between the outcomes of testing just illustrated text information and just nonillustrated text information " (p. 213).

Les résultats du tableau 2.2.7 confirme la première conclusion de Levie et Lentz en faveur des tests à items illustrés (non pondéré: 58 % vs 30 %), mais non la deuxième. Près d’un tiers des comparaisons menées au moyen d’un test à items non illustrés aboutit à des résultats significatifs, un pourcentage suffisamment élevé pour rendre peu crédible l’hypothèse nulle sur le plan méta-analytique (voir aussi chap. 4.2). Quant à la troisième conclusion de Levie et Lentz, puisqu’elle se veut un constat empirique et non seulement une conséquence logique des deux premières conclusions, elle nous paraît problématique, compte tenu de leur procédure d’identification des études concernées. Dans leur classification des études, Levie et Lentz manifestent en effet une certaine tendance à considérer un test comme mixte chaque fois qu’on ne trouve pas de renseignement explicite à son sujet. Leur troisième conclusion est également difficile à concilier avec le pourcentage élevé de résultats significatifs obtenus au moyen du test de closure, un test mixte par excellence (cf. tableau 2.2.6).

Signalons, pour terminer cette section, que trois des études ayant rapporté à contre-courant une supériorité significative de la version non illustrée sur la version illustrée (i.e. Popham, 1969; Harber 1983; Rose, 1986) ne précisent pas le statut picto-verbal des items du test. Dans la quatrième étude (i.e. Weintraub, 1960), l’information ciblée au test semble être non illustrée.

suite...