Enquête internationale sur les compétences en lecture

Information détaillée pour octobre 2004 à février 2005

L'Enquête internationale sur les compétences en lecture (EICL) a été conçue pour caractériser les profils de lecture et les besoins d'apprentissage de différents groupes démographiques d'adultes canadiens peu spécialisés au moyen d'une batterie de tests cliniques de lecture administrés à un échantillon d'adultes qui auparavant avaient participé à l'Enquête internationale sur l'alphabétisation et la compétence des adultes 2003 (EIACA, numéro d'enregistrement 4406). L'enquête vise à aider les éducateurs à adapter le contenu et les modalités de leur instructions aux besoins des adultes peu spécialisés.

Date de la parution - 9 janvier 2008

• Questionnaire(s) et guide(s) de déclaration
• Aperçu
• Sources de données et méthodologie
• Exactitude des données

Aperçu

L'Enquête internationale sur les compétences en lecture (EICL) était un suivi à l'Enquête internationale sur l'alphabétisation et les compétences des adultes (EIACA) menée par Statistique Canada en mars 2003. L'EICL était une composante d'une enquête internationale entreprise par Statistique Canada en collaboration avec Ressources humaines et Développement social Canada (RHDS), le National Centre for Education Statistics (NCES) et l'Education Testing and Service (ETS)

L'enquête a été conçue pour mesurer certaines compétences considérées comme importantes pour mieux comprendre les compétences ou les capacités de lecture d'adultes ayant de faibles compétences en littératie. Plus précisément, l'objectif de l'enquête était de mieux comprendre le lien entre les compétences sous-jacentes en lecture, comme la reconnaissance des mots, le vocabulaire, l'orthographe et le rendement sur l'échelle des capacités de lecture de textes schématiques et suivis de l'EIACA. Les autres objectifs sont :

- Mesurer les compétences sous-jacentes de lecture décrites ci avant et indiquer comment les résultats sont distribués dans la population
- Grouper les adultes avec un faible niveau de littératie selon leurs compétences sous-jacentes en lecture afin de déterminer :
- la taille de chaque groupe
- les caractéristiques socio-économiques communes de chaque groupe
- un programme d'études approprié pour chaque groupe basé sur leurs caractéristiques socio-économiques et leurs compétences sous-jacentes en lecture
- Comparer les résultats des compétences sous-jacentes en lecture d'adultes ayant un faible niveau de littératie à ceux d'un niveau élevé
- Déterminer le lieu entre ces compétences sous-jacentes en lecture et d'autres caractéristiques d'adultes ayant un faible niveau de littératie.

Les gouvernements fédéral et provinciaux, les universités, les spécialistes du développement des compétences et de la littératie, les médias et le public sont les utilisateurs de ces données. Les données servent à éclairer les décisions stratégiques, à mieux répartir les ressources nécessaires et à éclairer les décisions concernant la composition et le contenu de cours de rattrapage professionnel et de formation des adultes.

Sujets

• Éducation, formation et apprentissage
• Littératie

Sources de données et méthodologie

Population cible

Cette enquête était un suivi à l'EIACA. La population cible se composait d'adultes âgés entre 16 et 65 ans habitant l'une des dix provinces canadiennes au moment de la collecte de données de l'EIACA (juin 2003), sauf les pensionnaires d'un établissement institutionnel, les membres des Forces armées et les personnes vivant sur une réserve indienne ou dans des régions éloignées.

Pour des raisons opérationnelles, les résidents de régions peu peuplées ont aussi été exclus de la population observée. Même en les combinant avec les premières exclusions ci avant, ces personnes ne représentaient pas plus de 2 % de la population des dix provinces.

Élaboration de l'instrument

Les instruments de l'enquête comprenaient un questionnaire de référence, mesuraient deux aspects de la littératie des adultes (lecture de textes schématiques et suivis) et mesuraient cinq compétences liées à la lecture : la reconnaissance de mots, le vocabulaire, la compréhension auditive, les compétences générales en lecture et l'orthographe.

Le questionnaire de référence comprenait plusieurs modules de renseignements nécessaires pour faire le lien entre les compétences évaluées et la situation socio-économique des répondants. Plus précisément, des questions sur les études, la langue utilisé par les répondants dans diverses situations, la situation du répondant sur le marché du travail et des questions sur la santé et les handicaps. Plusieurs équipes de chercheurs canadiennes et américaines ont participé à la conception du questionnaire de référence. La plupart des questions utilisées dans l'enquête étaient déjà utilisées dans des enquêtes américaines, canadiennes ou internationales.

Les compétences en lecture de textes suivis et schématiques ont été évaluées à l'aide d'un ensemble de tâches conçues pour représenter des activités d'écriture et de lecture de tous les jours, comme signer une carte de bibliothèque, lire une publicité et suivre une recette. Les tâches étaient réparties dans deux livrets : un livret des tâches de base comprenant neuf tâches simples et un livret des tâches principales comprenant 31 tâches divisées en deux blocs. On a demandé aux répondants de remplir d'abord le livret des tâches de base; s'ils avaient au moins trois bonnes réponses, on leur demandait ensuite de remplir le livret des tâches principales. En utilisant le modèle TRI à deux paramètres, on a assigné aux répondants du fichier de données final des valeurs de compétence plausibles allant de 0 à 500 dans chacun des domaines mesurés.

Les livrets de tâches ont été conçus par l'Education Testing Service (ETS) et les tâches inscrites dans les livrets ont été choisies à partir des enquêtes de l'EIACA 2003 et de l'EIAA 1994, et les mêmes livrets de l'EICL ont servi dans une enquête similaire effectuée aux États-Unis en 2003. Ces tâches ont alors été adaptées pour l'enquête canadienne. La création des tâches de l'EIACA et de l'EIAA a été confiée à un groupe de spécialistes international. Elles ont d'abord été mises à l'essai dans différents pays lors d'enquêtes pilotes, ensuite les tâches finales ont été choisies en s'appuyant sur la stabilité des paramètres. Des informations supplémentaires sur les échelles de compétence en lecture de textes suivis et schématiques de même que des exemples du type de tâches trouvées dans ces livrets figurent à l'annexe B de la publication gratuite « Misez sur nos compétences : Résultats canadiens de l'Enquête internationale sur l'EIACA » (disponible sous le numéro no 89-617-XIF du catalogue en ligne ou en cliquant sur le lien « Publications » du menu latéral ci dessus).

• Documentation complémentaire

Échantillonnage

Il s'agit d'une enquête transversale par échantillon.

On a utilisé un plan d'échantillonnage stratifié à plusieurs degrés et phases pour tirer l'échantillon de l'EICL. Comme l'EICL est un suivi à l'EIACA, son plan d'échantillonnage en première phase est le même que celui utilisé pour l'EIACA.

On a utilisé aux fins de l'EIACA un plan d'échantillonnage transversal à plusieurs degrés. L'unité d'échantillonnage était le ménage. La base de sondage était celle du Recensement de la population de 2001 (date de référence : 15 mai). Un échantillon probabiliste stratifié à plusieurs degrés a été utilisé pour prélever l'échantillon de la base du recensement.

Chaque province a été divisée en deux strates : une strate urbaine formée de grands centres urbains, et une strate rurale formée de petits centres urbains et de régions rurales.

Dans la strate urbaine, deux degrés d'échantillonnage ont été utilisés. À la première phase d'échantillonnage, les logements ont été prélevés systématiquement avec une probabilité proportionnelle à la taille du ménage. À la deuxième phase, une personne a été prélevée au hasard à partir de la liste des membres admissibles du ménage résidant dans le logement prélevé au moment de la collecte des données.

Afin de réduire les coûts de la collecte, trois étapes d'échantillonnage ont été utilisées dans les strates rurales. La strate rurale de chaque province a été divisée en régions géographiques plus petites appelées grappes. La première étape consistait à tirer les grappes avec une probabilité proportionnelle à la taille de la population. La deuxième étape consistait à tirer les logements de chaque grappe prélevée. Comme pour les strates urbaines, la dernière étape consistait à prélever au hasard une personne admissible pour chaque logement de l'échantillon.

Un échantillon de base de 16 000 logements a été tiré pour représenter la population générale. De plus, 24 000 autres logements ont été prélevés dans des échantillons supplémentaires qui visaient les sous-populations suivantes :francophones au Nouveau-Brunswick, en Ontario et au Manitoba; anglophones au Québec; immigrants au Québec, en Ontario, en Alberta et en Colombie-Britannique; jeunes (16 à 24 ans) au Québec, jeunes (16 à 29 ans) en Colombie-Britannique; Autochtones vivant en région urbaine au Manitoba et en Saskatchewan; Autochtones et non-Autochtones au Yukon, dans les Territoires du Nord-Ouest et au Nunavut.

L'EICL a été conçue pour fournir à l'échelle nationale des estimations des deux langues officielles, l'anglais et le français. L'échantillon a été constitué à partir des répondants de l'EIACA qui avaient accepté, durant la collecte, de participer à une enquête de suivi. Comme l'enquête s'adressait à la population adulte ayant un bas niveau de littératie, l'échantillon de l'EICL vise surtout les personnes qui sont au niveau 1 sur l'échelle des compétences en lecture de textes suivis de l'EIACA. On a ensuite tiré au hasard les unités dans les strates définies par les classifications recoupées de langues (anglais, français), les provinces, les sous-populations, les niveaux de littératie estimés de l'EIACA, et les groupes d'âge, afin de respecter le plan d'échantillonnage de l'EIACA le plus fidèlement possible. On a par la suite réduit l'échantillon de 8 % pour diminuer les dépenses sur le terrain, notamment en éliminant un nombre d'affectations d'intervieweurs éloignées et coûteuses. Il aurait été préférable de procéder à cette coupe lors du tirage de l'échantillon mais cela s'est avéré impossible compte tenu des contraintes opérationnelles et de temps.

Sources des données

Collecte des données pour cette période de référence : 2004-10-01 à 2005-02-28

Il s'agit d'une enquête à participation volontaire.

Les données sont obtenues directement auprès des répondants.

L'échantillon de l'EICL a été tiré des répondants de l'EIACA qui avaient accepté, durant la collecte, de participer à une enquête de suivi. Cinquante-sept pour cent des répondants de l'EIACA ont accepté d'être recontactés.

Les données ont été recueillies au domicile de chaque répondant. Lorsque c'était possible, le contact s'effectuait par téléphone pour confirmer l'adresse du répondant et prendre rendez-vous pour le visiter à sa convenance. Les réponses par personne interposée n'étaient pas possibles.

On a d'abord demandé aux répondants de remplir un questionnaire de référence, composé de plusieurs modules de renseignements nécessaires pour faire le lien entre les compétences évaluées et la situation socio-économique du répondant. Plus particulièrement, les intervieweurs ont posé une série de questions sur les études, la langue utilisée dans diverses situations et la situation sur le marché du travail de même qu'un ensemble de questions sur la santé et les handicaps. Répondre au questionnaire de référence demandait environ 30 minutes.

Une fois le questionnaire rempli, on remettait aux répondants un petit livret de neuf tâches de lecture relativement simples (Livret des tâches de base). Les répondants qui réussissaient au moins trois des neuf tâches de base demandées se voyaient remettre le livret de 31 tâches principales plus difficile et plus complet. Les tâches des livrets n'étaient pas chronométrées et on encourageait les répondants à faire chaque tâche. On donnait toutes les chances aux répondants de démontrer leurs compétences, même si elles étaient minimales.

Tous les répondants, peu importe leurs résultats aux tâches de base, devaient ensuite effectuer une série d'exercices supplémentaires conçus pour mesurer les compétences en lecture. Dans le premier exercice, l'Échelle de vocabulaire en image de Peabody (EVIP), les répondants devaient identifier laquelle de quatre images correspondait au mot prononcé par l'intervieweur. Dans le test RAN, on demandait aux répondants de lire le plus rapidement possible une série de lettres au hasard. Le troisième exercice consistait à lire le plus rapidement possible une liste de vrais mots (TOWRE A), suivie d'une liste de pseudos-mots (TOWRE B). Le temps maximal alloué pour chaque liste de mots était de 60 secondes. Le quatrième exercice (PhonePass) comportait trois tâches différentes : une répétition de phrases simples, un ensemble de questions à réponses courtes et la lecture de phrases simples. Le cinquième test consistait à répéter des séries de chiffres en ordre et d'autres séries de chiffres répétés dans l'ordre inverse de leur lecture. Le dernier exercice était un test d'orthographe.

L'EICL était une enquête avec papier et crayon, mais les résultats aux tests RAN, TOWRE, PhonePass et Digit Span ont été enregistrés par téléphone. Ordinate Corp. a conçu le système d'enregistrement téléphonique. Les tests étaient administrés de telle façon que l'intervieweur, utilisant un téléphone spécial, appelait le système d'enregistrement et le répondant faisait le test par téléphone pendant que l'intervewieur écoutait.

Le questionnaire de référence a été balayé électroniquement et les réponses saisies par un système automatique. Vingt pour cent des questionnaires ont été vérifiés pour assurer le bon fonctionnement de cette méthode de saisie. De plus, on a vérifié que les identificateurs de tous les répondants avaient été correctement enregistrées. Ordinate Corp. nous a envoyé des fichiers sonores électroniques qui ont alors été utilisés par le personnel pour corriger les tests. Toutes les feuilles de notation des autres tests ont été balayées électroniquement et les données saisies ont été vérifiées pour en assurer la qualité.

Voir le(s) Questionnaire(s) et guide(s) de déclaration .

Imputation

Cette méthodologie ne s'applique pas.

Estimation

Les coefficients de pondération de la population de l'EICL ont été établis en trois étapes : le calcul des pondérations d'échantillonnage; les corrections de pondération pour la non-réponse; et la calibration. Les pondérations d'échantillonnage ont été définies comme l'opposé des probabilités de tirage. Comme l'échantillon de l'EICL est prélevé à même les répondants de l'EIACA, on a utilisé les pondérations de l'EIACA avant la calibration comme pondérations initiales de l'EICL. Ces pondérations ont été ajustées en fonction du tirage de l'échantillon de l'EIACA, de la non-réponse à l'EIACA et du chevauchement des échantillons. De plus, comme l'échantillon de l'EICL a été plus particulièrement prélevé à partir des répondants de l'EIACA qui avaient accepté de participer à l'enquête de suivi, on a dû corriger les premières pondérations de l'EICL selon les refus et les non-réponses à la question sur le suivi. Elles ont ensuite été gonflées d'un facteur égal à l'inverse de la probabilité de tirage afin de tenir compte en prélèvement de l'échantillon de l'EICL. Elles ont également dû être corrigées pour prendre en compte la réduction de l'échantillon qui a eu lieu après le tirage de l'échantillon de l'EICL. Les pondérations corrigées sont les pondérations d'échantillonnage.

On a calculé les pondérations de la non-réponse en catégorisant d'abord les unités échantillonnées comme étant des répondants ou des non-répondants. Une régression logistique a par la suite été utilisée pour déterminer les variables qui influençaient les réponses, pour obtenir les probabilités de réponse prédites et pour constituer des classes de pondérations aussi homogènes que possible en regroupant les probabilités similaires de réponse estimées. Enfin, on a appliqué à la pondération d'échantillonnage de chaque répondant à l'inverse du taux de réponse pondéré de la classe de pondérations à laquelle appartenait le répondant afin de représenter tous les individus.

Finalement, les pondérations ont été calibrées en utilisant les totaux des groupes d'âge et de sexe de la population, où les groupes d'âge étaient 16-25 ans, 26-35 ans, 36-45 ans, 46-55 ans et 56-65 ans. Ils ont été obtenus en utilisant les chiffres du Recensement de la population et du logement de 2001 gonflés selon la croissance mesurée entre les totaux provinciaux par âge et par sexe du recensement et les chiffres démographiques officiels correspondants en date du 21 juin 2003 (point milieu de la collecte de l'EIACA). Les données de référence utilisées pour l'EICL comprennent seulement les dix provinces. Il était impossible d'inclure plus de points de référence dans l'EICL vu la taille restreinte de l'échantillon.

Évaluation de la qualité

Afin d'obtenir des données de haute qualité, les lignes directrices sur l'administration d'enquêtes internationales ont été suivies, complétées par une stricte observation des politiques et procédures internes de Statistique Canada.

Les interviews étaient menées à domicile de façon neutre et sans pression. Une formation et une supervision des intervieweurs étaient assurées, mettant l'accent sur l'importance des précautions à prendre contre le biais de non-réponse. Les intervieweurs avaient spécifiquement comme instruction de retourner plusieurs fois chez les non-répondants pour obtenir le plus de réponses possible. Le travail était supervisé au moyen de vérifications fréquentes de la qualité, particulièrement au début de la collecte des données.

Pour pouvoir participer à l'étude internationale, il était obligatoire de saisir et de traiter les fichiers au moyen de méthodes garantissant une cohérence logique et des niveaux acceptables d'erreur de saisie de données.

Les personnes chargées de la notation ont reçu une formation intensive en notation de réponses aux questions ouvertes. Afin d'assurer la qualité, la surveillance se faisait de deux manières. Premièrement, au moins 20 % des tâches étaient notées une nouvelle fois. Les deux séries de notes devaient concorder avec une précision d'au moins 95 % avant de passer à l'étape suivante du traitement. Ensuite, une nouvelle notation selon la langue a eu lieu. Plus précisément, des évaluateurs francophones ont renoté 20 % des questionnaires anglais, et vice-versa, afin d'assurer la cohérence. Une précision stricte était exigée : une correspondance de 90 % était obligatoire pour que les notes soient jugées acceptables.

Également pour évaluer la qualité, nous avons comparé les résultats obtenus à ceux de l'Enquête internationale sur l'alphabétisation et les compétences des adultes (EIACA) et effectué une analyse des variables clés pour assurer que les corrélations observées étaient fondées.

Contrôle de la divulgation

La loi interdit à Statistique Canada de divulguer toute information recueillie qui pourrait dévoiler l'identité d'une personne, d'une entreprise ou d'un organisme sans leur permission ou sans en être autorisé par la Loi sur la statistique. Diverses règles de confidentialité s'appliquent à toutes les données diffusées ou publiées afin d'empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

Afin de prévenir toute divulgation de données, une analyse de confidentialité est faite au moyen du Système généralisé de contrôle de la divulgation (G-Confid) de Statistique Canada. G-Confid est utilisé pour la suppression primaire (divulgation directe), ainsi que pour la suppression secondaire (divulgation par recoupements). Il y a divulgation directe lorsque la valeur dans une cellule de totalisation se compose de peu de déclarants ou que la cellule est dominée par quelques entreprises. Il y a divulgation par recoupements lorsque des renseignements confidentiels peuvent être extraits indirectement en rassemblant des renseignements provenant de différentes sources ou séries de données.

Révisions et désaisonnalisation

Cette méthodologie ne s'applique pas à cette enquête.

Exactitude des données

Couverture :
On estime que la couverture de l'enquête a atteint 98,5 % au niveau national

Taux de réponse :
Le taux de réponse était de 64 %.

Coefficient de variation (CV) :
La qualité des estimations est évaluée à l'aide d'estimations de leur coefficient de variation (CV). Des poids de rééchantillonnage jackknife sont utilisés pour établir les CV des estimations. Les lignes directrices suivantes sont recommandées :
- Si le CV est de moins de 16 %, l'estimation peut être utilisée sans restriction.
- Si le CV se situe entre 16 % et 33 %, l'estimation doit être utilisée avec prudence.
- Si le CV est de 33 % ou plus, ou si l'estimation repose sur moins de 30 observations, il ne doit pas être diffusé.

Le tableau ci dessous indique les CV pour le pourcentage de la population à chaque niveau de compétence en compréhension de textes schématiques :

• Documentation complémentaire