L’évaluation périodique des programmes d’études
à l’Université du Québec à Rimouski

 

Commission de vérification de l’évaluation des programmes
(CVEP)

 

 

 

Septembre 2003


 

Numéro de publication : 2003-06
Dépôt légal – 4e trimestre 2003
Bibliothèque nationale du Québec
Bibliothèque nationale du Canada
ISBN 2-89574-018-6

© Conférence des recteurs et des principaux des universités du Québec, 2003


 

Avant-propos

La Politique des établissements universitaires du Québec relative à l’évaluation périodique des programmes existants (ci-après désignée la Politique) a été adoptée par le Conseil d’administration de la Conférence des recteurs et des principaux des universités du Québec, en 1991. Cette Politique permet de s’assurer, dans une perspective d’imputabilité, que chaque établissement dispose d’une politique d’évaluation qui satisfait à des conditions et normes minimales, reconnues adéquates et conformes aux exigences de qualité et de pertinence que la société québécoise rattache à la formation universitaire.

La création de la Commission de vérification de l’évaluation des programmes (CVEP) est liée à l’adoption de cette politique cadre. Le mandat de la Commission est, en effet, de vérifier la conformité du contenu des politiques et des pratiques institutionnelles d’évaluation périodique des programmes avec le but, les étapes, les critères et les modalités d’évaluation établis en vertu de la Politique. La Commission jouit, pour ce faire, d’une autonomie pleine et entière : les recommandations qu’elle formule s’adressent à l’établissement concerné et elles ne sont assujetties à l’approbation d’aucune instance de la CREPUQ.

La Commission applique une procédure qui se déroule en trois temps : l’analyse de la documentation institutionnelle, l’examen de quelques dossiers complets d’évaluation de programmes sélectionnés en collaboration avec l’établissement qui accueille ensuite ses membres, et l’élaboration du rapport de vérification selon des modalités qui permettent de conserver le dialogue établi et d’assurer des suites à ses recommandations.

La Commission a déjà complété une première ronde de travaux qui l’a amenée à vérifier ainsi l’ensemble des politiques et pratiques institutionnelles d’évaluation périodique des programmes. Le bilan de cette opération a conduit la CREPUQ à apporter des ajustements au libellé de la Politique, adoptés par son Conseil d’administration en septembre 2000.


Table des matières

Introduction

1. Résumé de la politique institutionnelle

1.1 Déroulement du processus

1.2 Critères d’évaluation des programmes

2. Observations de la commission

2.1 La politique institutionnelle

2.2 La mise en application du processus

Recommandations

Conclusion

Annexes


Introduction

La Commission poursuit le deuxième cycle de ses travaux avec la vérification du processus d’évaluation périodique des programmes d’un cinquième établissement du réseau universitaire québécois, soit l’Université du Québec à Rimouski (UQAR).

La politique d’évaluation périodique des programmes de l’UQAR a fait l’objet d’une révision importante en 1997, suite au premier rapport de la Commission, et elle a été amendée en septembre 2000, pour tenir compte de l’intégration de l’Institut des Sciences de la Mer (ISMER) de même que des ajustements apportés au cours de cette période à la structure administrative de l’UQAR.

La politique institutionnelle a été révisée à nouveau en juin 2002, pour donner suite aux commentaires formulés par la Commission dans un document de travail qui avait été transmis à l’établissement au mois de septembre 2001.

La première partie du rapport résume la politique d’évaluation périodique des programmes récemment révisée. La deuxième partie présente les observations de la Commission suite à la vérification de cette politique et des pratiques d’évaluation telles que révélées à travers trois dossiers: le dossier d’évaluation des programmes de premier cycle en lettres (complété en janvier 1999), le dossier d’évaluation du programme de baccalauréat en géographie (complété en novembre 2000), et le dossier d’évaluation de la maîtrise en océanographie (complété en juin 2002).

Lors de leur visite à l’établissement qui a eu lieu le 19 février 2003, les membres de la Commission ont rencontré la direction universitaire et la direction des cycles d’études, des professeurs qui ont participé aux évaluations à titres divers et quelques groupes d’étudiants. Ils ont pu compléter ainsi leur analyse.

1. Résumé de la politique institutionnelle

La Politique d’évaluation périodique des programmes de l’Université du Québec à Rimouski, telle qu’adoptée par le Conseil d’administration de l’établissement au mois de juin 2002, privilégie une approche d’évaluation strictement centrée sur les programmes. La périodicité du cycle d’évaluation est de dix ans.

La politique stipule que « l’Université procède simultanément à l’évaluation d’un programme de baccalauréat et des programmes de certificat qui lui sont apparentés. Il en est de même pour les programmes de maîtrise et les programmes d’études supérieures spécialisées ». Elle prévoit, par ailleurs, qu’une évaluation par secteur puisse être effectuée afin d’examiner un ensemble de programmes « par rapport à la mission de l’Université, à ses orientations, au choix des secteurs prioritaires et aux conditions imposées de l’extérieur. »

La politique précise que tous les types de programmes inter-établissements auxquels l’Université participe doivent être évalués périodiquement selon des modalités à spécifier dans les protocoles d’entente. Elle indique également qu’un rapport d’agrément peut tenir lieu de rapport d’évaluation externe, en totalité ou en partie, dans la mesure où il rejoint les objectifs du processus.

1.1 Déroulement du processus

Le déroulement du processus est placé sous la responsabilité du doyen des études de premier cycle ou du doyen des études avancées, selon le dossier.

Le doyen doit élaborer le calendrier d’évaluation et veiller à ce que la Commission des études approuve la liste des programmes à traiter au cours de l’année. De plus, il lui revient de consulter les groupes concernés en vue de la sélection des experts externes et de l’organisation de la visite prévue à l’établissement. Il s’assure également que les travaux du comité institutionnel se déroulent selon les exigences établies.

La politique est complétée par quatre guides d’évaluation qui ont été adoptés à différents moments : un guide d’auto-évaluation des programmes de premier cycle (juin 2002), un autre pour les programmes d’études avancées (mars 2001), un guide d’expertise externe pour les programmes d’études de premier cycle (février 1996) et un autre pour les programmes d’études supérieures (mai 1998).

L’auto-évaluation

L’auto-évaluation relève du Conseil de module au premier cycle et du Comité de programme aux deuxième et au troisième cycles.

L’instance concernée assume la responsabilité de choisir les membres du comité d’auto-évaluation qui comprend au moins trois professeurs du champ d'étude du programme, un de ses étudiants ou un de ses diplômés, et un représentant du milieu socio-économique. Lorsque la formation dispensée requiert la participation de chargés de cours, l’un d’entre eux doit également être désigné membre à part entière.

Douze mois sont alloués pour la production d’un rapport d’auto-évaluation qui doit présenter des recommandations visant à améliorer la qualité et la pertinence du programme. Ce document fait l’objet d’une recommandation d’adoption par le Conseil de module ou le Comité de programme avant d’être transmis au doyen concerné.

Les experts externes

La politique de l’UQAR prévoit l’intervention de trois experts externes, pour chaque dossier d’évaluation périodique de programme. Leur groupe doit comprendre :

Avant de se rendre à l’établissement, les experts externes reçoivent copie du dossier d’auto-évaluation (remis au même moment au comité institutionnel) et le guide d’expertise externe pertinent.

Lors de leur visite, les experts externes rencontrent les membres du comité d’auto-évaluation de même que des représentants des groupes liés au programme évalué (Conseil de module ou Comité de programme, président de l’assemblée institutionnelle ou direction départementale) et, au besoin, toute autre personne.

Les experts externes disposent ensuite d’un mois pour adresser au doyen concerné un rapport qui peut être individuel ou conjoint, selon leur choix. Sur réception, leur avis est transmis au comité institutionnel qui intervient à l’étape suivante.

Le comité institutionnel

Le Comité institutionnel de l’UQAR est permanent. Désigné sous le nom de comité d’évaluation par les pairs, il a pour mandat de « se prononcer sur la qualité et la nature des bilans et des recommandations » présentés dans le rapport d’auto-évaluation ainsi que sur le contenu du ou des avis produits par les experts externes.

Le comité compte six professeurs représentant les regroupements disciplinaires suivants : 1) sciences humaines, lettres et sciences religieuses, 2) sciences pures et appliquées, 3) sciences de l’administration, 4) sciences de l’éducation.

Tous les membres du comité sont nommés par la Commission des études, sur recommandation du vice-rectorat à la formation et à la recherche. Une consultation auprès des décanats, des directions de modules et des comités de programmes précède leur nomination, et l’on choisit par la même occasion un remplaçant potentiel pour chacun des regroupements disciplinaires établis en vertu de la politique institutionnelle. Les membres du comité demeurent en fonction pour trois ans et choisissent dans leur groupe un président et un secrétaire, lors de leur première rencontre.

Le rapport du comité institutionnel est destiné au doyen concerné. Celui-ci y joint le rapport des experts externes et il en transmet copie pour avis au directeur du Conseil de module ou du Comité de programme. Le doyen sollicite également un avis auprès de la direction du département concerné ou du président de l’assemblée institutionnelle de l’Institut des sciences de la Mer de Rimouski, s’il y a lieu, sur tous les rapports qui font maintenant partie du dossier d’évaluation périodique du programme (rapport d’auto-évaluation, avis des experts externes et rapport du comité institutionnel).

Présentation du dossier à la Commission des études

Le doyen dépose le dossier complet d’évaluation à la Commission des études, au plus tard dix-huit mois après le début du processus, en y insérant tous les commentaires recueillis et en y ajoutant son propre avis.

La Commission des études analyse le contenu du dossier d’évaluation et formule des recommandations sur les suites à donner.

Le vice-recteur doit faire parvenir ensuite un résumé des principaux éléments du dossier d’évaluation à la vice-présidence à l’enseignement et à la recherche de l’Université du Québec, accompagné de son avis.

Le suivi

Il revient au Conseil des études de l’Université du Québec de donner son aval au plan d’action proposé par la Commission des études, et au vice-recteur à la formation et à la recherche de l’UQAR d’assurer le suivi institutionnel.

La diffusion des résultats

La politique institutionnelle prévoit qu’à l’issue du processus, le comité d’auto-évaluation joigne à son rapport initial une proposition de résumé pour l’ensemble du dossier.

Ce document doit faire état des forces et des faiblesses observées dans le programme, des conclusions des experts externes et du comité institutionnel, de même que des recommandations de la Commission des études.

Il revient au vice-recteur à la formation et à la recherche de s’assurer que ce résumé soit publié à l’interne, et de veiller à ce qu’il soit déposé sur le site Internet de l’UQAR. La politique prévoit aussi la transmission de ce document à la vice-présidence à l’enseignement et à la recherche de l’Université du Québec et à la CREPUQ.

1.2 Critères d’évaluation des programmes

La politique de l’Université du Québec à Rimouski stipule que le comité d’auto-évaluation est responsable de la cueillette et de l’analyse des données requises pour l’examen du programme et que le comité doit se référer au guide présenté en annexe pour choisir et documenter les indicateurs les plus pertinents.

La politique stipule également que l’auto-évaluation porte sur :

Le guide d’auto-évaluation de premier cycle souligne, quant à lui, que le rapport d’auto-évaluation doit obligatoirement porter sur la pertinence et la cohérence du programme, la valeur des méthodes pédagogiques et de l’encadrement des étudiants, l’adéquation des ressources humaines, matérielles et financières, la qualité de la gestion du programme et son efficacité. Le guide d’auto-évaluation des programmes d’études avancées consacre une section entière à chacun de ces critères.

2. Observations de la commission

2.1 La politique institutionnelle

De façon générale, la Politique d’évaluation périodique des programmes de l’Université du Québec à Rimouski, telle que révisée en juin 2002, est conforme aux exigences de la Politique de la CREPUQ.

La politique de l’UQAR a connu plusieurs modifications importantes au cours des dernières années, notamment à la suite des suggestions faites par la Commission. Elle établit maintenant des règles précises pour le choix des experts externes et elle prévoit l’intervention d’un comité institutionnel à la troisième étape du processus. Elle explicite également la nécessité d’assurer la diffusion des résultats de l’évaluation périodique des programmes, à l’interne et à l’externe. Le guide d’auto-évaluation des programmes d’études avancées est, par ailleurs, très bien détaillé. Enfin, la limite de temps fixée pour le traitement de chaque dossier a été resserrée et un calendrier détaillé des évaluations de programmes à réaliser sur un cycle de dix ans a été établi. Ce sont là des améliorations majeures qui méritent d’être soulignées.

Cependant, le mandat du comité institutionnel reste à compléter.

En effet, la politique institutionnelle stipule uniquement que le comité d’évaluation par les pairs doit se prononcer sur la qualité et la nature des bilans et des recommandations contenues dans les rapports produits au cours des deux étapes qui précèdent son intervention. Il serait sans doute opportun de lui confier également la responsabilité de faire une véritable synthèse du dossier d’évaluation en tenant compte de tous ses éléments et de formuler des recommandations.

La Commission considère également qu'il y aurait lieu de confier la préparation du résumé des résultats de l'évaluation pour fins de diffusion interne et externe à une instance susceptible d'assurer une certaine uniformité de présentation comme, par exemple, le décanat.

2.2 La mise en application du processus

Les trois dossiers d’évaluation qui ont été soumis à la Commission ont tous été traités selon des versions antérieures de la politique institutionnelle. Compte tenu de cette situation, il n’a pas été possible de vérifier la conformité des pratiques d’évaluation aux exigences de la politique qui est présentement en vigueur.

C’est donc dans ce contexte particulier et en tenant compte des informations recueillies au cours de sa visite que la Commission invite l’Université à sensibiliser davantage sa communauté à l’importance de réaliser l’évaluation périodique des programmes, en se rappelant que l’objectif fondamental de cette opération est l’amélioration de leur qualité et de leur pertinence. Pour ce faire, trois aspects de la mise en œuvre du processus pourraient être renforcés afin d’augmenter la portée des interventions.

Dans les rapports examinés, les consultations auprès des professeurs, des étudiants, des diplômés et des employeurs ont été menées presque exclusivement par voie de questionnaire. Or, les taux de réponses étaient souvent trop faibles ou l’analyse des résultats n’était pas assez poussée pour pouvoir en tirer des conclusions valables. Étant donné que ces questionnaires ont pour objectif de fournir les informations nécessaires à l’évaluation de plusieurs aspects du programme (pertinence et cohérence, qualité de la gestion, valeur des méthodes pédagogiques, ressources, etc.), il y aurait lieu d’insister auprès des groupes concernés sur l’importance de participer à la consultation.

Pour corriger les failles éventuelles de la consultation par questionnaire, il serait souhaitable d’envisager la formation de groupes de discussion en ayant recours à des animateurs expérimentés pour connaître l’opinion des participants sur les différents aspects du programme qui sont couverts par la politique institutionnelle. De plus, quelles que soient les formes de consultation retenues, il serait utile qu’une personne ressource aide le comité d’auto-évaluation dans la préparation de cette opération ainsi que dans l’analyse et la présentation des résultats.

Il y aurait lieu également d'utiliser davantage les données fournies par le Bureau de recherche institutionnelle de l'Université du Québec.

L’enrichissement du guide d’auto-évaluation pourrait être l’occasion de souligner davantage l’importance de traiter ces critères dans le rapport d’auto-évaluation et de faire un véritable examen critique du programme. Comme l’intervention des experts externes s’appuie sur ce rapport, un tel ajustement paraît important.

De plus, la Commission recommande que l'Université mette en œuvre les dispositions requises pour assurer la diffusion interne et externe des résultats de l'évaluation périodique des programmes, telle que prévue dans la politique institutionnelle.

Elle encourage à cet effet la poursuite de la réflexion qui s'est engagée dans l'établissement en vue de préciser les modalités de cette diffusion.

Recommandations

Parmi les suggestions émises au fil de ses observations, la Commission encourage tout particulièrement la mise en œuvre des propositions qui suivent. Celles-ci se situent dans la continuité du dialogue qui s’est établi avec l’UQAR à l’occasion de ses travaux et dans la perspective de l’amélioration du processus d’évaluation périodique des programmes qui est maintenant en place dans l’établissement.

En ce qui a trait à la politique, la Commission recommande à l’Université du Québec à Rimouski de :

En ce qui a trait à la mise en application du processus institutionnel, la Commission recommande de :

Conclusion

La Commission a vérifié la Politique d’évaluation périodique des programmes de l’Université du Québec à Rimouski, telle que révisée le 18 juin 2002. Elle considère que celle-ci est généralement conforme au but et aux critères définis dans la Politique de la CREPUQ, et elle a signalé les ajustements qu'il y aurait lieu d'apporter au processus institutionnel, lors de la prochaine révision.

La Commission a également examiné les pratiques d’évaluation périodique des programmes de l’Université du Québec à Rimouski sur la base de trois dossiers d’évaluation qui ont été mis à sa disposition, et elle a souligné les points qui mériteraient une attention particulière lors du traitement des prochains dossiers qui sont inscrits au calendrier de l’établissement.

Les membres de la Commission aimeraient remercier monsieur Michel Ringuet, maintenant recteur de l’Université, et messieurs Denis Rajotte et Yvon Bouchard, respectivement doyen des études de premier cycle et doyen des études avancées et de la recherche, pour leur chaleureux accueil lors du passage de ses membres à l’établissement. Ils remercient également messieurs Jean-Pierre Gagnon et Renaud Thibault, respectivement professionnel au bureau du doyen de premier cycle et professionnel au bureau du doyen des études avancées et de la recherche, pour l’excellente collaboration qu’ils ont apportée au déroulement de leurs travaux.


 

Annexe I réponse de l’Université du Québec à Rimouski

 

 

 

Annexe II Membres de la commission de vérification de l’évaluation des programmes

 

Présidente : Madame Denyse L. Dagenais

Membres : Monsieur Claude Hamel

Monsieur Norman Henchey

Monsieur Vincent Lemieux

Monsieur Jean-Pierre Wallot

 

Annexe III Liste des principaux documents consultés

Évaluation périodique des programmes d’études à l’Université du Québec à Rimouski (CVEP, 13 juin 1996).

Lettre de madame Louise Milot à madame Denyse Dagenais, en date du 25 septembre 2001, au sujet de la résolution du Conseil des études de l’Université du Québec sur les orientations générales de l’évaluation périodique des programmes dans les constituantes de ce réseau.

Politique d’évaluation périodique des programmes, adoptée par le Conseil d’administration de l’Université du Québec à Rimouski, le 30 septembre 1997.

Politique d’évaluation périodique des programmes, adoptée par le Conseil d’administration de l’Université du Québec à Rimouski, le 26 septembre 2000.

Politique d’évaluation périodique des programmes de l’Université du Québec à Rimouski, révisée le 18 juin 2002.

Dossier d’évaluation périodique des programmes de premier cycle en lettres de l’UQAR, qui a été complété au mois de janvier 1999.

Dossier d’évaluation périodique du programme de baccalauréat en géographie, qui a été complété en novembre 2000.

Dossier d’évaluation périodique du programme de maîtrise en océanographie, qui a été complété en juin 2002.

 

Annexe IV Déroulement de la visite de la Commission de vérification de l’évaluation des programmes à l’Université du Québec à Rimouski

Mercredi 19 février 2003

Salle D-340

 

8 h 15 Rencontre avec la direction de la formation

Michel Ringuet, vice-recteur à la formation et à la recherche

9 h Rencontre avec les directions de cycles

Yvon Bouchard, doyen des études avancées et de la recherche

Jean-Pierre Gagnon, agent de recherche aux études de premier cycle

Denis Rajotte, doyen des études de premier cycle

Renaud Thibeault, agent de recherche aux études avancées

9 h 45 Rencontre avec les responsables du dossier d’auto-évaluation des programmes en lettres

France Fortier, professeur

Paul Chanel Malenfant, directeur du département

Guy Simard, professeur, maintenant retraité

10 h 15 Rencontre avec des diplômées du programme de baccalauréat en études littéraires

Jacqueline Chénard (1995)

Caroline Dumont (2000)

Nathalie Landreville (1998), présentement à la maîtrise

10 h 30 Rencontre avec les responsables du dossier d’auto-évaluation du programme de baccalauréat en géographie

Bernard Hétu, professeur

Pierre Laplante, professeur et directeur du département

Jacques Roy, professeur et directeur de module

11 h 15 Rencontre avec des diplômées et une étudiante du programme de baccalauréat en géographie

Kati Brown (2000), membre du comité d’auto-évaluation

Anne-Marie-Lévesque, étudiante en 3e année

Jean-François Pelletier (1995)

11 h 30 Rencontre avec des membres du comité institutionnel qui a traité le dossier d’évaluation du baccalauréat en géographie

Léon Harvey, professeur au département des sciences de l’éducation

Paul Larocque, professeur au département des lettres et sciences religieuses

Guy Perron, professeur au département des sciences de l’administration

Renée Sirois-Dumais, professeur au département des sciences pures et appliquées

12 h 30 Déjeuner

Michel Ringuet, vice-recteur à la formation et à la recherche

Yvon Bouchard, doyen des études avancées et de la recherche

Denis Rajotte, doyen des études de premier cycle

Visite de l’ISMER en compagnie de Serge Demers, directeur

14 h Rencontre avec les responsables du dossier d’auto-évaluation du programme de maîtrise en océanographie

Jean-Claude Brethes, professeur et président de l’Assemblée institutionnelle

Denis Chabot, chercheur à l’Institut Maurice-Lamontagne

Jean-Pierre Chenut, professeur et directeur du Comité des programmes

Vladimir Koutitonsky, professeur

Jean-François Ouellet, représentant socio-économique

Jean-Marie Sévigny, chercheur, Institut Maurice-Lamontagne

Bruno Zarkadjan, professeur

14 h 45 Rencontre avec des étudiants inscrits à la maîtrise ou au doctorat en océanographie

Andréanne Bastien

Sophie Breton, membre du comité d’auto-évaluation

Juliette Fauchot

Julien Lambray de Souza, membre du comité d’auto-évaluation

Marie-Hélène Michaud

Robert Vaillancourt

Alexandra Valentin

15 h 15 Rencontre avec des membres du comité institutionnel qui a traité le dossier d’évaluation du programme de maîtrise en océanographie

Ronald Plante, professeur au département d’économie et de gestion

Jean A. Roy, professeur au département des sciences de l’éducation

Jean Ferron, professeur au département de biologie, de chimie et de sciences de la santé

16 h Séance de travail de la Commission 

16 h 30 Bilan de la journée avec la Direction de la formation

 

Annexe V Liste des rapports produits par la Commission de vérification de l’évaluation des programmes depuis 2001

Établissement Dossiers examinés

Université de Montréal  Philosophie, mathématiques et statistique, bibliothéconomie et sciences de l’information

Université Laval  Architecture, sciences géomatiques, sociologie

Université Bishop’s  Histoire, physique

Université Concordia  Cinéma, psychologie, sciences de l’exercice

Université du Québec à Rimouski  Études littéraires, géographie, océanographie