Mécanisme et procédures d’évaluation des projets de programmes

 

 

 

 

 

Commission d’évaluation des projets des programmes


2001

 

 

Août 2001
Numéro de publication : 2001-05
Dépôt légal – 3e trimestre 2001
Bibliothèque nationale du Québec
Bibliothèque nationale du Canada
ISBN 2-89574-002-X

© Conférence des recteurs et des principaux des universités du Québec, 2001.



TABLE DES MATIÈRES

Introduction

1 Les catégories de nouveaux programmes


Introduction

Les universités québécoises ont convenu de confier à la Conférence des recteurs et des principaux des universités du Québec (CREPUQ) le soin d’assurer l’évaluation de la qualité des nouveaux programmes conduisant à un grade de baccalauréat, de maîtrise ou de doctorat, une fois le projet de programme approuvé par l’instance compétente de l’université concernée.

Le mandat de la Commission d’évaluation des projets des programmes (CEP) a été établi dans le cadre de discussions entre le Conseil des universités et la CREPUQ, qui ont abouti, en 1988, à l’élaboration d’un protocole d’évaluation. Ce protocole n’a pas été substantiellement modifié depuis la disparition du Conseil des universités, sauf dans certaines de ses dispositions (le nombre d’experts par exemple) et la Commission a continué de s’en inspirer dans la conduite de ses travaux.

Mais différents facteurs, notamment les compressions budgétaires et l’évolution rapide des besoins de formation de la main-d’œuvre, ont conduit les universités à réorganiser un bon nombre de leurs activités d’enseignement ou à en offrir de nouvelles. Le protocole d’évaluation de la qualité des programmes s’avérait mal adapté à ce nouveau contexte, car il prévoit l’examen d’éléments sur lesquels les universités ont déjà fourni certaines garanties de qualité; par ailleurs, les délais que nécessite son application peuvent être trop importants.

Compte tenu du partage des responsabilités, entre la CREPUQ et le MEQ, en matière d’évaluation des nouveaux programmes, c’est après concertation avec ce dernier que le Comité des affaires académiques de la CREPUQ a procédé à une révision de la procédure d’évaluation de la qualité en identifiant deux catégories de nouveaux programmes qui requièrent une évaluation par la Commission. Ce travail a été réalisé en étroite collaboration avec la CEP. Par ailleurs, le MEQ a  convenu de transmettre annuellement à la CREPUQ la liste des programmes ayant fait l’objet de modifications.

La CEP est composée de huit membres nommés par le Comité des affaires académiques pour un mandat renouvelable de trois ans. On trouvera à l’annexe I les « Règles de composition et de fonctionnement de la Commission d’évaluation des projets de programmes ». Dans l’exercice de son mandat, la Commission jouit d’une autonomie pleine et entière. Les avis qu’elle rend s’adressent aux établissements concernés et ne sont soumis à l’approbation d’aucune instance de la CREPUQ.

1 Les catégories de nouveaux programmes

Deux catégories de nouveaux programmes requièrent une évaluation par la Commission(1). Il s’agit : 1) des nouveaux programmes requérant une évaluation complète et 2) des nouveaux programmes requérant une évaluation modulée. Sans être exhaustifs, les types de nouveaux programmes présentés plus bas précisent les contours de chacune de ces catégories.

1.1   Les nouveaux programmes requérant une évaluation complète

La Commission applique la procédure d’évaluation compète lorsque :

1.2   Les nouveaux programmes requérant une évaluation modulée

La Commission applique la procédure d’évaluation modulée lorsque :

Cette seconde catégorie regroupe les nouveaux programmes pour lesquels l’université a déjà, dans une certaine mesure, fait la preuve de sa capacité à les offrir. Bien qu’une évaluation de la qualité du programme demeure nécessaire, il est souhaitable d’en moduler les paramètres.

2      La procédure d’évaluation complète

Cette procédure prévoit la consultation d’experts qui, dans le cadre de leur mandat, produisent des rapports d’évaluation, habituellement à la suite d’une visite de l’université. La Commission formule un avis en tenant compte des opinions des experts et le transmet à l’Université concernée. Si elle le juge à propos, la Commission peut alléger le processus d’évaluation, par exemple en organisant une visite virtuelle ou encore en limitant le nombre des experts.

Le dossier de présentation du projet de programme est transmis au secrétariat, en 20 exemplaires, accompagné d’une liste d’experts susceptibles d’évaluer le projet. Ces documents sont déposés à la Commission. Les universités sont invitées à utiliser la « Liste des informations que devrait contenir le dossier de présentation d’un projet de programme soumis à la procédure complète » qui constitue l’annexe II du présent document.

La Commission procède à l’évaluation du projet en suivant les étapes décrites ci-après et en s’appuyant sur les « Éléments d’évaluation » présentés à l’annexe III.

2.1   L’étude préliminaire

La Commission effectue une première analyse du projet de programme présenté par une université.

Au besoin, la Commission invite des représentants de l’établissement promoteur à rencontrer ses membres en vue d’obtenir les renseignements ou éclaircissements nécessaires sur des éléments ou aspects d’un projet de programme.

À l’issue de son étude préliminaire d’un projet, la Commission prend toujours l’une ou l’autre des deux décisions suivantes :

Dans ce cas, l’établissement est alors invité à le réviser et à le soumettre de nouveau dans une version modifiée. La Commission prend cette décision sans consulter d’experts, mais chaque fois qu’elle prend pareille décision, les raisons qu’elle invoque pour justifier son geste portent moins sur la qualité du programme que sur la présentation du dossier : la Commission pense que les vices de forme du dossier empêcheront non seulement ses membres, mais aussi les experts de faire une bonne évaluation de sa qualité. Dans les cas de retour d’un projet, une lettre — signée du président et expliquant les motifs de la décision de la Commission — est expédiée à l’établissement.

Compte tenu de la nature du projet ou de la teneur des questions qu’il soulève, la Commission détermine que cette consultation prendra l’une ou l’autre des deux formes suivantes :

~       les experts sont consultés sur dossier seulement et n’ont pas à faire de visite de l’établissement;

~       les experts effectuent une visite de l’établissement.

La Commission dresse, le cas échéant, une liste de questions additionnelles qu’elle porte à l’attention des experts qu’elle consultera. Si nécessaire, la Commission sollicite également des informations additionnelles — la demande de complément d’information — auprès de l’université. Elle constitue enfin une liste d’experts à partir des propositions soumises par l’université concernée et de celles qu’auront formulées les membres de la Commission lors de l’étude préliminaire.

Pour chacun des projets qui lui sont soumis, la Commission confie à l’un de ses membres — le « pilote » — le soin d’assurer le suivi de son évaluation.

Dans les meilleurs délais, le secrétariat transmet à l’université, s’il y a lieu, la demande de complément d’information, la liste des experts possibles et, pour son information, les questions additionnelles qu’elle adresse aux experts, le cas échéant.

La liste des experts possibles est soumise à l’université pour consultation. Celle-ci dispose de 15 jours pour réagir à cette liste. Après réception de la réaction de l’université à cette liste, le secrétariat de la Commission lance les opérations relatives à l’organisation de la consultation des experts. À cette fin, il constitue le groupe d’experts en prenant en compte les remarques de l’université sur la liste soumise. Le nombre minimal d’experts consultés est de trois; au moins l’un d’entre eux provient de l’extérieur du Québec. Il est entendu qu’un expert est une personne dont les compétences sont reconnues dans la discipline du programme proposé, et qui n’a aucun lien avec l’université concernée; si, exceptionnellement, tel devait être le cas, il en serait fait mention.

Il appartient à l’établissement promoteur de veiller à ce que la réponse à la demande de complément d’information parvienne à la Commission dans les deux mois suivant son expédition (ou, exceptionnellement, lors de la visite si celle-ci se tient à l’intérieur du délai de deux mois), pour que les experts en soient saisis en temps et pour que la Commission puisse en tenir compte dans le cadre de l’étude approfondie du projet.

2.2   La visite de l’université et les rapports des experts

Le secrétariat de la CREPUQ fixe la date de la visite et en informe l’établissement promoteur qui prend en charge l’organisation de la visite des experts sur le campus.

Les experts, après avoir accepté d’être consultés, reçoivent le dossier de présentation préparé par l’université, la demande de complément d’information, la réponse obtenue de l’université ainsi que les questions additionnelles qui leur sont adressées.

Le « pilote » et un membre du secrétariat accompagnent les experts lors de la visite de l’université, en vue d’assurer les liens nécessaires entre les experts et la Commission.

Dans son rapport, chaque expert est invité à utiliser les « Éléments d’évaluation sur lesquels s’appuie l’avis de la Commission dans le cadre de la procédure complète » (voir l’annexe III), à répondre aux questions additionnelles formulées par la Commission au cours de l’étude préliminaire et à présenter ses recommandations; le cas échéant, il regroupe dans une partie séparée les commentaires dont il souhaite conserver la confidentialité.

Au besoin, les experts peuvent effectuer séparément leur visite à l’établissement, dans la mesure où l’organisation de ces visites s’en trouverait facilitée.

2.3   Le comité restreint

Le « pilote », avec l’aide du président de la Commission et du secrétariat — lesquels constituent le comité restreint —, procède à l’analyse de l’ensemble des informations concernant le projet soumis à l’évaluation — dossier de présentation, réponse à la demande de complément d’information, documents déposés lors de la visite, rapports des experts — le tout, à la lumière des commentaires formulés par la Commission lors de l’étude préliminaire. Il met en évidence les points majeurs et formule les conditions, suggestions et autres considérations qui pourraient faire partie de l’avis de qualité. Ces conclusions sont regroupées dans une esquisse de projet d’avis, laquelle est transmise aux membres de la Commission avant la réunion où sera formulé le projet d’avis de qualité.

2.4   L’étude approfondie

À la lumière des rapports des experts et de l’esquisse de projet d’avis, la Commission convient du contenu de son projet d’avis, lequel est ensuite rédigé par le secrétariat.

2.5   L’adoption de l’avis

Normalement, la Commission adopte son avis de qualité lors de la réunion suivant celle où a eu lieu l’étude approfondie.

Il est entendu qu’aux fins de l’élaboration de l’avis de qualité, la rédaction de la « présentation sommaire » du projet de programme, qui en constitue la première partie, est confiée à l’université. Le compte rendu de l’« étude préliminaire » se borne à présenter la demande de complément d’information, la liste des experts consultés et les questions additionnelles qui leur ont été soumises, enfin les détails concernant la visite. Il est suivi de l’analyse de la Commission et de sa recommandation.

L’avis de la Commission est consigné dans un document d’une dizaine de pages, auquel sont annexés les documents suivants : demande de complément d’information; complément d’information; coordonnées des experts consultés; liste des éléments d’évaluation; informations complémentaires déposées dans le cadre de la visite de l’université; rapports d’évaluation des experts, à l’exclusion de la partie confidentielle de ces rapports, le cas échéant.

L’avis de la Commission est transmis à l’université, dans les meilleurs délais. Il appartient ensuite à l’université de lui donner les suites appropriées.

3      La procédure d’évaluation modulée

La procédure d’évaluation modulée prévoit que la Commission s’appuie sur un nombre limité d’éléments d’évaluation pertinents et que le processus est allégé en regard des exigences de la procédure complète. Après l’examen du dossier de présentation, la Commission organise une rencontre avec les promoteurs du projet de programme. Cette rencontre permet à la Commission d’obtenir les clarifications et précisions nécessaires sur le projet de programme. Le processus ne prévoit pas la consultation d’experts. Exceptionnellement, la Commission peut cependant inviter un spécialiste de la discipline à participer, à titre de consultant, à la rencontre avec les promoteurs. L’intervalle maximum entre l’examen du dossier et la transmission de l’avis est de quatre mois, en excluant juillet et août.

Le dossier de présentation du projet de programme est transmis au secrétariat, en 15 exemplaires, et déposé à la Commission d’évaluation des projets de programmes. Les universités sont invitées à utiliser la « Liste des informations que devrait contenir le dossier de présentation d’un projet de programme soumis à la procédure d’évaluation modulée », qui constitue l’annexe IV du présent document.

La Commission procède à l’évaluation du projet en suivant les étapes décrites ci-après et elle s’appuie sur les éléments d’évaluation présentés à l’annexe V.

3.1   L’examen du dossier

La Commission procède d’abord à l’examen du dossier du projet de programme. À l’issue de cet examen, la Commission décide soit de retourner le dossier à l’université soit de poursuivre l’évaluation de la qualité du projet de programme. Dans ce cas, elle procède à la désignation d’un « pilote » et, s’il y a lieu, à l’identification des questions qui seront soulevées auprès des promoteurs. Dans les jours qui suivent la réunion, ces questions sont transmises à l’université.

3.2   La rencontre avec les promoteurs

La Commission rencontre les promoteurs lors de la réunion qui suit l’examen du dossier; cette rencontre permet à la Commission d’obtenir des précisions sur le projet de programme. À cette occasion, les promoteurs sont invités à déposer tout document complémentaire jugé pertinent. Exceptionnellement, la Commission peut inviter un spécialiste de la discipline à participer, à titre de consultant, à la rencontre avec les promoteurs. L’université est consultée sur le choix du spécialiste.

Lorsque les promoteurs du projet se sont retirés, la Commission prend une décision et identifie les grandes lignes de son avis. Un projet d’avis, auquel pourra être jointe une synthèse des précisions apportées par les promoteurs lors de la rencontre avec la Commission, est préparé pour adoption lors de la réunion subséquente.

3.3   L’adoption de l’avis

La Commission adopte son avis de qualité; dans tous les cas, il est consigné dans un court document qui est transmis à l’université à qui il appartient de lui donner les suites appropriées.


Annexes

I       Règles de composition et de fonctionnement de la Commission d’évaluation des projets de programmes

Composition de la Commission

Les membres sont nommés pour des mandats de trois ans par le Comité des affaires académiques de la CREPUQ; ces mandats sont renouvelables.

Les nominations sont faites sur la base des considérations suivantes :

L’appartenance institutionnelle est la suivante :

Université Concordia 1
Université Laval 1
Université McGill 1
Université de Montréal  
(incluant HEC et École Polytechnique) 2
Université du Québec 2
Université de Sherbrooke 1
  8

L’appartenance disciplinaire est la suivante :

Arts et lettres 1
Sciences naturelles et génie 3
Sciences humaines 3
Sciences de la santé 1
  8

                                                   

Fonctionnement de la Commission

Une fois nommés, les membres siègent à titre personnel, et non à titre de représentant d’une université.

La présidence est assurée par un membre de la Commission choisi par l’ensemble des membres. La durée du mandat à la présidence est d’un an et il est renouvelable.

Le quorum est de cinq membres.

Les délibérations de la Commission sont confidentielles et les procès-verbaux de ses réunions sont réservés à ses membres.


II     Liste des informations que devrait contenir le dossier de présentation d’un projet de programme soumis à la procédure d’évaluation complète

Le dossier de présentation d’un projet de programme est constitué par l’université. Ce document doit servir pour l’évaluation de la qualité assurée par la Commission d’évaluation de projets de programmes de la CREPUQ et pour l’évaluation de l’opportunité effectuée par le Comité des programmes du ministère de l’Éducation. Aux fins de l’évaluation de la qualité, il doit être acheminé au secrétariat de la CREPUQ en 20 copies.

Le dossier de présentation comprend les informations suivantes :

Il est par ailleurs recommandé de produire en annexe les lettres d’appui reçues par les promoteurs du projet ainsi que la liste des personnes consultées au cours du processus d’élaboration du projet.

Bien entendu l’université peut joindre au dossier de présentation de son projet de programme toute autre information qu’elle jugerait utile de transmettre.

L’université dresse, dans un document séparé, une liste d’experts susceptibles d’examiner le projet de programme. Il s’agit de personnes dont les compétences sont reconnues dans la discipline du programme proposé. Cette liste comprend les coordonnées d’experts en poste au Québec et à l’extérieur du Québec. Il est entendu que les experts n’ont aucun lien avec les membres de l’unité d’où émane le projet.


III    Éléments d’évaluation sur lesquels s’appuient l’avis de la Commission dans le cadre de la procédure complète

La qualité d’un programme repose sur l’adéquation entre les objectifs de ce programme et les moyens retenus pour atteindre ces objectifs; pour les fins de l’évaluation, ces moyens ont été regroupés selon les quatre catégories d’éléments énumérés ci-après.

Le cadre

Spécifique à chaque université, il trouve son expression dans les structures et les règlements de l’établissement et couvre les éléments suivants :

Les activités

L’adéquation entre les objectifs d’un programme et les activités exigées demeure la pierre angulaire de l’évaluation de qualité. La qualité d’un programme s’exprime également dans la pertinence scientifique de la formation proposée.

De façon plus spécifique, dans le cas des programmes de 1er cycle et des programmes de 2e cycle de type professionnel, il y aura lieu de considérer :

S’il s’agit de programmes de 2e cycle de type recherche et de programmes de 3e cycle, devront être pris en considération :

Les ressources professorales

La qualité d’un programme repose largement sur les qualifications et les productions des membres du corps professoral appelés à apporter leurs contributions.

De façon générale, seront prises en considération :

Les autres ressources humaines

Seront également prises en considération :

Les ressources matérielles

Les ressources matérielles doivent apporter aux étudiants un support adéquat relié aux activités du programme. Plus particulièrement, seront prises en considération les ressources suivantes :

En ce qui concerne les programmes de 2e et 3e cycles, il sera également tenu compte :


IV     Liste des informations que devrait contenir le dossier de présentation d’un projet de programme soumis à la procédure d’évaluation modulée

Dans son dossier de présentation, l’université fait état des motifs qui, selon elle, justifient que le projet de programme soit examiné dans le cadre de la procédure modulée et précise la catégorie dans laquelle elle situe son projet.

L’université peut joindre au dossier de présentation de son projet de programme toute autre information qu’elle jugerait utile de transmettre. Le dossier doit être produit en 15 exemplaires.

Lorsqu’une université se propose de dispenser de façon autonome et sans le modifier un programme d’une autre université qu’elle offre par extension, le dossier de présentation doit comprendre les informations suivantes :

Lorsque des universités proposent qu’un programme existant devienne un programme conjoint ou un programme inter universitaire ou un programme géré selon une autre forme de collaboration; ou encore lorsqu’une université se joint à des universités qui offrent déjà un tel programme, le dossier de présentation doit comprendre les informations suivantes :

Lorsqu’une université se propose de dispenser un nouveau programme, fondé sur des activités existantes représentant une proportion d’environ deux tiers des crédits du programme, mais agencé de manière à répondre à des besoins nouveaux, le dossier de présentation doit comprendre les informations suivantes :


V      Éléments d’évaluation sur lesquels s’appuie l’avis de la Commission dans le cadre de la procédure modulée

Pour les fins de l’évaluation des projets de programmes soumis à la procédure modulée, la Commission prend en considération un nombre limité d’éléments d’évaluation.

Lorsqu’une université se propose de dispenser de façon autonome et sans le modifier un programme d’une autre université qu’elle offre par extension, l’avis de la Commission porte sur :

Lorsque des universités proposent qu’un programme existant devienne un programme conjoint ou un programme inter universitaire ou un programme géré selon une autre forme de collaboration; ou encore si une université se joint à des universités qui offrent déjà un tel programme, l’avis de la Commission porte sur :

Lorsqu’une université se propose de dispenser un nouveau programme, fondé sur des activités existantes représentant une proportion d’environ deux tiers des crédits du programme, mais agencé de manière à répondre à des besoins nouveaux, l’avis de la Commission porte sur :


VI     Tableau synthèse des procédures d’évaluation

PROCÉDURE D’ÉVALUATION COMPLÈTE

Type de programme

Contenu du dossier déposé
par l’Université

Éléments évalués par la CEP
dans son Avis

§    L’université (les universités) se propose(ent) de dispenser un nouveau programme conduisant à un grade de baccalauréat, de maîtrise ou de doctorat

§    L’université se propose de dispenser de façon autonome et en le modifiant substantiellement, un programme d’une autre université qu’elle offre déjà par extension, l’accord de cette dernière étant acquis en ce qui concerne le détachement du programme

§    Identification du programme

§    Domaines d’études du programme

§    Motifs de création du programme

§    Objectifs généraux et spécifiques du programme

§    Cadre

§    Activités exigées

§    Ressources professorales

§    Autres ressources humaines

§    Ressources matérielles

§    Budget

§    Lettres d’appui

§    Liste des personnes consultées

§    Pertinence scientifique de la formation proposée

§    Cadre : condition d’admission, durée du programme et régime des études, mode d’évaluation des étudiants, mode de gestion du programme

§    Activités : l’adéquation entre les objectifs du programme et les activités proposées

§    Ressources professorales

§    Autres ressources humaines

§    Ressources matérielles

 

 

 

 

 

PROCÉDURE D’ÉVALUATION MODULÉE

Type de programme

Contenu du dossier déposé
par l’Université

Éléments évalués par la CEP
dans son Avis

§    L’université se propose de dispenser de façon autonome et sans le modifier un programme d’une autre université qu’elle offre par extension

§    Brève présentation du programme (détaillant les objectifs et les activités)

§    Motifs d’implantation du programme

§    Description des clientèles (inscription, abandon, diplomation)

§    Ressources professorales

§    Autres ressources humaines

§    Ressources matérielles

§    Budget

§    Consentement des parties et, le cas échéant, les rapports d’experts, les lettres d’appui ainsi que la liste des personnes consultées

§    Ressources professorales

§    Autres ressources humaines

§    Ressources matérielles

 

PROCÉDURE D'ÉVALUATION MODULÉE

Type de programme

Contenu du dossier déposé
par l’Université

Éléments évalués par la CEP
dans son Avis

§    Les universités proposent qu’un programme devienne un programme conjoint ou un programme interuniversitaire ou un programme géré selon une autre forme de collaboration; ou encore une université se joint à des universités qui offrent déjà un tel programme

§    Brève présentation du programme (détaillant les objectifs et les activités)

§    Motifs de mise en place du programme

§    Mode de gestion du partenariat (interface entre les établissements, impacts pour les étudiants)

§    Ressources professorales du nouveau partenaire

§    Ressources matérielles du nouveau partenaire

§    Budget

§    Consentement des parties et, le cas échéant, les rapports d’experts, les lettres d’appui ainsi que la liste des personnes consultées

§    Mode de gestion du partenariat

§    Ressources professorales réunies par le nouveau partenaire

§    Ressources matérielles réunies par le nouveau partenaire

§    L’université se propose de dispenser un nouveau programme, fondé sur des activités existantes représentant une proportion d’environ deux tiers des crédits du programme mais agencées de manière à répondre à des besoins nouveaux

§    Identification du programme

§    Domaine(s) d’études

§    Motifs de création du programme

§    Objectifs généraux et spécifiques

§    Cadre

§    Activités exigées

§    Ressources professorales

§    Rapports d’évaluation apportant un éclairage sur le projet

§    Lettres d’appui, liste des personnes consultées

§    Pertinence scientifique de la formation proposée

§    Cohérence du programme

§    Adéquation entre les objectifs du programme et les activités proposées

§    Capacité des ressources professorales à offrir le programme

 


[1]  Il importe de noter qu’habituellement, les programmes issus de la révision ou de la réorganisation d’activités de formation ne sont pas soumis au processus d’évaluation de la qualité de la Commission. Il convient par ailleurs de signaler, pour mémoire, que le ministère de l’Éducation a convenu de transmettre annuellement à la CREPUQ une liste des programmes ayant fait l’objet de modifications. (Retour au texte)

[2]  L’Université du Québec, en vertu de l’entente qu’elle a conclue avec la ministre de l’Éducation, le 4 mai 1998, peut soumettre à la procédure prévue pour les cas d’extension les projets d’offrir dans certaines constituantes, sous la forme de programme conjoint, des programmes déjà offerts dans d’autres constituantes. (Retour au texte)

[3]  Lorsque la mise en place d’un programme professionnel résulte d’une opération collective menée à la suite, notamment, d’une révision des dispositifs régissant l’accès à une profession, il est entendu que le Comité des affaires académiques verra à préciser, au moment opportun, les modalités de l’évaluation de la qualité de ces projets de façon à ce qu’elles soient adaptées au contexte particulier de la formation professionnelle visée. (Retour au texte)