Un article récent de la New York Review of Books décrit le poids de plus en plus pesant que la bureaucratisation fait peser sur les universités britanniques. On ne peut que recommander la lecture de cet article, qui en analyse de manière fine les origines, les mécanismes et les dangers. Il incite à s'interroger sur les évolutions en cours en France, à la lumière de l'exemple britannique.
La bureaucratisation qui est décrite prend son origine dans une volonté légitime de rationaliser et de rendre plus efficace la dépense publique. Il est pour cela nécessaire de disposer d'indicateurs quantitatifs permettant d'évaluer le service qui est effectué, et ainsi de suivre l'évolution et l'amélioration de l'action publique.
La recherche et les universités n'échappent pas à l'exigence d'efficacité, qui concerne l'ensemble de l'action publique. La plupart des organisations laissées à elles-même et sans pression extérieure, peuvent s'installer dans une certaine torpeur peu propice au dynamisme et à l'efficacité. C'est particulièrement le cas des universités et des organismes de recherche. D'une part parce que leur organisation institutionnelle en France, basée sur l'élection, tend à produire des dirigeants consensuels peu à même de mener des politiques exigeantes. D'autre part parce que la recherche est une activité bien particulière, qui exige beaucoup d'énergie et de dévouement, et qui s'accomode bien mal d'une organisation sclérosée.
Le problème est qu'il est difficile de trouver des indicateurs vraiment adaptés, dans ce cadre, aux activités académiques. Plus précisément certains indicateurs donnent des indications utiles sur les activités de recherche, mais ils deviennent dangereux quand ils sont utilisés comme objectifs [1].
C'est le cas pour l'évaluation des formations. On peut penser que la qualité de l'insertion professionnelle -- temps nécessaire pour que les étudiants trouvent un emploi, niveau de salaire et de qualification de ces emplois -- sont de bons indicateurs de la qualité des formations. Mais utiliser ces indicateurs comme objectifs conduit à privilégier dans la formation les éléments favorisant l'insertion professionnelle, en particulier les compétences professionnelles immédiatement utilisables. Il y a là un véritable danger, dans la mesure où ce sont au contraire la qualité de la formation intellectuelle et des connaissances de base qu permettront aux étudiants d'aujourd'hui de s'adapter à l'évolution de leur futur métier dans les vingt, trente ou quarante prochaines années. Une économie moderne a besoin d'acteurs à l'esprit solidement formé, aux compétences et aux connaissances larges et variées, pour pouvoir s'adapter aux évolutions, nécessairement imprévisibles, de demain.
Le problème est plus sérieux encore pour la recherche. Les indicateurs de production scientifique sont essentiellement de nature bibliométrique, ils mesurent le nombre d'articles publiés dans tel ou tel groupe de revues scientifiques. Ces indicateurs sont utiles lorsque ils sont bien construits -- donc adaptés aux spécificités de chaque discipline -- et il y a déjà là une difficulté sérieuse. Mais lorsqu'ils deviennent des objectifs fixés aux établissements voire, pire, aux chercheurs eux-mêmes, ils présentent un danger redoutable : transformer les chercheurs en spécialistes de la publication, privilégiant les stratégies leur permettant de publier le plus d'articles dans les revues les plus cotées. Cette attitude est orthogonale à celle d'un véritable chercheur, qui doit privilégier les questions profondes, les cheminements intellectuels originaux voire risqués, qui ne conduisent pas toujours à une reconnaissance immédiate et ne permettent pas de publier rapidement beaucoup d'articles dans les meilleures revues.
Il faut d'ailleurs noter que, contrairement à ce qu'on lit parfois, les indicateurs bibliométriques individuels ne sont JAMAIS utilisés dans les grandes universités pour évaluer le travail des chercheurs. Ce sont au contraire les avis des meilleurs spécialistes qui font foi, et qui sont utilisés pour les décisions importantes (recrutements, promotions). Au niveau des laboratoires ils doivent être utilisés avec précaution ; les comparaisons entre disciplines différentes sont très délicates, et, dans une discipline donnée, des indicateurs bibliométriques ne peuvent pas être utilisés lorsque des institutions "trichent", par exemple en donnant des incitations individuelles fortes à leurs chercheurs pour publier dans telle ou telle liste de journaux, ce qui influe notablement sur les indicateurs.[2] On pourra trouver une analyse distanciée de l'utilisation des indicateurs bibliométriques dans un rapport récent de Adler, Ewing et Taylor [3].
On peut penser qu'on a pour l'instant largement échappé, en France, à la dérive bureaucratique que souligne en Grande-Bretable l'article de la New York Review. Il faut néanmoins rester vigilant pour éviter qu'une telle dérive ne se produise dans le futur. Pour les formations, le critère essentiel d'évaluation devrait rester la qualité de la formation intellectuelle. Pour la recherche, si les indicateurs bibliométriques sont utiles à une échelle agrégée, il doivent être utilisés avec soin. Au niveau individuel il faut les proscrire dans certaines disciplines au moins, et leur préférer une véritable évaluation scientifique des travaux, effectuée si possible par les meilleurs spécialistes.
Notes.
[1] C'est une exemple typique de la "loi de Goodheart" : un bon indicateur cesse de l'être lorsqu'il est utilisé comme objectif. Par exemple, la production d'acier ou d'électricité pouvait être, au cours du XXe siècle, un bon indicateur du niveau de développement économique d'un pays. Dès lors que ces indicateurs sont devenus des objectifs, comme en URSS dans les années 30, ils perdaient leur qualité en tant qu'indicateurs.
[2] On pourra consulter cet article sur ce thème (disponible aussi sous le titre "Evaluer la recherche n'est pas une science exacte" sur cette page).
[3] Citation Statistics. Robert Adler, John Ewing, and Peter Taylor. Statist. Sci. Volume 24, Number 1 (2009), 1-14. Disponible ici.
Inscription à :
Publier les commentaires (Atom)
Articles
Certainly there is the same discussion in the US from time to time. Clearly certain bureaucratic forces, including both some administrators and some journal publishers, abuse these so-called "performance metrics". To the extent that these metrics are meant as a substitute for peer review, they obviously won't work.
RépondreSupprimerOn other other hand (1), researchers should be evaluated from time to time somehow. It really bugs me when evaluators claim to be against shallow performance metrics, yet in actual practice are heavily influenced by the crudest and most obvious metric of all, simply counting publications. If they deny it, then you can't get them to do something better. In any case, it seems okay, maybe also inevitable, to use some performance metrics to assist with peer review. (Again, definitely not to replace peer review.) If so, why not try to refine them.
On the other hand (2), the New York Review of Books takes a tone of blaming American management theories and consulting firms, and summarizes these American methods as "bureaucratization". Yes, American consultants and managers are a source of all sorts of bad ideas. But they can also be a source of good ideas; in particular, they sometimes offer good advice to reduce rather than increase bureaucracy. For instance, in my year here in France, I do wonder why there are so many unfinished new buildings and building renovations. People here tend to shrug it off as bureaucratic dysfunction. Maybe I'm in denial about American universities, but my impression is that they have less patience for unfinished construction work. It could be a mistake to circle the wagons and say, "we're a university, so outsiders can't give us any good advice".
Finally, I should say that I am having a wonderful time in France in so many ways, both professionally and otherwise. I do not mean to sound like I'm complaining.
Greg, thanks for your comment.
RépondreSupprimerMy impression is that in the US you're mostly protected from the abuse of bibliometric indicators (eg for individual evaluation), mostly because you have a strong tradition of scientific evaluation with panels, people who actually read the papers, etc. The problem is rather in countries with a less established scientific tradition, like China or Romania (but the UK is an counter-example).
I also completely agree that researchers need to be evaluated. Actually I think that for larger research units, or universities, bibliometric indicators can be useful (but they should be handled with care). For individuals, though, an evaluation by a panel of well-chosen experts (possibly helped by reference letters) is the only serious choice. Of course the experts' opinions are strongly correlated with some bibliometric indicators, but (a) they know the specificities of the subfield they're dealing with (b) they can correct some anomalies, like very good paper published in obscure journals (c) being evaluated by a panel of experts gives better incentives -- you can't cheat them like the indicators.
As for your last comment I completely agree! Here in France we tend to constantly try to reinvent the wheel, rather than looking abroad for examples and ideas that have been tried and tested.
I have to say, the regular promotion system in the United States is somewhat self-serving and mediocre. When the same people evaluate each other year after year, the evaluations fall into routines and biases develop. Some of these biases are very primitive, things like simply counting publications. Others are more insidious, like being biased in favor of one particular research topic. You might hope that people read each others' papers, but often they don't or can't, for various reasons.
RépondreSupprimerWhat saves the system is the job market. Search committees tend to do a better job than promotion committees. Departments also compensate for each others' mistakes, because if one department passes over a good candidate, he's then "money lying on the table" for another department. Departments tend to be competitive and jealous, and this is mostly a good thing. Also the NSF does a better job evaluating research than most promotion committees.
I think that France generally does a good job of evaluating individual faculty members. I don't know the details very well, but the overall results look good to me. Rather, I think that the administrations themselves could take advice from (competent) consultants. It's not exactly that they are reinventing the wheel. Rather there is a certain pessimism, a sense of not expecting very much at the most ordinary level, for things like web sites and building renovations and course schedules.
Greg -- the promotion system in France is probably much worse than in the US, if you look beyond mathematics. For people with university (rather than cnrs) positions, it has two parts, one in the universities, another at the national level for each field. Note that the system is different from the US in that all positions (starting at MCF) are permanent, but to go from MCF to Professor one has to apply again (like in germany) and there is no analog of a tenure-track job.
RépondreSupprimerThe general idea, among the colleagues I know at least, is that what happens at the university level is often totally dysfunctional. At the national level it varies a lot between the fields, I think that for maths it's reasonable, but for instance nobody ever asks for a reference letter from an expert.
As for the job market a version of it works in some fields but not in others, where people are often hired where they have prepared their PhD and most people get a senior position in the place where they have junior one (which, in principle, is not done in maths).
As for your last paragraph, we were talking about different things; it's true that we have a specific problem at the level of university administrations, for reasons that need analyzing (but it would take time).