中谷 美南子

実用重視の評価(Utilization Focused Evaluation)は、評価界の中における一大グループの評価者がその実践の基盤として依拠している考え方であり、DEもこの流れを汲む。そして、これも我らがマイケルが40年以上前から自著で唱えてきた、「評価はつかえてなんぼ」という評価の重要なプリンシプルなのである。

 評価は、目的を果たすために実施される。従って、「実用重視の評価」という言葉を聞くと、「そもそも実用重視ではない評価などが存在するのだろうか」と驚く読者もいるかもしれない。でも、評価の短い歴史を振り返ると、実用性の視点からは合格点がとれない評価が数多く実施されてきたとともに、評価結果の活用は長年、評価界にとっての大きな課題であったことがわかる。

 例えば、こんな評価にまつわる体験談を聞いたことはないだろうか。

 ある事業が資金提供者の希望もあって評価を実施することとなった。客観性を担保するために、外部評価者が選ばれ、その評価者の指示のもとに事業担当者はアンケートやヒアリング調査、プロジェクトデータの収集などの対応に追われ、疲弊した。集められた情報は分析され、評価結果として報告書にまとめられたが、いざその内容を読んでみたところ、そもそも自分たちが「知りたい」ことについて触れていなかった、あるいは、報告書が提出されたタイミングが、次期事業計画やその他重要な意思決定を行う時期からはずれていた。その結果、事業実施者は大変な思いをしたわりには、使い方がわからない評価報告書を事務所の他の資料と一緒にしまい込み、そして時間がたち、評価が行われた事実さえ忘れ去られていくーー。

 このような体験は、古今東西本当によくある話で、費用だけではなく、事業実施者にとって時間や労力もかかる割には役に立たない評価が数多く実施されてきた蓄積が、評価に‟嫌われモノ“のレッテルが貼られてしまうきっかけとなった。

 実際、1960年代に評価が飛躍的に発展した米国においても、1970年代から80年代においては、当時主流だった実験的及び準実験的デザインによる評価に対し、「分析に時間がかかりすぎて意思決定に必要な情報をタイムリーに提供できない」との批判が高まった。また1990年代においては、成果重視マネージメント( Results Based Management )の流れを受けた米国をはじめ、欧州、カナダ、オーストラリアなどの諸国においては、実績測定( Performance Measurement )が制度化され、事業のアカウンタビリティは評価ではなく、事業実施者が自ら行う実績測定のデータをもって果たす傾向が強くなっていった。

 このような状況に対して、一番の危機感をもったのは、評価者自身たちだった。どのように技術的に質の高い精緻な評価を実践したところで、その内容が事業実施者にとって活用できないものである限り、評価の付加価値を高めることはできず、評価界は先細りになってしまう。

 こういった潮流の中で、我らがマイケルは1978年に初めて『実用重視の評価(Utilization-focused Evaluation)』の第1版を出版し、以後2008年に第4版を出すまで改訂を続ける。本著の中でマイケルは、‟「実用重視の評価」は、すべての評価はその有用度と実際の活用の度合いによって判断されるべきという前提にたち、そのために評価者は評価のすべての工程において、いかに評価の活用に影響を及ぼすかということを念頭におきながら、慎重に評価をファシリテートすることだ“と述べている。そして、そのためにはまず「評価の主たる利用者」を特定し、評価の目的から評価基準、評価手法やスケジュールにおいてまで、すべてその「評価の主たる利用者」がこれらの評価の設計に関わる意思決定を行う。

 では具体的にはどのようなものなのか。「実用重視の評価」の基本手順は、以下の12の基本ステップ[1]で構成されている。なお、これらのステップはすべて順番どおり進めるのではなく、ステップ間をいったりきたりしながら進められるものと認識されるべきものである。

 評価のための準備
ステップ1 事業者側の評価のレディネス(実施可能性)を判断する。
ステップ2 評価者側のレディネス(実施可能性)を判断する。
ステップ3 「評価の主たる利用者」を特定する。
ステップ4 状況分析を行う。
ステップ5 「評価の主たる活用方法」を特定する。
 評価の設計
ステップ6 評価の焦点を絞る。
ステップ7 評価デザインを決定する。
ステップ8 評価結果の活用をシミュレーションする。
 評価の実施
ステップ9 データ収集を行う。
ステップ10 データ分析を行う。
ステップ11 活用を促すよう、ファシリテーションを行う。
 振り返り
ステップ12 メタ評価を行う。

 ステップ6,7,9,10あたりはスタンダードの評価と一緒だが、「実用重視の評価」の特徴としては、ステップ3の「評価の主たる利用者」やステップ5の「評価の主たる活用方法」の特定が、評価の設計の前に行われることだ。また、実際評価のデザインを決定した(ステップ7)あとでも、評価結果の活用をシミュレーションし(ステップ8)、データ収集に入る前に、本当にそのデータが必要なのか、検討する手順を入れている点も興味深い。

 最後に、「実用重視の評価」の考え方の中で、その後DE(発展的評価)にも脈々と引き継がれる大切なことをハイライトしたい。それは、評価における評価者の役割は、何を差し置いても、「評価の主たる利用者」が評価の意思決定を行い、その活用を高めるためのファシリテーターであるという点である。その理由は、評価の活用を高める一番の要因は、「人間的要素」すなわち「評価とそれがもたらす発見に個人的な関心を持つ特定の人物や集団の存在」が挙げられ、そのような人やグループを組織の中で特定し、評価に関して育成、活用を促進するところまでもっていくのが評価者の役割だと、マイケルは説く。なかなか評価者にとっては高いハードルが設定されたが、この「ファシリテーターとしての評価者」のアイディアを気に入ってしまったのか、その後マイケルは2018年に『Facilitating Evaluation』という新刊も発表している。そして今となっては、使ってもらえる評価を実践したい評価者にとって、評価の設計やデータの収集分析能力と同じくらい、いやむしろそれ以上に大事なスキルセットとして、ファシリテーション能力が必須となってしまった。

[1] この12ステップはRicardo Ramirez、Dal Brodhead “Utilization Focused Evaluation : A Primer for Evaluators”(2013)がマイケルのテキストから抽出したものから引用。マイケルは2012年に“Essentials of Utilization-Focused Evaluation”を出版し、改訂した手順として17のステップを紹介している。