前稿【DE的評価設計(1)~評価目的と評価設問】では、DEの評価目的と評価設問を特定するためのティップス(ヒント)を提案した。ここでは、評価基準とデータ収集に関するティップスを、DEの実践で得た学びを交えながら、提案する。
③評価基準(evaluation criteria):評価は事実特定と価値判断と定義した場合、事実特定の前に価値判断の基準を提示しないことには、事実特定の結果を評価結果として正当化できない。そして、この価値判断の基準(=評価基準)は、評価を実施するにあたり誰が感じるどの価値観と照らし合わせてこの事業の成否を判断するかを事前に取り決め、関係者間で合意することによって初めて効力をもつ。その際、評価基準ごとの目標水準(standards)なども明確にしておいたほうが、評価の透明性が担保される。
評価基準は、評価ごとに抽出することもできるが、既存の国際的な基準(例:OECDのDAC評価5項目、人道支援の必須基準、持続可能なゴール、等)から引用されることが多い。国際的な基準は、より普遍的な価値観を表していることから、評価基準としての妥当性を訴求するのが容易なのかもしれない。
ただDE(発展的評価)の場合は、イノベーションを支えるお題目があり、大概イノベーションを伴う活動は新たな価値を創出するような取り組みが多い。そのため、既存の基準を評価基準として適用するよりは、評価基準を評価者と事業実施者との協働で新たに抽出することのほうが実用的だったりする[1]。この抽出するプロセスにおいて、関係者が感じている見えない価値を丁寧に言語化し、ファシリテーションを通じて合意を形成し、評価基準とした形までもっていくには、ツールとしてサクセスビジョンワークショップ(リッチピクチャー)やルーブリックが大いに役立つだろう。
④データ収集・分析:データ収集においては、我らがマイケルもケイトも、DEではどのような手法でも適用できると説く。定量的でRCTのような実験的デザインであっても、必要に応じて導入することは可能だ。ただ、国内でのDEの実践経験を踏まえると、大規模で体系的なデータ収集・分析するような評価設計は、DEの場合は少し難しいかもしれないという印象をもつ。
その理由としてはまず、体系的なデータ収集には、当然ながらそれなりの期間を設けて時間も費用もかけながらデータ収集・分析をすることが必要であるため、従来型評価のようにロジックモデルなどのプログラム理論が固定されていて、事前に成果指標のベンチマークなどがきっちり決まっていれば、それをもって準備も進められる。データ収集手法なども、本来は評価者ではなく、事業実施者が事業の設計に組み込み、ベースラインなども仕込んでいるはずだ。
もう一方で、DEのようにイノベーションを対象としている評価は、そもそもプログラム理論が確立されていないことが多いうえに、評価目的、評価設問が変化しうる可能性が高いため、データ収集に「仕込み」をする余裕はまったくない。そのような「仕込み」に注力してしまったら、そのデータを入手するときには既に事業にとって不必要なものになっているかもしれない。集めたデータが無駄になることは、評価者にとって大きなリスクである。
では、DE的評価設計で重要なデータ収集・分析とは何を指すのか。評価にとって必要不可欠な評価結果のエビデンスとなるデータ収集・分析はDEでも大切だが、それと同じくらいに事業をめぐる状況(内部と外部)に係る情報(What)や、それに対しての事業実施者側や評価チーム内での気づき(So What)、そしてそのあとの意思決定(Now What)につながる思考の軌跡の記録がとても重要になってくる。
DEの実践で判明したが、この記録づくりは意外にも煩雑な作業で体系立てて行うことが難しい。その要因として、事業をめぐる状況に係る情報(What)の数は日常的な些細な事から政策的な事まで大量にある中、どれがDEにとってクリティカルなWhatになるか、その時々にはわからないからである。DEを実践していても、これが重要な情報と思って着目していても、実は本質から離れた意味のないことになってしまうことも多々あった。DEはチームで実践するほうが適しているといわれる理由の一つも、この大量のWhat情報をフォローしながら、DEにとって関連性の高いものを取捨選択し、タイムリーな形で事業実施者の意思決定をサポートする形に整理するには、それなりの実施体制が必要だからである。