実践⑥　DE的評価設計（１）〜評価目的と評価設問

中谷　美南子

DEの実践においては、関係者との関係構築や複雑な状況の把握の過程が長く、不確実性の中で何を評価の対象とし、どのような情報が必要か確信がもてないため、すぐに評価設計に入れないことが多い。ただ、そのまま入れないでは、永遠にぐるぐると伴走支援を行っているだけになってしまうので、DEの設計を思い切ってトライアル＆エラーで始めてみてはいかがだろうか？

　DE（発展的評価）の世界に入るまでは、評価の設計で悩むことなど皆無に近かった。従来型評価の目的は、総括評価の場合は主にアカウンタビリティを果たすため、形成評価の場合は事業のデザインあるいは実施プロセスを改善するためで、評価プロセスの最中に変わることは、まずない。評価設問ももはやスタンダードのものが存在しているから、そこから選択し多少アレンジすればいいし、評価基準もOECDのDAC5項目[1]等、既に確立されているものから抽出すれば間違いない。評価手法も、事業実施者側が開始当初から評価を想定して、成果指標に基づきデータ収集・分析を進めてくれていれば、そのまま評価時に同様にデータ収集・分析すればいいし、その確認のためのデータ収集を追加で行えばいい。

　すなわち、従来型評価の設計の中では不確定なことは一切ない。まるで、着慣れたジャケットのように、一つ手元にあればどのような恰好にも合わせられ、それなりの恰好にもみえる。（でも実は、日常の様々な場面ごとにおいて最適の選択かときかれると、そうではなく無難なだけがとりえだったりする）。

　ところが、DEの場合はどうだろう？ DEの目的は主に、イノベーションの発展を支えることだが、そもそも現場ではイノベーション自体が現在進行形で全容を把握できないことも多々ある。イノベーションを特定できないうえ、その発展に影響する要因も同時に創発しているような極めてダイナミックな状況において、DEがどのような切り口で評価のバウンダリーを引き、評価設計するかは、従来型評価と比較してはるかに困難が伴う。そして、多くの場合は、状況把握と評価設計をいったりきたりして、何回も評価デザインを変更し、その都度伴走先の事業実施者と協議を持ちながら、評価設計そのものを実用性の観点から見直し修正していくことが、一番DEの実態に近いように思える。こちらのイメージは、ちょっと小難しいオートクチュールの洋服か？　誰でも着こなせるものではないけれど、世界に一つだけ存在するというだけでも価値を持つような。

　以下、評価設計の各段階（評価目的の特定、評価設問の設定、評価基準の抽出、データ収集）において、DEならではの特性を鑑みつつDEの海で溺れないためのティップス（ヒント）を少し共有しよう。

　①評価目的の特定：まず、すべての評価が目的設定から始められることから、DEでも評価の目的を探してみよう。おなじみのアカウンタビリティや事業改善の目的も最初から排除する必要はないが、もう一方で、評価の対象の特定が意外にもDEの場合は難しいことがみえてくるだろう。さらに、実用重視の視点を入れると、どのような形でこの評価結果が活用されるかという話を、事業実施者と前もってしなければならない。特に評価を今まで経験したことのない事業実施者にとっては、評価の活用のイメージをつかむのに、評価者側が丁寧に協議をリードしないと、意味のある回答を得られないだろう。

　DEの実践において、評価目的が見えなくなったときに使えるヒントとして、Bob Williamsが2019年3月に「複雑系と評価」研修を実施したときに紹介してくれた以下の問いかけが、うまく導いてくれる。

　１）評価の結果として団体が達成できた「成功している状態」は何か？

　２）評価がその成功にどのように貢献しているか？

　すなわち、評価目的が達成されたあとの状態を事前に想定して、そのための評価目的を特定してみる。最初はざっくりとしたイメージしか出てこないかもしれない。またDEを実践する過程で、目的が変わることもある。このように評価目的が「変遷を遂げる」ことはDEでは想定内であることだけ、覚えておこう。

　②評価設問の設定：評価者は評価設問の設定段階になるとわくわくすると同時に少し緊張する。というのも、評価目的を達成するために選ばれる評価設問は、まさに評価デザイン骨子となる部分であり、評価のバウンダリーやデータ収集の手法までを決定するものだからである。評価者は評価調査に入る前に、必ず関係者間全員で評価設問について合意をとるよう注力する。というのも、調査段階に入ったあとに評価設問が変わるようなことがあれば、苦労して集めたデータや分析結果が水の泡となってしまうからである。

　DEにおいても、このように評価設問を固定させたいという評価者の気持ちは変わらないが、これがなかなか難しい。その理由は前述のとおり、評価設問は評価目的を達成するための設問であり、また①の評価目的の説明であったとおり、DEにおいては評価目的が途中で変わる可能性が大きいからである。それに連動して、評価設問も変化せざるを得ない。

　さらに、DEにおいては、評価設問に入る前に、What？So What？Now What？の３つの質問（マイケルはevaluation inquiry frameworkとしている）を螺旋的に問答していくことを基本としており、評価設問との差別化もあまり明確ではない（特にマイケルのテキストにおいては）。その後ケイトが来日した際に質問攻めをして何とか整理できたが、評価設問は純粋な評価設問（EQ:Evaluation Questions）と学びのための設問（LQ:Learning Questions）[2]を組み合わせることが多く、そしてやはりDEは「評価」なので、評価設問は必須であることが判明した。さらに３つの質問はDE過程で気づきを促すため重要な思考の枠組みであるが、評価設問そのものではなく、評価設問にたどり着くまでの過程で、ひたすらぐるぐる回していくものという位置づけられている。イメージ図を下に提示する。

　国内でのDE実践からの学びにおいて、評価設問のティップスとしてここで共有できるのは、評価設問（EQ）の設計が大切なのは言うまでもないが、実は学びのための設問（LQ）の特定とその回答が事業実施者にとっては非常に有用であるという点だ。非常によく練られたLQを評価者が用意することは、イノベーションの方向性に大きなインパクトを与え、事業実施者の意思決定ニーズに応える。

　最後にマイケルにとって、究極の評価設問をインタビューできいてみたところ：

「あなたが今知らないことで、もし知っていたら、あなたが今行っていることとは違った決断や異なる行動をとったであろうとする情報は何ですか？（What is that you don’t know that if you did know would make a difference in what you do?）」と回答した。これは評価設問ではないでしょ！とケイトの声も聞こえてくるような気が…。やっぱり、学びのための設問（LQ）が大切なのはDEならではのことなのではないかと考える。

この稿【DE的評価設計（２）～評価基準とデータ収集】へ続く