複雑系の世界観に対応するために編み出されたDE。しかしそれは、複雑系理論を踏まえた評価学の現実への体系的な対応としてではなく、偶発的に生み出されたものだった(まあ、それもDE的といえばDE的です)。
「ええい、あんたら評価者っていうのは、形成的( formative )だとか総括的( summative )だとか言ってるけど、それ以外にできることはないのか!?」
「ええと、そのあの、なんだったら…、場合によっては…、発展的( developmental )評価っていうのもできます…」
「ん? 発展的?なんだそりゃ」
「その、物事の変化に合わせて発展していく評価です」
「それいいじゃないか、発展的評価。やってくれよ!」
というわけで発展的評価( Developmental Evaluation = DE)は命名された。――米国ミネソタのコミュニティ・リーダーシップ事業の評価者として関わった際に起こったこととして、我らがマイケルが著書に書いていることだ[1]。時期は書いていないが、1980年代だろうか。上記で外部評価者として登場しているのは、もちろんDEの発案者であるマイケル・パットンだが、相手はこの事業の運営団体のリーダーである。このとき評価者マイケルは5年間の契約で関わり、まず前半の2年半で形成的評価を行い、評価を事業改善に役立ててもらう。そして後半の2年半で総括的評価を行い、事業がうまくいったか、成果は出たかなどを評価することになっていた。
上記の逸話は、前半から後半へ移行するとても寒い2月のある日に起こったとある。マイケルの説明に対し、「ちょっと待った」と声が上がったという。総括的評価に移行するためには事業を固定しなければならない。「それまでの改善モードをやめ、今ある形の事業がどう成果を生んでいるか検証できるよう、評価者として関わります」というマイケルの宣言に対し、異論が噴出した。形成的評価と総括的評価に関して再度マイケルが説明し、納得してもらうよう話しているうちに、運営リーダーの苛立ちがどんどん膨れ上がっていくのが見て取れたという。そして冒頭の一言だ。
当時、プログラム評価は基本的に形成的評価と総括的評価のどちらかで、複数年事業の評価であれば、上のようなやり方が定番のアプローチだった(図1ab参照)[2]。しかしマイケルやほかの評価者の間では、外部評価者として団体に関わるうちに、そのどちらにもすっきりとは収まらないレパートリーが生まれていたのだろう。それを発見し、命名し、体系化への道のりを示したのがマイケル・パットンなのだ。
つまり、それまでのプログラム評価は、複雑系の世界観に対応していなかった。ロジックモデルがそのいい例である。投入(インプット)があり、活動(アクティビティ)が起こり、直接の結果(アウトプット)が出て、そこから最初の成果(初期アウトカム)、そして高次の成果(最終アウトカム)へとつながる。ところが、現実はぐちゃぐちゃしており(図2ab参照)、ロジックモデル通りに事業が進行しないことを事業者や評価者はよく知っていた。評価者はロジックモデルの制約を理解しつつ、それを仮説あるいは作戦と位置づけ、評価目的に沿って事業を評価していた。
一方、事業や事業をとりまく環境は、時代の変遷とともに、どんどん複雑化していった。それも、単に complicated の度合いが増していただけでなく、より complex になっていた【 DEの世界観は21世紀の世界観(1)~複雑系の世界へようこそ】参照)。というのは、事象が、
- つねに生成中であり予測困難
- 変化が早く、しかも変化がさらなる変化を呼ぶダイナミズムをもっている
- 非単線系の変化が起こり、原因結果の因果関係が特定できない
という特徴をもつようになってきたということだ。そう、まさに複雑系理論が取り組んでいる課題に、評価者も取り組まなければならなくなったのだ。
この稿【DEの世界観は21世紀の世界観(3)〜状況適応型という評価のアプローチの誕生】に続く。
[2] 使用した図は、マイケル・クィン・パットン氏の許可により、同氏が2017年7月19-20日 にワシントンDCで行ったTEI (The Evaluators Institute)での研修教材、“Developmental Evaluation: Systems Thinking and Complexity Science” を下地に、加筆・修正、翻訳している。
関連する引き出し:【ソーシャル・イノベーション支援としてのDE】
関連する引き出し:【コレクティブ・インパクトとDE】
引き出し一覧に戻る:【DE引き出し一覧】