従来型評価とDEの対比表～MQPのDEテキストより

従来型評価の傾向

複雑な状況に対応するDE

１．目的と状況

1.1　評価目的

形成あるいは総括的な目的がほとんど。形成的な目的は改善を、総括的な目的はプログラムモデルの有効性を試し、証明する。主にアカウンタビリティ。

ダイナミックな環境において、イノベーションの発展とダイナミックな環境への適応をサポートする。

1.2　適切な状況

比較的管理しやすい安定した状況。問題の根底にある要因は特定されている。介入はある程度詳しく設計に落とし込まれており、アウトカムに影響する主な変数はコントロール可能で、測定可能また予測可能。

複雑でダイナミックな環境下にあり、優先課題に対して既存の解決方法があてはまらない。解決への進み方は複数あり、これといった確立された方法はない。イノベーション、探求、社会的実験の要素が必要。

1.3　独占すべきニッチと考え方

プログラムモデルがうまくいくかどうかを検証する。特にその有効性、効率性、インパクトそしてモデルがスケールアップできるかどうか。

様々な可能性を探求し、新たなアイディアを提案しては試行する。介入モデルの形成前に位置づけられるため、形成評価に当たらず、イノベーションや発展が予測されるため、固定された介入モデルに至らない。

２．フォーカスと評価の対象

2.1　変化の対象

プログラムの受益者や参加者において、事前に特定されたアウトカム。個人の行動やパフォーマンス指標の変化。

システムの変化：身近な小規模のシステム変化から、大きな社会課題に対してインパクトをもつ社会的イノベーションまで。

2.2　介入をドライブするもの

アウトカムへの着目。システムは文脈としてみられている。

システムチェンジに着目。具体的なアウトカムは創発していて、ダイナミックな環境。

2.3 評価結果のフォーカス

形成評価：介入モデルの改善と調整。総括評価への準備。

総括評価：事業に対しての値打ちや意義を明らかにし、成功したか失敗したかの価値判断を行う。

発展的評価：発展のためにタイムリーなフィードバックを提供し、発展プロセスに伴走し学びとアクションへの支援を行う。

2.4 評価の軌跡

評価はトップダウン（セオリー評価）かボトムアップ（参加型評価）

評価者はイノベーターが、トップダウンとボトムアップが交わり、衝突する領域を進むため支える。

３．モデルと手法

3.1 モデルに対してのアプローチ

評価デザインは、線形で原因―結果が明確なロジックモデル（どのような投入が活動・プロセスに転換され、どのようなアウトプットからアウトカム、そしてインパクトが達成されたか）に基づいて設計される。因果関係は、モデル化され、仮説がたてられ、予測され、試される。

評価デザインは、システム思考を用いて複雑なシステムダイナミックスや相互依存性をとらえる。そして、創発している関係性を記録する。因果関係はパターンの特定に基づき、観察から遡及的に行われる。

3.2 反事実的状況（Counterfactual）

反事実的状況の検討は、介入と結果の因果関係を確立するために重要。

反事実的状況の検討は、あまりにも複雑な状況で、複数の変数や可能性が創発しダイナミックに影響しあうため、全く意味をもたない。

3.3 測定に対してのアプローチ

事前に特定されたゴールやSMARTなアウトカムに対し、パフォーマンスや成功を測定する。（SMARTとは、具体的で、測定可能、実現可能、現実的、時間的制約がある）

アウトカムが創発されている際には、測定方法やトラッキングメカニズムをすぐに開発する。評価プロセスの展開次第で、この測定方法は変えることができる。イノベーションが展開するにあたり、主な「フォークインザロード」を事前に把握し、意思決定によってどのような影響があるかを注視する。

3.4 予期しなかった結果に対しての配慮

評価者は外部者として配置され、独立性と客観性が担保される。

評価者は予期できなかったという状況を予期せよ。評価の主な役割として、予期できなかったことや創発されたことを把握することを評価の主たる役割と認識する。

3.5　評価デザインの責任

評価者が、評価者自身の「精緻さ」という認識で、評価デザインを決定する。ステークホールダーの意見が求められていても、評価者が評価に対しての責任を持ちコントロールを行う。

評価者は、社会変革を起こそうとしているイノベーターと、有用性が高く、哲学的にも組織的にもイノベーションの過程に合致する評価を共創する。

3.6手法と哲学

精緻な手法中心の評価：評価の有効性は、選択された手法の妥当性と手法による基準で判断される。実用性は、選択した手法に依拠すると考えられている。従来型の研究手法や領域における質的基準が優先される。

実用重視の評価：手法は発展を支えるために選択される。手法は実用性と実利的配慮をもって選択される。採用された手法に関しての質や有効性の判断は、実施状況や活用方法に依拠する。

3.7　解釈と推論

まずは何よりも演繹法。質的分析が適用されたら、一部帰納法も。アトリビューション分析。

仮説的推論（abduction、最もいい説明を引用する）と実利主義。コントリビューション分析。

4. 役割と関係性

4.1 理想的な評価者の立ち位置

評価者は内部であろうと外部であろうと独立している。信ぴょう性は独立性にかかっている。

評価者はイノベーションチームの一員として、ファシリテーターや学びのコーチとして、評価的思考をグループに持ち込み、イノベーターの価値観やビジョンを支える。信ぴょう性は尊重し合う関係性の有無にかかっている。

4.2　アカウンタビリティの焦点と軌跡

アカウンタビリティは、事前に決定された明確な基準に基づき、外部の権力者あるいは資金提供者に対して焦点があてられた形で担保される。

アカウンタビリティは、イノベーターの社会変革を起こそうという基本的価値観に依拠する。資金提供者はアカウンタビリティの焦点として、発展していて学ばれていることに対し、賛同していないといけない。

4.3　組織の中での評価

評価は、組織のコンプライアンスの一環として実施され、組織のいち部門か外部評価者に委託される。

評価はリーダーシップの一環として存在し、現場試行型、結果重視型、学び中心型のリーダーシップを醸成する。

5.　評価結果とインパクト

5.1　望ましい、あるいは理想的な評価結果

時間軸や場所に関係なく、ベストプラクティスを検証する。

実践をガイドする効果的なプリンシプルや、現場ごとの状況に適用できる最低限の仕様。

5.2 モデルの拡大あるいは、モデルの普及についての考え方

モデルの普及やベストプラクティスの拡大を評価する際には、忠実な再現性に焦点がおかれる。

モデルの普及やベストプラクティスの拡大を評価する際には、効果的なプリンシプルと状況への適応性に焦点がおかれる。

5.3　報告の形

重々しい、詳細にわたる正式な報告書。学問的な報告（客観的、受動的な表現）。

即席なリアルタイムフィードバック。現在進行形で主観的な報告（1人称で主観的な表現）。

5.4　組織文化への評価のインパクト

評価は失敗を恐れることを助長する。

評価は、学びに対して貪欲になることを助長する。

5.5　評価プロセスを通じての評価キャパシティの構築

評価キャパシティの構築は評価目的の中に入らない。評価の焦点はできるだけ精緻な手法で、信ぴょう性の高い結果を得ること。

評価プロセスの中において、継続的かつ長期的に評価キャパシティを構築することが内包されている。

6.　複雑な状況へのアプローチ

6.1　不確定さへのアプローチ

できるだけ、不確定さを排除し、予測可能性を高める。

不確定さや予測不可能性を、複雑かつダイナミックな状況の前提条件として期待する。

6.2　統制へのアプローチ

評価者は、評価デザインの設計とプロセスをコントロールしようとする。

コントロールできない状況への対応を学び、現在進行している展開を注視し、俊敏に応じる。

7.　プロフェッショナルな資質

7.1評価者の特性

評価手法の実施能力と精緻さへのコミットメント、客観性、外部関係者や資金提供者に対しての信頼性、分析力とクリティカルシンキング。

評価手法に関しての柔軟性と折衷主義と順応性。システム思考。クリエイティブとクリティカルシンキングのバランス。曖昧な状況に対しての耐性。オープンで俊敏。チームワークと関係構築のスキルに秀でている。実践を支えるために、精緻なエビデンスベースの振り返りをファシリテートできる。

7.2 評価基準と倫理

評価者の職業的基準についての知識を持ち、コミットする。

評価者の職業的基準についての知識を持ち、コミットする。