分野別例:教育
分野別例:教育
I. はじめに
本評価ツールでは「教育」を分野として取り上げています。教育分野における事業は多岐に亘りますが、本評価ツールが対象とする「教育」事業とは、学校での学習支援やキャリア教育支援を行う事業や、学校外での学習支援事業、子ども・大人の居場所づくり事業、不登校やニート、引きこもりに対する支援事業を行う事業者へのインタビューをもとに作成しており、これらの事業に関わる方々を利用者として想定しています。
Ver2.0では、上記の事業にかかわる事業者の方や有識者の方からのご意見をいただき、社会情動的能力に関するアウトカムを中心に、アウトカムや指標・測定方法の適切性・漏れの確認・改訂を行いました。
なお、以降では「ロジックモデル」、「アウトカム」や「アウトプット」といった用語を使用していますが、定義についてはロジックモデル基本解説を参照して下さい。
II. ロジックモデルをつくる
II.1. 事業の目標と受益者の特定
本評価ツールでは、対象事業となる学習支援等の最終的な目標を、支援対象である「子ども」が将来的に経済的・精神的に自立するとともに、社会の一員として社会参加をしてゆくこととしました。したがって、事業の主な受益者を「子ども」としています。
ただし、教育分野における事業では、「親」や「事業の担い手」など他のステークホルダーも受益者になりえます。本評価ツールでは「子ども」に焦点を当てていますが、親や事業の担い手などが重要なステークホルダーであることを否定するものではありません。主たる受益者が「子ども」であっても、親をはじめとした子どもにかかわる「大人」に働きかけることが、目指す「子ども」の変化を実現する上で重要な場合もあります。本評価ツールでは、「子ども」に関わるアウトカムしか扱っていませんが、実務では、「子ども」以外のステークホルダーの観点から、必要なアウトカム、その実現のために必要な活動やアウトプットを検討することをおすすめします。
II.2. アウトカム(成果)のロジックを考える
事業の成果・効果を評価し事業改善や説明責任の遂行につなげてゆくためには、事業の設計図ともいえるロジックモデルを検討し明確化する必要があります。「ロジックモデル」とは、事業や組織が最終的に目指す変化・効果の実現に向けた道筋を体系的に図示化したものです。図表1では、本評価ツールを作成するにあたってインタビューを実施した事業者や有識者の方へのインタビュー結果を基に作成した、ロジックモデルの例です。「子ども」の自立や社会参加を実現するために必要だと考えられるアウトカムの例を示しています。II.2.1以降で、アウトカムについて具体的に説明します。
なお、本評価ツールは、多くの団体で難しさを抱えているアウトカムの評価を支援することを主な目的としているため、アウトプットの評価についてはあまり触れていません。「アウトプット」とは、事業活動を通じて提供するモノやサービスを指し(例えば学習支援事業では講師による学習支援プログラムの提供)、その評価は学習支援プログラムを実施した回数やプログラムを受けた子供の数(量の側面)や、その内容に関する子供の満足度(質の側面)などを通じて行われます。事業改善や説明責任の遂行のためには、このアウトプットの評価も重要である点は留意して下さい。
図表1: 教育分野におけるロジックモデルの例
II.2.1. アウトカム
直接アウトカムは、事業の結果として直接的に発生する変化を指します。教育分野における事業の結果として期待される直接アウトカムは、大きく分けて「学力の向上」と「社会情動的能力の向上」に整理することができます。
「学力の向上」は、特に学習支援事業における主要なアウトカムであり、具体的には「基礎的知識・技能の向上」、「思考力・判断力・表現力の向上」、「学習意欲の向上」の3つに分解することができます[1]。さらに、支援プログラムの内容によっては、「学習計画の構築」や「学習習慣の定着」も同様に重要なアウトカムとなります。
非認知能力とも呼ばれる「社会情動的能力」には様々なものが含まれますが、OECDでは「社会情動的能力」をさらに「目標の達成」にかかわるもの、「他者との協働」にかかわるもの、「情動の制御」にかかわるものの3つに整理しています(図表2)。
[1] 現行の学習指導要領の学習指導要領では、「基礎的・基本的な知識・技能」、「知識・技能を活用して課題を解決するために必要な思考力・判断力・表現力等」、「主体的に学習に取り組む態度」を学力の重要な3つの要素としています(http://www.mext.go.jp/a_menu/shotou/new-cs/gengo/1300857.htm)。
図表2: 社会情動的能力の概念
本評価ツールでは、事業者とのインタビューの中でも重要なアウトカムとして挙げられた「忍耐力の向上」、「自己効力感(Self-efficacy)の向上」、「将来への意欲の向上」、「自己表現力の向上」、「他者を尊重/配慮する力の向上」、「寛容性の向上」、「自己肯定感(Self-esteem)の向上」、を特に取り上げています
「学力の向上」や「社会情動的能力の向上」のほかには、例えばキャリア教育を行う事業では「ライフ・キャリア設計力の向上」が、スポーツを通じた支援事業では「健康・体力の向上」も、直接アウトカムになると考えられます。
[1] 現行の学習指導要領の学習指導要領では、「基礎的・基本的な知識・技能」、「知識・技能を活用して課題を解決するために必要な思考力・判断力・表現力等」、「主体的に学習に取り組む態度」を学力の重要な3つの要素としています(http://www.mext.go.jp/a_menu/shotou/new-cs/gengo/1300857.htm)。
II.2.2. 中間アウトカム
上記の直接アウトカムの結果として期待される、学校内外での学習支援や社会教育、キャリア教育、不登校児支援の中間アウトカムとしては、「希望する進路の選択」が設定されます。なお、「進路」は、必ずしも高校や大学への進学のみではないことに注意が必要です。例えば、不登校児支援のプログラムによっては、学校教育システムへの復帰を目標としない場合もあり、具体的な「進路」の内容については事業によって明確化させることが重要です。
なお、不登校児への支援を行う事業者では、「希望する進路の選択」につながる具体的な行動変化のアウトカムとして、「家庭・学校での行動変化」として「内在化・外在化問題行動の改善」があります。
II.2.3. 最終アウトカム
本評価ツールでは、Ⅱ.1.で述べたとおり、直接アウトカムや中間アウトカムの結果として期待される長期的なアウトカムとして「自立」を設定しています[1]。「自立」は、一般的には「経済的自立」、「生活自立」、「精神的自立/心理的自立」に分解することができます。具体的にどういった意味での自立を目指すかは、事業者によって異なります。例えば、貧困の世代間連鎖を断ち切ることを目的に活動している事業者では「経済的自立」が最終アウトカムになると考えられますが、不登校児支援を行っている事業者では、「生活自立」や「精神的自立」が最終アウトカムになるかもしれません。
本評価ツールでは、同じくもう一つの長期的なアウトカムとして、「社会参加」を最終アウトカムとして設定しました。
[1] 文献調査やインタビューを実施した事業者では、組織のビジョンに近い長期的なアウトカムでは多様性があり、全ての事業者に共通するアウトカムの設定は困難でした。一方で、例えばいわゆる「貧困の連鎖」を断ち切ることを目的とし学習支援を行う事業者は、「経済的自立」を長期的なアウトカムとすることで共通していました。また、社会教育を行う事業者や不登校児支援を行う事業者では「精神的自立」を長期的なアウトカムとして設定している場合があります。こうしたことから、本評価ツールでは長期的なアウトカムを「自立」としました。
[1] 「自己肯定感」は自尊心や自尊感情とも言い、「その本人の自分自身の価値に関する感覚」を指し、「自己効力感」は「外界の事柄に対し自分がなんらかの働きかけをすることが可能であるという感覚」、または「自分にはある目標に到達するための能力があるという感覚」を指します。 [1] 文献調査やインタビューを実施した事業者では、組織のビジョンに近い長期的なアウトカムでは多様性があり、全ての事業者に共通するアウトカムの設定は困難でした。一方で、例えばいわゆる「貧困の連鎖」を断ち切ることを目的とし学習支援を行う事業者は、「経済的自立」を長期的なアウトカムとすることで共通していました。また、社会教育を行う事業者や不登校児支援を行う事業者では「精神的自立」を長期的なアウトカムとして設定している場合があります。こうしたことから、本評価ツールでは長期的なアウトカムを「自立」としました。
ロジックモデルの例 特定非営利活動法人A:生活困窮世帯の学習遅滞児向け学習支援事
III. アウトカムを測定する方法を決める
「II. ロジックモデルをつくる」で挙げたアウトカムを測定するためには、一般的には図表3に示すような指標が有用です。
なお、以降で示す指標とデータベースで紹介する測定方法は、あくまで例を示したものであり、必ずこの指標や測定方法を用いて評価を行わなければならないわけではありません。評価を事業改善といった内部向けの目的で行う場合は、既存の指標や測定方法を用いるよりも、自団体が目指す具体的なアウトカムの内容に応じて、以降で例示されている指標やデータベースで紹介されている測定方法以外のものを用いるのはもちろんのこと、例示されている測定方法の質問項目を変えることが望ましい場合もあります。
以降で例示されている指標やデータベースで紹介されている測定方法は特定の価値判断を暗黙のうちに前提としている場合があります。評価を実施する目的を明確化した上で、指標や測定方法、具体的な質問項目を確認し、自団体が考える価値、アウトカムを測定する上で適切かどうかを判断してください。
また、最終アウトカムについては、その実現までに長期間を要するものも多く、指標を設定することが難しかったり、仮に指標を設定し測定することができてもその変化に事業が「貢献」したことを評価することが難しかったりする場合がほとんどです。ただし、そうだとしても事業の最終的な目的を明確化するためにも、最終アウトカムをロジックモデルとして明確化することは重要だと考えます。
図表3: アウトカム指標の一覧
クレジット
※所属・肩書きは評価ツール開発当時
本分野別例は2016年6月にVersion1.0、2017年6月にVersion2.0が公開されたGSG国内諮問委員会「社会的インパクト評価ツールセット 教育」の内容をもとにしています。
教育評価ツール作成チーム
藤田 滋 日本財団
本ツールセットのVersion2.0への更新にご協力頂いた方々(五十音順・敬称略)
今井 悠介 公益社団法人チャンス・フォー・チルドレン
久保田 淳 東京フットボールクラブ株式会社(FC東京)
栗田 拓 特定非営利活動法人トイボックス
阪中 真理 株式会社電通
瀬尾 隆史 公益社団法人日本環境教育フォーラム
高木 麻美 新日本有限責任監査法人
中島 悠生 認定特定非営利活動法人Teach for Japan
長浜 洋二 株式会社PubliCo
松元 雄基 認定特定非営利活動法人カタリバ