アートとリサーチセンター

2018_11_26_AIR勉強会_01　アートプロジェクトの現場と事業評価/吉澤弥生 講師
（Skype中継）

芸術社会学が専門の吉澤弥生講師から「アートプロジェクトの現場」と事業評価について、先行する評価手法の紹介や、吉澤氏自身が調査に関わった事例から、具体的にお話いただいた。
今回の講演の主な論点は、次の２点である。
・　評価のためにどのようなデータを使って検証作業を行うのか
・　では、現場ではどのようなデータを残しておくと有効か。

（１）　評価のためにどのようなデータを使って検証作業を行うのか

1-1.　評価とは

「評価とは、事業や活動が計画に沿って実施されたか、またどのように機能したかについての情報を収集・分析し、それらを事業や活動にフィードバックさせるシステムのことである」 （吉澤,2019,p.7）。
つまり、事業や活動の改善を目的としており、社会への説明責任を果たす行為（吉澤,2019,p.7）でもある。
しかし一般的に、評価という言葉には、失敗や不正、未達成な点を探して指摘されるというイメージを持たれがちであり、アートプロジェクトの現場でも、評価ということについては強いアレルギーがある場合が多い。また、「芸術」に関する評価と言った場合、作品の批評や展覧会の評判と混同されがちな現状がある。
つまり、評価という概念が、これまで明確化されないまま使われている。

吉澤氏は、評価という言葉が使われている文脈を次のように整理した。

アートプロジェクトにおいても、こうした既存の評価がそのまま用いられていることが多いが、それぞれ背景や目的、手法が違っており結果的に現場に混乱を招いている。
では、アートプロジェクトで評価をする場合の適切なあり方とは何か。上記のような従来の評価手法を出発点に、アートならではの評価姿勢というものを作る必要がある。

1-2.　評価の要素

評価の要素は、シンプルに語るなら、次の５つである。

評価には、誰が、何を、どのように評価するか、様々なケースがある。
まず、①評価主体によって、自己評価、第三者評価、ピアレビューの３種類がある。
②対象については、事業やプロジェクトの評価と、組織評価がある。
③方法としては、定量評価と定性評価がある。
　定量評価は数値目標を設定してその達成度を測るもの、定性評価は数値化できない事柄を測るもので、ルーブリック の手法やエピソード評価 などがある。
④時期については、短期、中期、長期がある。事業終了後すぐに調査するのか、5年、10年程度で評価するのか、もしくは10年以上の長期に渡るのか。
⑤最後のなぜは、最終的には事業や活動の改善や社会への説明責任につながっている。

1-3.　評価のロジックモデル
　
　ロジックモデルとは、事業やプロジェクトの成果を評価するための理論的フレームである（吉澤,2019,p.17.）。
定性評価のロジックモデル（施策の論理的な構造）として、次のような工程が考えられる。

③アウトプットの短期的成果とは、入場者数や売上など定量的な評価である。
④中期的成果としては、参加した作家が数年後に海外で活躍するなどキャリアパスにおいてプラスの足がかりになっていくことや、拠点となった施設などがより活性化していくなど、定性的評価の側面が大きくなってくる。
最後の⑤インパクトは、最近では社会的インパクトと呼ばれることが増えている。
これは、そのプロジェクトが広く社会に対してどういう影響をもたらしたかを測る。
このように、インプットからインパクトまでを見ていくというのが、ロジックモデルの考え方である。

短期中期長期の調査を始める時期について会場から質問があり、吉澤氏は、長期的成果について次のように説明を補足した。
例えば、ある社会的な施設が10年後、結果的に社会の中でどのような役割を果たしていきたいのか、年間これだけのアーティストがやって来る、〇〇率がこれだけ上がったなど、未来から逆算した方が、その施設が目指す社会的インパクト（社会的・環境的変化）、成果を見ることが出来るのではないか。これについては、まだ吉澤氏の調査経験に照らしても結論が得られておらず、いまだ検討中とのことであった。

1-4.　定性評価の手法の色々

次いで、定性評価の評価手法として、ルーブリックという手法、エピソード評価、BSC
（バランススコアカード）について説明がなされた。

ルーブリック（Rubric）は、主に教育評価の分野で用いられる、実演や作品などパフォーマンスの質を複数の側面から採点するための指標群である。審査の信頼性を高めると同時に、それを学習活動の初期段階から示すことで学生の自己評価を促すことが目指されている。具体的には、①課題目的の洗い出し、②学習目標のリスト化、③「できるようになる」内容のグループ化と見出し作成、④表の作成という工程で設定する。（吉澤,2019,p.14.）

エピソード評価は、関係者の事業やプロジェクトの経年的な影響や関連を明らかにできる特性があり、方法としては、数年間にわたる継続的な聞き取り調査を実施することである。
SAISON文化財団の片山正夫常務理事は、同財団が助成したダンサーの追跡調査を行っており、1年もしくは2年などの期間を置いて、財団の担当者が本人と会って話を聞く。どういうプロジェクトに参加した、海外で活躍している、などのエピソードを聞き取り続け、積み重ねていくことで、若手アーティストの育成プログラムが「このように機能しています」という説明の根拠にもなっている。

BSC（Balanced Score Card）バランススコアカードとは、経営のマネジメントのシステムである。
ビジョンと戦略を立て、財務数値に表される業績だけでなく、顧客・人材・業務の視点からも評価を行う、という考え方である。それぞれの視点で目標を立てて、その達成の成功要因を決め、その主要業績の評価指標を設定、実行後に評価する手法である。

今日の評価をめぐる概況は、上記のとおりである。

（２）では、現場ではどのようなデータを残しておくと有効か。

本日の講演の二つ目のテーマ、「現場ではどのようなデータを残しておくと有効か」について、吉澤はまず「しっかり、色々残しておくと便利」ということを強調した。
まめに写真や映像を撮る、アンケートをとる、関係者にリサーチするなど、事業の進行中にちゃんとデータを残しておくと、終わった後に評価にも使えるし、アーカイブにも使えるので大変便利となる。

以下、吉澤自身が手がけてきた調査事例３件が紹介された。

　出典：吉澤講師のスライドp.13.（2018.11.26）

　それぞれの事例で、調査を始めた時期や、調査チームの編成、資金や人的資源に応じた調査設計など、独自の特色を持っている。現場の条件に応じて新たに編み出されたデータ採集手法なども事例の中で紹介された。また、調査を実際に実施してみた結果、手法にまつわる課題や今後は事前に考慮すべき条件なども語られた。
　改めて、マネジメントやデータ管理の重要性、対象地域と外部調査者との緊張関係がもたらす影響や効果、調査における信頼関係の重要性、調査項目を最低限に絞ること、回答したくなるデザインとは何か、現場で無理なく継続できる記録手法への配慮、また、記憶を遡るタイプの調査では当事者の記憶の鮮明さから現場での実感として3年が限度ではないか、といった現場からの知見も披露された。

　講演終了後、会場からは、吉澤氏のライフワークの一つ、芸術と労働についての調査報告書『若い芸術家たちの労働』（2011-2014,正,続,続々）についての感想コメントがあった。
　
また、今年10年誌を作成するかもしれないNPO職員が、これまでの関係者からのデータ収集の方向性などについて質問をした。この質問について、吉澤氏は、データは中立な姿勢ですべて集めておくこと、その上で、読者の想定、その層が期待する内容に向けて実装すべきデータ、またその中でどのようにNPOの10年全体を描けるかなど、項目を整理していくことが有効なのではと回答していた。過去を遡及するタイプのデータ収集になるが、人々の記憶のみでなく、NPOが毎年度作成してきた記録が大きな助けになるのでは、とも助言した。