登录 | 注册
当前位置: 首页 > 出版物 > 公共外交季刊文章
陈雪飞:公共外交效果评估的能力建设
发布时间:2019年03月29日  来源:《公共外交季刊》2018年秋季号​  作者:陈雪飞  阅读:246
公共外交的效果评估本该作为公共外交项目开展过程中必不可少的一环,却长期受到忽视。究其根本,主要是因为面临评估周期长、效果模糊又难以预期、可能面对无效指责以及学者关注度低等诸多挑战,令公共外交项目的实施者对其心有抵触。这在很大程度上影响了我们评估方法的发展和公共外交效力的提升。我们有必要从意识上加强重视,从方法上借鉴他山之石发展自我优势,不断推进公共外交效果评估的能力建设。


  美国政治学家哈罗德•拉斯韦尔(Harold Lasswell)所提出的构成传播过程的五种基本要素理论,即“5W模式”可以用于阐释公共外交的基本理论框架,主要涉及谁做公共外交、对谁做、做什么、通过哪些渠道去做以及达到什么效果。对公共外交进行效果评估尽管排列在这一模式的最后,却并非毫不重要。效果评估非常必要,但一直以来并不受重视,这也导致了对公共外交效果及其如何评估的诸多误解。


公共外交效果评估的必要性

  效果评估就是对公共外交活动的执行过程,特别是效果进行评估,旨在总结经验、汲取教训,对于提升公共外交效力而言非常必要。以美国为例,美国政府于1970年代,就开始对公共外交工作进行权威评估。刘鸣筝在“从国际传播到公共外交”一文中梳理了美国在20世纪90年代公共外交评估工作的发展。其最早的评估机构是斯坦顿委员会。1974年3月,由乔治城大学的战略与国际问题研究中心 (Center of Strategic and International Studies) 主持设立了一个委员会,对美国的对外宣传和文化教育活动进行全面调查。因委员会主席由弗兰克•斯坦顿 (Frank Stanton) 担任,故该委员会又被称为斯坦顿委员会。委员会向总统和国会提交了一份调查报告,史称斯坦顿委员会报告。当时国际传播和交流活动在美国国内遭遇颇多质疑,这一报告肯定了美国一系列对外活动的重要作用和继续开展相关活动的必要性,同时也指出了美国当时的公共外交活动及制度存在的问题,并给出了解决方案,其中包括机构调整、制度建设等建议,对后期美国的公共外交起到了积极的指导作用。例如,为了节约资源,彼时美国政府一度放弃了对西欧的国际广播。针对此举,报告指出,说服外国民众中的年轻一代相信美国的政策可以保证稳定和繁荣的国际秩序。里根上台以后,美国恢复了对西欧的广播,除了里根与卡特在“公共外交理念”上的差异之外,很重要的原因就是美国政府考虑到此前的做法忽视了对西欧年轻一代的影响。1977年5月,美国总审计长针对斯坦顿委员会报告进行了评估,并向国会提交了报告,肯定了公共外交活动的成效,并回应了相关的批评和质疑。该报告以官方文件的形式确立了“公共外交”的合法性地位和实施的必要性。从此,“公共外交”作为一个新的外交领域正式被列入政府的常规工作。同年,美国公共外交咨询委员会 (United States Advisory Commission on Public Diplomacy) 成立。该委员会由对外宣传咨询委员会和教育文化事务咨询委员会合并组成, 每年提交年度报告,对公共外交活动进行评估并提出意见和建议。自此, 公共外交咨询委员会报告成为评估美国公共外交的权威文件。“9•11” 事件之后,美国于2004年又设立了公共外交与公共事务政策、规划和资源办公室(the Office of Policy, Planning and Resources for Public Diplomacy and Public Affairs, R/PPR),以提供长期的战略规划,并记录公共外交的测量值与有效性。R/PPR令公共外交和公共事务副部长能够更好地分配资源,并将这些资源集中用于最紧迫的国家安全目标。R/PPR设有评估和测量单位(Evaluation&Measurement Unit, EMU),专司制定绩效测量工具,并对国务院公共外交计划进行正式的独立评估。

  美国的经验肯定了公共外交效果评估的重要价值,那效果评估为什么必要呢?罗伯特•班克斯(Robert Banks)曾在A Resource Guide to Public Diplomacy Evaluation一书中专门分析过这一问题,拣其精要,主要有以下几点。

有助于更好地分配资源

  无论采用何种形式的公共外交都需要一定物质资源的支持。上海纽约大学的助理教授雷爱华(Ivan Willis Rasmussen)曾就影响公共外交实践的因素做过一个量化研究,发现一国的财富与其公共外交的实践直接相关。对于一个国家来说,可能多个部门都会参与公共外交,很多公共外交活动是以项目的形式开展的,这就涉及到有限的资源到底分配给哪些部门的哪些公共外交项目?对于公共外交项目的效果进行评估,有助于好钢用在刀刃上,否则资源的分配就是盲目且低效的。

有助于合理化预算需求

  与第一条密切相关的是:评估不仅让我们了解哪些公共外交活动最有效,还能让我们较为合理地确定到底要投入多少预算。没有评估就可能导致项目设计者毫无依据地夸大预算,或者造成项目开展过程中预算不足。形成稳定的预算体系,可以为未来类似项目的设计者和执行者提供合理的预算范围。

有助于确定更好的实践形式

  公共外交的形式多种多样,但我们不可能针对所有国家、所有受众用尽所有形式,这在一定程度上是极大的资源浪费。公共外交项目实施起来也需要因地制宜,具有弹性。面对不同议题、不同国家、不同受众,哪种公共外交的形式才最有效,换句话说能够实现以尽量少的资源投入,达成尽量多的效益产出?这必然离不开对各种公共外交项目的效果进行评估,通过比较以确定最佳的形式。一些研究指出,像加拿大、挪威、新加坡这类中小国家具有极佳的公共外交实践,并非他们形式多样,而是都能够根据自身的比较优势确定自己最佳的实践形式。

能够理性化活动目标

  美国“9•11”事件给了公共外交“复活”的机会,彼时包括美国在内,很多国家赋予了公共外交一些不切实际的预期,大量的学者开始投入对公共外交的研究,甚至一度有观点认为公共外交应该囊括外交学,而非反之。当时美国也上马了不少针对伊斯兰国家的公共外交项目,但实行了几年,包括约瑟夫•奈在内的学者都指出,美国在伊斯兰世界的公共外交收效甚微。学者们对这一议题的探讨,能让公共外交项目的设计者和执行者冷静地思考公共外交到底能达成什么目标,清楚公共外交能做什么、不能作什么,理顺外交与公共外交的关系。公共外交不是万能灵药,而且有的时候也许投入了很多,却可能几无成效,只有对其效果进行评估才能让我们更客观和理性地看待公共外交。

促进项目实施者更好的思考公共外交的目的

  对项目评估的强调能让设计者在项目设计之初就把达成什么目标考虑在内,以备项目结束之后的评估工作,这可以保证项目实施者依照目标选择公共外交的形式、设计公共外交的过程,而非随机地觉得哪种方式便宜就选择哪种,唯此才能有的放矢。

公共外交效果评估面临的挑战

  尽管公共外交的效果评估有诸多必要性,但它却常常被忽视。项目评估专家们认为在一个项目预算中应该投入8—10%到评估之中,但无论是政府内的还是政府外的机构,很少能达到这个要求。美国南加州大学就美国开展交流项目的非政府组织进行过一项调查,发现只有8%的受访者愿意投入项目资金的6—9%到评估中;44%愿意投入1—3%;还有44%则表示对投入多少完全没有概念。这些忽视有些是无意的,也就是没有意识到评估的价值;有些则是有意的,这主要源于评估所面临的各种挑战。

效果评估长期而又难以预期

  通常公共外交活动的效果都具有一定的滞后性,并非当时举办了活动就同步产生效果,对于那些历时经年的人文交流项目更是如此,时间跨度长、效果出现慢,而且其效果也的确很难预期。正如人们经常提到的一句话:了解不一定总是增加认同,也有可能带来排斥。这让效果评估变成了一项费时、费力、费钱,而且有可能吃力不讨好的工作。

公共外交效果的模糊性

  首先,公共外交的效果最主要的是针对受众的态度,态度具有很强的主观性,而且一个人某种态度的形成或者转变往往受到多种因素的影响。通常学界喜欢用好感度作为公共外交效果的一个重要指标,像著名的调查公司皮尤、盖勒普包括英国的BBC每年都会开展全球性的国家好感度调查,为很多研究提供了数据。但问题在于一国针对另一国形成的好感度在多大程度上是由于公共外交带来的效应呢?很多项目实施者可能简单地认为人家对我们好感度高,说明我们的公共外交就有效。但事实并非如此。曹玮曾经以美、德、英、法、俄、日对中国的好感度作为因变量,然后检测影响该变量的诸多因素。不同的国家受到不同因素的影响。比如英国受众对华好感度主要受到中英关系、突出的政治事件以及中英军费比值的影响;美国受众主要受到中美关系以及两国军费份额差的影响,等等。这六个国家中只有德国和俄罗斯受到当时投入的公共外交活动的影响。而且仅有对俄罗斯的影响是正面的。这种模糊性的确给公共外交的效果评估带来了巨大的挑战。


  再次,很多时候评估混淆了输出(output)与效果(outcome)的差异。比如申请2万元,培训了四个外交官,这叫做输出,或者称之为对结果层面的评估。而培训结束之后,接受培训的人对这个培训持有一种什么样的态度,是不是增加了他们对培训方的好感度或者认可度,这叫做效果。我们现在做公共外交效果评估往往把二者混合在一起。因为输出更可见,甚至不用费力去测量,效果则不然。前文提到评估专家们建议一个项目应该投入预算的8—10%到评估之中,但很多项目实施者更愿意投入10%到额外的交流项目或者培训项目中,而不是投入到评估之中,究其原因,概莫如是。


新媒体给效果评估带来新的挑战

  媒体形式日新月异,特别是社交媒体的发展为社会科学的研究带来了新的挑战。正如一位评估专家所言:“你如何去测量4年前不存在而4年后也可能不存在的东西?”同时针对新媒体的大数据分析的应用不仅提供了新的研究视角,带来了研究方法的革新,也带来了面对海量数据进行甄选和评估的困难。

机构、政府喜欢成功的故事

  为公共外交投入资源的政府和机构更喜欢听成功的故事,换句话说, 效果评估的结果如果是积极的当然皆大欢喜,但若是消极的就会带来一连串的“副作用”。比如谁设计的项目,是否需要追责?谁审批的项目,是否思虑周全?谁实施的项目,是否认真尽责?没有人乐意听到自己开展的公共外交无效的评价。但事实正如前文分析的那样,公共外交效果是难以预期的。曹玮以“中国公共外交有效吗?”为题,分析我国对美、德、英、法、俄、日六国的公共外交效果,结果发现,在控制了其他变量之后,我国的公共外交活动只对俄罗斯有点效果,对美、英、法、日毫无效果,对德国的效果竟然是负面的,也就是说我们越做公共外交,反而德国的民众对我们的好感度越低。这样的结果,难免让公共外交活动的施行者感到尴尬。也必然会刺激以公共外交的输出替代效果的趋势。但我们必须意识到,只有对失败进行分析并汲取经验才能听到成功的故事。

学者关注的有限性

  正是由于上述挑战的存在,阻碍了学者们做公共外交效果研究的动力,也就限制了公共外交效果评估的“想象力”,比如如何更有效地评估、从哪些角度评估、如何提升评估的可信性、如何从评估效果反观公共外交的过程等等,更多的研究、更多的争辩才能让效果评估工作日臻完善。目前而言,依然任重而道远。

如何对公共外交效果进行评估

  尽管公共外交效果评估面临诸多挑战,但必须认识到效果评估是公共外交项目不断提升有效性的重要环节。那要如何进行评估呢?通常从评估层面来看,包括投入层面的评估,比如公共外交项目的数量、投入的预算以及对外发布信息的数量;结果层面的评估,包括参与者的数量、报道的数量等;综合投入与结果的评估;根据公共外交的不同手段对不同类型的对象产生的效果的评估,比如态度改变、好感度等的调查。综合而言,目前我国对公共外交效果进行的评估集中在好感度调查、媒体信息的文本分析,也有一些针对项目参与者的访谈。但这些方法往往停留在单一的技术层面,缺乏一些更为系统的视角和制度上的安排,导致我们得到的很多数据零散而不具有可比性,就此可以借鉴公共外交的先行者——美国目前针对公共外交发展起来的评估方法。

  前文提到的美国公共外交咨询委员会与R/PPR的评估和测量单位都曾提交报告专门讨论公共外交的效能与评估问题。他们指出目前美国对公共外交进行效果评估的系统方法主要有以下三种:

  其一是公共外交影响力项目(The Public Diplomacy Impact project, PDI)。PDI启动于2006年,主要利用调查和焦点小组的方法,对比近5年间参加过美国公共外交项目的国外精英和来自该地区的未参与该项目的控制组精英之间的态度差异,从而评估项目的效果。这一方法很好地解决了许多项目缺乏效果的基准数据的问题,也就是缺乏没做公共外交时受众的态度的数据,因此可以直观呈现公共外交活动是否有效,而且提供了宝贵的质性数据。不过因为不同部门之间没有统一的标准,导致很难对不同部门的项目进行比较。

  其二是任务活动跟踪器(Mission Activity Tracker, MAT)。MAT是2007年美国国务院研发的一种在线绩效测评报告工具,能够在线收集美国对于重点外国民众所进行活动的质性和量化数据,并能生成自定义格式的记录活动绩效报表,然后按照利益相关者的要求及时做出反馈,有助于美国政府官员跟踪了解其世界范围内公共外交活动的成本和效果。不过最大的局限是它未能描述活动本身与其预期结果之间的关系。

  其三是公共外交绩效评估模型(Public Diplomacy Model for the Assessment of Performance, PD-MAP)。PD-MAP是2009年8月,美国公共外交咨询委员会委托德克萨斯大学奥斯汀分校公共事务学院开发的一种评估公共外交效能的方法。PD-MAP是一个灵活的框架,可以量化公共外交活动的各项结果,并检测其是否达到了以下三大战略目标:①增进了对美国政策和文化的理解;②增加了对美国的好评;③提升了美国在世界上的影响力。研究人员借用一系列方法收集与目标相关的数据,依据实现目标的程度进行资源的再分配或者项目的调整。该模型最大的问题是一些相关数据太有限且难以获得。

  尽管上述方法还多有不足之处,但都可以多方面的而且可以从量化和质性双重数据帮助我们了解一项或者整体的公共外交活动是否奏效,更为重要的是它们通常不是采用某个单一的技术方法,而是多种方法统合运用达成一个体系性的评估结论。每个国家都可以结合自身的特征基于上述方法或者理念开发一些更具比较优势的方案。

  最后需要强调的一点是,最重要的不是公共外交效果评估有多么精湛的方法,而是公共外交项目的资源投入者、设计者、实施者有统一的意识, 那就是效果评估非常必要,任何一个项目在制定之初就应该囊括对效果进行评估的设计和预算,它不应该是一个项目可有可无的部分,也不是任何事后补救措施就可一笔带过的。另外,既然公共外交是一个跨学科的研究领域, 期待各个相关学科的学者能从多视域的角度提供更为严谨和有效的效果评估研究成果。



责任编辑/康巳鋆 顾心阳



作者:陈雪飞,察哈尔学会研究员,外交学院外交学系副教授,外交学院公共外交研究中心主任。

来源:《公共外交季刊》2018年秋季号

用户名:
密码:
换一张
评论 (0
加入收藏
打印