ISSN 1003-2797

CN 42-1085/G2

双月刊

同行评审期刊

陈则谦1  佘晓彤1  郑娜静1  闫烁2

(1.河北大学管理学院,保定,071002;

2.河北省群众艺术馆,石家庄,050081)

目的/意义

通过服务评价推进公共文化云的建设是我国公共数字文化服务进入深水期的必然要求。

研究设计/方法

采用内容分析法从公共数字文化政策文件中提取关键词，并参考已有研究成果，形成公共文化云服务的评价指标，通过专家调查和层次分析法完成评价指标筛选和权重赋值，借助实际测评验证指标的可用性，并就评价指标及测评对象存在的问题展开讨论。

结论/发现

公共文化云服务的评价指标包括5个一级指标，12个二级指标和41个三级指标；测评对象在服务平台和服务资源方面表现良好，在服务功能、服务效果和服务管理方面存在较多问题。

创新/价值

基于系统性、规范性和导向性原则构建了评价指标体系。测评结果对于提升公共文化云的服务能力与服务水平具有一定参考价值。

关键词

公共文化云  公共数字文化服务  服务评价  

评价指标  应用

1

 公共文化云的基本问题

文化云是把互联网、云计算、大数据等现代信息技术应用于公共文化服务领域所形成的一种新型公共数字文化服务模式[5]，源自于我国黑龙江、浙江、上海等地方政府的公共数字文化服务规划与实践，强调通过构建一站式的公共数字文化平台实现公共文化与现代科技的深度融合，文化资源和文化服务的高度整合，文化供给与公众需求的高度契合，有效解决当前公共文化服务内容单一，服务范围有限、服务资源分散，服务效能不显著，社会力量参与不足等问题。通过文化云提供的服务包括：信息发布、信息查询、资源浏览、服务配送、文化消费、用户参与、个人服务和其他服务等8种类型[6]。

文化云体现了以“整合”“共享”为核心的现代公共服务理念，代表了新时期公共数字文化服务融合创新的发展方向。2016年以后，多个省、市、县（区）级的文化云相继上线运行，文化云建设进入快速发展阶段。为加强统筹整合，文化部全国公共文化发展中心以文化共享工程六级服务网络和国家公共文化数字支撑平台为基础，推出了国家公共文化云，并要求各地文化云实现与国家公共文化云的对接。就目前来看，安徽、江苏、山东、北京、天津等地对标文化和旅游部使用了“公共文化云”的名称；上海、云南、贵州、河南、浙江、山东、重庆、内蒙古、吉林等地延续了“文化云”的名称；西藏、陕西、辽宁、黑龙江、广西等地使用了“数字文化网”或“公共文化数字平台”的名称；山西、湖北等地则使用了“数字文化馆（公共文化超市）”、“文旅云”、“数字群众艺术馆”等名称。

2017年7月，文化部印发《“十三五”时期公共数字文化建设规划》，要求到2020年，基本建成与现代公共文化服务体系相适应的公共数字文化服务体系，并在其六项重点任务中提出要：依托国家公共数字文化工程服务平台，构建覆盖全国的公共数字文化服务网络，开展公共文化云服务，提升公共文化服务的数字化、网络化、智能化水平[7]。这是我国中央政府首次在其公开发布的全国性政策文件中使用“公共文化云”一词，客观上推动了各地文化云的建设。2019年4月，文化和旅游部印发《公共数字文化工程融合创新发展实施方案》，《方案》要求：以公共文化云统筹国家数字文化馆建设，与国家数字图书馆互开端口、互设界面[8]。这也标志着公共文化云在经过数年的建设与发展后，已经成为我国公共数字文化工程建设体系的重要组成部分。

相对于传统的公共数字文化服务，公共文化云为其用户带来了一种“一站式”文化需求的解决方案，具有服务理念和服务模式上的创新性。但是作为新事物，大部分公共文化云都存在或多或少的问题，如平台名称不规范，服务可及性与易用性不强，不同系统架构和用户界面存在雷同，服务资源和服务内容不充分，管理运营缺乏持续性等。随着我国的公共数字文化建设进入深水期，公共文化云会面临更多问题。以评促建，通过评价发现并解决问题，持续优化和提升其服务能力，保障服务效能，是深入推进公共文化云建设的必然要求。

2

公共文化云服务评价的相关研究回顾

学者们在公共文化云对文化机构的影响[9]，文化云建设的基本思路[10]、服务模式与创新[11]、服务内容与特征[12]、服务现状与问题[13]等方面进行了较多阐述。当前的热点是对公共文化服务云平台的研究，包括对公共文化服务云平台的构想[14,15]、规划[16]、设计[17]与构建[18]，以及对地方公共文化云平台的服务方式[19]和传播策略[20]的调查分析。

学者们重视对公共数字文化建设的评价。公共图书馆网站服务[21,22]、数字图书馆服务[23-25]、数字文化馆服务[26]、数字博物馆服务[27]、文化信息资源共享工程[28,29]等公共数字文化服务的具体内容或某个项目的质量和绩效评价，以及服务效能[30]、服务绩效[31]、工程建设[32]、文化科技融合[33]等公共数字文化服务整体视角的评价研究成果较多，其中也包括从学术研究现状[34]和考核评估实践现状[35]的综合性论述。具体到公共文化云服务的评价，目前仅有汤金羽和朱学芳[36]利用数据包络分析方法对部分地区的微信公众平台的服务效率进行了实证研究。研究对象和研究内容有待丰富和拓展。

综合来看，公共文化云实践对于服务评价的需求日趋强烈，但是缺乏系统性、针对性的学术研究。

3

公共文化云服务评价的指标设计

公共文化云是由文化行政部门主导的公共数字文化工程的重要内容，其产生与发展主要受政策驱动，政策文件尤其是国家层面关于公共数字文化建设的政策文件中包含着对公共文化云服务从形式到内容等各方面的要求与规范，是形成评价指标，开展服务评价的重要依据。文化和旅游部是国务院组成部门，负责推进国家公共文化服务体系建设，是我国公共数字文化建设的最高文化行政管理机构。文化和旅游部全国公共文化发展中心是文化和旅游部直属公益一类事业单位，主要承担全国文化信息资源建设及文化和旅游部委托的公共文化服务体系建设相关工作。本研究以文化和旅游部官网中的“政策法规”和公共文化发展中心官网（国家数字文化网）的“公共文化法规”栏目为主要数据源，以“公共数字文化服务”“公共数字文化建设”“公共数字文化工程”“文化信息资源共享”为关键词检索到25份政策文件（检索时间为2019年4月22日），逐一浏览政策文件的内容后，剔除与公共数字文化建设与服务评价这一主旨不直接相关的数字文化产业、公共文化机构管理、公共文化服务保障等方面的法律法规，以及名单公示、结果公示等政策文件后，共得到15份政策文件（表1）。

为保证评价指标选取的合理性与适用性，本研究参考公共文化云服务内容和服务特征的已有研究成果[37,38]，从表1政策文件中的“总体要求”、“目标任务”、“重点任务”、“保障措施”等部分，选择与公共文化云服务评价相关的内容进行关键词（或短语）提取，并在两两比较的基础上采用人工判断方式进行逐层聚类，聚类结果如表2所示。关键词的提取过程有两点需要说明：一是本研究的目标是构建一个系统的评价指标体系，因此在提取关键词时主要考虑其相关性和全面性，没有重复提取，且关键词保留了其在原政策文件中的表述方式；二是考虑到政策文本中文本段内容和体量的丰富性，没有将政策原文列入表2。

政策文件的关键词聚类主要有两个结果：一是服务平台、服务资源、服务功能、服务效果和服务管理5个指标；二是网络基础设施、服务系统设计、线上数字资源、线下文化活动、基础服务、特色服务、线上资源使用情况、线下活动参与情况、用户体验、服务反馈、服务保障和数据管理12个指标。

服务平台是公共文化云提供服务的网络基础与技术支撑。包括网络基础设施（硬件）和服务系统设计（软件）两部分，影响着服务平台运行的稳定性与安全性。服务资源是公共文化云提供服务的前提，包括体量庞大、类型多样的线上数字文化资源，也包括借助线上预约、报名等形式开展的线下文化活动。服务功能的多样化是公共文化云的重要特征，基础服务反映了公共数字文化建设随时间变化而具有的一般性、基本性的服务功能，特色服务则反映了公共文化云在服务理念和服务方式上的先进性与特殊性。服务效果体现了服务价值，是评价公共文化云服务的重要方面，包含线上资源使用情况、线下活动参与情况等客观方面的评价和来自用户使用体验的主观评价。服务管理是实现公共文化云服务长效机制的重要内容，包括对用户需求和意见的管理，人员、经费、技术和制度等方面的服务保障，以及面向服务效能提升的数据管理。

公共文化云服务评价三级指标的设置广泛参考了胡唐明[39]、王芳[40]、刘友华[41]、王尊新[42]、温泉[43]、周锦熠[44]、尹怀琼[45]等学者的研究成果，以及工业和信息化部发布的政府网站评价指标[46]、电子政务公众满意度模型[47]中相应指标的设置，并根据公共文化云服务的特点和从政策文件中提取的关键词（短语），分别调整、修改、自拟了部分指标，其结果如表3所示。

4

公共文化云服务评价指标的筛选与权重

本研究通过专家调查的方式对公共文化云服务评价指标进行筛选与权重赋值。

4.1 评价指标筛选

专家调查的问卷设计以表3构建的评价指标为基础，包括两部分内容：一是调查对象的基本信息；二是调查对象为评价指标中每一项指标的重要性赋分。分值设置为1—5分，分值越高，重要性越显著。专家调查的数量一般以10—50人为宜，本研究选择公共数字文化服务研究或实践领域的11位专家、学者和管理者（统称为专家，见表4）作为调查对象。

自2019年5月21日至28日通过电子邮件和即时通信工具共发出11份问卷，收回问卷9份，有效问卷9份。对问卷数据进行汇总，并计算9位专家的意见集中度和意见协调度。

意见集中度（Mj）通过计算每位专家对各指标重要性赋值结果的算术平均值得到，数值越大，表明集中度越高。意见协调度通过计算每位专家对各指标重要性赋值结果的变异系数（Vj）得到，变异系数越小，专家们的意见协调度越高。

如表5所示，所有评价指标的专家意见集中度(Mj)的数值均大于4.0，表明专家们对于各项评价指标的重要性有着较高的认可度；在专家意见协调度(Vj)方面，所有评价指标的数值都小于0.25，表明专家们对于评价指标的设定意见趋于一致，评价指标设置合理，可进行下一步的权重赋值。

4.2 评价指标权重赋值

本研究使用层次分析法对评价指标进行权重赋值。层次分析法的结构模型包括目标层、准则层和指标层三个等级。目标层设定为公共文化云服务评价；准则层设定为表3中的一级指标；指标层设定为表3中的二级指标和三级指标，并依据其相互间的关系，构造评价指标模型。

评价指标权重的调查对象仍为前述9位专家，调查问卷采用“1-9标度法”，于2019年5月29日通过电子邮件和即时通信工具发放和回收。

数据汇总与计算过程如下：

假设一级指标的权重为WUi，求出一级指标下的二级指标权重WUij，必须满足如下条件：

m表示一级指标的数量，n表示各一级指标下二级指标的数量。评价指标模型共设有5个一级指标，要确定这5个一级指标相对于目标层的权重。

①首先要构造指标间的判断矩阵（表6）。

②然后计算层次单排序，进行归一化处理：

计算第一个一级指标（U1）的权重：

依次计算并整理结果，得到所有一级指标相对于目标层间的权重集为：

③最后进行矩阵判断的一致性检验

一致性检验需要计算一致性比率CR=CI/RI的值。由AW=λW，可计算得到最大特征根λ=5.3008，所以：

根据判断矩阵的阶数查询RI的标准值，可知RI=1.12

CR=CI/RI=0.0671<0.1，因此上述判断矩阵通过一致性检验。 

在计算得到5个一级指标相对于目标层的权重集WU后，分别计算每个一级指标下的二级指标相对于该一级指标的权重集，以及每个二级指标下的三级指标相对于该二级指标的权重集。其过程与一级指标权重赋值过程类似，此处不再赘述。公共文化云服务评价的各级指标权重如表3所示。

5

公共文化云服务评价指标的应用

5.1 公共文化云服务测评准备与测评过程

评价指标的应用需要解决三个问题：一是确定评价对象；二是指标的可操作化处理；三是具体的评价方法与过程。

省级公共文化云平台是地方公共文化云建设的标杆，能够反映本地区公共文化云服务的整体状况，与市县级的文化云相比其资源与服务相对完善，与国家公共文化云相比其服务个性更为鲜明。本研究以对接国家公共文化云平台的省级公共文化云平台为总体，依据文化云上线的时间长短、所在区域和技术支持，选择上海市文化云、重庆群众文化云和山西省公共文化超市作为本次测评的对象。上海市文化云位于东部地区，2016年3月上线运行，由上海创图网络科技有限公司提供技术支持和运营管理，是我国第一个省级公共文化云平台。重庆群众文化云位于西部地区，2017年11月上线运行，由重庆市群众艺术馆牵头，通过整合重庆公共文化物联网服务平台、重庆市群众艺术馆官网和线下数字体验空间形成，上海创图网络科技有限公司为其提供技术支持。山西省公共文化超市位于中部地区，2018年12月上线运行，由昆山必捷必信息技术有限公司提供技术支持，山西省文化馆负责运营管理。此次测评仅针对其文化云官网（PC端）提供的服务。

为保证三级指标的实操性，本研究综合参考《数字文化馆资源和技术基本要求（草案稿）》[48]、《数字文化馆工作指南（试行）》[49]、《国家公共文化数字支撑平台数字资源标准规范》[50]以及《国家公共文化云对接工作规范》[51]等文件中的相关要求和内容作为细化指标的依据或方向，具体结果见表3“三级指标的可操作化处理”。

2019年10月15日至18日，本研究采用人工评价的方式完成了对上述三个文化云的服务评价，具体步骤是：①从测评的便利性和可行性出发，确定研究团队内部的三名成员A、B和C为实施测评的主体。其原因一是团队成员对测评指标体系比较熟悉，更容易在测评过程中感知指标体系存在的问题；二是三个评价主体既能最大程度地避免因个体的主观偏见而导致评价结果失真，又能保证测评过程中解决争议的成本最小化；②测评人员初步讨论评价标准后，以国家公共文化云为评价对象，进行预测评，讨论各类状况以及具体评分标准，消除评价尺度的模糊性和差异性；③A、B、C三名测评人员统一使用校园网络和GoogleChrome浏览器，通过PC端访问测评对象的官网（部分涉及服务效果和服务管理的数据，由测评人员通过电话或微信咨询相应负责人的方式获取），各自完成对三个测评对象所有评价指标的赋分，赋分采用定量和定性相结合的方式，取值区间为0—10，分值越大代表符合程度越高，分值越小代表符合程度越低，0表示无此内容或者数据无法获取；④评分完成后，汇总并计算三个测评对象各项指标的算术平均值，乘以该指标的权重后，进行加总，得到相应的测评结果，如表7和表8所示。

5.2 公共文化云服务的测评结果分析

从各级指标的得分情况来看，一级指标中的服务平台和服务资源得分较高，服务效果次之，服务功能和服务管理得分偏低。二级指标中的平台基础设施、服务系统设计、数字资源、线下活动参与和用户体验5个指标得分较高，文化活动、特色功能和管理措施3个指标次之，基础功能、线上资源使用、服务监督和数据管理4个指标得分偏低。三级指标中的软硬件基础设施、技术支撑、数字资源多样性、数字资源合规性、文化活动多样性、活动报名率、活动参与率、用户粘性、平台运营经费等10个指标得分较高，个人服务、信息发布、在线交互、活动参与、文化消费、用户激励、其他功能、资源评价、活动评价、用户意见与需求回应、制度与规范建设和系统升级维护等12个指标得分偏低，其余三级指标得分基本介于两者之间。

从测评对象的总体情况来看，公共文化云服务的水平较好，网络基础设施较为完善，技术支撑有力，服务资源数量丰富、类型多样；利用平台开展的群众文化活动内容丰富，形式多样，比较重视用户的服务体验和对线下活动的组织管理，平台运营经费较为充足。存在的主要问题：一是服务功能不完善，服务的交互性不足。除信息查询与资源浏览外，文化云的其他基础服务功能尚不健全；除文化服务配送外，其他特色服务功能不突出，尤其缺少用户激励、文化消费等功能。二是服务管理不健全。制度建设、系统升级、人员培训等保障性工作尚未开展或正在完善，对用户的意见投诉和需求回应存在缺位现象，文化数据的采集、管理与利用存在较大提升空间。三是不太重视服务效果，对用户反馈的认识有待强化。用户不能在线对资源和服务留言、评价，反馈意见，资源质量和活动效果得不到及时、客观地记录与展示。从测评对象的各自情况来看，三个公共文化云的测评结果存在一定差距。上海文化云运营时间较长，服务功能相对完善，注重服务的实用性和创新性，服务管理较为规范，比较重视用户的监督和意见反馈。今后应在信息发布、在线交互等基础服务功能，线上数字资源的建设、使用与评价，以及用户激励和文化数据的展示与利用等方面加以优化和改进，以提升其综合服务能力。重庆群众文化云重视服务平台的设计与优化，服务资源丰富、更新及时，基础功能相对完善，展示了文化数据对服务效能的支撑作用。今后应在文化消费、文旅融合、用户激励等特色服务功能的开发，资源和活动评价，以及服务管理等方面加以优化和改进，以反映时代特色、保持用户活跃度，保障服务的可持续发展。山西公共文化超市基础设施完善，比较注重服务资源的多样性与服务效果，强化对线上数字资源的使用和对线下活动的组织与管理，重视对相关人员的培训与考核。今后应在完善在线交互、资源浏览、活动参与等基础服务功能，开发文旅融合、用户激励等特色服务功能，以及健全服务管理等方面加以持续改进和优化，以实现服务能力和服务水平的超越式发展。

6

结论与讨论

6.1 关于公共文化云服务的评价指标的构建

与测评

本研究基于系统性、规范性和导向性原则构建的公共文化云服务的评价指标体系包括5个一级指标，12个二级指标和41个三级指标。评价指标的可用性和适用性通过实际测评得到了初步检验。

需要讨论并完善的地方：一是部分指标的可操作化处理难度较大。这部分指标大多属于定性的指标，如用户粘性、满意度、包容性、合规性等，指标本身的表述和观测方式存在模糊性，需要进一步优化处理。二是量化指标具体的赋分标准难于把控。这部分指标大多需要在时间和数量的评定上给出客观依据，如数字资源的多样性和资源总量，文化活动的总量和时效性等，需要评价人员在预测评乃至正式测评过程中不断协商，形成统一认识；三是部分指标无法直接通过观察或计算获得所需数据。这类指标主要涉及对资源、活动、管理等方面总体状况的判断，需咨询文化云管理运营机构负责人，答复结果受负责人主观意愿影响较大。

上述问题的解决不仅需要提升评价主体的经验技巧，优化评价标准，还与评价主体是谁有直接关系。本研究采用了“第三方测评”的视角，确切地说是研究者为了检验评价指标是否可用，以便利性为首要目的进行的研究性测评，如果换作文化云的管理运营机构组织并实施测评，则可大大提升评价数据采集的准确性与可靠性，使得评价指标更容易操作，评价结果也将更为客观。

6.2 关于公共文化云服务的测评

公共文化云服务的整体水平较好，服务平台和服务资源建设方面可圈可点，这与政府持续推进公共数字文化工程建设，完善数字文化资源保障体系密不可分；公共文化云服务在服务功能、服务效果和服务管理等方面存在较多问题，除了管理体制上的约束和对文化安全因素的考量，还因为建设主体没有充分认识到用户的角色与作用，计划主导而非用户主导公共文化云服务的工作思路依然发挥着重要影响。

公共文化云服务的测评对象在运营管理上不尽相同，呈现出各自的问题与特色。确立用户主导的服务理念，贯彻以用户为中心的服务设计，将会极大提升公共文化云的服务能力和服务水平。公共文化云的建设主体需要转换工作思路和服务理念，完善服务管理制度；建立健全用户激励机制，提高用户的获得感和使用粘性；建立健全资源质量和活动效果评价机制，以评价结果为依据提升服务效能；充分挖掘文化数据的价值，实现对文化效能的有力支撑。

本研究的不足之处：一是三级指标的数量较多，指标的可操作化处理虽然参照了较为成熟的研究成果和行业标准，但是仍有部分指标的可操作性在实际测评过程中存在争议，评价标准有待进一步优化。二是测评数据主要来自公共文化云的官网，未考虑其微信公众号和移动客户端的情况，评价结果与实际服务之间可能存在偏差。

参考文献

*本文原载于《图书情报知识》2020年第6期54-66页

版权归《图书情报知识》所有，欢迎转发到朋友圈，转载请联系后台。

制版编辑 | 姚志臻

END