【08月07日打卡总结】在评估领域流传这样一

在评估领域流传这样一句话：“指标设计难、指标权重设计更难”，而指标权重的合理性将直接影响到评估结论的合理性。本文将结合案例分析，对评估实践中指标权重设计方法及多指标综合评估方法的应用进行探讨。

　　一、评估指标权重设计方法

　　多指标综合评估方法是各类评估活动中一个比较简便有效和常用的定量方法，它通过一组指标，分别从不同方面来评估一个对象（通常称为各指标评分），最后再根据各指标的权重将这些指标评估结果进行综合，形成对该对象的综合评估（通常称为总分）。该方法所涉及的指标可以是定量指标，也可以是定性指标，前者需要归一化和无量纲化，后者需要量化，其量化方法一般为指标分档打分。

　　多指标综合评估方法的数学表达式如下：

　　S=W1S1+

W2S2+……+ WnSn，

　　W1+ W2+……+

Wn=1，0≤Wi≤1，i=1，2，…,n

　　这里，Si、Wi分别是对某对象第i个指标的评分和权重，S是对该对象的评估总分。

　　多指标综合评估方法常用于由同一个人群对同一个对象组进行评估，且对象数量众多并需要相互比较的情况，对象比较的依据则是其评估总分。该方法的两个技术关键分别是指标设计和指标权重设计，有关指标设计问题笔者曾讨论过，这里只讨论指标权重设计。

　　指标权重是否合理将影响到评估活动导向及评估结论（总分）是否合理。这里从指标权重的基本功能、评估的现实状况等方面，提出指标权重设计的原则和方法。

　　1、指标权重应体现各指标的相对重要程度，这是指标权重设计的基本原则

　　根据评估活动的目的和准则，分析各指标的相对重要性和对综合评估结果（总分）的作用，并将其定量表达出来，这是指标权重的“言中之意”和基本功能。指标越重要，权重越高，反之亦然。指标权重定量地、具体生动地体现了各指标在综合评估中的作用，体现了评估活动的准则、标准、导向和强调重点。

　　专家咨询法（Delphi）和层次分析法（AHP）是确定指标权重的两个常用的方法，它们属于主观判断法1，根据专家对各指标重要程度的判断，实现定性到定量的转化，得到各指标的权重。其中，层次分析法是根据评估目的，将指标层层细化，由专家对各指标进行两两比较，判断低层各指标对其上层指标（或上层准则）的相对重要性，并将其相对重要性赋予一定数值，构造两两比较判断矩阵，然后通过若干步骤，计算求得各指标权重的数值。Delphi法则是多轮征求专家意见，具有匿名、反复和结果收敛的特点。

　　2、指标权重应与指标之间的独立程度相适应，当某些指标之间存在相关性时，应综合考虑这组关联指标的权重。

　　一般要求评估指标体系具有完备性和独立性2，这也是多指标综合评估方法应用的一个理想状态和假设条件，即指标体系应围绕评估目的，全面反映评估对象，不能遗漏重要方面或有所偏颇；各指标之间应相互独立，不应出现信息包容、涵盖而使指标内涵重叠。实践中指标之间完全独立无关常常很难做到，一方面是因为事物各方面往往本身就是相关的，如产品的技术含量与经济效益；员工的勤奋、能力与绩效。另一方面，指标体系不是许多指标的简单堆砌，而是由一组相互间具有有机联系的个体指标所构成，指标之间绝对的无关往往就构不成一个有机整体。在评估活动中，从指标体系的完备性考虑，或为加强对某方面的考察，有时需从不同角度设置一些指标，以相互弥补或验证，这时，这些指标之间的相关性可通过适当地降低其中部分或每个指标的权重来处理，只要这组关联指标的总权重合理即可。

　　3、指标权重应与各指标的区分度相适应，对于区分度较低、应用效果不够理想的指标，赋予较低权重。

　　由于不同指标在特征性、内涵清晰度、综合复杂性等方面存在差异，不同指标的区分度有所不同，如有的指标对各对象差异不大，指标评分比较集中；有的定性指标比较模糊、复杂或综合，或评判者不太了解此方面情况，所掌握信息不够充分，在判断该指标时比较困难，评分容易趋于大众化，指标区分度不高，或评分准确度不高，上述两种情况下指标应用效果均不够理想，指标价值不大，但若取消这些指标，则指标体系在形式上和实质上都可能存在偏颇，与评估活动的导向不符。因此，实践中往往保留这些指标，但赋予其较低的权重。

　　最优综合评价模型和主成分分析法是考虑到指标区分度的两个常用的指标权重设计方法，它们属于客观分析法3，在指标评分数据已得到的情况下，提取分析数据本身所包含的客观信息，从中找出规律，以确定各指标权重。其中，最优综合评价模型试图建立一种能够模拟专家评分机理的数学模型，其基本思想是：如果某指标对所有对象的区分度很小，则该指标对评估目的贡献很小，相应权重赋予很低数值，反之，权重则高，目的是使得综合评分尽可能分散，以利于区分各个对象。该方法实际上是主成分分析法取第一主分量时的特例。

　　当然，指标的区分度还与指标取值范围或分档有关，一般地，取值范围越大或分档越多，指标区分度越高，但上述问题已不属于指标权重设计问题，这里不再展开。

　　4、指标权重应与各指标的信息可靠性相适应，对于信息可靠性较低和利用价值较低的指标，赋予较低权重。

　　指标的评判需要信息的支撑。对于不同指标，由于评判者所掌握信息的准确性、客观性、可靠性等方面存在差异，不同指标评判结果的可利用价值不同。信息可靠性越高，其指标评判结果的可利用价值越高，反之亦然。实践中往往对那些信息可靠性较低的指标赋予较低权重。

　　5、通过事前验算和模拟试验，探索比较合理和满意的权重

　　上述指标权重设计应考虑的诸因素中，有的可通过数学方法解决，有的却与指标特点、评估者掌握的信息质量等评估实际状况有关，比较复杂和模糊，无法通过简便有效的成熟方法解决，对评估设计人员的实践经验依赖较高。另外，总分的产生经过一系列计算过程，其中，除了权重，还涉及到指标个数、每个指标的取值范围、指标分档的数量、每档的赋值等定量因素，从权重到总分的过程并不很直观，有时甚至出乎人们意料之外。因此，对于某些要求较高或失败代价太大的评估活动，为了保障评估结果的准确合理性，应在正式开始评估活动前，对指标权重进行模拟试验，人工设置一些模拟数据进行验算，或随机选择一些样本开展小范围的模拟评估，然后分析结果，考察不同的权重分配对于评估总分的影响，据此逐步调整完善各指标权重，该过程可以重复多次，直至寻找到比较满意的权重。

　　现实中，由于成本和方法等方面的限制，几乎不存在最优权重，这时只要得到比较满意的解决方案即可。而对于某些情况，上述“事前试验”可能根本无法开展或成本太高，如涉及很多人和机构的公共管理领域。这时，则应该在事后对评估数据和结果进行系统分析，及时总结经验和不足，在以后评估实践中逐步调整完善权重。需要提醒的是，应综合平衡相关评估活动的科学性和稳定性，不能偏面追求科学性，而经常地大幅度地修改“游戏规则”，导致相关工作的“震荡”。

　　二、案例分析

　　在我国许多政府机关和事业单位等公共管理组织中，“德、能、勤、绩、廉”是对其工作人员进行年度考核的常用指标体系，已经实施多年。2007年度某政府部门及其部分下属事业单位人员年终考核民主测评时，继续沿用了这套指标体系，但不同于往年各指标采用相同权重的模式，2007年指标权重进行了调整，见表1。

　　从评估方法的角度看，该套指标体系权重基本符合本文所提出的原则，综合考虑了各指标重要程度、指标之间的独立程度、指标特点、局限性及实际使用效果等因素。具体分析如下：

　　1、指标“绩”权重最高，占35%，其次是“能”，占25%。，均超出平均权重（20%），一方面标志着这两个指标的重要程度，鲜明地体现出务实和面向结果的绩效管理理念和导向（“能”可视为潜在和未来的“绩”），另一方面是由于这两个指标的内涵比较明确、外在和客观，评判者（周围同事）之间比较清楚，所掌握信息比较全面和准确，指标容易判断，指标的区分度和信息可靠性较高，指标应用效果和利用价值较高。

　　2、“勤”，占10%。“勤”与“绩”、“能”与“绩”指标之间存在相关性，“勤”和“能”是原因和过程，“绩”是结果。由于“能”、“绩”的权重已经较高，“勤”的权重便不能再赋高值了，另外，“勤”低、“能”“绩”高的局面可能也是为了体现面向结果、讲求效率的管理理念。目前“勤”、“能”与“绩”三个指标的权重合计达到70%，高于平均权重模式下三指标权重合计（60%），总体上看基本合理。

　　3、“德”，占20%，属于平均权重。对于公共管理组织，该指标很重要，但由于该指标内涵比较模糊、内在和主观，评判者（周围同事）所掌握信息不够全面和准确，指标判断比较困难，指标区分度不高。因此，该指标虽然很重要，但权重并不很高，取平均值。

　　4、“廉”，占10%，低于平均权重。与“德”相同的是，该指标对于公共管理组织非常重要。此外，该指标是非常严肃、内在、强调事实依据、法律性很强的指标，实践中，除非有极端情况出现，否则，一般情况下绝大多数评判者（周围同事）不掌握此方面信息，对该指标难于判断，指标区分度和信息可靠性不高，而且，对一个人“廉”的考核评价，必须通过其他更正规更有效的方式来鉴别和处理（如纪检监察），仅凭同事之间模糊的指标打分是不够严肃和充分的，即从综合评分的角度看，指标“廉”成为那种“道理上很重要、实际应用效果不好和利用价值不高”的指标。考虑到评估指标体系的完整性和评估考核活动的导向作用，仍旧保留此指标，但权重适当降低。此外，该指标除参与综合评分外，还具有调查和预警作用，如对于该指标得分极低的人，管理者可以重点关注。因此，指标“廉”权重虽低，并不表示该指标不重要，而是由于该指标的特点和局限，以及不能仅仅简单地将其用于计算总分。

　　此外，“廉”和“德”两指标之间存在相关性，“德”是因、“廉”是果，这两个指标的权重合计达到30%，虽然低于平均权重模式下两指标权重合计（40%），但考虑到上述所分析的两指标的特点、局限和实际应用效果，总体上看基本合理。

　　当然，判断指标权重是否合理，还需要考察其实际应用情况，需要对评估数据及结果进行系统分析。

　　三、问题与建议

　　目前国内各类评估活动中广泛应用了多指标综合评估方法，但对该方法尤其是其中的指标权重设计认识还不够深入，在方法运用方面还存在以下问题和不足：

　　1、指标权重设计不够合理，导致评估结果不够合理。

　　在设计指标权重时，仅仅考虑到各指标在理论上的相对重要程度，未考虑到指标之间的相关性、指标的区分度、评判人员所掌握信息的可靠性等各指标的特点和局限性，即只考虑到指标权重设计的基本因素，而未考虑到指标在实际应用中的局限和效果等其他因素。或者相反，认识到权重设计的难度，但知难而退，如简单地采用平均权重的方法予以回避，未深入探究合理的权重，这两种倾向都导致了指标权重设计及评估结果不够合理。

　　2、应用多指标综合评估方法时过于简单，单纯利用总分进行排序，未充分认识到总分的局限性，未充分利用评估活动中的其它信息。

　　总分是综合各指标评分所形成的最终结果，其中，各指标的贡献已相互补偿，这是多指标综合评估方法的一个显著特点，它使评估结果简单明了，便于利用，尤其是众多对象之间的比较，这也是人们采用该方法的一个主要原因。但同时这也是总分的局限性，即信息量太少，无法反映对象的具体情况，而“淹没”在总分中的一些信息可能很有价值，如有关对象的某些具体方面或极端情况。

　　另外，由上文可知，实践中权重设计往往很难达到理想要求，造成总分并不十分合理，不能非常准确合理地反映各评估对象，对于某些要求较高的评估活动，总分的准确度则不能完全满足要求。

　　上述两种情况都表明，在应用多指标综合评估方法时，如果只会单纯地利用总分，则将限制评估活动的效率和水平。

　　为更加合理有效地应用多指标综合评估方法，提高评估活动的水平，建议有关人员在以下方面予以关注和改善：

　　1、深入认识多指标综合评估方法，掌握指标权重设计的常用数学方法并了解其局限性，设计指标权重时，不仅考虑各指标在理论上的相对重要程度，还应考虑各指标的特点、实际应用中的局限性和效果，提高权重设计的合理性。

　　目前常用的一些指标权重设计方法，如上文提到的专家咨询法（Delphi）、层次分析法（AHP）、最优综合评价模型和主成分分析法，虽分别考虑了指标重要性或指标区分度等因素，却无法将实践中影响权重设计的全部因素都考虑进来。此外，前两个方法受主观因素干扰较大，且没有与评估结果结合起来，而后两个方法则过分依赖客观数据，忽视了人们在确定权重时应有的作用，且后两个方法只有等评估数据全部采集到才能确定权重，即“事后定规则”，对评估活动的透明公正性造成影响。

　　需要特别注意评估实践中的非理想因素，在设计指标权重时，有时那些道理上很重要、但实际应用中有局限、应用效果不太理想的指标，其权重并不一定很高。反之，当我们解读一些指标体系时，也应正确认识到，一些权重较低的指标，并不一定意味着其指标不重要，而可能是由于其有缺陷、应用效果不太理想的缘故，或者在计算总分之外，该指标还有其他用途。

　　2、避免简单使用多指标综合评估方法，认识到总分的局限性，采用逻辑规则、视图等其他方法，充分利用评估活动中的其他信息，与总分结合运用，提高评估活动的效率和水平。

　　在应用多指标综合评估方法时，还可采用逻辑规则、视图等其他方法，将某些单项信息或过程信息与总分结合运用，对总分信息进行补充或校正。如制定以下规则：

　　●当总分都处于相同区间或达到一定程度时，不再考虑各对象总分之间的细微差别，而只比较各对象在某些单项指标上的得分，单项指标得分突出者入选（选优或选专规则）；

　　●当对象在某一重要指标上评分极低时，无论总分如何，均不得入选（汰劣规则或避免风险规则）；

　　●不仅要求总分达到一定程度，还要求所有指标的单项评分均达到一定程度，只有这样的对象才能入选（平衡规则）。

　　与综合总分相比，逻辑规则的效果比较直观和可预测，便于直接体现评估的目的和准则，与总分结合运用，通常能取得较好的效果。

　　也可以利用折线图、雷达图（也称辐射图）等图形将每个对象的所有指标值表示出来，这种视图法直观、简明，能够形象地反映各个对象在各个指标上的表现和总体特征，适合于对象数目不多的情况。