调查工具的可靠性和效力

　　完成科研或社会调查，选择一套合适的调查工具是至关重要的。而调查工具的可靠性和效力，是选择和修订调查工具过程中相当重要的问题。

　　一、可靠性

　　可靠性是一目标多次使用一调查工具调查得到相同结果的程度。可靠性好的调查工具能帮助研究人员得到真实的反映；当然，一种调查工具对一种用途来说相当可信，而对另一种用途就可能非常不可信。为此必须选择合适可靠的调查工具。调查工具的可靠性的评价方法有许多种，常根据调查工具的类型(观察员观察对调查员访问)和使用调查工具的次数(同时与不同时)分成不同的种类。

　　1)观察员间的可靠性：让两个观察员评价同一种行为，说明两个观察员在同一时间是否用同一方式对同一件事情进行了观察和解释。

　　2)观察员的可靠性：同一观察员在两个不同时间评价同一个人，比较结果的一致性。这种评价方法不经常做，因为它假定在两个不同时间评价同一现象没有差别。

　　3)评分可靠性：如果调查工具中有许多条目都是测量同一现象的，就可采用评分可靠性评价。随机地将调查工具中的条目分成两组，分别计算这两组的得分，计算得分的相关性。

　　4)复式可靠性；先建立两个理论上是测量同一事情的调查工具，然后让应答者回答同一测量部分的两套问题。这两套问题的测量结果应高度相关。实际调查时，可以在一调查问卷的两个地方简单重复同样的问题，以提供关于可靠性的连续监测。

　　5)重复测验可靠性：在不同时间用同一种调查工具调查。由于间隔了一段时间，这种评价方法的评价结果很难使人信服，因为在间隔时间里很可能发生某些事情，促使结果真正发生变化。

　　可靠性的控制：不可靠性可能来自指导、调查、调查人员、调查环境、应答者和数据管理系统。这6种原因可以单独存在，但常常同时存在。例如：对应答者的指导可能是令人模糊的，调查工具的条目可能不能被应答者清楚地理解。在使用调查工具时，调查人员可能不认真，或调查工具太大，调查时间太长，调查问题太多太复杂。对应答者来说，使用调查工具的环境噪声可能太大或者干扰因素太多。应答者可能遭受着旧习俗或其他分散注意力的因素的折磨。编码键入或编辑数据时都可能产生误差，造成不可靠。

　　二、效力

　　效力是研究人员要求调查工具测量的指标所达到的程度。调查工具可能调查一些认为没有测量的指标。发生这种情况是因为编制调查工具时思考不够充分，最近的研究改变了测量的变量的复杂性，使用调查工具时不小心，未注意具体细节等。调查工具效力的研究比可靠性的研究困难，研究效力一般有四种方法：

　　(1)表面效力：表面效力说明调查工具调查它预计要调查的指标所达到的程度。评价一个调查工具的表面效力，首先要知道调查指标的定义，其次是判断所搜集的信息是否与调查指标相符。

　　(2)内容效力：一些调查工具包括几个领域的内容。为了评估内容效力，必须从这些内容的每一个领域内分别抽取一些样本条目进行考察。内容效力受时间的限制。

　　(3)标准效力：通过在同一时间使用两种调查工具(同时的标准效力)或者通过第一次使用较节约的调查工具来预测第二次用较昂贵的测量工具的测量结果(预测性标准效力)来评估标准效力。作为标准的调查工具至少必须具有表面效力。

　　(4)结构效力：是一种良好的效力指标。当两种调查工具对同一指标进行测量，第一种调查工具至少具有表面效力时，则表明第二种调查工具具有结构效力。否则，就没有结构效力。

　　影响效力的因素是偏差，即随机误差和系统误差。

　　三、效力和可靠性的关系

　　效力比可靠性更重要。如果调查工具不能调查研究人员想调查的指标，就很难相信调查是可靠的。另一方面评估可靠性容易得多，有公式可测量可靠性的不同方面。使用调查工具测两次的程序是相当明确的。而且，可靠性给效力定了上限。也就是说，假设一调查工具真能测量它想测的指标，这种调查工具的效力就不会超过其可靠性。具体地说，可靠性与效力的关系是：(1)可靠性低，效力不可能高。如果搜集的资料不可信，不可靠，那么它肯定不可能有效地说明所调查的指标。(2)可靠性高，效力未必高。(3)效力低，可靠性有可能很高。(4)效力高，可靠性必然也高。

　　每次使用调查工具时都要评估其可靠性。在调查开始之前，进行效力的测验，保证调查工具调查选定参加者所要求测量的变量。

　　作者单位:北京医科大学妇幼学系(100083)