正交试验设计方法在测试用例设计中的应用

正交试验设计方法在测试用例设计中的应用

于秀山

（中国电子系统设备工程公司通信研究所，北京%

234),*：567,6-8)9:%’/$9;

摘素。关键词

正交试验

软件测试

测试用例

文献标识码>

中图分类号?@/%%$.’

要

文章对正交试验进行了分析，并将其与软件测试理论相结合，提出了测试用例的正交设计方法。该方法用较少

的测试用例就可以对软件进行较全面、有代表性的测试，并能够对测试结果进行直观分析，找出影响该结果的主次要因

（!

!

678’71

（A+4469,B)

$91*/)(*：?8I+6H8)9)*5J,9H

-+D

%引言

在软件测试工作中，由于输入、输出空间，特别是输入空间

是指软件的输入范围或集合以及可用的硬件资源。这些数据可以通过对软件规格说明书进行分析而得到。

确定每个因素的水平。根据因素的取值范围或集合，采（/）

用等价类划分、边界值分析以及其他软件测试技术，在每个因素的取值范围或集合内挑选出“有效等价类、无效等价类、正好等于、刚刚大于或刚刚小于边界的值”等有代表性的测试点。

选择正交表。根据确定的因素和水平，选择一张合适的（#）

正交表。合适的正交表必须满足：!正交表中的数码数与所确定的水平数完全一致。

设计测试用例表。将所确定的因素与正交表中的“列（.）

号”对应，所确定的水平与正交表中的数码数对应，填写正交表。若需要对某种测试结果进行直观分析，该表还要包括其它的“列、行”，如响应时间、响应时间之和、平均响应时间、极差等，以便于找出影响该结果的主次要因素。

的无限性，使得无法对软件进行全面的测试。因此，如何从大量的输入数据中挑选适量的具有代表性、典型性的数据，特别是怎样用较少的测试用例对软件进行较全面的测试是测试人员面临的一大难题。正交试验具有“均匀分散、整齐可比”的特点，在国民经济许多领域得到了广泛应用。该文通过对正交试验设计的研究，将这种试验设计方法与软件测试理论相结合，用来指导测试用例设计，有效地改善了测试效果。

!正交试验设计方法简介

正交试验设计起源于科学试验，它由田口玄一博士在

%&#&年创立，并于’

有代表性的条件来合理地安排试验。运用这种方法安排的试验具有“均匀分散、整齐可比”的特点。“均匀分散”性使试验点均衡地分布在试验范围内，让每个试验点有充分的代表性；“整齐可比”性使试验结果的分析十分方便，可以估计各因素对指标的影响，找出影响事物变化的主要因素。实践证明，正交试验设计是一种解决多因素试验问题卓有成效的方法。

!$!

比较

!$!$%

正交试验与全面试验以及单因素轮换试验的

全面试验

全面试验就是把所有的因素和水平都一一搭配起来进行

需要做//0!1次试试验。例如，对于/个因素、/个水平的试验，验。若将这!1个试验点标绘在以!、

全面试验的优点是试验的全面性，缺点是要求的试验次数总的试验次数为%$，这太多，对于$个因素、%个水平的试验，在大多数情况下无法实现。

!$%正交试验设计的基本步骤

正交试验设计主要包括.个步骤：

（%）确定因素。这里的因素是指对软件的运行结果有影响

的软件运行条件。一般情况下是指软件的输入以及其他软件运行的环境。这些因素可以通过对软件规格说明书进行分析而获得。若因素太多且测试资源有限，可根据专业知识及实践经验去掉那些对运行结果影响不大的因素。

确定因素的取值范围或集合。因素的取值范围或集合（!）

!$!$!单因素轮换试验

单因素轮换试验是一种把多因素的试验问题转化为单因

素试验问题的处理方法。在这种试验中，每次只变化一个因素，

作者简介：于秀山（%&’!3），男，博士，高级工程师，硕士研究生导师。主要研究领域为软件评测，软件工程化管理。

’!!

万方数据

其他因素固定。例如，对于)个因素!、

才便于对试验结果进行科学分析。

图)

图(

全面试验

正交试验

正交试验设计的指导思想与单因素轮换的试验方法有很大的不同，它是在两个因素变动的情况下来比较第三个因素的。这种综合比较的思想可以避免出现忽略因素之间客观存在的相互联系，从而有可能得出错误结论的情况。

有时候，利用正交试验设计得出的结果可能与传统的单因素轮换法的结果一致，但正交试验设计更具有以下优势：

!考误差便可察因素及水平合理、分布均匀。

作用越大，而此时即使用单因素轮换法也几乎不可能实现。

图!表(

因素水平

试验号

单因素轮换试验

)

单因素轮换试验

正交试验设计方法应用示例

下面以对某应用中的某输入界面的测试为例（见图#），说

明测试用例的正交设计方法。

%%(%!%)%(%!%)%(%!%)

&&(&(&(&!&!&!&)&)&)

’’(’(’(’!’!’!’)’)’)

(!)#*+,-.

同样，将这.个点标绘在以!、

（(）确定因素。在测试该界面时，主要考虑“频段输入、用途和保护时间”所对应的*个输入项。通过对该应用的分析，确定将其分别命名为：频段输入(、频段输入这*个输入项为因素，

用途、保护时间(和保护时间!。!、

确定因素的取值范围或集合。根据该软件的规格说明（!）书，得出各因素的取值范围或集合如下：

频段输入(：/

（下转,+页）

计算机工程与应用!

图#

应用示例

!$!$)正交试验

正交试验汲取了上面两种方法的优点，同时克服了它们的

#

安排的.次试验，反映在以!、缺点。例如用$（

坐标轴的直角坐标系中，就是立方体的.个点（见图)）。这.个点在立方体内分布很均匀，因此，能够基本上反映!,个试验的情况。正是由于它们搭配的均匀，所以任一因素的任一水平与其它因素的每一水平相碰一次，且仅相碰一次。正因为如此，

万方数据

+)

并不依赖存储方式，对不同的存储方式算法只需修改出现096:所以不考虑其存储属性。对于算法的时间属性，如5-.的地方，

（即该文的线程创建）和各语句的执行时果不考虑;

间，只考虑延时时间，则理论上可以通过调整速度控制因子

运行环境。但在现实问题中结点个数是有限的，随着计算机技术的发展，特别是并行计算机的发展，必能为该分流算法处理大规模模型提供应有的软硬件平台。

在现实中很多有向图是有环图，对有环图是否可以运用分流算法呢？回答是肯定的，其实很简单，只须在生成每个;

该算法对于无向图也适用，因为可以把无向图看成一双向有向图。（收稿日期：!

?9@A651-算法的基础上做些修改，算法复杂度总体上没有突破（$!）。#

3讨论

从算法的设计思想和上面的讨论可以看出，分流算法突破

参考文献

’$CD;EFG，EHHEIJ$BKL15265M-5K;N8&

了传统求最短路径的思维方式，从执行时间来看是传统算法和新近的近似算法所不能比拟的。由于用延时来实现水流，所以只要取一合适的比例，在理论上，对任何有限最短路径问题都可以在人们可以接受的时间内给出解，而与结点个数无关。当然结点数增加时，在分流7;B系统中;

水流通过则不生成该;

为’。但由于同时运行的;

保护时间’：(’)*#+

表!测试用例

因素水平用例号

频段输入’频段输入!

用途

保护时间’

保护时间!测试结果

!$鲍培明$距离寻优中?9@A651-算法的优化(U,$计算机研究与发展，!

分类体系与研究进展(U,$测绘学报，（&）：&$陆锋$最短路径算法：!

!%)>!83

肖江阳，张锡恩$一种新型最短路径搜索算法的研究(U,$计算#$刘玉海，

（’8）：机工程与应用，!

隋春丽$MI机群环境下最短路径并行算法的研究(U,$小型微3$谭国真，

型计算机系统，（’’）：!

（&）：%$刘大有$;

（&）：!

保护时间!：(’)*#+

（&）确定每个因素的水平。根据每个因素的取值范围或集合，结合以往的软件测试经验，确定出每个因素的水平如下：

非数字频段输入’：+

保护时间’：’)*#+

’!&#3%8*)’

+

非数字非数字非数字非数字非数字

))$)’

非数字

广播电视民航雷达数据电视民航雷达数据广播民航雷达数据广播电视雷达数据广播电视民航数据广播电视民航雷达

’)*#+

’)*&+

’)*#+

’)*#+

’)*#+

’&+&’，-

保护时间!：，’)*&+

（#）选择正交表。该例是3个因素、可选3个水平的试验，（3%）。!!3

设计测试用例表。将确定的因素和水平与正交表!!3（3）

（3%）对应，得出该例的一组测试用例表（见表!）。

))$)’

非数字

))$)’

非数字

#结论

采用正交试验和软件测试理论相结合的方法设计测试用

例，可以用较少的测试用例较全面地反映被测软件的情况，具有很好的代表性，从而避免了测试的片面性和盲目性，使软件测试的质量和花费的测试时间达到最佳的统一。该方法特别适用于对那些因素、水平数不多或因素、水平数较多并且需要估计各因素对软件影响情况的软件进行快速、较全面的测试。（收稿日期：!

))$)’

非数字

))$)’

非数字

参考文献

’$于寅$近代数学基础(7,$华中理工大学出版社，’)))周润兰$应用概率统计(7,$科学出版社，!$邓远北，!

8%!

万方数据

正交试验设计方法在测试用例设计中的应用

于秀山

（中国电子系统设备工程公司通信研究所，北京%

234),*：567,6-8)9:%’/$9;

摘素。关键词

正交试验

软件测试

测试用例

文献标识码>

中图分类号?@/%%$.’

要

文章对正交试验进行了分析，并将其与软件测试理论相结合，提出了测试用例的正交设计方法。该方法用较少

的测试用例就可以对软件进行较全面、有代表性的测试，并能够对测试结果进行直观分析，找出影响该结果的主次要因

（!

!

678’71

（A+4469,B)

$91*/)(*：?8I+6H8)9)*5J,9H

-+D

%引言

在软件测试工作中，由于输入、输出空间，特别是输入空间

是指软件的输入范围或集合以及可用的硬件资源。这些数据可以通过对软件规格说明书进行分析而得到。

确定每个因素的水平。根据因素的取值范围或集合，采（/）

用等价类划分、边界值分析以及其他软件测试技术，在每个因素的取值范围或集合内挑选出“有效等价类、无效等价类、正好等于、刚刚大于或刚刚小于边界的值”等有代表性的测试点。

选择正交表。根据确定的因素和水平，选择一张合适的（#）

正交表。合适的正交表必须满足：!正交表中的数码数与所确定的水平数完全一致。

设计测试用例表。将所确定的因素与正交表中的“列（.）

号”对应，所确定的水平与正交表中的数码数对应，填写正交表。若需要对某种测试结果进行直观分析，该表还要包括其它的“列、行”，如响应时间、响应时间之和、平均响应时间、极差等，以便于找出影响该结果的主次要因素。

的无限性，使得无法对软件进行全面的测试。因此，如何从大量的输入数据中挑选适量的具有代表性、典型性的数据，特别是怎样用较少的测试用例对软件进行较全面的测试是测试人员面临的一大难题。正交试验具有“均匀分散、整齐可比”的特点，在国民经济许多领域得到了广泛应用。该文通过对正交试验设计的研究，将这种试验设计方法与软件测试理论相结合，用来指导测试用例设计，有效地改善了测试效果。

!正交试验设计方法简介

正交试验设计起源于科学试验，它由田口玄一博士在

%&#&年创立，并于’

有代表性的条件来合理地安排试验。运用这种方法安排的试验具有“均匀分散、整齐可比”的特点。“均匀分散”性使试验点均衡地分布在试验范围内，让每个试验点有充分的代表性；“整齐可比”性使试验结果的分析十分方便，可以估计各因素对指标的影响，找出影响事物变化的主要因素。实践证明，正交试验设计是一种解决多因素试验问题卓有成效的方法。

!$!

比较

!$!$%

正交试验与全面试验以及单因素轮换试验的

全面试验

全面试验就是把所有的因素和水平都一一搭配起来进行

需要做//0!1次试试验。例如，对于/个因素、/个水平的试验，验。若将这!1个试验点标绘在以!、

全面试验的优点是试验的全面性，缺点是要求的试验次数总的试验次数为%$，这太多，对于$个因素、%个水平的试验，在大多数情况下无法实现。

!$%正交试验设计的基本步骤

正交试验设计主要包括.个步骤：

（%）确定因素。这里的因素是指对软件的运行结果有影响

的软件运行条件。一般情况下是指软件的输入以及其他软件运行的环境。这些因素可以通过对软件规格说明书进行分析而获得。若因素太多且测试资源有限，可根据专业知识及实践经验去掉那些对运行结果影响不大的因素。

确定因素的取值范围或集合。因素的取值范围或集合（!）

!$!$!单因素轮换试验

单因素轮换试验是一种把多因素的试验问题转化为单因

素试验问题的处理方法。在这种试验中，每次只变化一个因素，

作者简介：于秀山（%&’!3），男，博士，高级工程师，硕士研究生导师。主要研究领域为软件评测，软件工程化管理。

’!!

万方数据

其他因素固定。例如，对于)个因素!、

才便于对试验结果进行科学分析。

图)

图(

全面试验

正交试验

正交试验设计的指导思想与单因素轮换的试验方法有很大的不同，它是在两个因素变动的情况下来比较第三个因素的。这种综合比较的思想可以避免出现忽略因素之间客观存在的相互联系，从而有可能得出错误结论的情况。

有时候，利用正交试验设计得出的结果可能与传统的单因素轮换法的结果一致，但正交试验设计更具有以下优势：

!考误差便可察因素及水平合理、分布均匀。

作用越大，而此时即使用单因素轮换法也几乎不可能实现。

图!表(

因素水平

试验号

单因素轮换试验

)

单因素轮换试验

正交试验设计方法应用示例

下面以对某应用中的某输入界面的测试为例（见图#），说

明测试用例的正交设计方法。

%%(%!%)%(%!%)%(%!%)

&&(&(&(&!&!&!&)&)&)

’’(’(’(’!’!’!’)’)’)

(!)#*+,-.

同样，将这.个点标绘在以!、

（(）确定因素。在测试该界面时，主要考虑“频段输入、用途和保护时间”所对应的*个输入项。通过对该应用的分析，确定将其分别命名为：频段输入(、频段输入这*个输入项为因素，

用途、保护时间(和保护时间!。!、

确定因素的取值范围或集合。根据该软件的规格说明（!）书，得出各因素的取值范围或集合如下：

频段输入(：/

（下转,+页）

计算机工程与应用!

图#

应用示例

!$!$)正交试验

正交试验汲取了上面两种方法的优点，同时克服了它们的

#

安排的.次试验，反映在以!、缺点。例如用$（

坐标轴的直角坐标系中，就是立方体的.个点（见图)）。这.个点在立方体内分布很均匀，因此，能够基本上反映!,个试验的情况。正是由于它们搭配的均匀，所以任一因素的任一水平与其它因素的每一水平相碰一次，且仅相碰一次。正因为如此，

万方数据

+)

并不依赖存储方式，对不同的存储方式算法只需修改出现096:所以不考虑其存储属性。对于算法的时间属性，如5-.的地方，

（即该文的线程创建）和各语句的执行时果不考虑;

间，只考虑延时时间，则理论上可以通过调整速度控制因子

运行环境。但在现实问题中结点个数是有限的，随着计算机技术的发展，特别是并行计算机的发展，必能为该分流算法处理大规模模型提供应有的软硬件平台。

在现实中很多有向图是有环图，对有环图是否可以运用分流算法呢？回答是肯定的，其实很简单，只须在生成每个;

该算法对于无向图也适用，因为可以把无向图看成一双向有向图。（收稿日期：!

?9@A651-算法的基础上做些修改，算法复杂度总体上没有突破（$!）。#

3讨论

从算法的设计思想和上面的讨论可以看出，分流算法突破

参考文献

’$CD;EFG，EHHEIJ$BKL15265M-5K;N8&

了传统求最短路径的思维方式，从执行时间来看是传统算法和新近的近似算法所不能比拟的。由于用延时来实现水流，所以只要取一合适的比例，在理论上，对任何有限最短路径问题都可以在人们可以接受的时间内给出解，而与结点个数无关。当然结点数增加时，在分流7;B系统中;

水流通过则不生成该;

为’。但由于同时运行的;

保护时间’：(’)*#+

表!测试用例

因素水平用例号

频段输入’频段输入!

用途

保护时间’

保护时间!测试结果

!$鲍培明$距离寻优中?9@A651-算法的优化(U,$计算机研究与发展，!

分类体系与研究进展(U,$测绘学报，（&）：&$陆锋$最短路径算法：!

!%)>!83

肖江阳，张锡恩$一种新型最短路径搜索算法的研究(U,$计算#$刘玉海，

（’8）：机工程与应用，!

隋春丽$MI机群环境下最短路径并行算法的研究(U,$小型微3$谭国真，

型计算机系统，（’’）：!

（&）：%$刘大有$;

（&）：!

保护时间!：(’)*#+

（&）确定每个因素的水平。根据每个因素的取值范围或集合，结合以往的软件测试经验，确定出每个因素的水平如下：

非数字频段输入’：+

保护时间’：’)*#+

’!&#3%8*)’

+

非数字非数字非数字非数字非数字

))$)’

非数字

广播电视民航雷达数据电视民航雷达数据广播民航雷达数据广播电视雷达数据广播电视民航数据广播电视民航雷达

’)*#+

’)*&+

’)*#+

’)*#+

’)*#+

’&+&’，-

保护时间!：，’)*&+

（#）选择正交表。该例是3个因素、可选3个水平的试验，（3%）。!!3

设计测试用例表。将确定的因素和水平与正交表!!3（3）

（3%）对应，得出该例的一组测试用例表（见表!）。

))$)’

非数字

))$)’

非数字

#结论

采用正交试验和软件测试理论相结合的方法设计测试用

例，可以用较少的测试用例较全面地反映被测软件的情况，具有很好的代表性，从而避免了测试的片面性和盲目性，使软件测试的质量和花费的测试时间达到最佳的统一。该方法特别适用于对那些因素、水平数不多或因素、水平数较多并且需要估计各因素对软件影响情况的软件进行快速、较全面的测试。（收稿日期：!

))$)’

非数字

))$)’

非数字

参考文献

’$于寅$近代数学基础(7,$华中理工大学出版社，’)))周润兰$应用概率统计(7,$科学出版社，!$邓远北，!

8%!

万方数据