home *** CD-ROM | disk | FTP | other *** search
/ Internet Standards / CD1.mdf / nist / oiw / agreemnt / 1993 / 24w_9312.txt < prev    next >
Text File  |  1994-02-09  |  8KB  |  396 lines
  1.  
  2.  
  3.  
  4.  
  5.  
  6.  
  7.  
  8.           Working Implementation
  9.           Agreements for Open Systems
  10.           Interconnection Protocols:
  11.           Part 24 - Conformance Testing
  12.  
  13.  
  14.  
  15.  
  16.  
  17.  
  18.  
  19.  
  20.  
  21.  
  22.  
  23.  
  24.           Output   from  the   December  1993   Open  Systems   Environment
  25.           Implementors' Workshop (OIW)
  26.  
  27.  
  28.  
  29.  
  30.  
  31.  
  32.  
  33.  
  34.  
  35.  
  36.  
  37.  
  38.  
  39.  
  40.  
  41.  
  42.  
  43.  
  44.  
  45.  
  46.  
  47.  
  48.  
  49.  
  50.  
  51.  
  52.  
  53.  
  54.  
  55.  
  56.  
  57.  
  58.  
  59.           SIG Chair:               Eva Kuiper, Hewlett Packard
  60.           Workshop Editor:         Brenda Gray, NIST
  61.  
  62.  
  63.  
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70.  
  71.  
  72.  
  73.  
  74.           PART 24 - Conformance Testing             December 1993 (Working)
  75.  
  76.  
  77.  
  78.  
  79.  
  80.  
  81.  
  82.  
  83.  
  84.  
  85.  
  86.  
  87.  
  88.  
  89.  
  90.  
  91.  
  92.  
  93.           Foreword
  94.  
  95.           This part of  the Working Implementation Agreements  was prepared
  96.           by the Conformance  Testing Special Interest Group (CTSIG) of the
  97.           Open Systems  Environment Implementors' Workshop (OIW).  See Part
  98.           1  -  Workshop  Policies  and Procedures  of  the  "Draft Working
  99.           Implementation Agreements Document."
  100.  
  101.           Text in this part has been approved by the Plenary of  the above-
  102.           mentioned Workshop.  
  103.  
  104.           Future changes and additions to this version of these Implementor
  105.           Agreements will be published as  a new part. Deleted and replaced
  106.           text will be shown  as struck. New  and replacement text will  be
  107.           shown as shaded.
  108.  
  109.  
  110.  
  111.  
  112.  
  113.  
  114.  
  115.  
  116.  
  117.  
  118.  
  119.  
  120.  
  121.  
  122.  
  123.  
  124.  
  125.  
  126.  
  127.                                           ii
  128.  
  129.  
  130.  
  131.  
  132.  
  133.  
  134.  
  135.  
  136.  
  137.  
  138.  
  139.  
  140.           PART 24 - Conformance Testing             December 1993 (Working)
  141.  
  142.                                   Table of Contents
  143.  
  144.  
  145.           Part 24 - Conformance Testing . . . . . . . . . . . . . . . .   1
  146.  
  147.           0   Introduction  . . . . . . . . . . . . . . . . . . . . . .   1
  148.  
  149.           1   Scope   . . . . . . . . . . . . . . . . . . . . . . . . .   1
  150.  
  151.           2   Normative References  . . . . . . . . . . . . . . . . . .   1
  152.  
  153.           3   Status  . . . . . . . . . . . . . . . . . . . . . . . . .   1
  154.  
  155.           4   Errata  . . . . . . . . . . . . . . . . . . . . . . . . .   1
  156.  
  157.           5   Guidelines on Interpretation of Disputed Test Cases . . .   1
  158.               5.1  Abstract test cases  . . . . . . . . . . . . . . . .   1
  159.               5.2  Executable test cases  . . . . . . . . . . . . . . .   2
  160.               5.3  Static analysis and test case selection  . . . . . .   2
  161.  
  162.           6   Guidelines on the Choice of PICS  . . . . . . . . . . . .   2
  163.  
  164.           7   CT SIG Resolution for FTAM  . . . . . . . . . . . . . . .   2
  165.  
  166.           8   Guidelines for  PCTR Test Campaign Summary  . . . . . . .   3
  167.  
  168.           9   Resolutions which apply to formal test campaigns  . . . .   3
  169.               9.1  Testing of collocated MHS '88 elements . . . . . . .   3
  170.               9.2  Testing of MHS '88 systems for 1984 conformance  . .   3
  171.  
  172.  
  173.  
  174.  
  175.  
  176.  
  177.  
  178.  
  179.  
  180.  
  181.  
  182.  
  183.  
  184.  
  185.  
  186.  
  187.  
  188.  
  189.  
  190.  
  191.  
  192.  
  193.                                          iii
  194.  
  195.  
  196.  
  197.  
  198.  
  199.  
  200.  
  201.  
  202.  
  203.  
  204.  
  205.  
  206.           Part 24 - Conformance Testing
  207.  
  208.  
  209.           0   Introduction
  210.  
  211.           (Refer to Stable Implementation Agreements Document)
  212.  
  213.  
  214.           1   Scope 
  215.  
  216.           (Refer to Stable Implementation Agreements Document)
  217.  
  218.  
  219.           2   Normative References
  220.  
  221.           (Refer to Stable Implementation Agreements Document)
  222.  
  223.  
  224.           3   Status
  225.  
  226.           This material is current as of December 6, 1993.
  227.  
  228.  
  229.           4   Errata
  230.  
  231.           Errata  will  be reflected  in  replacement pages  of  Version 7,
  232.           Stable Document.
  233.  
  234.  
  235.           5   Guidelines on Interpretation of Disputed Test Cases
  236.  
  237.  
  238.           5.1    Abstract test cases
  239.  
  240.           The guidelines are given as follows:
  241.  
  242.                a)  The Certification/Registration body shall present to the
  243.                Conformance SIG the list of disputed test cases prior to the
  244.                workshop;
  245.  
  246.                b)   If the  Conformance SIG is  unable to  resolve specific
  247.                interpretations, the problems  shall be  discussed with  the
  248.                relevant protocol SIGs for resolution at the same workshop;
  249.  
  250.                c)  If the OIW is  unable to resolve an issue, then the  OIW
  251.                will refer  the problem to  the relevant standards  body. In
  252.                such  a  case  the  OIW  will   recommend  to  all  relevant
  253.                Certification bodies  that the  test case  be considered  as
  254.                deselected until it is resolved;
  255.  
  256.                d)  In  the case where a  resolution is reached by  the OIW,
  257.                the  new   interpretation  shall   be  distributed   to  the
  258.  
  259.                                           1
  260.  
  261.  
  262.  
  263.  
  264.  
  265.  
  266.  
  267.  
  268.  
  269.  
  270.  
  271.  
  272.           PART 24 - Conformance Testing             December 1993 (Working)
  273.  
  274.                Certification   bodies,   relevant   standards   body,   MOT
  275.                suppliers, and the test case maintenance authority.
  276.  
  277.  
  278.           5.2    Executable test cases 
  279.  
  280.           These problems may be brought before the OIW at the discretion of
  281.           a   product  supplier,  test   system  supplier,  test   lab,  or
  282.           Certification Authority.   Resolutions will be determined  in the
  283.           same way as for Abstract Test Case problems.
  284.  
  285.  
  286.           5.3    Static analysis and test case selection 
  287.  
  288.           Disputes regarding static  analysis and test case  selection will
  289.           be handled as above in the case of Abstract Test Cases. 
  290.  
  291.  
  292.           6   Guidelines on the Choice of PICS 
  293.  
  294.           SIGs  are  responsible  for  referencing  the   appropriate  base
  295.           standard PICS  proforma for  the protocols used by their specific
  296.           profiles.  The  SIGs  are  also  responsible  for  producing  the
  297.           International  Profile  Requirements List(s)  for  their specific
  298.           parts in the Implementors Agreements.
  299.  
  300.           Where  an  internationally  harmonized PICS  proforma  exists, it
  301.           shall be used. In the absence  of an available PICS proforma, the
  302.           SIGs are encouraged to  use the guidelines stated in ISO  9646 to
  303.           define a  PICS proforma and  arrange to have it  submitted to the
  304.           appropriate  standards body. The consequence of not providing for
  305.           an internationally harmonized PICS proforma are that implementors
  306.           may  have to  deal  with  multiple PICS  proformas  for the  same
  307.           protocol. 
  308.  
  309.  
  310.           7   CT SIG Resolution for FTAM
  311.  
  312.           The PICS reflects  the product.  The product being  tested is the
  313.           protocol  machine and  the  necessary  software  to  fulfill  the
  314.           functionality indicated in the PICs.
  315.  
  316.  
  317.  
  318.  
  319.  
  320.  
  321.  
  322.  
  323.  
  324.  
  325.                                           2
  326.  
  327.  
  328.  
  329.  
  330.  
  331.  
  332.  
  333.  
  334.  
  335.  
  336.  
  337.  
  338.           PART 24 - Conformance Testing             December 1993 (Working)
  339.  
  340.           8   Guidelines for  PCTR Test Campaign Summary 
  341.  
  342.           Refer to the Stable Agreements Document.
  343.  
  344.  
  345.  
  346.           9   Resolutions which apply to formal test campaigns
  347.  
  348.  
  349.           9.1    Testing of collocated MHS '88 elements
  350.  
  351.           Part 8 of the  SIA states that the UA, MS,  and MTA configuration
  352.           is not  restricted; any  of these  components may  be collocated,
  353.           although they are depicted as  logically separate. In the case of
  354.           a  collocated   UA and  MS, a proprietary  interface may  be used
  355.           instead  of P7.  In the case  of a  collocated MS  and MTA,  or a
  356.           collocated  UA  and MTA,  a  proprietary  interface may  be  used
  357.           instead of P3. In the absence of P3 and P7, These components (MS,
  358.           UA, and MTA) must be tested and registered together.
  359.  
  360.  
  361.           9.2    Testing of MHS '88 systems for 1984 conformance
  362.  
  363.           For   TCs Rts  1.2.2.3, 51.2.2.3,  55.2.2.1, 56.2.2.1,  56.2.2.2,
  364.           56.2.2.3, and 56.2.2.4, since  normal mode should be the  default
  365.           mode, do the following:
  366.  
  367.                a)  If implementation is statically  configurable, configure
  368.                as MHS 84;
  369.  
  370.                b)  If implementation is only dynamically configurable:
  371.  
  372.                     1)  The test  cases shall be run, and where possible, a
  373.                     manual  verdict  assessment performed  in  consultation
  374.                     with JITC;
  375.  
  376.                     2)  If manual verdict is not possible, a manual verdict
  377.                     assessment  should be  performed  in consultation  with
  378.                     JITC.  
  379.  
  380.  
  381.  
  382.  
  383.  
  384.  
  385.  
  386.  
  387.  
  388.  
  389.  
  390.  
  391.                                           3
  392.  
  393.  
  394.  
  395.  
  396.