home *** CD-ROM | disk | FTP | other *** search
/ Simtel MSDOS 1992 December / simtel1292_SIMTEL_1292_Walnut_Creek.iso / msdos / microcrn / issue_50.arc / UNIXBNCH.ARC / UNIXBNCH.DOC
Text File  |  1989-09-21  |  8KB  |  174 lines
  1. Editor's note: We didn't have room to print much of Bob's UNIX
  2. benchmark info in issue #50 of Micro Cornucopia, so here goes:
  3.  
  4.  
  5. Benchmarking
  6.  
  7. One goes about this differently than with a DOS system.  DOS
  8. benchmarks  are  produced  mainly  by  competing  magazines   and
  9. commercial  concerns. Fortunately, Unix benchmarks were  produced
  10. mainly  by academics who did quite a bit of research.  The  "128k
  11. no-op" and other such garbage are notably absent.
  12.  
  13. A  systems  approach is used. There are three  basic  areas:
  14. execution  of  general code, mathematical computation,  and  file
  15. system  performance. Factors such as multiuser loading  will  not
  16. differ from one product to the other because every system  except
  17. XENIX uses the same scheduler routine.
  18.  
  19. There  are  three  most esteemed tests.  The  Dhrystone  was
  20. written by Reinhold Weicker and Rick Richardson. It is the result
  21. of  a statistical analysis of program statement frequency.  Since
  22. it  is  almost  always  compiled from C on  the  system  you are
  23. testing,  it takes into account compiler performance as  well  as
  24. processor speed.
  25.  
  26. The Whetstone, by Curn, is usually executed on systems  with
  27. a  math  coprocessor. No 386 Unix systems  currently  use  inline
  28. coprocessor  instructions. Thus this test measures the  speed  of
  29. the  kernel  based  coprocessor  routines,  for  which  there  is
  30. surprisingly wide variation. Since the test machine does not have
  31. a  387,  I  have not performed this test. An  Inboard  386/AT  so
  32. equipped  delivers  800k/sec Whetstones identically for  all  the
  33. Unix ports, while the result for XENIX is 550k/sec.
  34.  
  35. The Iostone, written by Arvin Park and Richard J. Lipton, is
  36. referred  to as a "synthetic file system benchmark." It  operates
  37. on  a 4 megabyte file with reads and writes which were  generated
  38. by examining the statistics of numerous installations. Along  the
  39. way the author discovered an apparently universal law: reads  are
  40. twice as numerous as writes. The block size varies from 256 bytes
  41. to 65K, according to a biased random number generator.
  42.  
  43. I   don't   feel  completely  comfortable   with   synthetic
  44. benchmarks because there is always the possibility of a flaw. And
  45. it's  difficult to integrate the numbers into an estimate of  how
  46. fast an application will actually run. Since I'm a programmer,  I
  47. devised a test which is an actual compile and link sequence.  The
  48. code  I  used is a public domain logic synthesis  program  called
  49. ESPRESSO,  written  at the University of California  at  Berkley.
  50. What  it actually does is of little interst to readers. The  100k
  51. of source code is can be compiled on virtually any system.
  52.  
  53. Since  a slow display system can be an irritant, I dump  all
  54. the source to the screen, timing how long that takes. For  timing
  55. I use the "time" utility, as in the following lines:
  56.  
  57.              time make<CR>
  58.              time cat *.c *.h
  59.  
  60. The  "make"  utility  compiles ESPRESSO.  The  "cat"  utility  is
  61. similar to "type" under DOS.
  62.  
  63. One  pleasant surprise is that the 386 system which you  put
  64. together out of clone parts is about five times faster than a VAX
  65. 780, or about twice as fast as a VAX 8600. It has nothing to fear
  66. from  SUN 3 workstations either. Although RISC chips are  faster,
  67. your PC based workstation would be either as fast or faster  than
  68. the large base of installed workstations.
  69.  
  70. If  you are familiar with a V.3.0 port, be aware that  V.3.2
  71. is much faster. For example, the Interactive Systems compiler and
  72. file  system are twice as fast as their 3.0  counterparts,  while
  73. the file system is five times as fast as Microport Unix.
  74.  
  75. The  benchmarks were performed on a Bell Tech (now  part  of
  76. Intel)  MPE386-25.  With addressing for 1/4 gigabyte  of  memory,
  77. it's an ideal Unix platform.
  78.  
  79.  
  80. Benchmark Results
  81.  
  82.  
  83.                                              Operating System
  84.                                        XENIX     386/ix   Intel    ESIX
  85.  
  86.         Dhrystone2 NO REG             7923.2     7698              7698.2
  87.         Dhrystone REG                 7874.0     7942     7803     7942.8
  88.         Iostone                       2380       7142     5633     5402
  89.         C&L                           2:50.3     2:26.7   2:43     2:49.4
  90.         L                             2.8s       2.1s     2.6      2.8
  91.         cat to screen                 18.7s      1:12     1:16     1:08
  92.  
  93.         C&L = ESPRESSO compile and link
  94.         L   = link only
  95.         cat = send all ESPRESSO source files to the screen
  96.  
  97. "REG" refers to the use of register declarations in the code. The
  98. number  of  disk  buffers was set to 500.  However,  the  iostone
  99. results  are actually quite insensitive to the number  of  buffer
  100. provided  they  do not approach the size of the 4  megabyte  test
  101. file.
  102.  
  103. The  comparison  figures allow you to compare the  386  with
  104. other processors. The results are quite favorable. Readers with a
  105. modest  budget will be encouraged by the results of machine #2  -
  106. it's an INBOARD 386 accelarator board, which I am quite satisfied
  107. with as a personal system.
  108.  
  109.  
  110. Dhrystone Comparison Figures
  111.  
  112.         Manufacturer/Model                     Dhrystones
  113.         Sun 3/60 (20 mhz 68020)                  4273
  114.         Sun 3/280 (25 mhz 68020, cache)          6329
  115.         DEC VAX 11/785                           2090
  116.         DEC VAX 8600                             3866
  117.         IBM PC/AT, large model                    696
  118.  
  119.  
  120.  
  121. ESPRESSO Compile and Link Comparison Figures
  122.  
  123.  
  124.         Operating System | Machine |Disk buffers|________Time____________
  125.         (same versions)  |         |            |  Total  | Link Only
  126.         -----------------------------------------------------------------
  127.         XENIX            |   2     |    537     |   4:04  |    5.1
  128.         386/ix (V.3.0)   |   1     |    500     |   4:34  |    5.3
  129.         Microport        |   1     |   1100     |   5:02  |     _
  130.         Sun OS           |   3     |     _      |   4:04  |     _
  131.         Sun OS           |   4     |     _      |   3:54  |     _
  132.         Bell Tech Unix   |   2     |    200     |   4:00  |    6.1
  133.         Bell Tech Unix   |   2     |    500     |   3:55  |    3.7
  134.         Bell Tech Unix   | MPE/25  |    200     |   2:41  |    5.4
  135.         Bell Tech Unix   | MPE/25  |    500     |   2:43  |    2.6
  136.  
  137.  
  138. Iostone Benchmark Comparison Figures
  139.  
  140.         Operating System |  Version   |  Machine   |Disk buffers|Iostones
  141.                          |                         |(kilobytes) |
  142.         -----------------------------------------------------------------
  143.         XENIX            |   2.3      |   2        |    537     |  2279
  144.         386/ix (V.3.0)   |   1.06     |   1        |    500     |  1990
  145.         Microport        |   2.2      |   1        |   1100     |  1049
  146.         Sun OS           |   3        |   3        |     _      |  1834
  147.         Sun OS           |   3        |   4        |     _      |  3669
  148.         Bell Tech Unix   |   V.3.2    |   2        |    200     |  4597
  149.         Bell Tech Unix   |   V.3.2    |   2        |    500     |  5263
  150.         Bell Tech Unix   |   V.3.2    |   MPE/25   |    200     |  5280
  151.         Bell Tech Unix   |   V.3.2    |   MPE/25   |    500     |  5633
  152.  
  153.  
  154. Hardware Configurations Used
  155.  
  156.         Machine  #1: Inboard 386/AT at 16 mhz, 4meg ram,  WD1003-WA2  MFM
  157.         controller, 2:1 interleave, two MAXTOR XT-1085 hard disks.
  158.  
  159.         Machine  #2: Inboard 386/AT at 16 mhz, 4meg ram, Western  Digital
  160.         1006V-SR2 RLL controller, 1:1 interleave, two MAXTOR XT-1085 hard
  161.         disks.
  162.  
  163.         Machine #3:  Sun 3/60, 8 megabytes of RAM, local  disk,  16  mhz
  164.         clock speed.
  165.  
  166.         Machine  #4:  Sun  3/280 file server. 25 mhz  cached  68020,  900
  167.         megabyte Fujitsu Eagle Hard disk, SMD controller.
  168.  
  169.         MPE/25:  Bell Tech 25 mhz, based on Intel 302. CDC 380  meg  ESDI
  170.         drive,  3.8  megabytes of RAM, ESDI  controller  compatible  with
  171.         WD1007.
  172.  
  173.  
  174.