home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1994 January / usenetsourcesnewsgroupsinfomagicjanuary1994.iso / sources / misc / volume1 / 8707 / 66 / arcsq.c < prev   
Encoding:
C/C++ Source or Header  |  1990-07-13  |  16.6 KB  |  559 lines
  1. static char *RCSid = "$Header: arcsq.c,v 1.2 86/07/15 07:54:05 turner Exp $";
  2.  
  3. /*
  4.  * $Log:    arcsq.c,v $
  5.  * Hack-attack 1.3  86/12/20  01:23:45  wilhite@usceast.uucp
  6.  *     Bludgeoned into submission for VAX 11/780 BSD4.2
  7.  *    (ugly code, but fewer core dumps)
  8.  *
  9.  * Revision 1.2  86/07/15  07:54:05  turner
  10.  * 
  11.  * Revision 1.1  86/06/26  15:00:48  turner
  12.  * initial version
  13.  * 
  14.  */
  15.  
  16. /*  ARC - Archive utility - ARCSQ
  17.  
  18. $define(tag,$$segment(@1,$$index(@1,=)+1))#
  19. $define(version,Version $tag(
  20. TED_VERSION DB =3.10), created on $tag(
  21. TED_DATE DB =01/30/86) at $tag(
  22. TED_TIME DB =20:10:46))#
  23. $undefine(tag)#
  24.     $version
  25.  
  26. (C) COPYRIGHT 1985 by System Enhancement Associates; ALL RIGHTS RESERVED
  27.  
  28.     By:  Thom Henderson
  29.  
  30.     Description:
  31.          This file contains the routines used to squeeze a file
  32.          when placing it in an archive.
  33.  
  34.     Language:
  35.          Computer Innovations Optimizing C86
  36.  
  37.     Programming notes:
  38.          Most of the routines used for the Huffman squeezing algorithm
  39.          were lifted from the SQ program by Dick Greenlaw, as adapted
  40.          to CI-C86 by Robert J. Beilstein.
  41. */
  42. #include <stdio.h>
  43. #include "arc.h"
  44.  
  45. /* stuff for Huffman squeezing */
  46.  
  47. #define TRUE 1
  48. #define FALSE 0
  49. #define ERROR (-1)
  50. #define SPEOF 256                      /* special endfile token */
  51. #define NOCHILD (-1)                   /* marks end of path through tree */
  52. #define NUMVALS 257                    /* 256 data values plus SPEOF*/
  53. #define NUMNODES (NUMVALS+NUMVALS-1)   /* number of nodes */
  54. #define MAXCOUNT (unsigned INT) 65535      /* biggest unsigned integer */
  55.  
  56. /* The following array of structures are the nodes of the
  57.    binary trees. The first NUMVALS nodes become the leaves of the
  58.    final tree and represent the values of the data bytes being
  59.    encoded and the special endfile, SPEOF.
  60.    The remaining nodes become the internal nodes of the final tree.
  61. */
  62.  
  63. struct nd                              /* shared by unsqueezer */
  64. {   unsigned INT weight;                   /* number of appearances */
  65.  INT tdepth;                        /* length on longest path in tree */
  66.  INT lchild, rchild;                /* indices to next level */
  67. }   node[NUMNODES];                    /* use large buffer */
  68.  
  69. static INT dctreehd;                   /* index to head of final tree */
  70.  
  71. /* This is the encoding table:
  72.    The bit strings have first bit in low bit.
  73.    Note that counts were scaled so code fits unsigned integer.
  74. */
  75.  
  76. static INT codelen[NUMVALS];           /* number of bits in code */
  77. static unsigned INT code[NUMVALS];         /* code itself, right adjusted */
  78. static unsigned INT tcode;                 /* temporary code value */
  79. static long valcount[NUMVALS];         /* actual count of times seen */
  80.  
  81. /* Variables used by encoding process */
  82.  
  83. static INT curin;                      /* value currently being encoded */
  84. static INT cbitsrem;                   /* # of code string bits left */
  85. static unsigned INT ccode;                 /* current code right justified */
  86.  
  87. INT init_sq()                              /* prepare for scanning pass */
  88. {
  89.  INT i;                             /* node index */
  90.  
  91.     /* Initialize all nodes to single element binary trees
  92.        with zero weight and depth.
  93.     */
  94.  
  95.     for(i=0; i<NUMNODES; ++i)
  96.     {    node[i].weight = 0;
  97.          node[i].tdepth = 0;
  98.          node[i].lchild = NOCHILD;
  99.          node[i].rchild = NOCHILD;
  100.     }
  101.  
  102.     for(i=0; i<NUMVALS; i++)
  103.          valcount[i] = 0;
  104. }
  105.  
  106. INT scan_sq(c)                             /* add a byte to the tables */
  107. INT c;                                 /* byte to add */
  108. {
  109.     unsigned INT *wp;                      /* speeds up weight counting */
  110.  
  111.     /* Build frequency info in tree */
  112.  
  113.     if(c == EOF)                       /* it's traditional */
  114.          c = SPEOF;                    /* dumb, but traditional */
  115.  
  116.     if(*(wp = &node[c].weight) !=  MAXCOUNT)
  117.          ++(*wp);                      /* bump weight counter */
  118.  
  119.     valcount[c]++;                     /* bump byte counter */
  120. }
  121.  
  122. long pred_sq()                         /* predict size of squeezed file */
  123. {
  124.  INT i;
  125.  INT btlist[NUMVALS];               /* list of intermediate b-trees */
  126.  INT listlen;                       /* length of btlist */
  127.     unsigned INT ceiling;                  /* limit for scaling */
  128.     long size = 0;                     /* predicted size */
  129.  INT numnodes;                      /* # of nodes in simplified tree */
  130.     INT scale();
  131.     INT heap();
  132.     INT bld_tree();
  133.     INT buildenc();
  134.     INT init_enc();
  135.  
  136.     scan_sq(EOF);                      /* signal end of input */
  137.  
  138.     ceiling = MAXCOUNT;
  139.  
  140.     /* Keep trying to scale and encode */
  141.  
  142.     do
  143.     {    scale(ceiling);
  144.          ceiling /= 2;                 /* in case we rescale */
  145.  
  146.          /* Build list of single node binary trees having
  147.             leaves for the input values with non-zero counts
  148.          */
  149.  
  150.          for(i=listlen=0; i<NUMVALS; ++i)
  151.          {    if(node[i].weight != 0)
  152.               {    node[i].tdepth = 0;
  153.                    btlist[listlen++] = i;
  154.               }
  155.          }
  156.  
  157.          /* Arrange list of trees into a heap with the entry
  158.             indexing the node with the least weight at the top.
  159.          */
  160.  
  161.          heap(btlist,listlen);
  162.  
  163.          /* Convert the list of trees to a single decoding tree */
  164.  
  165.          bld_tree(btlist,listlen);
  166.  
  167.          /* Initialize the encoding table */
  168.  
  169.          init_enc();
  170.  
  171.          /* Try to build encoding table.
  172.             Fail if any code is > 16 bits long.
  173.          */
  174.     }    while(buildenc(0,dctreehd) == ERROR);
  175.  
  176.     /* Initialize encoding variables */
  177.  
  178.     cbitsrem = 0;                      /* force initial read */
  179.     curin = 0;                         /* anything but endfile */
  180.  
  181.     for(i=0; i<NUMVALS; i++)           /* add bits for each code */
  182.          size += valcount[i] * codelen[i];
  183.  
  184.     size = (size+7)/8;                 /* reduce to number of bytes */
  185.  
  186.     numnodes = dctreehd<NUMVALS ? 0 : dctreehd-(NUMVALS-1);
  187.  
  188.     size += sizeof(INT) + 2*numnodes*sizeof(INT);
  189.  
  190.     return size;
  191. }
  192.  
  193. /* The count of number of occurrances of each input value
  194.    have already been prevented from exceeding MAXCOUNT.
  195.    Now we must scale them so that their sum doesn't exceed
  196.    ceiling and yet no non-zero count can become zero.
  197.    This scaling prevents errors in the weights of the
  198.    interior nodes of the Huffman tree and also ensures that
  199.    the codes will fit in an unsigned integer. Rescaling is
  200.    used if necessary to limit the code length.
  201. */
  202.  
  203. static INT scale(ceil)
  204. unsigned INT ceil;                         /* upper limit on total weight */
  205. {
  206.     register INT i,c;
  207.  INT ovflw, divisor;
  208.     unsigned INT w, sum;
  209.     unsigned char increased;           /* flag */
  210.  
  211.     do
  212.     {    for(i=sum=ovflw=0; i<NUMVALS; ++i)
  213.          {    if(node[i].weight > (ceil-sum))
  214.                    ++ovflw;
  215.               sum += node[i].weight;
  216.          }
  217.  
  218.          divisor = ovflw + 1;
  219.  
  220.          /* Ensure no non-zero values are lost */
  221.  
  222.          increased = FALSE;
  223.          for(i=0; i<NUMVALS; ++i)
  224.          {    w = node[i].weight;
  225.               if(w<divisor && w!=0)
  226.               {    /* Don't fail to provide a code if it's used at all */
  227.  
  228.                    node[i].weight = divisor;
  229.                    increased = TRUE;
  230.               }
  231.          }
  232.     }    while(increased);
  233.  
  234.     /* Scaling factor choosen, now scale */
  235.  
  236.     if(divisor>1)
  237.          for(i=0; i<NUMVALS; ++i)
  238.               node[i].weight /= divisor;
  239. }
  240.  
  241. /* heap() and adjust() maintain a list of binary trees as a
  242.    heap with the top indexing the binary tree on the list
  243.    which has the least weight or, in case of equal weights,
  244.    least depth in its longest path. The depth part is not
  245.    strictly necessary, but tends to avoid long codes which
  246.    might provoke rescaling.
  247. */
  248.  
  249. static INT heap(list,length)
  250. INT list[], length;
  251. {
  252.     register INT i;
  253.     INT adjust();
  254.  
  255.     for(i=(length-2)/2; i>=0; --i)
  256.          adjust(list,i,length-1);
  257. }
  258.  
  259. /* Make a heap from a heap with a new top */
  260.  
  261. static INT adjust(list,top,bottom)
  262. INT list[], top, bottom;
  263. {
  264.     register INT k, temp;
  265.     INT cmptrees();
  266.  
  267.     k = 2 * top + 1;                   /* left child of top */
  268.     temp = list[top];                  /* remember root node of top tree */
  269.  
  270.     if(k<=bottom)
  271.     {    if(k<bottom && cmptrees(list[k],list[k+1]))
  272.               ++k;
  273.  
  274.          /* k indexes "smaller" child (in heap of trees) of top */
  275.          /* now make top index "smaller" of old top and smallest child */
  276.  
  277.          if(cmptrees(temp,list[k]))
  278.          {    list[top] = list[k];
  279.               list[k] = temp;
  280.  
  281.               /* Make the changed list a heap */
  282.  
  283.               adjust(list,k,bottom);   /* recursive */
  284.          }
  285.     }
  286. }
  287.  
  288. /* Compare two trees, if a > b return true, else return false.
  289.    Note comparison rules in previous comments.
  290. */
  291.  
  292. static INT cmptrees(a,b)
  293. INT a, b;                              /* root nodes of trees */
  294. {
  295.     if(node[a].weight > node[b].weight)
  296.          return TRUE;
  297.     if(node[a].weight == node[b].weight)
  298.          if(node[a].tdepth > node[b].tdepth)
  299.               return TRUE;
  300.     return FALSE;
  301. }
  302.  
  303. /* HUFFMAN ALGORITHM: develops the single element trees
  304.    into a single binary tree by forming subtrees rooted in
  305.    interior nodes having weights equal to the sum of weights of all
  306.    their descendents and having depth counts indicating the
  307.    depth of their longest paths.
  308.  
  309.    When all trees have been formed into a single tree satisfying
  310.    the heap property (on weight, with depth as a tie breaker)
  311.    then the binary code assigned to a leaf (value to be encoded)
  312.    is then the series of left (0) and right (1)
  313.    paths leading from the root to the leaf.
  314.    Note that trees are removed from the heaped list by
  315.    moving the last element over the top element and
  316.    reheaping the shorter list.
  317. */
  318.  
  319. static INT bld_tree(list,len)
  320. INT list[];
  321. INT len;
  322. {
  323.     register INT freenode;             /* next free node in tree */
  324.     register struct nd *frnp;          /* free node pointer */
  325.  INT lch, rch;                      /* temps for left, right children */
  326.  INT i;
  327.     INT maxchar();
  328.  
  329.     /* Initialize index to next available (non-leaf) node.
  330.        Lower numbered nodes correspond to leaves (data values).
  331.     */
  332.  
  333.     freenode = NUMVALS;
  334.  
  335.     while(len>1)
  336.     {    /* Take from list two btrees with least weight
  337.             and build an interior node pointing to them.
  338.             This forms a new tree.
  339.          */
  340.  
  341.          lch = list[0];                /* This one will be left child */
  342.  
  343.          /* delete top (least) tree from the list of trees */
  344.  
  345.          list[0] = list[--len];
  346.          adjust(list,0,len-1);
  347.  
  348.          /* Take new top (least) tree. Reuse list slot later */
  349.  
  350.          rch = list[0];                /* This one will be right child */
  351.  
  352.          /* Form new tree from the two least trees using
  353.             a free node as root. Put the new tree in the list.
  354.          */
  355.  
  356.          frnp = &node[freenode];       /* address of next free node */
  357.          list[0] = freenode++;         /* put at top for now */
  358.          frnp->lchild = lch;
  359.          frnp->rchild = rch;
  360.          frnp->weight = node[lch].weight + node[rch].weight;
  361.          frnp->tdepth = 1 + maxchar(node[lch].tdepth, node[rch].tdepth);
  362.  
  363.          /* reheap list  to get least tree at top */
  364.  
  365.          adjust(list,0,len-1);
  366.     }
  367.     dctreehd = list[0];                /* head of final tree */
  368. }
  369.  
  370. static INT maxchar(a,b)
  371. {
  372.     return a>b ? a : b;
  373. }
  374.  
  375. static INT init_enc()
  376. {
  377.     register INT i;
  378.  
  379.     /* Initialize encoding table */
  380.  
  381.     for(i=0; i<NUMVALS; ++i)
  382.          codelen[i] = 0;
  383. }
  384.  
  385. /* Recursive routine to walk the indicated subtree and level
  386.    and maintain the current path code in bstree. When a leaf
  387.    is found the entire code string and length are put into
  388.    the encoding table entry for the leaf's data value .
  389.  
  390.    Returns ERROR if codes are too long.
  391. */
  392.  
  393. static INT buildenc(level,root)
  394. INT level;              /* level of tree being examined, from zero */
  395. INT root;               /* root of subtree is also data value if leaf */
  396. {
  397.     register INT l, r;
  398.  
  399.     l = node[root].lchild;
  400.     r = node[root].rchild;
  401.  
  402.     if(l==NOCHILD && r==NOCHILD)
  403.     {    /* Leaf. Previous path determines bit string
  404.             code of length level (bits 0 to level - 1).
  405.             Ensures unused code bits are zero.
  406.          */
  407.  
  408.          codelen[root] = level;
  409.          code[root] = tcode & (((unsigned INT)~0) >> (16-level));
  410.          return (level>16) ? ERROR : NULL;
  411.     }
  412.  
  413.     else
  414.     {    if(l!=NOCHILD)
  415.          {    /* Clear path bit and continue deeper */
  416.  
  417.               tcode &= ~(1 << level);
  418.               if(buildenc(level+1,l)==ERROR)
  419.                    return ERROR;       /* pass back bad statuses */
  420.          }
  421.          if(r!=NOCHILD)
  422.          {    /* Set path bit and continue deeper */
  423.  
  424.               tcode |= 1 << level;
  425.               if(buildenc(level+1,r)==ERROR)
  426.                    return ERROR;       /* pass back bad statuses */
  427.          }
  428.     }
  429.     return NULL;                       /* it worked if we reach here */
  430. }
  431.  
  432. static INT put_int(n,f)                    /* output an integer */
  433. INT n;                                 /* integer to output */
  434. FILE *f;                               /* file to put it to */
  435. {
  436.     putc_pak(n&0xff,f);                /* first the low byte */
  437.     putc_pak(n>>8,f);                  /* then the high byte */
  438. }
  439.  
  440. /* Write out the header of the compressed file */
  441.  
  442. static long wrt_head(ob)
  443. FILE *ob;
  444. {
  445.     register INT l,r;
  446.  INT i, k;
  447.  INT numnodes;                      /* # of nodes in simplified tree */
  448.  
  449.     /* Write out a simplified decoding tree. Only the interior
  450.        nodes are written. When a child is a leaf index
  451.        (representing a data value) it is recoded as
  452.        -(index + 1) to distinguish it from interior indexes
  453.        which are recoded as positive indexes in the new tree.
  454.  
  455.        Note that this tree will be empty for an empty file.
  456.     */
  457.  
  458.     numnodes = dctreehd<NUMVALS ? 0 : dctreehd-(NUMVALS-1);
  459.     put_int(numnodes,ob);
  460.  
  461.     for(k=0, i=dctreehd; k<numnodes; ++k, --i)
  462.     {    l = node[i].lchild;
  463.          r = node[i].rchild;
  464.          l = l<NUMVALS ? -(l+1) : dctreehd-l;
  465.          r = r<NUMVALS ? -(r+1) : dctreehd-r;
  466.          put_int(l,ob);
  467.          put_int(r,ob);
  468.     }
  469.  
  470.     return sizeof(INT) + numnodes*2*sizeof(INT);
  471. }
  472.  
  473. /* Get an encoded byte or EOF. Reads from specified stream AS NEEDED.
  474.  
  475.    There are two unsynchronized bit-byte relationships here.
  476.    The input stream bytes are converted to bit strings of
  477.    various lengths via the static variables named c...
  478.    These bit strings are concatenated without padding to
  479.    become the stream of encoded result bytes, which this
  480.    function returns one at a time. The EOF (end of file) is
  481.    converted to SPEOF for convenience and encoded like any
  482.    other input value. True EOF is returned after that.
  483. */
  484.  
  485. static INT gethuff(ib)                 /* Returns bytes except for EOF */
  486. FILE *ib;
  487. {
  488.  INT rbyte;                         /* Result byte value */
  489.  INT need, take;                    /* numbers of bits */
  490.  
  491.     rbyte = 0;
  492.     need = 8;                          /* build one byte per call */
  493.  
  494.     /* Loop to build a byte of encoded data.
  495.        Initialization forces read the first time.
  496.     */
  497.  
  498. loop:
  499.     if(cbitsrem>=need)                 /* if current code is big enough */
  500.     {    if(need==0)
  501.               return rbyte;
  502.  
  503.          rbyte |= ccode << (8-need);   /* take what we need */
  504.          ccode >>= need;               /* and leave the rest */
  505.          cbitsrem -= need;
  506.          return rbyte & 0xff;
  507.     }
  508.  
  509.     /* We need more than current code */
  510.  
  511.     if(cbitsrem>0)
  512.     {    rbyte |= ccode << (8-need);   /* take what there is */
  513.          need -= cbitsrem;
  514.     }
  515.  
  516.     /* No more bits in current code string */
  517.  
  518.     if(curin==SPEOF)
  519.     {    /* The end of file token has been encoded. If
  520.             result byte has data return it and do EOF next time.
  521.          */
  522.  
  523.          cbitsrem = 0;
  524.          return (need==8) ? EOF : rbyte + 0;
  525.     }
  526.  
  527.     /* Get an input byte */
  528.  
  529.     if((curin=getc_ncr(ib)) == EOF)
  530.          curin = SPEOF;                /* convenient for encoding */
  531.  
  532.     ccode = code[curin];               /* get the new byte's code */
  533.     cbitsrem = codelen[curin];
  534.  
  535.     goto loop;
  536. }
  537.  
  538. /*  This routine is used to perform the actual squeeze operation.  It can
  539.     only be called after the file has been scanned.  It returns the true
  540.     length of the squeezed entry.
  541. */
  542.  
  543. long file_sq(f,t)                      /* squeeze a file into an archive */
  544. FILE *f;                               /* file to squeeze */
  545. FILE *t;                               /* archive to receive file */
  546. {
  547.  INT c;                             /* one byte of squeezed data */
  548.     long size;                         /* size after squeezing */
  549.  
  550.     size = wrt_head(t);                /* write out the decode tree */
  551.  
  552.     while((c=gethuff(f))!=EOF)
  553.     {    putc_pak(c,t);
  554.          size++;
  555.     }
  556.  
  557.     return size;                       /* report true size */
  558. }
  559.