home *** CD-ROM | disk | FTP | other *** search
/ The Fred Fish Collection 1.5 / ffcollection-1-5-1992-11.iso / ff_disks / 300-399 / ff319.lzh / CNewsSrc / cnews.orig.lzh / man / newsbatch.man < prev    next >
Text File  |  1989-06-28  |  12KB  |  265 lines
  1.  
  2.  
  3.  
  4.      NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))          CCCC NNNNeeeewwwwssss ((((22228888 MMMMaaaayyyy 1111999988889999))))           NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))
  5.  
  6.  
  7.  
  8.      NNNNAAAAMMMMEEEE
  9.           sendbatches, batchsplit - news batching to other sites
  10.           batcher, batchih, batchsm - news-batch preparation
  11.           comp, nocomp, compcun, compc7, compb - news-batch
  12.           compression
  13.           c7encode, bencode - compressed-news-batch encoding
  14.           viauux, viainews, viamail, viapmail - news-batch
  15.           transmission
  16.  
  17.      SSSSYYYYNNNNOOOOPPPPSSSSIIIISSSS
  18.           ////uuuussssrrrr////lllliiiibbbb////nnnneeeewwwwssssbbbbiiiinnnn////bbbbaaaattttcccchhhh////sssseeeennnnddddbbbbaaaattttcccchhhheeeessss [ site ... ]
  19.  
  20.           ............////bbbbaaaattttcccchhhhsssspppplllliiiitttt batchsize
  21.           ............////bbbbaaaattttcccchhhheeeerrrr [ ----dddd directory ] listfile
  22.           ............////bbbbaaaattttcccchhhhiiiihhhh [ ----dddd directory ] listfile
  23.           ............////bbbbaaaattttcccchhhhssssmmmm [ ----dddd directory ] listfile
  24.           ............////ccccoooommmmpppp
  25.           ............////nnnnooooccccoooommmmpppp
  26.           ............////ccccoooommmmppppccccuuuunnnn
  27.           ............////ccccoooommmmppppcccc7777
  28.           ............////ccccoooommmmppppbbbb
  29.           ............////cccc7777eeeennnnccccooooddddeeee
  30.           ............////bbbbeeeennnnccccooooddddeeee [ file ]
  31.           ............////vvvviiiiaaaauuuuuuuuxxxx site
  32.           ............////vvvviiiiaaaaiiiinnnneeeewwwwssss site
  33.           ............////vvvviiiiaaaammmmaaaaiiiillll site
  34.           ............////vvvviiiiaaaappppmmmmaaaaiiiillll site
  35.  
  36.      DDDDEEEESSSSCCCCRRRRIIIIPPPPTTTTIIIIOOOONNNN
  37.           _S_e_n_d_b_a_t_c_h_e_s administers batched transmission of news to
  38.           other sites.  It should be run periodically, under userid
  39.           _n_e_w_s, by _c_r_o_n(8) or similar means.  It prepares and sends
  40.           batches of news, subject to restrictions on available space
  41.           and length of outbound queues.
  42.  
  43.           Each site that can have batches sent to it needs a _s_i_t_e
  44.           directory under /_u_s_r/_s_p_o_o_l/_n_e_w_s/_o_u_t._g_o_i_n_g.  If _s_e_n_d_b_a_t_c_h_e_s
  45.           is invoked with specific _s_i_t_es given, it considers batching
  46.           for those sites, only, in that order.  By default,
  47.           _s_e_n_d_b_a_t_c_h_e_s consults the _b_a_t_c_h_p_a_r_m_s file (see below) to
  48.           determine what to do: If there is a ////ddddeeeeffffaaaauuuulllltttt//// entry in
  49.           _b_a_t_c_h_p_a_r_m_s, _s_e_n_d_b_a_t_c_h_e_s will consider batching for all sites
  50.           that have directories in /_u_s_r/_s_p_o_o_l/_n_e_w_s/_o_u_t._g_o_i_n_g, in
  51.           oldest-first order by modification time of the directory.
  52.           If there is no ////ddddeeeeffffaaaauuuulllltttt//// entry, _s_e_n_d_b_a_t_c_h_e_s considers
  53.           batching for those sites named in _b_a_t_c_h_p_a_r_m_s, in the order
  54.           named.
  55.  
  56.           To use the batcher, names of files to be sent to a specific
  57.           site should be appended to a _t_o_g_o file in its _s_i_t_e
  58.           directory.  The batcher expects the lines in _t_o_g_o to have
  59.           two fields, a filename (as a full pathname) of an article
  60.  
  61.  
  62.  
  63.      Page 1                                          (printed 6/29/89)
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70.      NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))          CCCC NNNNeeeewwwwssss ((((22228888 MMMMaaaayyyy 1111999988889999))))           NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))
  71.  
  72.  
  73.  
  74.           and its size in bytes.  A missing size field is arbitrarily
  75.           assumed to be a default average.
  76.  
  77.           _S_e_n_d_b_a_t_c_h_e_s uses a number of auxiliary programs to do the
  78.           real work.  The search path it uses to find them includes,
  79.           in order, the _s_i_t_e directory for the site in question,
  80.           /_u_s_r/_l_i_b/_n_e_w_s/_b_i_n, and /_u_s_r/_l_i_b/_n_e_w_s_b_i_n/_b_a_t_c_h.  This permits
  81.           per-site and per-news-database overrides of the default
  82.           behaviors.  _S_e_n_d_b_a_t_c_h_e_s provides all these programs with an
  83.           environment variable NNNNEEEEWWWWSSSSSSSSIIIITTTTEEEE, containing the name of the
  84.           site that batches are being prepared for, in case this is
  85.           useful in customization.
  86.  
  87.           The names of most of the auxiliary programs, and some other
  88.           parameters, are taken from the file
  89.           /_u_s_r/_l_i_b/_n_e_w_s/_b_a_t_c_h_p_a_r_m_s, an ASCII text file.  Empty lines
  90.           and lines starting with `#' are ignored.  Other lines
  91.           specify the behavior for sites, one line per site.  A site
  92.           line is six fields, separated by white space.  The first
  93.           field is the site name; a line whose site name is ////ddddeeeeffffaaaauuuulllltttt////
  94.           specifies what parameters should be used for sites not
  95.           explicitly mentioned.  (The presence or absence of such a
  96.           line also influences the behavior of _s_e_n_d_b_a_t_c_h_e_s when
  97.           invoked without arguments; see above.) The second field is
  98.           the size of batches to be prepared (before compression), in
  99.           bytes.  The third field is the maximum number of batches to
  100.           be queued up for transmission to that site.  The fourth,
  101.           fifth, and sixth fields are the names of the programs to be
  102.           used to build, compress, and transmit (respectively) batches
  103.           to that site.
  104.  
  105.           For each site being considered for batches, _s_e_n_d_b_a_t_c_h_e_s
  106.           first determines whether there are in fact any articles to
  107.           be batched.  Assuming there are, _s_e_n_d_b_a_t_c_h_e_s then finds the
  108.           _b_a_t_c_h_p_a_r_m_s line for that site and invokes _q_u_e_u_e_l_e_n (see
  109.           _n_e_w_s_a_u_x(8)) to find out how many batches are in the outbound
  110.           queue for it already.  _S_e_n_d_b_a_t_c_h_e_s limits the number of
  111.           batches prepared to the minimum of the limits implied by
  112.           queue lengths and available space.
  113.  
  114.           _S_e_n_d_b_a_t_c_h_e_s uses _b_a_t_c_h_s_p_l_i_t as necessary to slice chunks out
  115.           of the _t_o_g_o file, each chunk containing the _t_o_g_o lines for a
  116.           batch limited to the specified size.  Exception:  a single
  117.           article bigger than the specified size will still go out as
  118.           one batch.
  119.  
  120.           Each chunk is then processed through a batch preparer
  121.           (typically _b_a_t_c_h_e_r), which assembles the articles into a
  122.           batch, a batch compressor (typically _c_o_m_p_c_u_n), which
  123.           performs compression and/or any other auxiliary processing
  124.           needed, and a batch transmitter (typically _v_i_a_u_u_x), which
  125.           sends the batch on its way (e.g. enqueues it for
  126.  
  127.  
  128.  
  129.      Page 2                                          (printed 6/29/89)
  130.  
  131.  
  132.  
  133.  
  134.  
  135.  
  136.      NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))          CCCC NNNNeeeewwwwssss ((((22228888 MMMMaaaayyyy 1111999988889999))))           NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))
  137.  
  138.  
  139.  
  140.           transmission).
  141.  
  142.           Batch preparers in the standard distribution are:
  143.  
  144.                batcher  normal batching
  145.  
  146.                batchih  _i_h_a_v_e part of ihave/sendme
  147.  
  148.                batchsm  _s_e_n_d_m_e part of ihave/sendme
  149.  
  150.           If _b_a_t_c_h_e_r is invoked with a ----dddd option, it _c_h_d_i_rs to the
  151.           _d_i_r_e_c_t_o_r_y first, and strips it off the beginning of any
  152.           article filename that starts with it.  Since most articles
  153.           will come from /_u_s_r/_s_p_o_o_l/_n_e_w_s, specifying
  154.           ----dddd ////uuuussssrrrr////ssssppppoooooooollll////nnnneeeewwwwssss to _b_a_t_c_h_e_r will speed it up noticeably.
  155.           Since _s_e_n_d_b_a_t_c_h_e_s does this, other preparers had better be
  156.           ready to ignore an initial ----dddd option.
  157.  
  158.           Batch compressors in the standard distribution are:
  159.  
  160.                comp     ordinary compression
  161.  
  162.                compcun  compression plus the silly B-news-compatible
  163.                         `#! cunbatch' header
  164.  
  165.                nocomp   pass data straight through, no compression
  166.  
  167.                compc7   compression plus 7-bit encoding using _c_7_e_n_c_o_d_e
  168.  
  169.                compb    compression plus very conservative 6-bit
  170.                         encoding using _b_e_n_c_o_d_e
  171.  
  172.           Batch transmitters in the standard distribution are:
  173.  
  174.                viauux   normal transmission via UUCP
  175.  
  176.                viainews feed the batch back to _i_n_e_w_s, ignoring the
  177.                         _s_i_t_e argument (normally useful only for
  178.                         ihave/sendme)
  179.  
  180.                viamail  mail the batch to _s_i_t_e!!!!rrrrnnnneeeewwwwssss
  181.  
  182.                viapmail mail the batch to _s_i_t_e!!!!rrrrnnnneeeewwwwssss, attempting to
  183.                         protect an unencoded batch against the
  184.                         vagaries of mailers
  185.  
  186.           _C_7_e_n_c_o_d_e encodes 8-bit data from standard input into a 7-bit
  187.           form optimized for transmission by uucp `f' protocol.  The
  188.           encoding is complex and bizarre.
  189.  
  190.           _B_e_n_c_o_d_e takes 8-bit data from the named source file (the
  191.           default is standard input) and encodes it using only the
  192.  
  193.  
  194.  
  195.      Page 3                                          (printed 6/29/89)
  196.  
  197.  
  198.  
  199.  
  200.  
  201.  
  202.      NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))          CCCC NNNNeeeewwwwssss ((((22228888 MMMMaaaayyyy 1111999988889999))))           NNNNEEEEWWWWSSSSBBBBAAAATTTTCCCCHHHH((((8888))))
  203.  
  204.  
  205.  
  206.           ASCII characters ``A'' - ``Z'', ``a'' - ``z'', ``0'' -
  207.           ``9'', ``+'', and ``-''.  The ASCII characters blank,
  208.           newline, and ``/'' also appear in the encoded file, but do
  209.           not represent encoded bits.  The encoded file is terminated
  210.           with a byte count and cyclic redundancy check for detecting
  211.           corrupted files.  This ought to suffice to get data through
  212.           almost any network.
  213.  
  214.           _S_e_n_d_b_a_t_c_h_e_s logs some information about sites with backlogs
  215.           in /_u_s_r/_l_i_b/_n_e_w_s/_b_a_t_c_h_l_o_g, keeping the previous _b_a_t_c_h_l_o_g in
  216.           _b_a_t_c_h_l_o_g._o and the one before that in _b_a_t_c_h_l_o_g._o_o.  This is
  217.           intended to help detection and diagnosis of flow problems.
  218.  
  219.      FFFFIIIILLLLEEEESSSS
  220.           /usr/lib/news/LOCKbatch      lock for _s_e_n_d_b_a_t_c_h_e_s
  221.           /usr/lib/news/LOCK           overall news lock (used by _b_a_t_c_h_s_p_l_i_t)
  222.           /usr/lib/news/L.*            lock temporaries
  223.           /usr/spool/news/out.going/*  batch directories
  224.           /usr/lib/news/batchparms     parameter file
  225.  
  226.           also see text
  227.  
  228.      SSSSEEEEEEEE AAAALLLLSSSSOOOO
  229.           inews(1), compress(1), uux(1), relaynews(8), rnews(8)
  230.  
  231.      HHHHIIIISSSSTTTTOOOORRRRYYYY
  232.           Written at University of Toronto as part of the C News
  233.           project.  A number of the ideas came from Chris Lewis, who
  234.           was then with Motorola.  _B_e_n_c_o_d_e written at University of
  235.           Waterloo by Reg Quinton and Ken Lalonde.
  236.  
  237.      BBBBUUUUGGGGSSSS
  238.           _B_a_t_c_h_s_p_l_i_t does not count the `#! rnews _n_n_n_n' headers inside
  239.           batches when computing batch lengths.
  240.  
  241.           Ihave/sendme processing is a bit of a kludge; in particular,
  242.           applying _b_a_t_c_h_s_p_l_i_t to a file full of article IDs just
  243.           happens to work okay.
  244.  
  245.           _S_e_n_d_b_a_t_c_h_e_s estimates available space without considering
  246.           the effects of compression; this is usually too
  247.           conservative.
  248.  
  249.           _V_i_a_p_m_a_i_l is obsolescent; _v_i_a_m_a_i_l with a batch encoded with
  250.           _b_e_n_c_o_d_e is vastly superior.
  251.  
  252.  
  253.  
  254.  
  255.  
  256.  
  257.  
  258.  
  259.  
  260.  
  261.      Page 4                                          (printed 6/29/89)
  262.  
  263.  
  264.  
  265.