home *** CD-ROM | disk | FTP | other *** search
/ The Fred Fish Collection 1.5 / ffcollection-1-5-1992-11.iso / ff_disks / 400-499 / ff473.lzh / CNewsSrc / cnews_src.lzh / man / newsbatch.man < prev    next >
Text File  |  1991-01-05  |  15KB  |  331 lines
  1.  
  2.  
  3.  
  4. NEWSBATCH(8)          MAINTENANCE COMMANDS           NEWSBATCH(8)
  5.  
  6.  
  7.  
  8. NNNNAAAAMMMMEEEE
  9.      sendbatches, batchsplit - news batching to other sites
  10.      batcher, batchih, batchsm - news-batch preparation
  11.      comp, nocomp, compcun, compc7, compb -  news-batch  compres-
  12.      sion
  13.      c7encode, bencode - compressed-news-batch encoding
  14.      viauux, viauuxz, viauuxcun, viauuxl -  news-batch  transmis-
  15.      sion via uucp
  16.      viamail, viaemail, viapmail -  news-batch  transmission  via
  17.      mail
  18.      viainews, viarsh - news-batch transmission by misc. means
  19.  
  20. SSSSYYYYNNNNOOOOPPPPSSSSIIIISSSS
  21.      ////uuuussssrrrr////lllliiiibbbb////nnnneeeewwwwssssbbbbiiiinnnn////bbbbaaaattttcccchhhh////sssseeeennnnddddbbbbaaaattttcccchhhheeeessss [ site ... ]
  22.  
  23.      ............////bbbbaaaattttcccchhhhsssspppplllliiiitttt batchsize
  24.      ............////bbbbaaaattttcccchhhheeeerrrr listfile
  25.      ............////bbbbaaaattttcccchhhhiiiihhhh listfile
  26.      ............////bbbbaaaattttcccchhhhssssmmmm listfile
  27.      ............////ccccoooommmmpppp
  28.      ............////nnnnooooccccoooommmmpppp
  29.      ............////ccccoooommmmppppccccuuuunnnn
  30.      ............////ccccoooommmmppppcccc7777
  31.      ............////ccccoooommmmppppbbbb
  32.      ............////cccc7777eeeennnnccccooooddddeeee
  33.      ............////bbbbeeeennnnccccooooddddeeee [ file ]
  34.      ............////vvvviiiiaaaauuuuuuuuxxxx site
  35.      ............////vvvviiiiaaaauuuuuuuuxxxxzzzz site
  36.      ............////vvvviiiiaaaauuuuuuuuxxxxccccuuuunnnn site
  37.      ............////vvvviiiiaaaauuuuuuuuxxxxllll group
  38.      ............////vvvviiiiaaaammmmaaaaiiiillll site
  39.      ............////vvvviiiiaaaaeeeemmmmaaaaiiiillll site
  40.      ............////vvvviiiiaaaappppmmmmaaaaiiiillll site
  41.      ............////vvvviiiiaaaaiiiinnnneeeewwwwssss site
  42.      ............////vvvviiiiaaaarrrrsssshhhh site
  43.  
  44. DDDDEEEESSSSCCCCRRRRIIIIPPPPTTTTIIIIOOOONNNN
  45.      _S_e_n_d_b_a_t_c_h_e_s administers  batched  transmission  of  news  to
  46.      other  sites.   It  should be run periodically, under userid
  47.      _n_e_w_s, by _c_r_o_n(8) or similar means.  It  prepares  and  sends
  48.      batches  of news, subject to restrictions on available space
  49.      and length of outbound queues.
  50.  
  51.      Each site that can have batches sent  to  it  needs  a  _s_i_t_e
  52.      directory  under  /_u_s_r/_s_p_o_o_l/_n_e_w_s/_o_u_t._g_o_i_n_g.  If _s_e_n_d_b_a_t_c_h_e_s
  53.      is invoked with specific _s_i_t_es given, it considers  batching
  54.      for  those  sites,  only,  in that order.  By default, _s_e_n_d_-
  55.      _b_a_t_c_h_e_s consults the _b_a_t_c_h_p_a_r_m_s file (see below)  to  deter-
  56.      mine  what  to  do:   If  there  is  a  ////ddddeeeeffffaaaauuuulllltttt////  entry  in
  57.      _b_a_t_c_h_p_a_r_m_s, _s_e_n_d_b_a_t_c_h_e_s will consider batching for all sites
  58.      that   have  directories  in  /_u_s_r/_s_p_o_o_l/_n_e_w_s/_o_u_t._g_o_i_n_g,  in
  59.      oldest-first order by modification time  of  the  directory.
  60.  
  61.  
  62.  
  63. Sun Microsystems     Last change: 7 Nov 1990                    1
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70. NEWSBATCH(8)          MAINTENANCE COMMANDS           NEWSBATCH(8)
  71.  
  72.  
  73.  
  74.      If there is no ////ddddeeeeffffaaaauuuulllltttt//// entry, _s_e_n_d_b_a_t_c_h_e_s considers batch-
  75.      ing for those sites named in _b_a_t_c_h_p_a_r_m_s, in the order named.
  76.  
  77.      To use the batcher, names of files to be sent to a  specific
  78.      site  should  be  appended to a _t_o_g_o file in its _s_i_t_e direc-
  79.      tory.  The batcher expects the lines in  _t_o_g_o  to  have  two
  80.      fields,  a  filename  (as  a  full  pathname, or relative to
  81.      /_u_s_r/_s_p_o_o_l/_n_e_w_s) of an article and its  size  in  bytes.   A
  82.      missing  size  field  is arbitrarily assumed to be a default
  83.      average.
  84.  
  85.      _S_e_n_d_b_a_t_c_h_e_s uses a number of auxiliary programs  to  do  the
  86.      real  work.   The search path it uses to find them includes,
  87.      in order, the _s_i_t_e  directory  for  the  site  in  question,
  88.      /_u_s_r/_l_i_b/_n_e_w_s/_b_i_n, and /_u_s_r/_l_i_b/_n_e_w_s_b_i_n/_b_a_t_c_h.  This permits
  89.      per-site and  per-news-database  overrides  of  the  default
  90.      behaviors.   _S_e_n_d_b_a_t_c_h_e_s  provides  all  these programs with
  91.      environment variables NNNNEEEEWWWWSSSSSSSSIIIITTTTEEEE, containing the name  of  the
  92.      site  that  batches are being prepared for, and NNNNEEEEWWWWSSSSSSSSIIIITTTTEEEEDDDDIIIIRRRR,
  93.      containing the full pathname of the _s_i_t_e directory, in  case
  94.      these are useful in customization.
  95.  
  96.      The names of most of the auxiliary programs, and some  other
  97.      parameters,      are      taken      from      the      file
  98.      /_u_s_r/_l_i_b/_n_e_w_s/_b_a_t_c_h_p_a_r_m_s, an ASCII text file.   Empty  lines
  99.      and  lines  starting  with  `#'  are  ignored.   Other lines
  100.      specify the behavior for sites, one line per site.   A  site
  101.      line  is  six  fields,  separated by white space.  The first
  102.      field is the site name; a line whose site name is  ////ddddeeeeffffaaaauuuulllltttt////
  103.      specifies  what  parameters  should  be  used  for sites not
  104.      explicitly mentioned.  (The presence or absence  of  such  a
  105.      line  also  influences  the  behavior  of  _s_e_n_d_b_a_t_c_h_e_s  when
  106.      invoked without arguments; see above.)  The second field  is
  107.      the  size of batches to be prepared (before compression), in
  108.      bytes.  The third field is the maximum length of the  output
  109.      queue for transmission to that site.  The fourth, fifth, and
  110.      sixth fields are the names of the programs  to  be  used  to
  111.      build, compress, and transmit (respectively) batches to that
  112.      site.
  113.  
  114.      For each site  being  considered  for  batches,  _s_e_n_d_b_a_t_c_h_e_s
  115.      first  determines  whether there are in fact any articles to
  116.      be batched.  Assuming there are, _s_e_n_d_b_a_t_c_h_e_s then finds  the
  117.      _b_a_t_c_h_p_a_r_m_s  line  for  that  site  and invokes _q_u_e_u_e_l_e_n (see
  118.      _n_e_w_s_a_u_x(8)) to find out the size of the outbound  queue  for
  119.      the site.  _S_e_n_d_b_a_t_c_h_e_s limits the number of batches prepared
  120.      to the minimum of the limits implied by  queue  lengths  and
  121.      available space.
  122.  
  123.      _S_e_n_d_b_a_t_c_h_e_s uses _b_a_t_c_h_s_p_l_i_t as necessary to slice chunks out
  124.      of the _t_o_g_o file, each chunk containing the _t_o_g_o lines for a
  125.      batch limited to the specified size.  Exception:   a  single
  126.  
  127.  
  128.  
  129. Sun Microsystems     Last change: 7 Nov 1990                    2
  130.  
  131.  
  132.  
  133.  
  134.  
  135.  
  136. NEWSBATCH(8)          MAINTENANCE COMMANDS           NEWSBATCH(8)
  137.  
  138.  
  139.  
  140.      article  bigger than the specified size will still go out as
  141.      one batch.
  142.  
  143.      Each chunk is then processed through a batch preparer (typi-
  144.      cally _b_a_t_c_h_e_r), which assembles the articles into a batch, a
  145.      batch  compressor  (typically   _c_o_m_p_c_u_n),   which   performs
  146.      compression  and/or  any  other auxiliary processing needed,
  147.      and a batch transmitter (typically _v_i_a_u_u_x), which sends  the
  148.      batch  on  its way (e.g. enqueues it for transmission).  The
  149.      preparer is run with /_u_s_r/_s_p_o_o_l/_n_e_w_s as the  current  direc-
  150.      tory,  so  non-absolute  pathnames  in  the  chunk are valid
  151.      filenames; the others are run  in  the  _s_i_t_e  directory  for
  152.      easier access to site-specific customization files.
  153.  
  154.      Batch preparers in the standard distribution are:
  155.  
  156.           batcher  normal batching
  157.  
  158.           batchih  _i_h_a_v_e part of old ihave/sendme (not to be con-
  159.                    fused with NNTP)
  160.  
  161.           batchsm  _s_e_n_d_m_e part of ihave/sendme
  162.  
  163.      _B_a_t_c_h_i_h and _b_a_t_c_h_s_m have to map from the phony ``site name''
  164.      given  in their _b_a_t_c_h_p_a_r_m_s line to the name of the site they
  165.      should actually send to; they do this by stripping  off  the
  166.      last  `.'  and  everything that follows (usually `.ihave' or
  167.      `.sendme' respectively, but on machines which limit the size
  168.      of filenames these may have to be shortened).
  169.  
  170.      Batch compressors in the standard distribution are:
  171.  
  172.           comp     ordinary compression
  173.  
  174.           compcun  compression plus the  silly  B-news-compatible
  175.                    `#! cunbatch' header
  176.  
  177.           nocomp   pass data straight through, no compression
  178.  
  179.           compc7   compression plus 7-bit encoding using _c_7_e_n_c_o_d_e
  180.  
  181.           compb    compression  plus  very   conservative   6-bit
  182.                    encoding using _b_e_n_c_o_d_e
  183.  
  184.      Batch transmitters in the standard distribution are:
  185.  
  186.           viauux    normal transmission via UUCP
  187.  
  188.           viauuxz   like _v_i_a_u_u_x except with ----zzzz  option  given  to
  189.                     _u_u_x   (for   old  UUCPs  where  don't-report-
  190.                     result-on-zero-status is not default)
  191.  
  192.  
  193.  
  194.  
  195. Sun Microsystems     Last change: 7 Nov 1990                    3
  196.  
  197.  
  198.  
  199.  
  200.  
  201.  
  202. NEWSBATCH(8)          MAINTENANCE COMMANDS           NEWSBATCH(8)
  203.  
  204.  
  205.  
  206.           viauuxcun like _v_i_a_u_u_x except it invokes _c_u_n_b_a_t_c_h rather
  207.                     than  _r_n_e_w_s  at  the other end (for some very
  208.                     old news sites)
  209.  
  210.           viauuxl   multicast transmission using the ----llll option of
  211.                     _u_u_x  (not  found  on all systems) to send the
  212.                     same batch to all systems listed in the  file
  213.                     `/usr/lib/news/sites._g_r_o_u_p'
  214.  
  215.           viamail   mail the batch to _s_i_t_e!!!!rrrrnnnneeeewwwwssss
  216.  
  217.           viaemail  mail the batch to _s_i_t_e!!!!eeeennnneeeewwwwssss
  218.  
  219.           viapmail  mail the batch to _s_i_t_e!!!!rrrrnnnneeeewwwwssss,  attempting  to
  220.                     protect   an   unencoded  batch  against  the
  221.                     vagaries of mailers
  222.  
  223.           viainews  feed the batch back to  _i_n_e_w_s,  ignoring  the
  224.                     _s_i_t_e   argument  (normally  useful  only  for
  225.                     ihave/sendme)
  226.  
  227.           viarsh    use _r_s_h to run _r_n_e_w_s on the _s_i_t_e  via  Ether-
  228.                     net,  Internet, etc.  (the directory contain-
  229.                     ing _r_n_e_w_s must be  in  the  default  PATH  on
  230.                     _s_i_t_e)
  231.  
  232.      _C_7_e_n_c_o_d_e encodes 8-bit data from standard input into a 7-bit
  233.      form  optimized  for transmission by uucp `f' protocol.  The
  234.      encoding is complex and bizarre.
  235.  
  236.      _B_e_n_c_o_d_e takes 8-bit data from the  named  source  file  (the
  237.      default  is  standard  input)  and encodes it using only the
  238.      ASCII characters ``A'' -  ``Z'',  ``a''  -  ``z'',  ``0''  -
  239.      ``9'',  ``+'',  and ``-''.  The ASCII characters blank, new-
  240.      line, and ``/'' also appear in the encoded file, but do  not
  241.      represent encoded bits.  The encoded file is terminated with
  242.      a byte count and cyclic redundancy check for detecting  cor-
  243.      rupted  files.   This  ought  to suffice to get data through
  244.      almost any network.
  245.  
  246.      _S_e_n_d_b_a_t_c_h_e_s logs some information about sites with  backlogs
  247.      in  /_u_s_r/_l_i_b/_n_e_w_s/_b_a_t_c_h_l_o_g (see also _n_e_w_s_d_a_i_l_y(8)).  This is
  248.      intended to help detection and diagnosis of flow problems.
  249.  
  250. FFFFIIIILLLLEEEESSSS
  251.      /usr/lib/news/LOCKbatch      lock for _s_e_n_d_b_a_t_c_h_e_s
  252.      /usr/lib/news/LOCK           overall news lock (used by _b_a_t_c_h_s_p_l_i_t)
  253.      /usr/lib/news/L.*            lock temporaries
  254.      /usr/spool/news/out.going/*  batch directories
  255.      /usr/lib/news/batchparms     parameter file
  256.      /usr/lib/news/sites.*        _v_i_a_u_u_x_l multicast lists
  257.  
  258.  
  259.  
  260.  
  261. Sun Microsystems     Last change: 7 Nov 1990                    4
  262.  
  263.  
  264.  
  265.  
  266.  
  267.  
  268. NEWSBATCH(8)          MAINTENANCE COMMANDS           NEWSBATCH(8)
  269.  
  270.  
  271.  
  272.      also see text
  273.  
  274. SSSSEEEEEEEE AAAALLLLSSSSOOOO
  275.      inews(1), compress(1), uux(1), relaynews(8), rnews(8)
  276.  
  277. DDDDIIIIAAAAGGGGNNNNOOOOSSSSTTTTIIIICCCCSSSS
  278.      Complaints, if any, from _s_e_n_d_b_a_t_c_h_e_s and its auxiliaries are
  279.      mailed to `usenet'.
  280.  
  281. HHHHIIIISSSSTTTTOOOORRRRYYYY
  282.      Written at University of Toronto as part of the C News  pro-
  283.      ject.   A number of the ideas came from Chris Lewis, who was
  284.      then with Motorola.  _B_e_n_c_o_d_e written at University of Water-
  285.      loo by Reg Quinton and Ken Lalonde.
  286.  
  287. BBBBUUUUGGGGSSSS
  288.      _B_a_t_c_h_s_p_l_i_t does not count the `#! rnews _n_n_n_n' headers inside
  289.      batches when computing batch lengths.
  290.  
  291.      Ihave/sendme processing is a bit of a kludge; in particular,
  292.      applying  _b_a_t_c_h_s_p_l_i_t to a file full of article IDs just hap-
  293.      pens to work okay.
  294.  
  295.      _S_e_n_d_b_a_t_c_h_e_s estimates available  space  without  considering
  296.      the  effects  of  compression; this is usually too conserva-
  297.      tive.
  298.  
  299.      _V_i_a_p_m_a_i_l is obsolescent; _v_i_a_e_m_a_i_l with a batch encoded  with
  300.      _b_e_n_c_o_d_e is vastly superior.
  301.  
  302.      Queue-length limiting does  not  work  for  _v_i_a_u_u_x_l  because
  303.      _q_u_e_u_e_l_e_n  (see  _n_e_w_s_a_u_x(8))  does  not  know about multicast
  304.      groups.  Also, _v_i_a_u_u_x_l has not been tested well.
  305.  
  306.      _V_i_a_r_s_h does not incorporate a spooling subsystem, so a  slow
  307.      site  stalls the entire batching system and a non-responding
  308.      site loses news.  It is not recommended for  bulk  transmis-
  309.      sion or where high reliability is essential.
  310.  
  311.  
  312.  
  313.  
  314.  
  315.  
  316.  
  317.  
  318.  
  319.  
  320.  
  321.  
  322.  
  323.  
  324.  
  325.  
  326.  
  327. Sun Microsystems     Last change: 7 Nov 1990                    5
  328.  
  329.  
  330.  
  331.