home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1994 October / usenetsourcesnewsgroupsinfomagicoctober1994disk2.iso / unix / volume19 / cnews2 / pch14apr90 < prev    next >
Internet Message Format  |  1990-06-07  |  48KB
  1. From @uunet.uu.net:henry@zoo.toronto.edu Wed Apr 18 16:57:09 1990
  2. Received: from BBN.COM by pineapple.bbn.com id <AA15136@pineapple.bbn.com>; Wed, 18 Apr 90 16:56:41 -0400
  3. Received: from uunet.UU.NET by BBN.COM id aa17658; 18 Apr 90 16:45 EDT
  4. Received: from zoo.utoronto.ca by uunet.uu.net (5.61/1.14) with SMTP 
  5.     id AA11936; Wed, 18 Apr 90 16:39:22 -0400
  6. Message-Id: <9004182039.AA11936@uunet.uu.net>
  7. From: henry@zoo.toronto.edu
  8. Date: Wed, 18 Apr 90 14:14:49 EDT
  9. To: uunet!source-patches@uunet.uu.net
  10. Newsgroups: news.software.b,comp.sources.bugs
  11. Subject: C News patch of 14-Apr-1990
  12. Status: R
  13.  
  14. This is the first of three (!) patches mostly constituting the new dbz.
  15. In addition to that, there have been a few small things.  Our old slow
  16. dbm emulation has been deleted.  The nntpdiffs directory is gone too:
  17. it corresponds to a version of NNTP which is now obsolete, and current
  18. ones include reasonable C News support anyway.  The sample-cron-entries
  19. file now uses your news uid, rather than "news".  Various Makefiles and
  20. the like have been amended for dbz.  Expire and mkdbm have been altered
  21. to fully exploit the new dbz.  Relaynews no longer tries to run dbmclose()
  22. when preparing to execute a control message, because that causes trouble
  23. on old systems which don't have dbmclose() and refuse to do dbminit()
  24. more than once.  And there are the usual bits of minor cleanup.
  25.  
  26. The new dbz is now the default database for C News; there is a fake module
  27. which imitates it using dbm, for those of you who prefer big files and
  28. slow execution. :-)  For those unfamiliar with it, dbz -- originally
  29. invented by Jon Zeeff -- implements just the subset of dbm that news
  30. actually wants, and by doing this cleverly, is rather faster than dbm
  31. and has files that are about a twentieth the size of dbm's.  This one
  32. is considerably improved over Jon's original, in various ways:
  33.  
  34.     - It's faster (!).
  35.     - It handles table overflow gracefully and efficiently.
  36.     - It is byte-order independent, for use over networks.
  37.     - In-core tables can be selected at run time, not just by special
  38.         compilation.
  39.     - There are new functions that let the user completely ignore the
  40.         ugly case-mapping algorithms, with dbz doing all the work.
  41.     - Case mapping is self-contained, so dbz can be used independently
  42.         of C News with C-News-compatible mapping.
  43.     - There are new functions giving control of dbz's parameters (table
  44.         size, case mapping, etc.) when creating a new database.
  45.     - It remembers a history of table sizes, so that when expire
  46.         rebuilds the database, it can use a size that is likely
  47.         to prevent future overflow.
  48.     - It uses stdio for i/o, and has generally been overhauled for
  49.         portability; it should work on non-Unix systems.
  50.     - A shell-level interface (program) is provided.
  51.     - The Makefile uses the program to run a thorough regression test.
  52.     - It's compatible with old dbz databases, I think.
  53.     - It's documented (!).
  54.  
  55. start of patch 14-Apr-1990
  56. (suggested archive name: `pch14Apr90.Z')
  57. this should be run with   patch -p0 <thisfile
  58.  
  59. Please do the following (there is no easy way we can convince
  60. patch to do this automatically):
  61. rm libfake/dbm.c
  62. rm nntpdiffs/README
  63. rm nntpdiffs/cdiff.1.5.0
  64. rm nntpdiffs/cdiff.1.5.5
  65. rm nntpdiffs/diff/ihave.c
  66. rm nntpdiffs/diff/misc.c
  67. rm nntpdiffs/diff/newnews.c
  68. rm nntpdiffs/diff/serve.c
  69. rm nntpdiffs/src.allnew/batch.c
  70. rm nntpdiffs/src/Makefile
  71. rm nntpdiffs/src/ihave.c
  72. rm nntpdiffs/src/misc.c
  73. rm nntpdiffs/src/newnews.c
  74. rm nntpdiffs/src/serve.c
  75.  
  76. The following is a complete list of patches to date.
  77.  
  78. Prereq: 23-Jun-1989
  79. Prereq: 7-Jul-1989
  80. Prereq: 23-Jul-1989
  81. Prereq: 22-Aug-1989
  82. Prereq: 24-Aug-1989
  83. Prereq: 14-Sep-1989
  84. Prereq: 13-Nov-1989
  85. Prereq: 10-Jan-1990
  86. Prereq: 16-Jan-1990
  87. Prereq: 17-Jan-1990
  88. Prereq: 18-Jan-1990
  89. Prereq: 12-Mar-1990
  90. *** PATCHDATES.old    Sat Apr 14 20:24:28 1990
  91. --- PATCHDATES    Sat Apr 14 20:24:28 1990
  92. ***************
  93. *** 1,12 ****
  94. --- 1,13 ----
  95.   23-Jun-1989
  96.   7-Jul-1989
  97.   23-Jul-1989
  98.   22-Aug-1989
  99.   24-Aug-1989
  100.   14-Sep-1989
  101.   13-Nov-1989
  102.   10-Jan-1990
  103.   16-Jan-1990
  104.   17-Jan-1990
  105.   18-Jan-1990
  106.   12-Mar-1990
  107. + 14-Apr-1990
  108.  
  109. Changed files, if any:
  110.  
  111. *** cnpatch/old/README    Tue Mar 13 13:41:16 1990
  112. --- README    Sat Mar 31 18:32:20 1990
  113. ***************
  114. *** 171,176 ****
  115.   UUCP connections.  However, it does talk to utzoo.  Utzoo connects to half
  116.   the known universe (well, not quite, but try via allegra, att, attcan,
  117. ! attunix, decvax, dptcdc, floyd, hoptoad, kitty, linus, mnetor, pyramid,
  118. ! suncan, utai, utgpu, watmath, or yunexus).
  119.   
  120.                       Geoff Collyer
  121. --- 171,176 ----
  122.   UUCP connections.  However, it does talk to utzoo.  Utzoo connects to half
  123.   the known universe (well, not quite, but try via allegra, att, attcan,
  124. ! decvax, floyd, hoptoad, kitty, linus, mnetor, pyramid, suncan, utai, utgpu,
  125. ! watmath, or yunexus).
  126.   
  127.                       Geoff Collyer
  128.  
  129. *** cnpatch/old/conf/Makefile    Tue Jan 16 17:58:28 1990
  130. --- conf/Makefile    Sat Mar 31 21:11:47 1990
  131. ***************
  132. *** 13,20 ****
  133.   LIBS = ../libcnews.a
  134.   LIBDIRS = libbig libbsd42 libc libcnews libfake \
  135. !     libsmall libstdio libusg libv7 libv8
  136.   DIRS = batch conf expire h hfake input $(LIBDIRS) misc relay rna
  137.   CMPDIRS = batch conf expire input man misc relay rna
  138. ! RDIRS = batch expire input relay
  139.   SHS = doit.root doit.bin doit.news again.root
  140.   
  141. --- 13,20 ----
  142.   LIBS = ../libcnews.a
  143.   LIBDIRS = libbig libbsd42 libc libcnews libfake \
  144. !     libsmall libstdio libusg libv7 libv8 dbz
  145.   DIRS = batch conf expire h hfake input $(LIBDIRS) misc relay rna
  146.   CMPDIRS = batch conf expire input man misc relay rna
  147. ! RDIRS = batch dbz expire input relay
  148.   SHS = doit.root doit.bin doit.news again.root
  149.   
  150. ***************
  151. *** 43,46 ****
  152. --- 43,47 ----
  153.       : too late for h and hfake, include has already been built
  154.       -egrep '^(h|hfake)/' subst.hs subst.gc >junk
  155. +     : so test to make sure they do not need it
  156.       test ! -s junk ;
  157.       rm -f junk
  158. ***************
  159. *** 97,101 ****
  160.       rm -f spacefor.sgi spacefor.xenix queuelen.pre
  161.       rm -f config mailname organization server whoami hostname errlog
  162. !     rm -f substitutions history history.pag history.dir active localgroups
  163.       rm -f log mailpaths sys cron rc setnewsids setnewsids.o spacefor.bsd
  164.       rm -rf replyusepath spacefor queuelen junk save
  165. --- 98,102 ----
  166.       rm -f spacefor.sgi spacefor.xenix queuelen.pre
  167.       rm -f config mailname organization server whoami hostname errlog
  168. !     rm -f history history.pag history.dir active localgroups
  169.       rm -f log mailpaths sys cron rc setnewsids setnewsids.o spacefor.bsd
  170.       rm -rf replyusepath spacefor queuelen junk save
  171. ***************
  172. *** 110,114 ****
  173.   spotless:    gclean
  174.       rm -f $(SHS)
  175. !     rm -f substs
  176.   
  177.   lclean:
  178. --- 111,115 ----
  179.   spotless:    gclean
  180.       rm -f $(SHS)
  181. !     rm -f substs substitutions
  182.   
  183.   lclean:
  184.  
  185. *** cnpatch/old/conf/build    Tue Mar 13 13:41:17 1990
  186. --- conf/build    Sun Apr  1 01:52:36 1990
  187. ***************
  188. *** 135,141 ****
  189.           needucb=`yesno 'on your system.  Is that right' yes`
  190.       else
  191. !         echo 'It appears that /usr/ucb does not exist or is not'
  192. !         echo 'needed for normal operation on your system.  Is that'
  193. !         tmp=`yesno 'right' yes`
  194.           case "$tmp" in
  195.           yes)    needucb=no    ;;
  196. --- 135,141 ----
  197.           needucb=`yesno 'on your system.  Is that right' yes`
  198.       else
  199. !         echo 'It appears that /usr/ucb does not exist or that no'
  200. !         echo 'standard programs live there (and only there) on your'
  201. !         tmp=`yesno 'system.  Is that right' yes`
  202.           case "$tmp" in
  203.           yes)    needucb=no    ;;
  204. ***************
  205. *** 303,323 ****
  206.       esac
  207.   done
  208. ! has=`notinlist "$fake" dbm.o`
  209. ! tmp=`yesno 'Does your system have the "dbm" library' $has`
  210.   case "$tmp" in
  211. ! yes)    dbmopt=`ask 'What is the compile option needed to get it' ${dbmopt--ldbm}`
  212.       has=`notinlist "$fake" dbmclose.o`
  213. !     tmp=`yesno 'Does your dbm have a dbmclose() function' $has`
  214.       case "$tmp" in
  215.       no)    newfake="$newfake dbmclose.o"    ;;
  216.       esac
  217.       ;;
  218. - no)    newfake="$newfake dbm.o dbmclose.o"
  219. -     dbmopt=
  220. -     echo "Okay, we'll fake it for you.  You might want to look at"
  221. -     echo "contrib/dbz, which is a probably-superior fake that we have"
  222. -     echo "not examined closely."
  223. -     ;;
  224.   esac
  225.   fake="$newfake"
  226.   
  227. --- 303,335 ----
  228.       esac
  229.   done
  230. ! 
  231. ! echo
  232. ! has=`notinlist "$fake" dbz.o`
  233. ! echo 'The news system uses a database package, typically the old "dbm"'
  234. ! echo 'library from Version 7 or a lookalike, as an indexing system.  We'
  235. ! echo 'supply a version of the "dbz" library which is faster than "dbm"'
  236. ! echo 'and uses much less disk space.  This is usually the best thing to'
  237. ! echo 'use, unless you have major backward-compatibility problems.  Do you'
  238. ! tmp=`yesno 'want to use our "dbz" library' $has`
  239.   case "$tmp" in
  240. ! yes)    dbzlib=dbz
  241. !     dbmopt=
  242. !     storeval=yes
  243. !     ;;
  244. ! no)    echo 'Presumably you want to use the dbm library or some local'
  245. !     echo 'equivalent, then.  What is the compile option, or filename,'
  246. !     dbmopt=`ask 'needed to get it' ${dbmopt--ldbm}`
  247. !     newfake="$newfake dbz.o"    # make dbm look like dbz
  248. !     dbzlib=
  249.       has=`notinlist "$fake" dbmclose.o`
  250. !     tmp=`yesno 'Does your dbm/dbz have a dbmclose() function' $has`
  251.       case "$tmp" in
  252.       no)    newfake="$newfake dbmclose.o"    ;;
  253.       esac
  254. +     echo 'Does the store() function in your dbm/dbz return a'
  255. +     storeval=`yesno 'value (some old dbms did not)' ${storeval-yes}`
  256.       ;;
  257.   esac
  258. + 
  259.   fake="$newfake"
  260.   
  261. ***************
  262. *** 339,350 ****
  263.   esac
  264.   
  265. - case "$dbmopt" in
  266. - '')    storeval=yes        ;;
  267. - *)    echo
  268. -     echo 'Does the store() function in your dbm library return a'
  269. -     storeval=`yesno 'value (some old ones did not)' ${storeval-yes}`
  270. -     ;;
  271. - esac
  272. - 
  273.   has=`notinlist "$fake" strchr.o`
  274.   case "$has" in
  275. --- 351,354 ----
  276. ***************
  277. *** 754,758 ****
  278.       *)    ccc="$ccc POST='$postlibs'"    ;;
  279.       esac
  280. !     echo "for dir in lib$unixkind lib$addrsize libc libcnews $libstdio"
  281.       echo "do"
  282.       echo "    cd ../\$dir"
  283. --- 758,762 ----
  284.       *)    ccc="$ccc POST='$postlibs'"    ;;
  285.       esac
  286. !     echo "for dir in lib$unixkind lib$addrsize libc libcnews $libstdio $dbzlib"
  287.       echo "do"
  288.       echo "    cd ../\$dir"
  289. ***************
  290. *** 790,797 ****
  291.           ;;
  292.       esac
  293. !     case "$dbmopt" in
  294. !     '')    dbm=            ;;
  295. !     *)    dbm="DBM=$dbmopt"    ;;
  296. !     esac
  297.       echo "for dir in $pgmdirs"
  298.       echo "do"
  299. --- 794,798 ----
  300.           ;;
  301.       esac
  302. !     dbm="DBM=$dbmopt"
  303.       echo "for dir in $pgmdirs"
  304.       echo "do"
  305. ***************
  306. *** 844,857 ****
  307.       echo "cat >cron <<'!'"
  308.       cat <<!
  309. ! 15 *    1-31 *    0-6    su news -c '$newsbin/input/newsrun'
  310. ! 30 8    1-31 *    1-5    su news -c '$newsbin/input/newsrunning off'
  311. ! 00 17    1-31 *    1-5    su news -c '$newsbin/input/newsrunning on'
  312. ! 40 *    1-31 *    0-6    su news -c '$newsbin/batch/sendbatches'
  313. ! 59 0    1-31 *    0-6    su news -c '$newsbin/expire/doexpire $a'
  314. ! 10 8    1-31 *    0-6    su news -c '$newsbin/maint/newsdaily'
  315. ! 00 5,13,21    1-31 *    0-6    su news -c '$newsbin/maint/newswatch'
  316.   !
  317.       echo "!"
  318. !     echo "echo 'su news -c $newsbin/maint/newsboot' >rc"
  319.       echo ": done"
  320.       echo 'case "$1" in'
  321. --- 845,858 ----
  322.       echo "cat >cron <<'!'"
  323.       cat <<!
  324. ! 15 *    1-31 *    0-6    su $newsuid -c '$newsbin/input/newsrun'
  325. ! 30 8    1-31 *    1-5    su $newsuid -c '$newsbin/input/newsrunning off'
  326. ! 00 17    1-31 *    1-5    su $newsuid -c '$newsbin/input/newsrunning on'
  327. ! 40 *    1-31 *    0-6    su $newsuid -c '$newsbin/batch/sendbatches'
  328. ! 59 0    1-31 *    0-6    su $newsuid -c '$newsbin/expire/doexpire $a'
  329. ! 10 8    1-31 *    0-6    su $newsuid -c '$newsbin/maint/newsdaily'
  330. ! 00 5,13,21    1-31 *    0-6    su $newsuid -c '$newsbin/maint/newswatch'
  331.   !
  332.       echo "!"
  333. !     echo "echo 'su $newsuid -c $newsbin/maint/newsboot' >rc"
  334.       echo ": done"
  335.       echo 'case "$1" in'
  336.  
  337. *** cnpatch/old/expire/Makefile    Tue Jan 16 17:58:29 1990
  338. --- expire/Makefile    Thu Apr  5 14:17:41 1990
  339. ***************
  340. *** 4,8 ****
  341.   LINTFLAGS = -I../include
  342.   JUNKLINT = 'possible pointer align'
  343. ! DBM = -ldbm
  344.   LIBS= ../libcnews.a
  345.   THEM = expire histdups histinfo histslash mkdbm mkhistory \
  346. --- 4,8 ----
  347.   LINTFLAGS = -I../include
  348.   JUNKLINT = 'possible pointer align'
  349. ! DBM =
  350.   LIBS= ../libcnews.a
  351.   THEM = expire histdups histinfo histslash mkdbm mkhistory \
  352. ***************
  353. *** 38,42 ****
  354.   
  355.   expire: expire.o $(LIBS)
  356. !     $(CC) $(CFLAGS) $(LDFLAGS) expire.o $(PRE) $(LIBS) $(DBM) $(POST) -o $@
  357.   
  358.   histinfo: histinfo.o $(LIBS)
  359. --- 38,42 ----
  360.   
  361.   expire: expire.o $(LIBS)
  362. !     $(CC) $(CFLAGS) $(LDFLAGS) expire.o $(PRE) $(DBM) $(LIBS) $(POST) -o $@
  363.   
  364.   histinfo: histinfo.o $(LIBS)
  365.  
  366. *** cnpatch/old/expire/expire.c    Tue Mar 13 13:41:18 1990
  367. --- expire/expire.c    Fri Apr  6 01:17:42 1990
  368. ***************
  369. *** 21,24 ****
  370. --- 21,25 ----
  371.   #include "fgetmfs.h"
  372.   #include "case.h"
  373. + #include "dbz.h"
  374.   
  375.   #ifndef EPOCH
  376. ***************
  377. *** 26,36 ****
  378.   #endif
  379.   
  380. - 
  381. - /* structure for dbm */
  382. - typedef struct {
  383. -     char *dptr;
  384. -     int dsize;
  385. - } datum;
  386. - 
  387.   #define    DAY    ((double)24*60*60)
  388.   
  389. --- 27,30 ----
  390. ***************
  391. *** 77,81 ****
  392.   int verbose = 0;        /* report statistics */
  393.   int rebuild = 1;        /* rebuild history files */
  394. - int violate = 0;        /* non-rfc822 case-sensitive messageIDs */
  395.   int getdgrump = 0;        /* report un-getdate()able expiry dates */
  396.   
  397. --- 71,74 ----
  398. ***************
  399. *** 201,207 ****
  400.               rebuild = 0;
  401.               break;
  402. -         case 'V':    /* non-rfc822 dualcase messageIDs */
  403. -             violate = 1;
  404. -             break;
  405.           case 'g':    /* report getdate() failures on expiry dates */
  406.               getdgrump = 1;
  407. --- 194,197 ----
  408. ***************
  409. *** 453,458 ****
  410.           (void) fclose(eufopen("history.n.dir", "w"));
  411.           (void) fclose(eufopen("history.n.pag", "w"));
  412. !         if (dbminit("history.n") < 0)
  413. !             fail("dbminit(history.n) failed", "");
  414.       }
  415.   
  416. --- 443,449 ----
  417.           (void) fclose(eufopen("history.n.dir", "w"));
  418.           (void) fclose(eufopen("history.n.pag", "w"));
  419. !         (void) dbzincore(1);
  420. !         if (dbzagain("history.n", "history") < 0)
  421. !             fail("dbzagain(history.n) failed", "");
  422.       }
  423.   
  424. ***************
  425. *** 470,478 ****
  426.               /* make the DBM entry */
  427.               *nameend = '\0';
  428. !             if (!violate)
  429. !                 lhs.dptr = rfc822ize(strsave(line));
  430. !             else
  431. !                 lhs.dptr = strsave(line);
  432. !             *nameend = '\t';
  433.               lhs.dsize = strlen(lhs.dptr)+1;
  434.               here = ftell(new);
  435. --- 461,465 ----
  436.               /* make the DBM entry */
  437.               *nameend = '\0';
  438. !             lhs.dptr = line;
  439.               lhs.dsize = strlen(lhs.dptr)+1;
  440.               here = ftell(new);
  441. ***************
  442. *** 480,487 ****
  443.               rhs.dsize = sizeof(here);
  444.               errno = 0;
  445. !             ret = store(lhs, rhs);
  446.               if (ret < 0)
  447.                   fail("dbm failure on `%s'", line);
  448. !             free(lhs.dptr);
  449.   
  450.               /* and the history entry */
  451. --- 467,474 ----
  452.               rhs.dsize = sizeof(here);
  453.               errno = 0;
  454. !             ret = dbzstore(lhs, rhs);
  455.               if (ret < 0)
  456.                   fail("dbm failure on `%s'", line);
  457. !             *nameend = '\t';
  458.   
  459.               /* and the history entry */
  460. ***************
  461. *** 497,501 ****
  462.       if (rebuild) {
  463.           eufclose(new, "history.n");
  464. !         dbmclose();
  465.       }
  466.   
  467. --- 484,489 ----
  468.       if (rebuild) {
  469.           eufclose(new, "history.n");
  470. !         if (dbmclose() < 0)
  471. !             fail("dbmclose() failed", "");
  472.       }
  473.   
  474.  
  475. *** cnpatch/old/expire/mkdbm.c    Wed Jan 10 19:10:25 1990
  476. --- expire/mkdbm.c    Fri Apr  6 01:31:06 1990
  477. ***************
  478. *** 6,14 ****
  479.   #include "alloc.h"
  480.   #include "fgetmfs.h"
  481. ! #include "case.h"
  482.   
  483.   
  484.   char *progname = "mkdbm";
  485. - typedef struct { char *dptr; int dsize; } datum;
  486.   
  487.   main(argc, argv)
  488. --- 6,13 ----
  489.   #include "alloc.h"
  490.   #include "fgetmfs.h"
  491. ! #include "dbz.h"
  492.   
  493.   
  494.   char *progname = "mkdbm";
  495.   
  496.   main(argc, argv)
  497. ***************
  498. *** 31,34 ****
  499. --- 30,34 ----
  500.       (void) close(creat(str3save(argv[1], ".", "dir"), 0666));
  501.       (void) close(creat(str3save(argv[1], ".", "pag"), 0666));
  502. +     (void) dbzincore(1);
  503.       if (dbminit(argv[1]) < 0)
  504.           error("unable to do dbminit(`%s')", argv[1]);
  505. ***************
  506. *** 47,51 ****
  507.           *scan = '\0';
  508.   
  509. -         rfc822ize(line);
  510.           lhs.dptr = line;
  511.           lhs.dsize = strlen(line) + 1;
  512. --- 47,50 ----
  513. ***************
  514. *** 52,56 ****
  515.           rhs.dptr = (char *)&place;
  516.           rhs.dsize = sizeof place;
  517. !         if (store(lhs, rhs) < 0)
  518.               fprintf(stderr, "dbm failure `%.50s' @ %ld\n", line, place);
  519.           free(line);
  520. --- 51,55 ----
  521.           rhs.dptr = (char *)&place;
  522.           rhs.dsize = sizeof place;
  523. !         if (dbzstore(lhs, rhs) < 0)
  524.               fprintf(stderr, "dbm failure `%.50s' @ %ld\n", line, place);
  525.           free(line);
  526.  
  527. *** cnpatch/old/h/Makefile    Thu Aug 24 16:39:51 1989
  528. --- h/Makefile    Sat Mar 31 21:13:50 1990
  529. ***************
  530. *** 1,4 ****
  531.   I = ../include
  532. ! INCLS = $(I)/alloc.h $(I)/config.h $(I)/fgetmfs.h $(I)/libc.h $(I)/news.h $(I)/case.h
  533.   
  534.   all:    $(INCLS)
  535. --- 1,5 ----
  536.   I = ../include
  537. ! INCLS = $(I)/alloc.h $(I)/config.h $(I)/fgetmfs.h $(I)/libc.h $(I)/news.h \
  538. ! $(I)/case.h $(I)/dbz.h
  539.   
  540.   all:    $(INCLS)
  541. ***************
  542. *** 14,17 ****
  543. --- 15,20 ----
  544.   $(I)/case.h:    case.h
  545.       cp case.h $@
  546. + $(I)/dbz.h:    dbz.h
  547. +     cp dbz.h $@
  548.   $(I)/news.h:    news.h newshsed
  549.       sed -f newshsed news.h >$@
  550.  
  551. *** cnpatch/old/input/newsspool.c    Thu Sep 14 16:03:36 1989
  552. --- input/newsspool.c    Mon Mar 26 17:37:50 1990
  553. ***************
  554. *** 290,294 ****
  555.       setgid(getgid());
  556.       setuid(getuid());
  557. !     fprintf(stderr, "%s: renouncing setuid due to nonstandard `%s'\n",
  558.                               progname, reason);
  559.   }
  560. --- 290,294 ----
  561.       setgid(getgid());
  562.       setuid(getuid());
  563. !     fprintf(stderr, "%s: renouncing setuid due to nonstandard `%s' in environment\n",
  564.                               progname, reason);
  565.   }
  566.  
  567. *** cnpatch/old/libfake/Makefile    Tue Mar 13 13:41:21 1990
  568. --- libfake/Makefile    Sat Apr 14 20:12:25 1990
  569. ***************
  570. *** 5,11 ****
  571.   SHELL = /bin/sh
  572.   
  573. ! ALL = dbm.o fsync.o getopt.o memchr.o memcmp.o memcpy.o \
  574.   memset.o mkdir.o putenv.o strchr.o strcspn.o strpbrk.o strrchr.o \
  575. ! strspn.o strtok.o symlink.o dbmclose.o
  576.   
  577.   # beware -- build knows about NEEDED
  578. --- 5,11 ----
  579.   SHELL = /bin/sh
  580.   
  581. ! ALL = fsync.o getopt.o memchr.o memcmp.o memcpy.o \
  582.   memset.o mkdir.o putenv.o strchr.o strcspn.o strpbrk.o strrchr.o \
  583. ! strspn.o strtok.o symlink.o dbmclose.o dbz.o
  584.   
  585.   # beware -- build knows about NEEDED
  586.  
  587. *** cnpatch/old/man/newsbatch.8    Tue Mar 13 13:41:24 1990
  588. --- man/newsbatch.8    Sat Apr 14 20:22:12 1990
  589. ***************
  590. *** 7,11 ****
  591.   .\" =()<.ds m @<NEWSMASTER>@>()=
  592.   .ds m usenet
  593. ! .TH NEWSBATCH 8 "13 Jan 1990"
  594.   .BY "C News"
  595.   .SH NAME
  596. --- 7,11 ----
  597.   .\" =()<.ds m @<NEWSMASTER>@>()=
  598.   .ds m usenet
  599. ! .TH NEWSBATCH 8 "14 April 1990"
  600.   .BY "C News"
  601.   .SH NAME
  602. ***************
  603. *** 301,302 ****
  604. --- 301,309 ----
  605.   (see \fInewsaux\fR(8)) does not know about multicast groups.
  606.   Also, \fIviauuxl\fR has not been tested well.
  607. + .PP
  608. + .I Viarsh
  609. + does not incorporate a spooling subsystem,
  610. + so a slow site stalls the entire batching system
  611. + and a non-responding site loses news.
  612. + It is not recommended for bulk transmission or where high reliability
  613. + is essential.
  614.  
  615. *** cnpatch/old/misc/Makefile    Tue Mar 13 13:41:25 1990
  616. --- misc/Makefile    Thu Apr  5 16:59:03 1990
  617. ***************
  618. *** 3,7 ****
  619.   CFLAGS = $(DEFS) $(COPTS) -I../include
  620.   LIBS = ../libcnews.a
  621. ! DBM = -ldbm
  622.   LINTFLAGS = $(DEFS) -ha
  623.   RN = ../relay
  624. --- 3,7 ----
  625.   CFLAGS = $(DEFS) $(COPTS) -I../include
  626.   LIBS = ../libcnews.a
  627. ! DBM =
  628.   LINTFLAGS = $(DEFS) -ha
  629.   RN = ../relay
  630.  
  631. *** cnpatch/old/misc/addfeed    Tue Jan 16 17:58:25 1990
  632. --- misc/addfeed    Mon Apr  2 13:04:01 1990
  633. ***************
  634. *** 1,4 ****
  635.   #! /bin/sh
  636. ! # addgroup - add a newsgroup, locally only
  637.   
  638.   # =()<. ${NEWSCONFIG-@<NEWSCONFIG>@}>()=
  639. --- 1,4 ----
  640.   #! /bin/sh
  641. ! # addfeed - add an outbound feed
  642.   
  643.   # =()<. ${NEWSCONFIG-@<NEWSCONFIG>@}>()=
  644.  
  645. *** cnpatch/old/relay/README.relay    Tue Jun 20 19:01:44 1989
  646. --- relay/README.relay    Fri Mar 16 11:29:54 1990
  647. ***************
  648. *** 19,24 ****
  649.   directories and I encourage this.
  650.   
  651. ! If you plan to run rn, you'll need the rn patches to allow Xref: to
  652. ! work without Relay-Version:, which has been banished.
  653.   
  654.   You will need to put your site name in /usr/lib/news/mailname (../conf/build
  655. --- 19,25 ----
  656.   directories and I encourage this.
  657.   
  658. ! If you plan to run rn, you'll need a recent rn which honours Xref:  in
  659. ! the absence of Relay-Version:, which has been banished.  patchlevel 40
  660. ! or greater should be fine; patchlevel 40 works here.
  661.   
  662.   You will need to put your site name in /usr/lib/news/mailname (../conf/build
  663.  
  664. *** cnpatch/old/relay/caches.c    Tue Mar 13 13:41:27 1990
  665. --- relay/caches.c    Fri Mar 30 17:03:01 1990
  666. ***************
  667. *** 8,17 ****
  668.   #include "active.h"
  669.   #include "caches.h"
  670. - #include "history.h"
  671.   #include "transmit.h"
  672.   
  673.   statust
  674. ! synccaches()                /* force in-core caches to disk */
  675.   {
  676. !     return actsync() | trclose() | closehist();
  677.   }
  678. --- 8,16 ----
  679.   #include "active.h"
  680.   #include "caches.h"
  681.   #include "transmit.h"
  682.   
  683.   statust
  684. ! synccaches()            /* force dirty in-core caches to disk */
  685.   {
  686. !     return actsync() | trclose();
  687.   }
  688.  
  689. *** cnpatch/old/relay/hdrdefs.c    Tue Mar 13 13:41:28 1990
  690. --- relay/hdrdefs.c    Mon Mar 19 12:41:03 1990
  691. ***************
  692. *** 15,19 ****
  693.   #include "hdrint.h"        /* may define "const" or REALSTDC */
  694.   #ifdef REALSTDC
  695. ! #include <stdlib.h>        /* may define offsetof */
  696.   #endif                /* REALSTDC */
  697.   
  698. --- 15,19 ----
  699.   #include "hdrint.h"        /* may define "const" or REALSTDC */
  700.   #ifdef REALSTDC
  701. ! #include <stddef.h>        /* defines offsetof */
  702.   #endif                /* REALSTDC */
  703.   
  704.  
  705. *** cnpatch/old/relay/procart.c    Tue Jan 16 17:58:41 1990
  706. --- relay/procart.c    Wed Apr  4 15:10:24 1990
  707. ***************
  708. *** 305,309 ****
  709.       } else if (msgid[0] != '<' || msgid[strlen(msgid)-1] != '>') {
  710.           prefuse(art);
  711. !         (void) printf("<> brackets missing in Message-ID\n");
  712.       } else if (alreadyseen(msgid)) {
  713.           prefuse(art);
  714. --- 305,309 ----
  715.       } else if (msgid[0] != '<' || msgid[strlen(msgid)-1] != '>') {
  716.           prefuse(art);
  717. !         (void) printf("Message-ID not bracketed by <>\n");
  718.       } else if (alreadyseen(msgid)) {
  719.           prefuse(art);
  720.  
  721. *** cnpatch/old/relay/regress/out/stderr    Thu Sep 14 16:03:50 1989
  722. --- relay/regress/out/stderr    Sat Mar 31 21:34:24 1990
  723. ***************
  724. *** 1 ****
  725. ! ./relaynews: warning: renouncing setuid due to nonstandard `NEWSARTS'
  726. --- 1 ----
  727. ! ./relaynews: warning: renouncing setuid due to nonstandard `NEWSARTS' in environment
  728.  
  729. *** cnpatch/old/relay/relaynews.c    Tue Jan 16 17:58:42 1990
  730. --- relay/relaynews.c    Fri Mar 30 17:03:06 1990
  731. ***************
  732. *** 122,125 ****
  733. --- 122,126 ----
  734.   
  735.       status |= synccaches();        /* being cautious: write & close caches */
  736. +     status |= closehist();
  737.       (void) fflush(stdout);        /* log file */
  738.       (void) fflush(stderr);        /* errlog file */
  739. ***************
  740. *** 263,267 ****
  741.       userealids = YES;
  742.       (void) fprintf(stderr,
  743. !         "%s: warning: renouncing setuid due to nonstandard `%s'\n",
  744.                               progname, reason);
  745.   }
  746. --- 264,268 ----
  747.       userealids = YES;
  748.       (void) fprintf(stderr,
  749. !     "%s: warning: renouncing setuid due to nonstandard `%s' in environment\n",
  750.                               progname, reason);
  751.   }
  752.  
  753. *** cnpatch/old/relay/sh/inews    Tue Jan 16 17:58:42 1990
  754. --- relay/sh/inews    Wed Apr  4 23:59:38 1990
  755. ***************
  756. *** 249,253 ****
  757.                           echo 'default    %s') |
  758.                       sed -n "1{s/^[^     ]*[     ][     ]*//
  759. !                         s/%s/` echo $ng | tr . - `/p;q;}" \
  760.                           >$modroute
  761.                   moderator="`cat $modroute `"
  762. --- 249,253 ----
  763.                           echo 'default    %s') |
  764.                       sed -n "1{s/^[^     ]*[     ][     ]*//
  765. !                       s/%s/` echo $ng | tr . - `/;p;q;}" \
  766.                           >$modroute
  767.                   moderator="`cat $modroute `"
  768.  
  769. Files that are new:
  770.  
  771. new dbz/Makefile (patch can't create, so diff against null):
  772. Index: dbz/Makefile
  773. *** cnpatch/old/dbz/Makefile    Sat Apr 14 20:29:03 1990
  774. --- dbz/Makefile    Thu Apr 12 17:13:39 1990
  775. ***************
  776. *** 0 ****
  777. --- 1,156 ----
  778. + COPTS = -O
  779. + FLAGS = -I../include
  780. + # -lc before libcnews.a so we get fread etc. from system
  781. + DBMLIBS = -lc ../libcnews.a
  782. + RFC = -DHAVERFCIZE
  783. + DEBUG = -DDBZDEBUG
  784. + CFLAGS = $(COPTS) $(FLAGS)
  785. + LINTFLAGS = -h $(FLAGS) $(DEBUG) $(RFC)
  786. + LDFLAGS =
  787. + 
  788. + # database sizes for performance tests, regression, and regression prime-find
  789. + TSIZE=12007
  790. + RSIZE=4019
  791. + RPSIZE=3012
  792. + 
  793. + # history files for regression and performance tests
  794. + RHIST=hist3.3
  795. + R2HIST=hist10
  796. + THIST=hist13
  797. + 
  798. + it:    dbz.o
  799. + 
  800. + all:    dbz.o dbz
  801. + 
  802. + u:    dbz.o
  803. +     ar ruv ../libcnews.a dbz.o
  804. +     cmp dbz.h ../h/dbz.h
  805. + 
  806. + t:    tdbz fake
  807. + 
  808. + lint:
  809. +     lint $(LINTFLAGS) dbzmain.c dbz.c
  810. + 
  811. + rdbz.o:    dbz.c
  812. +     cp dbz.c rdbz.c
  813. +     $(CC) $(CFLAGS) $(DEBUG) -DDEFSIZE=$(RSIZE) -c rdbz.c
  814. +     rm rdbz.c
  815. + 
  816. + rdbzmain.o:    dbzmain.c
  817. +     cp dbzmain.c rdbzmain.c
  818. +     $(CC) $(CFLAGS) $(RFC) -c rdbzmain.c
  819. +     rm rdbzmain.c
  820. + 
  821. + tdbz.o:    dbz.c
  822. +     cp dbz.c tdbz.c
  823. +     $(CC) $(CFLAGS) -DDEFSIZE=$(TSIZE) -c tdbz.c
  824. +     rm tdbz.c
  825. + 
  826. + dbz:    dbzmain.o dbz.o
  827. +     $(CC) $(CFLAGS) $(LDFLAGS) dbzmain.o dbz.o -o $@
  828. + 
  829. + tdbz:    dbzmain.o tdbz.o
  830. +     $(CC) $(CFLAGS) $(LDFLAGS) dbzmain.o tdbz.o -o $@
  831. + 
  832. + rdbz:    rdbzmain.o rdbz.o
  833. +     $(CC) $(CFLAGS) $(LDFLAGS) rdbzmain.o rdbz.o $(DBMLIBS) -o $@
  834. + 
  835. + fake:    fake.o random.o
  836. +     $(CC) $(CFLAGS) $(LDFLAGS) fake.o random.o -o $@
  837. + 
  838. + byteflip:    byteflip.o
  839. +     $(CC) $(CFLAGS) $(LDFLAGS) byteflip.o -o $@
  840. + 
  841. + hist10:    fake
  842. +     fake -t -e 75 10000 >$@
  843. + 
  844. + hist3.3:    fake
  845. +     fake -t -e 75 3300 >$@
  846. + 
  847. + hist13:    fake
  848. +     fake -t -e 75 13000 >$@
  849. + 
  850. + r:    rdbz $(RHIST) $(R2HIST) byteflip getmap revbytes altbytes
  851. +     : 'WARNING:  creates about 2MB of debris; do "make rclean" afterward'
  852. +     rm -f dbase dbase[23] dbase.* dbase[23].*
  853. +     test ! -d xx || rmdir xx
  854. +     : crude check of synthetic history file
  855. +     ( sed 25q $(RHIST) ; tail -25 $(RHIST) ) >histjunk
  856. +     cmp histjunk firstlast25
  857. +     rm histjunk
  858. +     : basic tests, exercising as many options as possible
  859. +     cp $(RHIST) dbase
  860. +     mkdir xx
  861. +     chmod -w xx
  862. +     rdbz -E 1000 -0 -M -i -S -u -U -C xx dbase
  863. +     rmdir xx
  864. +     sed '/>    0/d' $(RHIST) >dbase.used
  865. +     test "`cat dbase.used | wc -l`" -eq "`sed -n '2s/ .*//p' dbase.dir`" ;
  866. +     cp $(RHIST) dbase2
  867. +     rdbz -E 1000 -0 -p $(RPSIZE) -t '    ' dbase2
  868. +     cmp $(RHIST) dbase
  869. +     cmp dbase dbase2
  870. +     cmp dbase.dir dbase2.dir
  871. +     cmp dbase.pag dbase2.pag
  872. +     rdbz -E 1000 -0 -c dbase
  873. +     rdbz -E 1000 -0 -c -i -q -M -U dbase
  874. +     : build a database and then add to it
  875. +     sed 1000q $(RHIST) >dbase2
  876. +     sed 1,1000d $(RHIST) >dbase2.add
  877. +     rdbz -E 1000 -0 dbase2
  878. +     rdbz -E 1000 -0 -a dbase2 dbase2.add
  879. +     cmp dbase dbase2
  880. +     cmp dbase.dir dbase2.dir
  881. +     cmp dbase.pag dbase2.pag
  882. +     : build based on existing one, test extraction and readonly files
  883. +     rdbz -E 1000 -0 -f dbase dbase2
  884. +     test "`cat dbase.used | wc -l`" -eq "`awk 'NR==2{print $$1}' dbase2.dir`" ;
  885. +     test "`cat dbase.used | wc -l`" -eq "`awk 'NR==2{print $$2}' dbase2.dir`" ;
  886. +     chmod -w dbase2.dir dbase2.pag
  887. +     rdbz -E 1000 -x dbase2 dbase >dbase.temp
  888. +     cmp dbase.used dbase.temp
  889. +     : try some small case perversions
  890. +     sed 's/\(@[^     ]*\)A/\1a/' dbase >dbase.ick
  891. +     rdbz -E 1000 -x dbase2 dbase.ick >dbase.temp
  892. +     cmp dbase.used dbase.temp
  893. +     sed -n 's/A\([^     ]*@\)/a\1/p' dbase >dbase.ick
  894. +     rdbz -x dbase2 dbase.ick >dbase.temp
  895. +     test ! -s dbase.temp ;
  896. +     rm -f dbase2.dir dbase2.pag
  897. +     : try it without tags, case-insensitive, with case perversions
  898. +     rdbz -E 1000 -0 -p '0 b 1' dbase2
  899. +     tr '[A-M][n-z]' '[a-m][N-Z]' <dbase2 >dbase.ick
  900. +     rdbz -E 1000 -x dbase2 dbase.ick >dbase.temp
  901. +     cmp dbase.used dbase.temp
  902. +     rm -f dbase.temp dbase.ick
  903. +     : test various perversions of byte ordering
  904. +     awk -f revbytes dbase.dir >dbase2.dir
  905. +     chmod +x getmap
  906. +     byteflip `getmap dbase.dir` `getmap dbase2.dir` <dbase.pag >dbase2.pag
  907. +     cp dbase dbase2
  908. +     rdbz -E 1000 -0 -c dbase2
  909. +     awk -f altbytes dbase.dir >dbase2.dir
  910. +     dd conv=swab <dbase.pag >dbase2.pag
  911. +     rdbz -E 1000 -0 -c dbase2
  912. +     cp dbase2 dbase3
  913. +     rdbz -E 1000 -0 -f dbase2 dbase3
  914. +     rdbz -E 1000 -0 -c dbase3
  915. +     test " `getmap dbase2.dir`" = " `getmap dbase3.dir`" ;
  916. +     : test massive overflow, throw in case sensitivity and tag mask
  917. +     cp $(R2HIST) dbase
  918. +     rdbz -E 1000 -0 -p '0 0 7ff00000' dbase
  919. +     rdbz -E 1000 -0 -cq dbase
  920. +     sed 100q dbase | egrep '[aA].*    ' | tr aA Aa >dbase.ick
  921. +     rdbz -x dbase dbase.ick >dbase.temp
  922. +     test ! -s dbase.temp ;
  923. +     : success!
  924. + 
  925. + rclean:
  926. +     rm -f dbase dbase[23] dbase.* dbase[23].* fake fake.o random.o
  927. +     rm -f rdbz rdbz.o rdbzmain.o $(RHIST) $(R2HIST) byteflip byteflip.o
  928. +     rm -f histjunk core
  929. +     test ! -d xx || rmdir xx
  930. + 
  931. + clean:    rclean
  932. +     rm -f *.o dbz [a-z]dbz [a-z][a-z]dbz junk* PostScript.out
  933. +     rm -f hist* dbase* *.bak mon.out gmon.out core dbm.h
  934.  
  935. new dbz/README (patch can't create, so diff against null):
  936. Index: dbz/README
  937. *** cnpatch/old/dbz/README    Sat Apr 14 20:29:04 1990
  938. --- dbz/README    Thu Apr 12 17:14:33 1990
  939. ***************
  940. *** 0 ****
  941. --- 1,13 ----
  942. + This is the new, improved, lemon-freshened :-) dbz.
  943. + 
  944. + Just "make" will get you dbz.o and the dbz program.  "make r" runs an
  945. + extensive set of regression tests; most of the mysterious oddments lying
  946. + around here are to do with that.  "make rclean" cleans up after "make r".
  947. + 
  948. + You probably want to inspect the #ifdef list early in dbz.c before
  949. + compiling, although the defaults should work all right on most systems.
  950. + 
  951. + If you are not building this as part of C News, you will need to change
  952. + the -I option in FLAGS in the Makefile to "-I.", and delete the DBMLIBS
  953. + and RFC lines entirely.  That will break some of the regression tests;
  954. + at some point I'll fix this.
  955.  
  956. new dbz/altbytes (patch can't create, so diff against null):
  957. Index: dbz/altbytes
  958. *** cnpatch/old/dbz/altbytes    Sat Apr 14 20:29:04 1990
  959. --- dbz/altbytes    Thu Apr 12 16:34:59 1990
  960. ***************
  961. *** 0 ****
  962. --- 1,7 ----
  963. + NR == 1 {
  964. +     printf "%s %s %s %s %s %s %s %s %s", $1, $2, $3, $4, $5, $6, $7, $8, $9
  965. +     for (i = 10; i <= NF; i += 2)
  966. +         printf " %s %s", $(i+1), $i
  967. +     printf "\n"
  968. + }
  969. + NR > 1 { print }
  970.  
  971. new dbz/byteflip.c (patch can't create, so diff against null):
  972. Index: dbz/byteflip.c
  973. *** cnpatch/old/dbz/byteflip.c    Sat Apr 14 20:29:04 1990
  974. --- dbz/byteflip.c    Sat Mar 31 19:24:20 1990
  975. ***************
  976. *** 0 ****
  977. --- 1,33 ----
  978. + #include <stdio.h>
  979. + 
  980. + #define    MAXWORD    32
  981. + 
  982. + main(argc, argv)
  983. + int argc;
  984. + char *argv[];
  985. + {
  986. +     register int len;
  987. +     int inmap[MAXWORD];
  988. +     int outmap[MAXWORD];
  989. +     char in[MAXWORD];
  990. +     char out[MAXWORD];
  991. +     register int i;
  992. +     register int a;
  993. + 
  994. +     a = 1;
  995. +     len = atoi(argv[a++]);
  996. +     if (len > MAXWORD)
  997. +         abort();    /* kind of drastic... */
  998. +     for (i = 0; i < len; i++)
  999. +         inmap[i] = atoi(argv[a++]);
  1000. +     if (atoi(argv[a++]) != len)
  1001. +         abort();
  1002. +     for (i = 0; i < len; i++)
  1003. +         outmap[i] = atoi(argv[a++]);
  1004. + 
  1005. +     while (fread(in, 1, len, stdin) == len) {
  1006. +         for (i = 0; i < len; i++)
  1007. +             out[outmap[i]] = in[inmap[i]];
  1008. +         fwrite(out, 1, len, stdout);
  1009. +     }
  1010. + }
  1011.  
  1012. new dbz/dbz.1 (patch can't create, so diff against null):
  1013. Index: dbz/dbz.1
  1014. *** cnpatch/old/dbz/dbz.1    Sat Apr 14 20:29:05 1990
  1015. --- dbz/dbz.1    Thu Apr 12 18:14:50 1990
  1016. ***************
  1017. *** 0 ****
  1018. --- 1,205 ----
  1019. + .TH DBZ 1 "12 April 1990"
  1020. + .BY "C News"
  1021. + .SH NAME
  1022. + dbz \- operate on dbz databases of text
  1023. + .SH SYNOPSIS
  1024. + .B dbz
  1025. + [
  1026. + .BR \- { axc }
  1027. + ] [
  1028. + .B \-t
  1029. + c
  1030. + ] [
  1031. + .B \-l
  1032. + length
  1033. + ] [
  1034. + .BR \- { qiue }
  1035. + ] [
  1036. + .B \-f
  1037. + old
  1038. + ] [
  1039. + .B \-p
  1040. + parms
  1041. + ] database file ...
  1042. + .SH DESCRIPTION
  1043. + .I Dbz
  1044. + is a shell-level interface to the
  1045. + .IR dbz (3z)
  1046. + database routines for indexed access to a text file.
  1047. + .PP
  1048. + The
  1049. + .I database
  1050. + file must be a text file,
  1051. + one line per database record,
  1052. + with the key the first field on the line.
  1053. + The
  1054. + .B \-t
  1055. + option sets the field-separator character; the default is tab.
  1056. + Setting the separator character to NUL (with
  1057. + .BR "\-t\ ''" )
  1058. + makes the whole line the key.
  1059. + Lines must not exceed 1023 bytes in length including the newline;
  1060. + this limit can be increased with the
  1061. + .B \-l
  1062. + option.
  1063. + The limitations and restrictions of
  1064. + .IR dbz (3z)
  1065. + must also be observed.
  1066. + .PP
  1067. + In the absence of options,
  1068. + .I dbz
  1069. + creates a
  1070. + .IR dbz (3z)
  1071. + index for the database;
  1072. + the index comprises files
  1073. + .IB database .pag
  1074. + and
  1075. + .IB database .dir
  1076. + in the same directory.
  1077. + Any previous index is silently overwritten.
  1078. + The
  1079. + .BR \-a ,
  1080. + .BR \-x ,
  1081. + and
  1082. + .B \-c
  1083. + options specify other operations.
  1084. + .PP
  1085. + With
  1086. + .BR \-a ,
  1087. + .I dbz
  1088. + appends lines from the
  1089. + .IR file (s)
  1090. + (standard input if none)
  1091. + to the database, updating both the
  1092. + text file and the indexes.
  1093. + .PP
  1094. + With
  1095. + .BR \-x ,
  1096. + .I dbz
  1097. + reads keys from the
  1098. + .IR file (s)
  1099. + (standard input if none)
  1100. + and prints (on standard output) the corresponding lines, if any,
  1101. + from the database.
  1102. + The input is in the form of database lines, although only the keys are
  1103. + significant.
  1104. + .PP
  1105. + With
  1106. + .BR \-c ,
  1107. + .I dbz
  1108. + checks the database for internal consistency.
  1109. + The
  1110. + .B \-q
  1111. + option causes this check to be done more quickly but less thoroughly
  1112. + (each key is looked up in the index, but no check is made to be sure
  1113. + that the index entry points to the right place).
  1114. + .PP
  1115. + The
  1116. + .B \-i
  1117. + option suppresses the use of
  1118. + .IR dbz (3z)'s
  1119. + .I incore
  1120. + facility.
  1121. + This makes accesses slower, but keeps the files current
  1122. + during updating
  1123. + and reduces
  1124. + startup/shutdown overhead.
  1125. + .PP
  1126. + Normally,
  1127. + .I dbz
  1128. + checks whether a key is already in the database before adding it.
  1129. + The
  1130. + .B \-u
  1131. + option suppresses this check, speeding things up at the expense of safety.
  1132. + .PP
  1133. + A new index is normally created with default size,
  1134. + case mapping, and tagging.
  1135. + The default size is right for 90-100,000 records.
  1136. + The default case mapping is right for RFC822 message-ids.
  1137. + See
  1138. + .IR dbz (3z)
  1139. + for what tagging is about.
  1140. + (Note, these defaults can be changed when
  1141. + .IR dbz (3z)
  1142. + is installed.)
  1143. + .PP
  1144. + If the
  1145. + .B \-f
  1146. + option is given,
  1147. + size, case mapping, and tagging
  1148. + are instead initialized based on the
  1149. + database
  1150. + .IR old .
  1151. + This is mostly useful when
  1152. + creating a new generation of an existing database.
  1153. + (See the description of
  1154. + .I dbzagain
  1155. + in
  1156. + .IR dbz (3z)
  1157. + for details.)
  1158. + .PP
  1159. + If the
  1160. + .B \-p
  1161. + option is given, the
  1162. + .I parms
  1163. + string specifies the size, case mapping, and tagging.
  1164. + If
  1165. + .I parms
  1166. + is a single decimal number,
  1167. + that is taken as the expected number of records
  1168. + in the index, with case mapping and tagging defaulted.
  1169. + Alternatively,
  1170. + .I parms
  1171. + can be three fields\(ema decimal number, a case-mapping code character, and a
  1172. + hexadecimal tag mask\(emseparated by white space.
  1173. + The decimal number is, again, the expected number of records;
  1174. + 0 means ``use the default''.
  1175. + See
  1176. + .IR dbz (3z)
  1177. + for possible choices of case-mapping code,
  1178. + but in particular,
  1179. + .B 0
  1180. + means ``no case mapping''.
  1181. + See
  1182. + .IR dbz (3z)
  1183. + for details on tag masks;
  1184. + 0 means ``use the default''.
  1185. + .PP
  1186. + If the
  1187. + .B \-e
  1188. + option is given, the decimal number in
  1189. + .B \-p
  1190. + is taken to be the exact table size, not the expected number of records,
  1191. + and invocation of
  1192. + .I dbzsize
  1193. + (see
  1194. + .IR dbz (3z))
  1195. + to predict a good size for that number of records is suppressed.
  1196. + .PP
  1197. + The
  1198. + .B \&.pag
  1199. + file is normally 5-6 bytes per record (based on the estimate given to
  1200. + .B \-p
  1201. + or the previous history of the
  1202. + .B \-f
  1203. + database).
  1204. + The
  1205. + .B \&.dir
  1206. + file is tiny.
  1207. + .SH SEE ALSO
  1208. + dbz(3z)
  1209. + .SH HISTORY
  1210. + Written at U of Toronto by Henry Spencer, for the C News project.
  1211. + See
  1212. + .IR dbz (3z)
  1213. + for the history of the underlying database routines.
  1214. + .SH BUGS
  1215. + There are a number of undocumented options with obscure effects,
  1216. + meant for debugging and regression testing of
  1217. + .IR dbz (3z).
  1218. + .PP
  1219. + Permissions for the index files probably ought to be taken from those
  1220. + of the base file.
  1221. + .PP
  1222. + The line-length limit is a blemish, alleviated only slightly by
  1223. + .BR \-l .
  1224.  
  1225. new dbz/dbz.3z (patch can't create, so diff against null):
  1226. Index: dbz/dbz.3z
  1227. *** cnpatch/old/dbz/dbz.3z    Sat Apr 14 20:29:05 1990
  1228. --- dbz/dbz.3z    Thu Apr 12 18:14:20 1990
  1229. ***************
  1230. *** 0 ****
  1231. --- 1,509 ----
  1232. + .TH DBZ 3Z "12 April 1990"
  1233. + .BY "C News"
  1234. + .SH NAME
  1235. + dbminit, fetch, store, dbmclose \- somewhat dbm-compatible database routines
  1236. + .br
  1237. + dbzfresh, dbzagain, dbzfetch, dbzstore \- database routines
  1238. + .br
  1239. + dbzsize, dbzincore, dbzdebug \- database routines
  1240. + .SH SYNOPSIS
  1241. + .nf
  1242. + .B #include <dbz.h>
  1243. + .PP
  1244. + .B dbminit(base)
  1245. + .B char *base;
  1246. + .PP
  1247. + .B datum
  1248. + .B fetch(key)
  1249. + .B datum key;
  1250. + .PP
  1251. + .B store(key, value)
  1252. + .B datum key;
  1253. + .B datum value;
  1254. + .PP
  1255. + .B dbmclose()
  1256. + .PP
  1257. + .B dbzfresh(base, size, fieldsep, cmap, tagmask)
  1258. + .B char *base;
  1259. + .B long size;
  1260. + .B int fieldsep;
  1261. + .B int cmap;
  1262. + .B long tagmask;
  1263. + .PP
  1264. + .B dbzagain(base, oldbase)
  1265. + .B char *base;
  1266. + .B char *oldbase;
  1267. + .PP
  1268. + .B datum
  1269. + .B dbzfetch(key)
  1270. + .B datum key;
  1271. + .PP
  1272. + .B dbzstore(key, value)
  1273. + .B datum key;
  1274. + .B datum value;
  1275. + .PP
  1276. + .B dbzsync()
  1277. + .PP
  1278. + .B long
  1279. + .B dbzsize(nentries)
  1280. + .B long nentries;
  1281. + .PP
  1282. + .B dbzincore(newvalue)
  1283. + .PP
  1284. + .B dbzdebug(newvalue)
  1285. + .SH DESCRIPTION
  1286. + These functions provide an indexing system for rapid random access to a
  1287. + text file (the
  1288. + .I base 
  1289. + .IR file ).
  1290. + Subject to certain constraints, they are compatible with
  1291. + .IR dbm (3),
  1292. + although they also provide some extensions.
  1293. + .PP
  1294. + In principle,
  1295. + .I dbz
  1296. + stores key-value pairs, where both key and value are arbitrary sequences
  1297. + of bytes, specified to the functions by
  1298. + values of type
  1299. + .IR datum ,
  1300. + typedefed in the header file to be a structure with members
  1301. + .I dptr
  1302. + (a value of type
  1303. + .I char *
  1304. + pointing to the bytes)
  1305. + and
  1306. + .I dsize
  1307. + (a value of type
  1308. + .I int
  1309. + indicating how long the byte sequence is).
  1310. + .PP
  1311. + In practice,
  1312. + .I dbz
  1313. + is more restricted than
  1314. + .IR dbm .
  1315. + A
  1316. + .I dbz
  1317. + database
  1318. + must be an index into a base file,
  1319. + with the database
  1320. + .IR value s
  1321. + being
  1322. + .IR fseek (3)
  1323. + offsets into the base file.
  1324. + Each such
  1325. + .I value
  1326. + must ``point to'' a place in the base file where the corresponding
  1327. + .I key
  1328. + sequence is found.
  1329. + A key can be no longer than
  1330. + .SM DBZMAXKEY
  1331. + (a constant defined in the header file) bytes.
  1332. + No key can be an initial subsequence of another,
  1333. + which in most applications requires that keys be
  1334. + either bracketed or terminated in some way (see the
  1335. + discussion of the
  1336. + .I fieldsep
  1337. + parameter of
  1338. + .IR dbzfresh ,
  1339. + below,
  1340. + for a fine point on terminators).
  1341. + .PP
  1342. + .I Dbminit
  1343. + opens a database,
  1344. + an index into the base file
  1345. + .IR base ,
  1346. + consisting of files
  1347. + .IB base .dir
  1348. + and
  1349. + .IB base .pag
  1350. + which must already exist.
  1351. + (If the database is new, they should be zero-length files.)
  1352. + Subsequent accesses go to that database until
  1353. + .I dbmclose
  1354. + is called to close the database.
  1355. + The base file need not exist at the time of the
  1356. + .IR dbminit ,
  1357. + but it must exist before accesses are attempted.
  1358. + .PP
  1359. + .I Fetch
  1360. + searches the database for the specified
  1361. + .IR key ,
  1362. + returning the corresponding
  1363. + .IR value
  1364. + if any.
  1365. + .I Store
  1366. + stores the
  1367. + .IR key - value
  1368. + pair in the database.
  1369. + .I Store
  1370. + will fail unless the database files are writeable.
  1371. + See below for a complication arising from case mapping.
  1372. + .PP
  1373. + .I Dbzfresh
  1374. + is a variant of
  1375. + .I dbminit
  1376. + for creating a new database with more control over details.
  1377. + Unlike for
  1378. + .IR dbminit ,
  1379. + the database files need not exist:
  1380. + they will be created if necessary,
  1381. + and truncated in any case.
  1382. + .PP
  1383. + .IR Dbzfresh 's
  1384. + .I size
  1385. + parameter specifies the size of the first hash table within the database,
  1386. + in key-value pairs.
  1387. + Performance will be best if
  1388. + .I size
  1389. + is a prime number and
  1390. + the number of key-value pairs stored in the database does not exceed
  1391. + about 75% of
  1392. + .IR size .
  1393. + (The
  1394. + .I dbzsize
  1395. + function, given the expected number of key-value pairs,
  1396. + will suggest a database size that meets these criteria.)
  1397. + Assuming that an
  1398. + .I fseek
  1399. + offset is 4 bytes,
  1400. + the
  1401. + .B .pag
  1402. + file will be
  1403. + .RI 4* size
  1404. + bytes
  1405. + (the
  1406. + .B .dir
  1407. + file is tiny and roughly constant in size)
  1408. + until
  1409. + the number of key-value pairs exceeds about 80% of
  1410. + .IR size .
  1411. + (Nothing awful will happen if the database grows beyond 100% of
  1412. + .IR size ,
  1413. + but accesses will slow down somewhat and the
  1414. + .B .pag
  1415. + file will grow somewhat.)
  1416. + .PP
  1417. + .IR Dbzfresh 's
  1418. + .I fieldsep
  1419. + parameter specifies the field separator in the base file.
  1420. + If this is not
  1421. + NUL (0), and the last character of a
  1422. + .I key
  1423. + argument is NUL, that NUL compares equal to either a NUL or a
  1424. + .I fieldsep
  1425. + in the base file.
  1426. + This permits use of NUL to terminate key strings without requiring that
  1427. + NULs appear in the base file.
  1428. + The
  1429. + .I fieldsep
  1430. + of a database created with
  1431. + .I dbminit
  1432. + is the horizontal-tab character.
  1433. + .PP
  1434. + For use in news systems, various forms of case mapping (e.g. uppercase to
  1435. + lowercase) in keys are available.
  1436. + The
  1437. + .I cmap
  1438. + parameter to
  1439. + .I dbzfresh
  1440. + is a single character specifying which of several mapping algorithms to use.
  1441. + Available algorithms are:
  1442. + .RS
  1443. + .TP
  1444. + .B 0
  1445. + case-sensitive:  no case mapping
  1446. + .TP
  1447. + .B B
  1448. + same as
  1449. + .B 0
  1450. + .TP
  1451. + .B NUL
  1452. + same as
  1453. + .B 0
  1454. + .TP
  1455. + .B =
  1456. + case-insensitive:  uppercase and lowercase equivalent
  1457. + .TP
  1458. + .B b
  1459. + same as
  1460. + .B =
  1461. + .TP
  1462. + .B C
  1463. + RFC822 message-ID rules, case-sensitive before `@' (with certain exceptions)
  1464. + and case-insensitive after
  1465. + .TP
  1466. + .B ?
  1467. + whatever the local default is, normally
  1468. + .B C
  1469. + .RE
  1470. + .PP
  1471. + Mapping algorithm
  1472. + .B 0
  1473. + (no mapping) is faster than the others and is overwhelmingly the correct
  1474. + choice for most applications.
  1475. + Unless compatibility constraints interfere, it is more efficient to pre-map
  1476. + the keys, storing mapped keys in the base file, than to have
  1477. + .I dbz
  1478. + do the mapping on every search.
  1479. + .PP
  1480. + For historical reasons,
  1481. + .I fetch
  1482. + and
  1483. + .I store
  1484. + expect their
  1485. + .I key
  1486. + arguments to be pre-mapped, but expect unmapped keys in the base file.
  1487. + .I Dbzfetch
  1488. + and
  1489. + .I dbzstore
  1490. + do the same jobs but handle all case mapping internally,
  1491. + so the customer need not worry about it.
  1492. + .PP
  1493. + .I Dbz
  1494. + stores only the database
  1495. + .IR value s
  1496. + in its files, relying on reference to the base file to confirm a hit on a key.
  1497. + References to the base file can be minimized, greatly speeding up searches,
  1498. + if a little bit of information about the keys can be stored in the
  1499. + .I dbz
  1500. + files.
  1501. + This is ``free'' if there are some unused bits in an
  1502. + .I fseek
  1503. + offset,
  1504. + so that the offset can be
  1505. + .I tagged
  1506. + with some information about the key.
  1507. + The
  1508. + .I tagmask
  1509. + parameter of
  1510. + .I dbzfresh
  1511. + allows specifying the location of unused bits.
  1512. + .I Tagmask
  1513. + should be a mask with
  1514. + one group of
  1515. + contiguous
  1516. + .B 1
  1517. + bits.
  1518. + The bits in the mask should
  1519. + be unused (0) in
  1520. + .I most
  1521. + offsets.
  1522. + The bit immediately above the mask (the
  1523. + .I flag
  1524. + bit) should be unused (0) in
  1525. + .I all
  1526. + offsets;
  1527. + .I (dbz)store
  1528. + will reject attempts to store a key-value pair in which the
  1529. + .I value
  1530. + has the flag bit on.
  1531. + Apart from this restriction, tagging is invisible to the user.
  1532. + As a special case, a
  1533. + .I tagmask
  1534. + of 1 means ``no tagging'', for use with enormous base files or
  1535. + on systems with unusual offset representations.
  1536. + .PP
  1537. + A
  1538. + .I size
  1539. + of 0
  1540. + given to
  1541. + .I dbzfresh
  1542. + is synonymous with the local default;
  1543. + the normal default is suitable for tables of 90-100,000
  1544. + key-value pairs.
  1545. + A
  1546. + .I cmap
  1547. + of 0 (NUL) is synonymous with the character
  1548. + .BR 0 ,
  1549. + signifying no case mapping
  1550. + (note that the character
  1551. + .B ?
  1552. + specifies the local default mapping,
  1553. + normally
  1554. + .BR C ).
  1555. + A
  1556. + .I tagmask
  1557. + of 0 is synonymous with the local default tag mask,
  1558. + normally 0x7f000000 (specifying the top bit in a 32-bit offset
  1559. + as the flag bit, and the next 7 bits as the mask,
  1560. + which is suitable for base files up to circa 24MB).
  1561. + Calling
  1562. + .I dbminit(name)
  1563. + with the database files empty is equivalent to calling
  1564. + .IR dbzfresh(name,0,'\et','?',0) .
  1565. + .PP
  1566. + When databases are regenerated periodically, as in news,
  1567. + it is simplest to pick the parameters for a new database based on the old one.
  1568. + This also permits some memory of past sizes of the old database, so that
  1569. + a new database size can be chosen to cover expected fluctuations.
  1570. + .I Dbzagain
  1571. + is a variant of
  1572. + .I dbminit
  1573. + for creating a new database as a new generation of an old database.
  1574. + The database files for
  1575. + .I oldbase
  1576. + must exist.
  1577. + .I Dbzagain
  1578. + is equivalent to calling
  1579. + .I dbzfresh
  1580. + with the same field separator, case mapping, and tag mask as the old database,
  1581. + and a
  1582. + .I size
  1583. + equal to the result of applying
  1584. + .I dbzsize
  1585. + to the largest number of entries in the
  1586. + .I oldbase
  1587. + database and its previous 10 generations.
  1588. + .PP
  1589. + When many accesses are being done by the same program,
  1590. + .I dbz
  1591. + is massively faster if its first hash table is in memory.
  1592. + If an internal flag is 1,
  1593. + an attempt is made to read the table in when
  1594. + the database is opened, and
  1595. + .I dbmclose
  1596. + writes it out to disk again (if it was read successfully and
  1597. + has been modified).
  1598. + .I Dbzincore
  1599. + sets the flag to
  1600. + .I newvalue
  1601. + (which should be 0 or 1)
  1602. + and returns the previous value;
  1603. + this does not affect the status of a database that has already been opened.
  1604. + The default is 0.
  1605. + The attempt to read the table in may fail due to memory shortage;
  1606. + in this case
  1607. + .I dbz
  1608. + quietly falls back on its default behavior.
  1609. + .IR Store s
  1610. + to an in-memory database are not (in general) written out to the file
  1611. + until
  1612. + .IR dbmclose
  1613. + or
  1614. + .IR dbzsync ,
  1615. + so if robustness in the presence of crashes
  1616. + or concurrent accesses
  1617. + is crucial, in-memory databases
  1618. + should probably be avoided.
  1619. + .PP
  1620. + .I Dbzsync
  1621. + causes all buffers etc. to be flushed out to the files.
  1622. + It is typically used as a precaution against crashes or concurrent accesses
  1623. + when a
  1624. + .IR dbz -using
  1625. + process will be running for a long time.
  1626. + It is a somewhat expensive operation,
  1627. + especially
  1628. + for an in-memory database.
  1629. + .PP
  1630. + If
  1631. + .I dbz
  1632. + has been compiled with debugging facilities available (which makes it
  1633. + bigger and a bit slower),
  1634. + .I dbzdebug
  1635. + alters the value (and returns the previous value) of an internal flag
  1636. + which (when 1; default is 0) causes
  1637. + verbose and cryptic debugging output on standard output.
  1638. + .PP
  1639. + Concurrent reading of databases is fairly safe,
  1640. + but there is no (inter)locking,
  1641. + so concurrent updating is not.
  1642. + .PP
  1643. + The database files include a record of the byte order of the processor
  1644. + creating the database, and accesses by processors with different byte
  1645. + order will work, although they will be slightly slower.
  1646. + Byte order is preserved by
  1647. + .IR dbzagain .
  1648. + However,
  1649. + agreement on the size and internal structure of an
  1650. + .I fseek
  1651. + offset is necessary, as is consensus on
  1652. + the character set.
  1653. + .PP
  1654. + An open database occupies three
  1655. + .I stdio
  1656. + streams and their corresponding file descriptors;
  1657. + a fourth is needed for an in-memory database.
  1658. + Memory consumption is negligible (except for
  1659. + .I stdio
  1660. + buffers) except for in-memory databases.
  1661. + .SH SEE ALSO
  1662. + dbz(1), dbm(3)
  1663. + .SH DIAGNOSTICS
  1664. + Functions returning
  1665. + .I int
  1666. + values return 0 for success, \-1 for failure.
  1667. + Functions returning
  1668. + .I datum
  1669. + values return a value with
  1670. + .I dptr
  1671. + set to NULL for failure.
  1672. + .SH HISTORY
  1673. + The original
  1674. + .I dbz
  1675. + was written by
  1676. + Jon Zeeff (zeeff@b-tech.ann-arbor.mi.us).
  1677. + Later contributions by David Butler and Mark Moraes.
  1678. + Extensive reworking,
  1679. + including this documentation,
  1680. + by Henry Spencer (henry@zoo.toronto.edu) as
  1681. + part of the C News project.
  1682. + Hashing function by Peter Honeyman.
  1683. + .SH BUGS
  1684. + The
  1685. + .I dptr
  1686. + members of returned
  1687. + .I datum
  1688. + values point to static storage which is overwritten by later calls.
  1689. + .PP
  1690. + Unlike
  1691. + .IR dbm ,
  1692. + .I dbz
  1693. + will misbehave if an existing key-value pair is `overwritten' by
  1694. + a new
  1695. + .I (dbz)store
  1696. + with the same key.
  1697. + The user is responsible for avoiding this by using
  1698. + .I (dbz)fetch
  1699. + first to check for duplicates;
  1700. + an internal optimization remembers the result of the
  1701. + first search so there is minimal overhead in this.
  1702. + .PP
  1703. + Waiting until after
  1704. + .I dbminit
  1705. + to bring the base file into existence
  1706. + will fail if
  1707. + .IR chdir (2)
  1708. + has been used meanwhile.
  1709. + .PP
  1710. + The RFC822 case mapper implements only a first approximation to the
  1711. + hideously-complex RFC822 case rules.
  1712. + .PP
  1713. + The prime finder in
  1714. + .I dbzsize
  1715. + is not particularly quick.
  1716. + .PP
  1717. + Should implement the
  1718. + .I dbm
  1719. + functions
  1720. + .IR delete ,
  1721. + .IR firstkey ,
  1722. + and
  1723. + .IR nextkey .
  1724. + .PP
  1725. + On C implementations which trap integer overflow,
  1726. + .I dbz
  1727. + will refuse to
  1728. + .I (dbz)store
  1729. + an
  1730. + .I fseek
  1731. + offset equal to the greatest
  1732. + representable
  1733. + positive number,
  1734. + as this would cause overflow in the biased representation used.
  1735. + .PP
  1736. + .I Dbzagain
  1737. + perhaps ought to notice when many offsets
  1738. + in the old database were
  1739. + too big for
  1740. + tagging, and shrink the tag mask to match.
  1741.  
  1742.  
  1743. end of patch 14-Apr-1990
  1744.  
  1745.