home *** CD-ROM | disk | FTP | other *** search
/ Chip 2001 January / Chip_2001-01_cd1.bin / tema / mysql / mysql-3.23.28g-win-source.exe / myisam / ft_eval.c next >
C/C++ Source or Header  |  2000-08-31  |  6KB  |  207 lines
  1. /* Copyright (C) 2000 MySQL AB & MySQL Finland AB & TCX DataKonsult AB
  2.    This program is free software; you can redistribute it and/or modify
  3.    it under the terms of the GNU General Public License as published by
  4.    the Free Software Foundation; either version 2 of the License, or
  5.    (at your option) any later version.
  6.    This program is distributed in the hope that it will be useful,
  7.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  8.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  9.    GNU General Public License for more details.
  10.    You should have received a copy of the GNU General Public License
  11.    along with this program; if not, write to the Free Software
  12.    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA */
  13.  
  14. /* Written by Sergei A. Golubchik, who has a shared copyright to this code */
  15.  
  16. #include "ftdefs.h"
  17. #include "ft_eval.h"
  18. #include <stdarg.h>
  19. #include <getopt.h>
  20.  
  21. static void print_error(int exit_code, const char *fmt,...);
  22.  
  23. int main(int argc,char *argv[])
  24. {
  25.   MI_INFO *file;
  26.   int i,j;
  27.  
  28.   MY_INIT(argv[0]);
  29.   get_options(argc,argv);
  30.   bzero((char*)recinfo,sizeof(recinfo));
  31.  
  32.   /* First define 2 columns */
  33.   recinfo[0].type=FIELD_SKIPP_ENDSPACE;
  34.   recinfo[0].length=docid_length;
  35.   recinfo[1].type=FIELD_BLOB;
  36.   recinfo[1].length= 4+mi_portable_sizeof_char_ptr;
  37.  
  38.   /* Define a key over the first column */
  39.   keyinfo[0].seg=keyseg;
  40.   keyinfo[0].keysegs=1;
  41.   keyinfo[0].seg[0].type= HA_KEYTYPE_TEXT;
  42.   keyinfo[0].seg[0].flag= HA_BLOB_PART;
  43.   keyinfo[0].seg[0].start=recinfo[0].length;
  44.   keyinfo[0].seg[0].length=key_length;
  45.   keyinfo[0].seg[0].null_bit=0;
  46.   keyinfo[0].seg[0].null_pos=0;
  47.   keyinfo[0].seg[0].bit_start=4;
  48.   keyinfo[0].seg[0].language=MY_CHARSET_CURRENT;
  49.   keyinfo[0].flag = HA_FULLTEXT;
  50.  
  51.   if (!silent)
  52.     printf("- Creating isam-file\n");
  53.   if (mi_create(filename,1,keyinfo,2,recinfo,0,NULL,(MI_CREATE_INFO*) 0,0))
  54.     goto err;
  55.   if (!(file=mi_open(filename,2,0)))
  56.     goto err;
  57.   if (!silent)
  58.     printf("Initializing stopwords\n");
  59.   ft_init_stopwords(stopwordlist);
  60.  
  61.   if (!silent)
  62.     printf("- Writing key:s\n");
  63.  
  64.   my_errno=0;
  65.   i=0;
  66.   while(create_record(record,df))
  67.   {
  68.     error=mi_write(file,record);
  69.     if (error)
  70.       printf("I= %2d  mi_write: %d  errno: %d\n",i,error,my_errno);
  71.     i++;
  72.   }
  73.   fclose(df);
  74.  
  75.   if (mi_close(file)) goto err;
  76.   if (!silent)
  77.     printf("- Reopening file\n");
  78.   if (!(file=mi_open(filename,2,0))) goto err;
  79.   if (!silent)
  80.     printf("- Reading rows with key\n");
  81.   for(i=1;create_record(record,qf);i++) {
  82.     FT_DOCLIST *result; double w; int t,err;
  83.  
  84.     result=ft_init_search(file,0,blob_record,(uint) strlen(blob_record),1);
  85.     if(!result) {
  86.       printf("Query %d failed with errno %3d\n",i,my_errno);
  87.       goto err;
  88.     }
  89.     if (!silent)
  90.       printf("Query %d. Found: %d.\n",i,result->ndocs);
  91.     for(j=0;(err=ft_read_next(result, read_record))==0;j++) {
  92.       t=uint2korr(read_record);
  93.       w=ft_get_relevance(result);
  94.       printf("%d %.*s %f\n",i,t,read_record+2,w);
  95.     }
  96.     if(err != HA_ERR_END_OF_FILE) {
  97.       printf("ft_read_next %d failed with errno %3d\n",j,my_errno);
  98.       goto err;
  99.     }
  100.     ft_close_search(result);
  101.   }
  102.  
  103.   if (mi_close(file)) goto err;
  104.   my_end(MY_CHECK_ERROR);
  105.  
  106.   return (0);
  107. err:
  108.   printf("got error: %3d when using myisam-database\n",my_errno);
  109.   return 1;            /* skipp warning */
  110.  
  111. }
  112.  
  113. void get_options(int argc,char *argv[])
  114. {
  115.   int c;
  116.   char *options=(char*) "Vh#:qSs:";
  117.  
  118.   while ((c=getopt(argc,argv,options)) != -1)
  119.   {
  120.     switch(c) {
  121.     case 's':
  122.       if(stopwordlist && stopwordlist!=ft_precompiled_stopwords) break;
  123.       {
  124.     FILE *f; char s[HA_FT_MAXLEN]; int i=0,n=SWL_INIT;
  125.  
  126.     if(!(stopwordlist=malloc(n*sizeof(char *))))
  127.       print_error(1,"malloc(%d)",n*sizeof(char *));
  128.     if(!(f=fopen(optarg,"r")))
  129.       print_error(1,"fopen(%s)",optarg);
  130.     while(!feof(f)) {
  131.       if(!(fgets(s,HA_FT_MAXLEN,f)))
  132.         print_error(1,"fgets(s,%d,%s)",HA_FT_MAXLEN,optarg);
  133.       if(!(stopwordlist[i++]=strdup(s)))
  134.         print_error(1,"strdup(%s)",s);
  135.       if(i>=n) {
  136.         n+=SWL_PLUS;
  137.         if(!(stopwordlist=(const char**) realloc((char*) stopwordlist,n*sizeof(char *))))
  138.           print_error(1,"realloc(%d)",n*sizeof(char *));
  139.       }
  140.     }
  141.     fclose(f);
  142.     stopwordlist[i]=NULL;
  143.     break;
  144.       }
  145.     case 'q': silent=1; break;
  146.     case 'S': if(stopwordlist==ft_precompiled_stopwords) stopwordlist=NULL; break;
  147.     case '#':
  148.       DEBUGGER_ON;
  149.       DBUG_PUSH (optarg);
  150.       break;
  151.     case 'V':
  152.     case '?':
  153.     case 'h':
  154.     default:
  155.       printf("%s -[%s] <d_file> <q_file>\n", argv[0], options);
  156.       exit(0);
  157.     }
  158.   }
  159.   if(!(d_file=argv[optind])) print_error(1,"No d_file");
  160.   if(!(df=fopen(d_file,"r")))
  161.     print_error(1,"fopen(%s)",d_file);
  162.   if(!(q_file=argv[optind+1])) print_error(1,"No q_file");
  163.   if(!(qf=fopen(q_file,"r")))
  164.     print_error(1,"fopen(%s)",q_file);
  165.   return;
  166. } /* get options */
  167.  
  168. int create_record(char *pos, FILE *file)
  169. { uint tmp; char *ptr;
  170.  
  171.   bzero((char *)pos,MAX_REC_LENGTH);
  172.  
  173.   /* column 1 - VARCHAR */
  174.   if(!(fgets(pos+2,MAX_REC_LENGTH-32,file)))
  175.   {
  176.     if(feof(file)) return 0; else print_error(1,"fgets(docid) - 1");
  177.   }
  178.   tmp=(uint) strlen(pos+2)-1;
  179.   int2store(pos,tmp);
  180.   pos+=recinfo[0].length;
  181.  
  182.   /* column 2 - BLOB */
  183.  
  184.   if(!(fgets(blob_record,MAX_BLOB_LENGTH,file)))
  185.     print_error(1,"fgets(docid) - 2");
  186.   tmp=(uint) strlen(blob_record);
  187.   int4store(pos,tmp);
  188.   ptr=blob_record;
  189.   memcpy_fixed(pos+4,&ptr,sizeof(char*));
  190.   return 1;
  191. }
  192.  
  193. /* VARARGS */
  194.  
  195. static void print_error(int exit_code, const char *fmt,...)
  196. {
  197.   va_list args;
  198.  
  199.   va_start(args,fmt);
  200.   fprintf(stderr,"%s: error: ",my_progname);
  201.   VOID(vfprintf(stderr, fmt, args));
  202.   VOID(fputc('\n',stderr));
  203.   fflush(stderr);
  204.   va_end(args);
  205.   exit(exit_code);
  206. }
  207.