home *** CD-ROM | disk | FTP | other *** search
/ C!T ROM 21 / CTROM21B.mdf / win95 / zakelijk / shopease / _setup.1 / search.pl < prev    next >
Encoding:
Perl Script  |  1999-06-21  |  10.1 KB  |  433 lines
  1. #!{|PerlScript|}
  2.  
  3. # Location of your index file:
  4.  
  5. $Index_File = "{|CGIDirectory|}data/index.txt";
  6.  
  7. # Words that are generally ignored in a search query:
  8.  
  9. $Ignore .= " what how who which when where do you find site get and ";
  10. $Ignore .= " or if not a the for an it of from by the one two to he ";
  11. $Ignore .= " most all about i me search is are be been with why ";
  12.  
  13. # The URL to your main search page with tips and so on:
  14.  
  15. $Search_Page = "{|HTTPAddress|}search.htm";
  16.  
  17. # How many links should the viewer see per page?
  18.  
  19. $Hits_Per_Page = 10;
  20.  
  21. # This forms a hyperlink back to your main web page:
  22.  
  23. ($Link_URL,$Link_Title) = ("{|HTTPAddress|}main.htm","{|ShopName|} Main Page");
  24.  
  25. # The HTML for the top of the search results page.  Ours is pretty 
  26. # generic and should work if you aren't too creative.  Edit between 
  27. # the lines containing "EOM":
  28.  
  29. $Header = <<EOM;
  30. <HTML>
  31. <HEAD>
  32. <TITLE>Search Results</TITLE>
  33. </HEAD>
  34. <BODY BGCOLOR="#FFFFFF">
  35. <TITLE>{|ShopName|} Search Engine</TITLE>
  36. <META NAME="description" CONTENT="Try out our internal search engine 
  37.     for the fastest way to find what you're looking for!">
  38. </head>
  39. <body TEXT="#000000" BGCOLOR="#FFFFFF" LINK="#006F08" VLINK="#00BB0E" ALINK="#006F08">
  40. <!-- START LAYOUT TABLE Defined in Definitions.txt file in common files folder --> 
  41. <!-- END of START LAYOUT TABLE --> </p>
  42. EOM
  43.  
  44. # The HTML to give searchers who can't seem to find anything. Usually 
  45. # this should include yet another link back to the tips page, and, if 
  46. # you're a business that is not overly annoyed by people sending you 
  47. # email, a mailto: link for them to request information from a human 
  48. # would be in order here:
  49.  
  50. $No_Documents_Found = <<EOM;
  51. <BLOCKQUOTE>
  52. <B>Unfortunately, we didn't find any products which matched your 
  53. search terms.</B>
  54. </BLOCKQUOTE>
  55. EOM
  56.  
  57. # The location of your summaries file.  It holds information about who 
  58. # searched for what, what they found, and so on.  This provides pretty 
  59. # good feedback on your visitors.  Make this file writable (chmod 777):
  60.  
  61. $summary_file = "{|CGIDirectory|}data/summaries.html";
  62.  
  63. # No further editing is necessary, but feel free to play around...
  64. # 
  65. # __________________________________________________________________
  66.  
  67.  
  68. if ($ENV{'QUERY_STRING'} =~ /^Range=([^\&]*)\&Format=([^\&]*)\&Terms=([^\&]*)\&Rank=(.*)/i)
  69.     {
  70.     ($Range,$Format,$terms,$rank) = ($1,$2,$3,$4);
  71.     $Encoded_Terms = $terms;
  72.     $terms =~ tr/+/ /;
  73.     $terms =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;
  74.     $Saved_Terms = $terms;
  75.     }
  76. elsif ($ENV{'QUERY_STRING'} =~ /^Range=([^\&]*)\&Format=([^\&]*)\&Terms=([^\&]*)/i)
  77.     {
  78.     ($Range,$Format,$terms,$rank) = ($1,$2,$3,1);
  79.     $Encoded_Terms = $terms;
  80.     $terms =~ tr/+/ /;
  81.     $terms =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;
  82.     $Saved_Terms = $terms;
  83.     }
  84. else
  85.     {
  86.     print "Location: $Search_Page\n\n";
  87.     exit;
  88.     }
  89. $terms = " " . $terms . " ";
  90. $terms =~ s/\s+/ /g;
  91. @Raw_Terms = split(/\"/,$terms);
  92. $terms = "";
  93. foreach $term (@Raw_Terms)
  94.     {
  95.     if ($i == 1)
  96.         {$i--;}
  97.     else
  98.         {$i++;}
  99.     $term =~ s/ /_/g unless $i;
  100.     $terms .= $term;
  101.     }
  102. $terms =~ s/ not / -/ig;
  103. $terms =~ s/ and / \+/ig;
  104. $terms =~ s/ or / \|/ig;
  105. $WildCard = "thewildcardisaveryspecialcharacter";
  106. $terms =~ s/(\*+)/$WildCard/g;
  107. @terms = split(/\s+/,$terms);
  108. foreach $term (@terms)
  109.     {
  110.     next if ($term eq "");
  111.     if (($Ignore =~ / $term /i) && ($term !~ /^\W/))
  112.         {
  113.         $Ignored_Terms .= $term . ", ";
  114.         next;
  115.         }
  116.     if ($term =~ /$WildCard/)
  117.         {
  118.         $Beta = $term;
  119.         $Beta =~ s/$WildCard//g;
  120.         $Beta =~ s/\W//g;
  121.         $Beta =~ s/_//g;
  122.         if (length($Beta) < 3)
  123.             {
  124.             $Ignored_Terms .= $term . ", ";
  125.             next;
  126.             }
  127.         }
  128.     $term =~ s/_/ /g;
  129.     if ($term =~ /^-/)
  130.         {
  131.         if ($term =~ / /)
  132.             {
  133.             $Ignored_Terms .= "\"" . $term . "\", ";
  134.             }
  135.         else
  136.             {
  137.             $Ignored_Terms .= $term . ", ";
  138.             }
  139.         push(@forbidden,&Format_Term($term));
  140.         }
  141.     elsif (($term =~ /^\|/) || (($Range eq "Any") && ($term !~ /^\+/)))
  142.         {
  143.         if ($term =~ / /)
  144.             {
  145.             $Important_Terms .= "\"" . $term . "\", ";
  146.             }
  147.         else
  148.             {
  149.             $Important_Terms .= $term . ", ";
  150.             }
  151.         push(@optional,&Format_Term($term));
  152.         }
  153.     else
  154.         {
  155.         if ($term =~ / /)
  156.             {
  157.             $Important_Terms .= "\"" . $term . "\", ";
  158.             }
  159.         else
  160.             {
  161.             $Important_Terms .= $term . ", ";
  162.             }
  163.         push(@required,&Format_Term($term));
  164.         }
  165.     }
  166. $delimiter = '%%==%%';
  167. open(ALLFILE,"$Index_File") || &Fatal;
  168. foreach $LINE (<ALLFILE>)
  169.     {
  170.     ($Crank,$URL,$Title,$Description,$Size,$Last_Modified,$string) = split(/$delimiter/,$LINE);
  171.     $string =~ s/\n/ /g;
  172.     ($Relevance,$Kill) = (0,0);
  173.     foreach (@forbidden)
  174.         {
  175.         if (($string =~ /$_/i) && ($_ !~ /[A-Z]/))
  176.             {
  177.             $Kill++;
  178.             last;
  179.             }
  180.         elsif ($string =~ /$_/)
  181.             {
  182.             $Kill++;
  183.             last;
  184.             }
  185.         }
  186.     next if ($Kill);
  187.     foreach (@required)
  188.         {
  189.         if (($string =~ /$_/) && ($_ =~ /[A-Z]/))
  190.             {
  191.             $Relevance += (($string =~ s/$_/$_/og) + 20);
  192.             }
  193.         elsif (($string =~ /$_/i) && ($_ !~ /[A-Z]/))
  194.             {
  195.             $Relevance += (($string =~ s/$_/$_/oig) + 10);
  196.             }
  197.         else
  198.             {
  199.             $Kill++;
  200.             last;
  201.             }
  202.         }
  203.     next if ($Kill);
  204.     foreach (@optional)
  205.         {
  206.         if (($string =~ /$_/) && ($_ =~ /[A-Z]/))
  207.             {
  208.             $Relevance += ($string =~ s/$_/$_/og);
  209.             }
  210.         elsif (($string =~ /$_/i) && ($_ !~ /[A-Z]/))
  211.             {
  212.             $Relevance += ($string =~ s/$_/$_/oig);
  213.             }
  214.         }
  215.     &Include if ($Relevance);
  216.     }
  217. close(ALLFILE);
  218. if ($Ignored_Terms =~ /(.*)\, /)
  219.     {
  220.     $Ignored_Terms = " " . $1;
  221.     $Ignored_Terms =~ s/$WildCard/\*/g;
  222.     $Ignored_Terms =~ s/ (\"?)\-/ $1/g;
  223.     $summary .= "Ignored: <TT>$Ignored_Terms</TT>.<BR>\n";
  224.     }
  225. else
  226.     {
  227.     $summary .= "<BR>\n";
  228.     }
  229. if ($Important_Terms =~ /(.*)\, /)
  230.     {
  231.     $Important_Terms = " " . $1;
  232.     $Important_Terms =~ s/$WildCard/\*/g;
  233.     $Important_Terms =~ s/ (\"?)\+/ $1/g;
  234.     $Important_Terms =~ s/ (\"?)\|/ $1/g;
  235.     $summary .= "Searched for: <TT>$Important_Terms</TT>.<BR>\n";
  236.     }
  237. $Remaining = ($hitcount - $rank) - ($Hits_Per_Page - 1);
  238. if ($Remaining > $Hits_Per_Page)
  239.     {
  240.     $Next = $Hits_Per_Page;
  241.     $New_Rank = $rank + $Hits_Per_Page;
  242.     }
  243. elsif ($Remaining > 0)
  244.     {
  245.     $Next = $Remaining % $Hits_Per_Page;
  246.     $New_Rank = $rank + $Hits_Per_Page;
  247.     }
  248. else
  249.     {
  250.     $New_Rank = $hitcount + 1;
  251.     }
  252. $summary .= "Displaying documents " . $rank . "-" . ($New_Rank - 1);
  253. $summary .= " of $hitcount, with best matches first.<BR>\n";
  254. if (($summary_file) && (-e $summary_file))
  255.     {
  256.     open(SUMMARY,">>$summary_file");
  257.     print SUMMARY "Search by $ENV{'REMOTE_HOST'}:<BR>\n";
  258.     print SUMMARY "Raw Query was: $Saved_Terms<BR>\n";
  259.     print SUMMARY "$summary\n<BR><HR><BR>\n";
  260.     close(SUMMARY);
  261.     }
  262. print "Content-type: text/html\n\n";
  263. print $Header;
  264. print $summary;
  265. if ($hitcount > 0)
  266.     {
  267.     if ($Format eq "Standard")
  268.         {
  269.         print "<BR>\n<BLOCKQUOTE>\n<DL>\n";
  270.         }
  271.     else
  272.         {
  273.         print "<BR>\n<PRE>\n";
  274.         }
  275.     $i = 0;
  276.     foreach $key (reverse sort keys %HITS)
  277.         {
  278.         $i++;
  279.         next if ($i < $rank);
  280.         next if ($i > ($rank + ($Hits_Per_Page - 1)));
  281.         ($URL,$Title,$Description,$Size,$Last_Modified) = split(/$delimiter/,$HITS{$key});
  282.         if ($Format eq "Standard")
  283.             {
  284.             if ($Size < 1500)
  285.                 {
  286.                 $Size = "$Size bytes";
  287.                 }
  288.             else
  289.                 {
  290.                 $Size = int($Size/1000) . " K";
  291.                 }
  292.             print "<P><DT><A HREF=\"$URL\"><STRONG>$Title</STRONG></A></DT>";
  293.             print "<DD>$Description<BR>\n<CITE><A HREF=\"$URL\">$URL</A>";
  294.             print "<FONT SIZE=-1> - $Size - $Last_Modified</FONT></CITE></DD>\n";
  295.             }
  296.         else
  297.             {
  298.             &Compact_Print;
  299.             }
  300.         }
  301.     if ($Format eq "Standard")
  302.         {
  303.         print "</DL>\n";
  304.         }
  305.     else
  306.         {
  307.         print "</PRE>\n";
  308.         }
  309.  
  310.     print "Documents " . $rank . "-" . ($New_Rank - 1);
  311.     print " of $hitcount displayed.<BR>\n";
  312.     print "</BLOCKQUOTE>\n" if ($Format eq "Standard");
  313.     print "<CENTER>\n";
  314.     if ($Remaining > 0)
  315.         {
  316.         print "<A HREF=\"$ENV{'SCRIPT_NAME'}?Range=$Range\&Format=$Format\&Terms=$Encoded_Terms\&Rank=$New_Rank\">";
  317.         print "<H4>Next $Next Matches</H4></A>\n";
  318.         }
  319.     }
  320. else
  321.     {
  322.     print $No_Documents_Found;
  323.     }
  324.  
  325. $Saved_Terms =~ s/\"/\"/g;
  326. print <<EOM;
  327. <BR>
  328. <CENTER>
  329. <FORM METHOD=GET ACTION="$ENV{'SCRIPT_NAME'}">
  330. <B>Match 
  331. <SELECT NAME="Range">
  332. EOM
  333.  
  334. if (($Range eq "All") && ($hitcount))
  335.     {
  336.     print "<OPTION VALUE=\"All\" SELECTED>All Terms";
  337.     print "<OPTION VALUE=\"Any\">Any Term";
  338.     }
  339. else
  340.     {
  341.     print "<OPTION VALUE=\"All\">All Terms";
  342.     print "<OPTION VALUE=\"Any\" SELECTED>Any Term";
  343.     }
  344.  
  345. print <<EOM;
  346. </SELECT>
  347. and show results 
  348. <SELECT NAME="Format">
  349. EOM
  350. if ($Format eq "Standard")
  351.     {
  352.     print "<OPTION VALUE=\"Standard\" SELECTED>in Standard Form";
  353.     print "<OPTION VALUE=\"Compact\">in Compact Form";
  354.     }
  355. else
  356.     {
  357.     print "<OPTION VALUE=\"Standard\">in Standard Form";
  358.     print "<OPTION VALUE=\"Compact\" SELECTED>in Compact Form";
  359.     }
  360. print <<EOM;
  361. </SELECT></B><BR>
  362. <INPUT NAME="Terms" SIZE=45 MAXLENGTH=800 VALUE="$Saved_Terms">
  363. <INPUT TYPE=submit VALUE=" New Search ">
  364. </FORM></CENTER>
  365. <BR><H5 ALIGN=CENTER>
  366. <A HREF="$Link_URL">$Link_Title</A><HR SIZE=1 NOSHADE WIDTH=50\%>
  367. </BODY></HTML>
  368. EOM
  369. sub Include
  370. {
  371. $Relevance = ($Relevance * $Crank) if ($Crank > 1);
  372. $Relevance = 100000 if ($Relevance > 100000);
  373. $Relevance = sprintf("%.5f",($Relevance/100000));
  374. $HITS{"$Relevance$URL"} = $URL . $delimiter . $Title . $delimiter . $Description . $delimiter. $Size . $delimiter . $Last_Modified;
  375. $hitcount++;
  376. }
  377.  
  378. sub Compact_Print
  379. {
  380. if (length($Title) < 25)
  381.     {
  382.     while (length($Title) < 25)
  383.         {
  384.         $Title .= " ";
  385.         }
  386.     }
  387. else
  388.     {
  389.     @Title_Characters = split(//,$Title);
  390.     $Title = "";
  391.     for ($x=0; $x<25; $x++)
  392.         {
  393.         $Title .= $Title_Characters[$x];
  394.         }
  395.     }
  396. if (length($Description) < 36)
  397.     {
  398.     while (length($Description) < 36)
  399.         {
  400.         $Description .= " ";
  401.         }
  402.     }
  403. else
  404.     {
  405.     @Descript_Characters = split(//,$Description);
  406.     $Description = "";
  407.     for ($x=0; $x<36; $x++)
  408.         {
  409.         $Description .= $Descript_Characters[$x];
  410.         }
  411.     }
  412. if (length($Last_Modified) == 8)
  413.     {
  414.     $Last_Modified = "0" . $Last_Modified;
  415.     }
  416. print "<A HREF=\"$URL\">$Title</A> [$Last_Modified] $Description\n";
  417. }
  418. sub Format_Term
  419. {
  420. $_ = shift;
  421. $_ = " " . $_ . " ";
  422. $_ =~ s/\W/ /g;
  423. $_ =~ s/\s+/ /g;
  424. $_ =~ s/$WildCard/\(\[\^\\s\+\]\{0,4\}\)/g;
  425. return $_;
  426. }
  427. sub Fatal
  428. {
  429. print "Content-type: text/plain\n\n";
  430. print "Fatal Error: Could not read from the index file.\n";
  431. print "Check location at $Index_File.\n\n";
  432. exit;
  433. }