home *** CD-ROM | disk | FTP | other *** search
/ Fresh Fish 6 / FreshFish_September1994.bin / bbs / util / mayflower.lha / MayFlower / Dissect / dissect.tokens < prev    next >
Encoding:
Text File  |  1992-12-22  |  985 b   |  23 lines
  1. ; Dissect must find the following word "Dissect.tokens" in the first
  2. ; line of the [tokenfile] else Dissect will fail & complain.
  3. ;
  4. ; This file, which contains token indicators, is to be used with the
  5. ; Dissect program. This file should give you an understanding of how to
  6. ; prepare your own token (word) indicator files.
  7. ;
  8. ; The numbers in the next few lines tell Dissect to detect all of the
  9. ; letters of the alphabet.
  10. ;
  11. 65-90   ; detect A through Z (upper case), range in decimal format
  12. 97-122  ; detect a through z (lower case), range in decimal format
  13. ;
  14. ; The DASH "-" symbol in above lines is for indicating a range of numbers
  15. ; and must not have any spaces between it and the numbers or Dissect will
  16. ; misread it.
  17. ;
  18. ; The hexidecimal format for the above lines would be h41-h5A, h61-h7A and
  19. ; either format (hex or decimal) may be used or mixed.
  20. ;
  21. h2D ; let us detect the DASH symbol as part of a token (word)
  22. h27 ; let us detect the APOSTROPHE symbol as part of a token (word)
  23.