home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1994 October / usenetsourcesnewsgroupsinfomagicoctober1994disk2.iso / misc / volume13 / rftp / part01 next >
Text File  |  1990-06-05  |  15KB  |  691 lines
  1. Newsgroups: comp.sources.misc
  2. subject: v13i026: recursive ftp'er in Perl
  3. From: mikef@hpsadle.hp.com (Mike Ferrara)
  4. Sender: allbery@uunet.UU.NET (Brandon S. Allbery - comp.sources.misc)
  5.  
  6. Posting-number: Volume 13, Issue 26
  7. Submitted-by: mikef@hpsadle.hp.com (Mike Ferrara)
  8. Archive-name: rftp/part01
  9.  
  10. Here's a recursive ftp'er for grabbing, putting, and listing whole
  11. file trees via ftp. It uses perl to drive ftp, so in order to use it
  12. you need perl. There are two versions, rftp and rftp.nosockets. rftp.nosockets
  13. is much smaller, slower and has many fewer features. It was my proof of
  14. concept code, but it works without perl sockets. That's why I put it
  15. in the shar. For more info, see the code, or the man page. You may also
  16. need to fool with the #! line at the beginning, and make sure you've 
  17. done a "makelib" (from perl distribution) on /usr/include/sys/sockets.h.
  18. This has been tested on perl 3 patchlevel 18.
  19.  
  20.   Mike Ferrara M/S 2LRR
  21.   HP Signal Analysis Div R&D
  22.   1212 Valley House Drive
  23.   Rohnert Park, CA 94928
  24.   (707) 794-4479
  25.   mikef%hpsadle@hp-sde.sde.hp.com
  26.   mikef@hpsadle.hp.com
  27. --------------------------cut here-----------------------------
  28.  
  29. # This is a shell archive.  Remove anything before this line,
  30. # then unpack it by saving it in a file and typing "sh file".
  31. #
  32. # Wrapped by Mike Ferrara <mikef@hpsadle> on Tue Jun  5 10:41:15 1990
  33. #
  34. # This archive contains:
  35. #    rftp    
  36. #
  37.  
  38. LANG=""; export LANG
  39. PATH=/bin:/usr/bin:$PATH; export PATH
  40.  
  41. echo mkdir - rftp
  42. mkdir rftp
  43.  
  44. echo x - rftp/rftp
  45. cat >rftp/rftp <<'@EOF'
  46. #!/usr/local/bin/perl
  47.  
  48. #Recursively decend via anon FTP and either get a listing
  49. #or retrieve the tree.
  50. # Usage:
  51. #      rftp [options] host [list-file]
  52. # Options --- 
  53. #   [-s<source_dir>] Specify the root for transfer on remote host (default "/")
  54. #   [-d<dest_dir>] Specify the root for transfer on local host (default ".")
  55. #   [-l] Just a listing, thank you.
  56. #   [-a] ASCII mode transfers (default: BIN)
  57. #   [-g] get files
  58. #   [-p] put files
  59. #   [-u<user>:<passwd>] Specify a userid and passwd
  60. #   [-b] debug mode
  61. # 
  62. #   return value is 0 if ok.
  63. #                   1 if an error occurred during transfer.
  64. #                   2 if login failed.
  65. #                   
  66. #
  67. # Mail bugs or comments to:
  68. #
  69. #  Mike Ferrara M/S 2LRR
  70. #  HP Signal Analysis Div R&D
  71. #  1212 Valley House Drive
  72. #  Rohnert Park, CA 94928
  73. #  (707) 794-4479
  74. #  mikef%hpsadle@hp-sde.sde.hp.com
  75. #  mikef@hpsadle.hp.com
  76.  
  77. #main
  78. $cd="";
  79. $dirs[1]='/';
  80. $source='.';
  81. $dest='.';
  82. $ftpin="/tmp/ftpin$$";
  83. $ftpout="/tmp/ftpout$$";
  84. $listing=1;
  85. $bin=1;
  86. $reader=0;
  87. $writer=0;
  88. $user='anonymous';
  89. $passwd=`hostname`;
  90. $debug=0;
  91.  
  92. #Setup signal handler
  93. $SIG{'INT'}='cleanup';
  94. $SIG{'HUP'}='cleanup';
  95. $SIG{'QUIT'}='cleanup';
  96. $SIG{'TERM'}='cleanup';
  97.  
  98. &parseopts;
  99. if (!($putting)&&!($listing)) {
  100.    if (-d $dest) {
  101.      }
  102.    else {
  103.      system("mkdir -p $dest");
  104.      }
  105.    chdir $dest;
  106. }
  107. &setupcomm;
  108. if ($writer) {
  109.    open(LSOUT,">$lsout");
  110.    open(FTPIN,"| ftp -i -v -n 1>$ftpout 2>&1");
  111.    select(FTPIN);$|=1;select(stdout);
  112.    &sendftp ("open $host");
  113.    &sendftp ("user $user $passwd");
  114.    while (1) { #Read from the socket to see if login worked.
  115.         $_=<NS>;
  116.         last if (/^230\s/);
  117.         exit(2) if (/^530\s/);
  118.         } 
  119.    if ($bin==1) {
  120.       &sendftp("bin");
  121.       }
  122.    undef($lastdirectory);
  123.    if (!$putting) {
  124.       &recurse;
  125.       }
  126.    if ($putting) {
  127.       &putfiles;
  128.       }
  129.    &sendftp("quit");
  130.    close(FTPIN);
  131.    &cleanup;
  132. }
  133. if ($reader) {
  134.    &readloop;
  135.    }
  136.  
  137. sub putfiles {
  138.    &sendftp("bin") if ($bin);
  139.    open(FIND,"find $source -print |");
  140.    while ($_=<FIND>) {
  141.        chop;
  142.        $destfile="$dest/$_";
  143.        $destfile=~s,/\./,/,g;
  144.        $destfile=~s,//,/,g;
  145.        $destfile=~s,\.$,,;
  146.        $destfile=~s,/$,,;
  147.        $srcfile="$source/$_";
  148.        $srcfile=~s,/\./,/,g;
  149.        $srcfile=~s,//,/,g;
  150.        if (-f $_) {
  151.           &sendftp("put $srcfile $destfile");
  152.           &readsock;
  153.           next;
  154.           }
  155.        if (-d $_) {
  156.           &sendftp("mkdir $destfile");
  157.           }
  158.        }
  159.     close(FIND); 
  160. }          
  161.  
  162.  
  163. sub parseopts {
  164.    &Getopts('abs:d:lu:pg');
  165.    $host=shift(@ARGV);
  166.    if (! defined($host)) {
  167.       die "I need you to tell me the hostname!";
  168.       }
  169.    if (defined($opt_s)) {
  170.       $source=$opt_s;
  171.       }
  172.    if (defined($opt_d)) {
  173.       $dest=$opt_d;
  174.       }
  175.    if ($opt_a==1) {
  176.       $bin=0;
  177.       }
  178.    if ($opt_l) {
  179.       $listing=1;
  180.       $bin=0;
  181.       $lsout=shift(@ARGV);
  182.       }
  183.    if (defined($lsout)) {
  184.       }
  185.    else {
  186.       $lsout='-';
  187.       }
  188.    if (defined($opt_u)) {
  189.       ($user,$passwd)=split(":",$opt_u);
  190.       }
  191.    if (defined($opt_g)) {
  192.       $listing=0;
  193.       $putting=0;
  194.       die "What do you want to do? put OR get?" if (defined($opt_p));
  195.       }
  196.    if (defined($opt_p)) {
  197.       $listing=0;
  198.       $putting=1;
  199.       die "What do you want to do? put OR get?" if (defined($opt_g));
  200.       }
  201.    $debug=1 if (defined($opt_b));
  202. }
  203.  
  204.  
  205. # getopts.pl - a better getopt.pl
  206. # Usage:
  207. #      do Getopts('a:bc');  # -a takes arg. -b & -c not. Sets opt_* as a
  208. #                           #  side effect.
  209. sub Getopts {
  210.     local($argumentative) = @_;
  211.     local(@args,$_,$first,$rest,$errs);
  212.     local($[) = 0;
  213.  
  214.     @args = split( / */, $argumentative );
  215.     while(($_ = $ARGV[0]) =~ /^-(.)(.*)/) {
  216.     ($first,$rest) = ($1,$2);
  217.     $pos = index($argumentative,$first);
  218.     if($pos >= $[) {
  219.         if($args[$pos+1] eq ':') {
  220.         shift(@ARGV);
  221.         if($rest eq '') {
  222.             $rest = shift(@ARGV);
  223.         }
  224.         eval "\$opt_$first = \$rest;";
  225.         }
  226.         else {
  227.         eval "\$opt_$first = 1";
  228.         if($rest eq '') {
  229.             shift(@ARGV);
  230.         }
  231.         else {
  232.             $ARGV[0] = "-$rest";
  233.         }
  234.         }
  235.     }
  236.     else {
  237.         print STDERR "Unknown option: $first\n";
  238.         ++$errs;
  239.         if($rest ne '') {
  240.         $ARGV[0] = "-$rest";
  241.         }
  242.         else {
  243.         shift(@ARGV);
  244.         }
  245.     }
  246.     }
  247.     $errs == 0;
  248. }
  249.  
  250. #
  251. # readloop -- keep reading stuff from the $ftpout file and
  252. # stuffing it over the socket.
  253. #
  254. sub readloop {
  255.      while (1) {
  256.      if (-f $ftpout) {
  257.         open (FTPOUT,$ftpout);      
  258.         while (1) {
  259.            $_=<FTPOUT>;
  260.            if (/^221\sGoodbye/) {
  261.               last;
  262.               }
  263.            print(S $_);
  264.            }
  265.         exit(0);
  266.         }
  267.      }
  268. }
  269.  
  270. #
  271. # Workhorse subroutine, gets a whole directory or listing
  272. # of a whole directory. It also forms the list of directories
  273. # below the current one.
  274. #
  275. sub readsock {
  276.           $i=1;
  277.           $n=0;
  278.           while (1) {
  279.              $_=<NS>;
  280.              if ($listing==1) {
  281.                 print (LSOUT $_) if (!/^\s?$/ && !/^[0-9]*\s/);
  282.                 }
  283.              if (/^d/) {
  284.                 chop;
  285.                 split;
  286.                 $dirs[$i]=pop(@_);
  287.                 $i=$i+1;
  288.                 }
  289.              if (/^-/) {
  290.                 chop;
  291.                 split;
  292.                 $fname[$n]=pop(@_);
  293.                 $n=$n+1;
  294.                 }           
  295.              if (/^226\s/) {
  296.                 last;
  297.                 }
  298.              if ((/^5[0-9][0-9]\s/)&&(!/^5[0-9][0-9]\sbytes/i)) {
  299.                 print (stderr "A fatal error occurred during transfer:");
  300.                 print (stderr $_);
  301.                 exit(1);
  302.                 }
  303.              }
  304. }
  305.  
  306. #
  307. # Do the recursion, using getdir as the workhorse.
  308. #
  309. sub recurse {
  310.     local(@dirlist)=@dirs;
  311.     local($currentparent)=shift(@dirlist);
  312.        while (defined($child=shift(@dirlist))) {
  313.           $cd="$source/$currentparent/$child";
  314.           undef @dirs;
  315.           $cd=~s,//,/,g;
  316.           $cd=~s,//,/,g;
  317.           $cd=~s,/$,,;
  318.           if (($cd EQ $lastdirectory) && ($lastdirectory NE "")) {
  319.              die "OOOPS! I'm looping!!";
  320.              }
  321.           &sendftp("dir $cd");
  322. #         print ("dir $cd\n");
  323.           if ($listing==1) {
  324.              print(LSOUT "\n$cd:\n");
  325.              }
  326.           &readsock;
  327.           if ($listing == 0) {
  328.              $ddir="$dest/$currentparent/$child";
  329.              $ddir=~s,//,/,g;
  330.              $ddir=~s,//,/,g;
  331.              system("mkdir -p $ddir");
  332.              while (defined($file=shift(@fname))){
  333.                 &sendftp("get $cd/$file $ddir/$file");
  334.                 &readsock;
  335.                 }
  336.              }
  337.           $lastdirectory=$cd;
  338.           $dirs[0]="$currentparent/$child";
  339.           &recurse;
  340.        }
  341. }
  342.  
  343.  
  344. #
  345. # Delete the temporary files, close the output, and leave
  346. #
  347. sub cleanup {
  348.    unlink($ftpout);
  349.    kill 15,$childpid;
  350.    close(LSOUT);
  351.    exit(0);
  352.    }
  353.  
  354.  
  355. sub sendftp {
  356.    $line=@_[0];
  357.    $line="$line\n" if (!($line=~m/\n$/));
  358.    print (STDERR "$line") if ($debug);
  359.    print (FTPIN $line);
  360.    }
  361.  
  362. #
  363. # Setup socket based communication between the child and parent
  364. # and fork 
  365. #
  366. sub setupcomm {
  367.    do 'sys/socket.h' || die "Can't do sys/socket.h";
  368.    $port=$$;
  369.    $sockaddr='S n a4 x8';
  370.    chop($hostname=`hostname`);
  371.    ($name,$aliases,$proto)=getprotobyname('tcp');
  372.    ($name,$aliases,$type,$len,$thisaddr)=gethostbyname($hostname);
  373.    if ($childpid == fork) {
  374.       $reader=1; #The child reads FTP output, client
  375.       sleep 3;
  376.       $client=pack($sockaddr,&AF_INET,0,$thisaddr);
  377.       $server=pack($sockaddr,&AF_INET,$port,$thisaddr);
  378.   
  379.       socket(S,&PF_INET,&SOCK_STREAM,$proto) || die "socket: $!";
  380.       bind(S,$client) || die "bind: $!";
  381.       connect(S,$server) || die "connect: $!";
  382.  
  383.       select(S);$|=1;select(stdout);
  384.       }
  385.    else {
  386.       $writer=1; #The parent writes FTP input and effects transfers., server.
  387.       $server=pack($sockaddr,&AF_INET,$port,"\0\0\0\0");
  388.       select(NS);$|=1;select(stdout);
  389.   
  390.       socket(S,&PF_INET,&SOCK_STREAM,$proto) || die "socket: $!";
  391.       bind(S,$server) || die "bind: $!";
  392.       listen(S,5) || die "connect: $!";
  393.  
  394.       select(S);$|=1;select(stdout);
  395.       loop: ($addr=accept(NS,S)) || goto loop;
  396.       ($af,$port,$inetaddr)=unpack($sockaddr,$addr);
  397.       }   
  398. }
  399. @EOF
  400.  
  401. chmod 755 rftp/rftp
  402.  
  403. echo x - rftp/rftp.1
  404. cat >rftp/rftp.1 <<'@EOF'
  405. .TH RFTP 1
  406. .ds )H
  407. .ds ]W March 1990
  408. .SH NAME
  409. rftp \- recursively ftp on a remote machine
  410. .SH SYNOPSIS
  411. .B rftp 
  412. [
  413. .I options
  414. ]
  415. .I host
  416. [
  417. .I listing-file
  418. ]
  419. .SH DESCRIPTION
  420. .I Rftp\^
  421. Drives ftp to recursively descend file trees, either for listings,
  422. or to get or put a bunch of files keeping the tree structure intact.
  423. Rftp is written in perl and requires that berkeley sockets be wired
  424. into it. This generally requires that a "makelib" be run on
  425. "/usr/include/sys/sockets.h" before running rftp. Rftp works as follows:
  426. 1) fork a copy of itself, and setup socket based IPC between parent
  427. and child.
  428. 2) start ftp, with output redirected to /tmp/ftpout$$.
  429. 3) poke stdin of ftp while child reads /tmp/ftpout$$, and stuffs
  430. the output back to the parent over the socket.
  431. .SS Options
  432. .PP
  433. There are several options:
  434. .TP
  435. .B [\-s source-dir]
  436. specifies the source directory for the transfer. Default is "."
  437. .TP
  438. .B  [\-d dest-dir]
  439. specifies the destination directory for the transfer. Default is "."
  440. .TP
  441. .B  [\-a]
  442. force transfer mode to ascii. Default is binary (image).
  443. .TP
  444. .B  [\-l]
  445. for directory listing only. This is the default action. Listings 
  446. will go to stdout or to "listing-file" if specified.
  447. .TP
  448. .B  [\-u username:passwd]
  449. specify a user name and password for logging in. Default is user
  450. "anonymous" password `hostname`.
  451. .TP
  452. .B  [-g] 
  453. get files from remote host.
  454. .TP
  455. .B  [\-p]
  456. send (put) files to remote host.
  457. .TP
  458. .SH DIAGNOSTICS
  459. The program tries to clue you in to common failures.  Source is available.
  460. Return codes are as follows: 0 for normal exit, 1 for a failure during a
  461. transfer, and 2 for a login failure
  462. .SH EXAMPLES
  463. This command gets a directory listing from machine "jupiter" and writes 
  464. it in file "xyzzy".
  465. .IP
  466. rftp jupiter xyzzy
  467. .TP
  468. This command retrieves the tree headed at "pub/pub" into "/users/foo/xx"
  469. on machine "jupiter"
  470. .IP
  471. rftp -spub/pub -d/users/foo/xx -g jupiter
  472. .SH AUTHOR
  473. .I rftp
  474. was developed by Mike Ferrara of Hewlett-Packard (Signal Analysis Division)
  475. mikef%hpsad@hp-sde.sde.hp.com or mikef@hpsadle.hp.com.
  476. .PP
  477. .SH "STANDARDS CONFORMANCE"
  478. .IR None.
  479.  
  480. @EOF
  481.  
  482. chmod 666 rftp/rftp.1
  483.  
  484. echo x - rftp/rftp.nosockets
  485. cat >rftp/rftp.nosockets <<'@EOF'
  486. #!/usr/local/bin/perl
  487.  
  488. #Recursively decend via anon FTP and either get a listing
  489. #or retrieve the tree.
  490. # Usage:
  491. #      rftp [options] host [list-file]
  492. # Options --- 
  493. #   [-s<source_dir>] Specify the root for transfer on remote host (default "/")
  494. #   [-d<dest_dir>] Specify the root for transfer on local host (default ".")
  495. #   [-l] Just a listing, thank you.
  496. #   [-a] ASCII mode transfers (default: BIN)
  497. # 
  498.  
  499.  
  500. ;# getopts.pl - a better getopt.pl
  501. ;# Usage:
  502. ;#      do Getopts('a:bc');  # -a takes arg. -b & -c not. Sets opt_* as a
  503. ;#                           #  side effect.
  504. sub Getopts {
  505.     local($argumentative) = @_;
  506.     local(@args,$_,$first,$rest,$errs);
  507.     local($[) = 0;
  508.  
  509.     @args = split( / */, $argumentative );
  510.     while(($_ = $ARGV[0]) =~ /^-(.)(.*)/) {
  511.     ($first,$rest) = ($1,$2);
  512.     $pos = index($argumentative,$first);
  513.     if($pos >= $[) {
  514.         if($args[$pos+1] eq ':') {
  515.         shift(@ARGV);
  516.         if($rest eq '') {
  517.             $rest = shift(@ARGV);
  518.         }
  519.         eval "\$opt_$first = \$rest;";
  520.         }
  521.         else {
  522.         eval "\$opt_$first = 1";
  523.         if($rest eq '') {
  524.             shift(@ARGV);
  525.         }
  526.         else {
  527.             $ARGV[0] = "-$rest";
  528.         }
  529.         }
  530.     }
  531.     else {
  532.         print STDERR "Unknown option: $first\n";
  533.         ++$errs;
  534.         if($rest ne '') {
  535.         $ARGV[0] = "-$rest";
  536.         }
  537.         else {
  538.         shift(@ARGV);
  539.         }
  540.     }
  541.     }
  542.     $errs == 0;
  543. }
  544.  
  545. 1;
  546.  
  547.  
  548. sub getdir {
  549.    $i=1;
  550.    undef @dirs;
  551.    $cd=~s,//,/,g;
  552.    $mcd=$cd;
  553.    $mcd=~s,^/,,;
  554.    if ($cd EQ $lastdirectory) {
  555.       die "OOOPS! I'm looping!!";
  556.       }
  557.    open(FTPIN,">$ftpin");
  558.    print(FTPIN "open $host \n");
  559.    print(FTPIN "user anonymous xx\n");
  560.    print(FTPIN "cd /\n");
  561.    if ($bin==1) {
  562.       print(FTPIN "bin \n");
  563.       }
  564.    print(FTPIN "dir $cd\n");
  565.    if ($listing == 0) {
  566.       system("mkdir -p $dest/$cd");
  567.       print (FTPIN "mget $mcd/* \n");
  568.       }
  569.    print(FTPIN "quit \n");
  570.    close(FTPIN);
  571. #   system("ftp -i -n <$ftpin 1>$ftpout 2>&1");
  572.    system("ftp -i -n <$ftpin 1>$ftpout ");
  573.    open(FTPOUT,"$ftpout");
  574.    if ($listing==1) {
  575.       print(LSOUT "\n$cd:\n");
  576.    }
  577.    $dirs[0]=$cd;
  578.    while($_=<FTPOUT>) {
  579.       if ($listing==1) {
  580.          print (LSOUT $_) if (!/^\s?$/);
  581.          }
  582.       if (/^\s?d/) {
  583.          chop;
  584.          split;
  585.          $dirs[$i]=pop(@_);
  586.          $i=$i+1;
  587.          }
  588.       }
  589.    close(FTPOUT);
  590.    $lastdirectory=$cd;
  591. }
  592.  
  593. sub recurse {
  594.     local(@dirlist)=@dirs;
  595.     local($currentparent)=shift(@dirlist);
  596.        while (defined($child=shift(@dirlist))) {
  597.           $cd="$currentparent/$child";
  598.           &getdir;
  599.           &recurse;
  600.           }
  601.    }
  602.  
  603. sub cleanup {
  604.    unlink($ftpin,$ftpout);
  605.    }
  606.  
  607. #main
  608. $cd="";
  609. $dirs[1]='/';
  610. $dest='.';
  611. $ftpin="/tmp/ftpin$$";
  612. $ftpout="/tmp/ftpout$$";
  613. $listing=0;
  614. $bin=1;
  615.  
  616. $SIG{'INT'}='cleanup';
  617. $SIG{'HUP'}='cleanup';
  618. $SIG{'QUIT'}='cleanup';
  619. $SIG{'TERM'}='cleanup';
  620.  
  621. &Getopts('as:d:l');
  622.  
  623. $host=shift(@ARGV);
  624. if (! defined($host)) {
  625.    die "I need you to tell me the hostname!";
  626.    }
  627.  
  628.  
  629. if (defined($opt_s)) {
  630.    $dirs[1]=$opt_s;
  631.    }
  632. if (defined($opt_d)) {
  633.    $dest=$opt_d;
  634.    }
  635. if ($opt_a==1) {
  636.    $bin=0;
  637.    }
  638. if (-d $dest) {
  639.   }
  640. else {
  641.   mkdir($dest,0755) || die "$dest already exists and is not a directory!";
  642.   }
  643. if ($opt_l) {
  644.    $listing=1;
  645.    $bin=0;
  646.    $lsout=shift(@ARGV);
  647.    }
  648.  
  649. if (defined($lsout)) {
  650.    }
  651. else {
  652.    $lsout='-';
  653.    }
  654. open(LSOUT,">$lsout");
  655.  
  656.  
  657. chdir $dest;
  658. &recurse;
  659. &cleanup;
  660. close(LSOUT);
  661. exit(0);
  662.  
  663.  
  664.  
  665.  
  666.  
  667.  
  668.  
  669.  
  670.  
  671.  
  672.  
  673.  
  674.  
  675.  
  676.  
  677.  
  678.  
  679.  
  680.  
  681.  
  682. @EOF
  683.  
  684. chmod 755 rftp/rftp.nosockets
  685.  
  686. chmod 755 rftp
  687.  
  688. exit 0
  689.  
  690.  
  691.