edae9d4dae2e8736a04108ab486128fb39222920
[git.git] / contrib / git-svn / git-svn.perl
1 #!/usr/bin/env perl
2 # Copyright (C) 2006, Eric Wong <normalperson@yhbt.net>
3 # License: GPL v2 or later
4 use warnings;
5 use strict;
6 use vars qw/    $AUTHOR $VERSION
7                 $SVN_URL $SVN_INFO $SVN_WC
8                 $GIT_SVN_INDEX $GIT_SVN
9                 $GIT_DIR $REV_DIR/;
10 $AUTHOR = 'Eric Wong <normalperson@yhbt.net>';
11 $VERSION = '0.10.0';
12 $GIT_DIR = $ENV{GIT_DIR} || "$ENV{PWD}/.git";
13 $GIT_SVN = $ENV{GIT_SVN_ID} || 'git-svn';
14 $GIT_SVN_INDEX = "$GIT_DIR/$GIT_SVN/index";
15 $ENV{GIT_DIR} ||= $GIT_DIR;
16 $SVN_URL = undef;
17 $REV_DIR = "$GIT_DIR/$GIT_SVN/revs";
18 $SVN_WC = "$GIT_DIR/$GIT_SVN/tree";
19
20 # make sure the svn binary gives consistent output between locales and TZs:
21 $ENV{TZ} = 'UTC';
22 $ENV{LC_ALL} = 'C';
23
24 # If SVN:: library support is added, please make the dependencies
25 # optional and preserve the capability to use the command-line client.
26 # use eval { require SVN::... } to make it lazy load
27 use Carp qw/croak/;
28 use IO::File qw//;
29 use File::Basename qw/dirname basename/;
30 use File::Path qw/mkpath/;
31 use Getopt::Long qw/:config gnu_getopt no_ignore_case auto_abbrev/;
32 use File::Spec qw//;
33 use POSIX qw/strftime/;
34 my $sha1 = qr/[a-f\d]{40}/;
35 my $sha1_short = qr/[a-f\d]{4,40}/;
36 my ($_revision,$_stdin,$_no_ignore_ext,$_no_stop_copy,$_help,$_rmdir,$_edit,
37         $_find_copies_harder, $_l, $_version, $_upgrade);
38 my (@_branch_from, %tree_map);
39
40 GetOptions(     'revision|r=s' => \$_revision,
41                 'no-ignore-externals' => \$_no_ignore_ext,
42                 'stdin|' => \$_stdin,
43                 'edit|e' => \$_edit,
44                 'rmdir' => \$_rmdir,
45                 'upgrade' => \$_upgrade,
46                 'help|H|h' => \$_help,
47                 'branch|b=s' => \@_branch_from,
48                 'find-copies-harder' => \$_find_copies_harder,
49                 'l=i' => \$_l,
50                 'version|V' => \$_version,
51                 'no-stop-on-copy' => \$_no_stop_copy );
52 my %cmd = (
53         fetch => [ \&fetch, "Download new revisions from SVN" ],
54         init => [ \&init, "Initialize and fetch (import)"],
55         commit => [ \&commit, "Commit git revisions to SVN" ],
56         'show-ignore' => [ \&show_ignore, "Show svn:ignore listings" ],
57         rebuild => [ \&rebuild, "Rebuild git-svn metadata (after git clone)" ],
58         help => [ \&usage, "Show help" ],
59 );
60 my $cmd;
61 for (my $i = 0; $i < @ARGV; $i++) {
62         if (defined $cmd{$ARGV[$i]}) {
63                 $cmd = $ARGV[$i];
64                 splice @ARGV, $i, 1;
65                 last;
66         }
67 };
68
69 # we may be called as git-svn-(command), or git-svn(command).
70 foreach (keys %cmd) {
71         if (/git\-svn\-?($_)(?:\.\w+)?$/) {
72                 $cmd = $1;
73                 last;
74         }
75 }
76 usage(0) if $_help;
77 version() if $_version;
78 usage(1) unless (defined $cmd);
79 svn_check_ignore_externals();
80 $cmd{$cmd}->[0]->(@ARGV);
81 exit 0;
82
83 ####################### primary functions ######################
84 sub usage {
85         my $exit = shift || 0;
86         my $fd = $exit ? \*STDERR : \*STDOUT;
87         print $fd <<"";
88 git-svn - bidirectional operations between a single Subversion tree and git
89 Usage: $0 <command> [options] [arguments]\n
90 Available commands:
91
92         foreach (sort keys %cmd) {
93                 print $fd '  ',pack('A13',$_),$cmd{$_}->[1],"\n";
94         }
95         print $fd <<"";
96 \nGIT_SVN_ID may be set in the environment to an arbitrary identifier if
97 you're tracking multiple SVN branches/repositories in one git repository
98 and want to keep them separate.  See git-svn(1) for more information.
99
100         exit $exit;
101 }
102
103 sub version {
104         print "git-svn version $VERSION\n";
105         exit 0;
106 }
107
108 sub rebuild {
109         $SVN_URL = shift or undef;
110         my $repo_uuid;
111         my $newest_rev = 0;
112         if ($_upgrade) {
113                 sys('git-update-ref',"refs/remotes/$GIT_SVN","$GIT_SVN-HEAD");
114         } else {
115                 check_upgrade_needed();
116         }
117
118         my $pid = open(my $rev_list,'-|');
119         defined $pid or croak $!;
120         if ($pid == 0) {
121                 exec("git-rev-list","refs/remotes/$GIT_SVN") or croak $!;
122         }
123         my $latest;
124         while (<$rev_list>) {
125                 chomp;
126                 my $c = $_;
127                 croak "Non-SHA1: $c\n" unless $c =~ /^$sha1$/o;
128                 my @commit = grep(/^git-svn-id: /,`git-cat-file commit $c`);
129                 next if (!@commit); # skip merges
130                 my $id = $commit[$#commit];
131                 my ($url, $rev, $uuid) = ($id =~ /^git-svn-id:\s(\S+?)\@(\d+)
132                                                 \s([a-f\d\-]+)$/x);
133                 if (!$rev || !$uuid || !$url) {
134                         # some of the original repositories I made had
135                         # indentifiers like this:
136                         ($rev, $uuid) = ($id =~/^git-svn-id:\s(\d+)
137                                                         \@([a-f\d\-]+)/x);
138                         if (!$rev || !$uuid) {
139                                 croak "Unable to extract revision or UUID from ",
140                                         "$c, $id\n";
141                         }
142                 }
143
144                 # if we merged or otherwise started elsewhere, this is
145                 # how we break out of it
146                 next if (defined $repo_uuid && ($uuid ne $repo_uuid));
147                 next if (defined $SVN_URL && ($url ne $SVN_URL));
148
149                 print "r$rev = $c\n";
150                 unless (defined $latest) {
151                         if (!$SVN_URL && !$url) {
152                                 croak "SVN repository location required: $url\n";
153                         }
154                         $SVN_URL ||= $url;
155                         $repo_uuid ||= setup_git_svn();
156                         $latest = $rev;
157                 }
158                 assert_revision_eq_or_unknown($rev, $c);
159                 sys('git-update-ref',"$GIT_SVN/revs/$rev",$c);
160                 $newest_rev = $rev if ($rev > $newest_rev);
161         }
162         close $rev_list or croak $?;
163         if (!chdir $SVN_WC) {
164                 my @svn_co = ('svn','co',"-r$latest");
165                 push @svn_co, '--ignore-externals' unless $_no_ignore_ext;
166                 sys(@svn_co, $SVN_URL, $SVN_WC);
167                 chdir $SVN_WC or croak $!;
168         }
169
170         $pid = fork;
171         defined $pid or croak $!;
172         if ($pid == 0) {
173                 my @svn_up = qw(svn up);
174                 push @svn_up, '--ignore-externals' unless $_no_ignore_ext;
175                 sys(@svn_up,"-r$newest_rev");
176                 $ENV{GIT_INDEX_FILE} = $GIT_SVN_INDEX;
177                 git_addremove();
178                 exec('git-write-tree');
179         }
180         waitpid $pid, 0;
181
182         if ($_upgrade) {
183                 print STDERR <<"";
184 Keeping deprecated refs/head/$GIT_SVN-HEAD for now.  Please remove it
185 when you have upgraded your tools and habits to use refs/remotes/$GIT_SVN
186
187         }
188 }
189
190 sub init {
191         $SVN_URL = shift or croak "SVN repository location required\n";
192         unless (-d $GIT_DIR) {
193                 sys('git-init-db');
194         }
195         setup_git_svn();
196 }
197
198 sub fetch {
199         my (@parents) = @_;
200         check_upgrade_needed();
201         $SVN_URL ||= file_to_s("$GIT_DIR/$GIT_SVN/info/url");
202         my @log_args = -d $SVN_WC ? ($SVN_WC) : ($SVN_URL);
203         unless ($_revision) {
204                 $_revision = -d $SVN_WC ? 'BASE:HEAD' : '0:HEAD';
205         }
206         push @log_args, "-r$_revision";
207         push @log_args, '--stop-on-copy' unless $_no_stop_copy;
208
209         my $svn_log = svn_log_raw(@log_args);
210         @$svn_log = sort { $a->{revision} <=> $b->{revision} } @$svn_log;
211
212         my $base = shift @$svn_log or croak "No base revision!\n";
213         my $last_commit = undef;
214         unless (-d $SVN_WC) {
215                 my @svn_co = ('svn','co',"-r$base->{revision}");
216                 push @svn_co,'--ignore-externals' unless $_no_ignore_ext;
217                 sys(@svn_co, $SVN_URL, $SVN_WC);
218                 chdir $SVN_WC or croak $!;
219                 $last_commit = git_commit($base, @parents);
220                 unless (-f "$GIT_DIR/refs/heads/master") {
221                         sys(qw(git-update-ref refs/heads/master),$last_commit);
222                 }
223                 assert_svn_wc_clean($base->{revision}, $last_commit);
224         } else {
225                 chdir $SVN_WC or croak $!;
226                 $last_commit = file_to_s("$REV_DIR/$base->{revision}");
227         }
228         my @svn_up = qw(svn up);
229         push @svn_up, '--ignore-externals' unless $_no_ignore_ext;
230         my $last_rev = $base->{revision};
231         foreach my $log_msg (@$svn_log) {
232                 assert_svn_wc_clean($last_rev, $last_commit);
233                 $last_rev = $log_msg->{revision};
234                 sys(@svn_up,"-r$last_rev");
235                 $last_commit = git_commit($log_msg, $last_commit, @parents);
236         }
237         assert_svn_wc_clean($last_rev, $last_commit);
238         return pop @$svn_log;
239 }
240
241 sub commit {
242         my (@commits) = @_;
243         check_upgrade_needed();
244         if ($_stdin || !@commits) {
245                 print "Reading from stdin...\n";
246                 @commits = ();
247                 while (<STDIN>) {
248                         if (/\b($sha1_short)\b/) {
249                                 unshift @commits, $1;
250                         }
251                 }
252         }
253         my @revs;
254         foreach my $c (@commits) {
255                 chomp(my @tmp = safe_qx('git-rev-parse',$c));
256                 if (scalar @tmp == 1) {
257                         push @revs, $tmp[0];
258                 } elsif (scalar @tmp > 1) {
259                         push @revs, reverse (safe_qx('git-rev-list',@tmp));
260                 } else {
261                         die "Failed to rev-parse $c\n";
262                 }
263         }
264         chomp @revs;
265
266         fetch();
267         chdir $SVN_WC or croak $!;
268         my $svn_current_rev =  svn_info('.')->{'Last Changed Rev'};
269         foreach my $c (@revs) {
270                 my $mods = svn_checkout_tree($svn_current_rev, $c);
271                 if (scalar @$mods == 0) {
272                         print "Skipping, no changes detected\n";
273                         next;
274                 }
275                 $svn_current_rev = svn_commit_tree($svn_current_rev, $c);
276         }
277         print "Done committing ",scalar @revs," revisions to SVN\n";
278
279 }
280
281 sub show_ignore {
282         require File::Find or die $!;
283         my $exclude_file = "$GIT_DIR/info/exclude";
284         open my $fh, '<', $exclude_file or croak $!;
285         chomp(my @excludes = (<$fh>));
286         close $fh or croak $!;
287
288         $SVN_URL ||= file_to_s("$GIT_DIR/$GIT_SVN/info/url");
289         chdir $SVN_WC or croak $!;
290         my %ign;
291         File::Find::find({wanted=>sub{if(lstat $_ && -d _ && -d "$_/.svn"){
292                 s#^\./##;
293                 @{$ign{$_}} = safe_qx(qw(svn propget svn:ignore),$_);
294                 }}, no_chdir=>1},'.');
295
296         print "\n# /\n";
297         foreach (@{$ign{'.'}}) { print '/',$_ if /\S/ }
298         delete $ign{'.'};
299         foreach my $i (sort keys %ign) {
300                 print "\n# ",$i,"\n";
301                 foreach (@{$ign{$i}}) { print '/',$i,'/',$_ if /\S/ }
302         }
303 }
304
305 ########################### utility functions #########################
306
307 sub setup_git_svn {
308         defined $SVN_URL or croak "SVN repository location required\n";
309         unless (-d $GIT_DIR) {
310                 croak "GIT_DIR=$GIT_DIR does not exist!\n";
311         }
312         mkpath(["$GIT_DIR/$GIT_SVN"]);
313         mkpath(["$GIT_DIR/$GIT_SVN/info"]);
314         mkpath([$REV_DIR]);
315         s_to_file($SVN_URL,"$GIT_DIR/$GIT_SVN/info/url");
316         my $uuid = svn_info($SVN_URL)->{'Repository UUID'} or
317                                         croak "Repository UUID unreadable\n";
318         s_to_file($uuid,"$GIT_DIR/$GIT_SVN/info/uuid");
319
320         open my $fd, '>>', "$GIT_DIR/$GIT_SVN/info/exclude" or croak $!;
321         print $fd '.svn',"\n";
322         close $fd or croak $!;
323         return $uuid;
324 }
325
326 sub assert_svn_wc_clean {
327         my ($svn_rev, $treeish) = @_;
328         croak "$svn_rev is not an integer!\n" unless ($svn_rev =~ /^\d+$/);
329         croak "$treeish is not a sha1!\n" unless ($treeish =~ /^$sha1$/o);
330         my $svn_info = svn_info('.');
331         if ($svn_rev != $svn_info->{'Last Changed Rev'}) {
332                 croak "Expected r$svn_rev, got r",
333                                 $svn_info->{'Last Changed Rev'},"\n";
334         }
335         my @status = grep(!/^Performing status on external/,(`svn status`));
336         @status = grep(!/^\s*$/,@status);
337         if (scalar @status) {
338                 print STDERR "Tree ($SVN_WC) is not clean:\n";
339                 print STDERR $_ foreach @status;
340                 croak;
341         }
342         assert_tree($treeish);
343 }
344
345 sub assert_tree {
346         my ($treeish) = @_;
347         croak "Not a sha1: $treeish\n" unless $treeish =~ /^$sha1$/o;
348         chomp(my $type = `git-cat-file -t $treeish`);
349         my $expected;
350         while ($type eq 'tag') {
351                 chomp(($treeish, $type) = `git-cat-file tag $treeish`);
352         }
353         if ($type eq 'commit') {
354                 $expected = (grep /^tree /,`git-cat-file commit $treeish`)[0];
355                 ($expected) = ($expected =~ /^tree ($sha1)$/);
356                 die "Unable to get tree from $treeish\n" unless $expected;
357         } elsif ($type eq 'tree') {
358                 $expected = $treeish;
359         } else {
360                 die "$treeish is a $type, expected tree, tag or commit\n";
361         }
362
363         my $old_index = $ENV{GIT_INDEX_FILE};
364         my $tmpindex = $GIT_SVN_INDEX.'.assert-tmp';
365         if (-e $tmpindex) {
366                 unlink $tmpindex or croak $!;
367         }
368         $ENV{GIT_INDEX_FILE} = $tmpindex;
369         git_addremove();
370         chomp(my $tree = `git-write-tree`);
371         if ($old_index) {
372                 $ENV{GIT_INDEX_FILE} = $old_index;
373         } else {
374                 delete $ENV{GIT_INDEX_FILE};
375         }
376         if ($tree ne $expected) {
377                 croak "Tree mismatch, Got: $tree, Expected: $expected\n";
378         }
379 }
380
381 sub parse_diff_tree {
382         my $diff_fh = shift;
383         local $/ = "\0";
384         my $state = 'meta';
385         my @mods;
386         while (<$diff_fh>) {
387                 chomp $_; # this gets rid of the trailing "\0"
388                 if ($state eq 'meta' && /^:(\d{6})\s(\d{6})\s
389                                         $sha1\s($sha1)\s([MTCRAD])\d*$/xo) {
390                         push @mods, {   mode_a => $1, mode_b => $2,
391                                         sha1_b => $3, chg => $4 };
392                         if ($4 =~ /^(?:C|R)$/) {
393                                 $state = 'file_a';
394                         } else {
395                                 $state = 'file_b';
396                         }
397                 } elsif ($state eq 'file_a') {
398                         my $x = $mods[$#mods] or croak "Empty array\n";
399                         if ($x->{chg} !~ /^(?:C|R)$/) {
400                                 croak "Error parsing $_, $x->{chg}\n";
401                         }
402                         $x->{file_a} = $_;
403                         $state = 'file_b';
404                 } elsif ($state eq 'file_b') {
405                         my $x = $mods[$#mods] or croak "Empty array\n";
406                         if (exists $x->{file_a} && $x->{chg} !~ /^(?:C|R)$/) {
407                                 croak "Error parsing $_, $x->{chg}\n";
408                         }
409                         if (!exists $x->{file_a} && $x->{chg} =~ /^(?:C|R)$/) {
410                                 croak "Error parsing $_, $x->{chg}\n";
411                         }
412                         $x->{file_b} = $_;
413                         $state = 'meta';
414                 } else {
415                         croak "Error parsing $_\n";
416                 }
417         }
418         close $diff_fh or croak $!;
419
420         return \@mods;
421 }
422
423 sub svn_check_prop_executable {
424         my $m = shift;
425         return if -l $m->{file_b};
426         if ($m->{mode_b} =~ /755$/) {
427                 chmod((0755 &~ umask),$m->{file_b}) or croak $!;
428                 if ($m->{mode_a} !~ /755$/) {
429                         sys(qw(svn propset svn:executable 1), $m->{file_b});
430                 }
431                 -x $m->{file_b} or croak "$m->{file_b} is not executable!\n";
432         } elsif ($m->{mode_b} !~ /755$/ && $m->{mode_a} =~ /755$/) {
433                 sys(qw(svn propdel svn:executable), $m->{file_b});
434                 chmod((0644 &~ umask),$m->{file_b}) or croak $!;
435                 -x $m->{file_b} and croak "$m->{file_b} is executable!\n";
436         }
437 }
438
439 sub svn_ensure_parent_path {
440         my $dir_b = dirname(shift);
441         svn_ensure_parent_path($dir_b) if ($dir_b ne File::Spec->curdir);
442         mkpath([$dir_b]) unless (-d $dir_b);
443         sys(qw(svn add -N), $dir_b) unless (-d "$dir_b/.svn");
444 }
445
446 sub precommit_check {
447         my $mods = shift;
448         my (%rm_file, %rmdir_check, %added_check);
449
450         my %o = ( D => 0, R => 1, C => 2, A => 3, M => 3, T => 3 );
451         foreach my $m (sort { $o{$a->{chg}} <=> $o{$b->{chg}} } @$mods) {
452                 if ($m->{chg} eq 'R') {
453                         if (-d $m->{file_b}) {
454                                 err_dir_to_file("$m->{file_a} => $m->{file_b}");
455                         }
456                         # dir/$file => dir/file/$file
457                         my $dirname = dirname($m->{file_b});
458                         while ($dirname ne File::Spec->curdir) {
459                                 if ($dirname ne $m->{file_a}) {
460                                         $dirname = dirname($dirname);
461                                         next;
462                                 }
463                                 err_file_to_dir("$m->{file_a} => $m->{file_b}");
464                         }
465                         # baz/zzz => baz (baz is a file)
466                         $dirname = dirname($m->{file_a});
467                         while ($dirname ne File::Spec->curdir) {
468                                 if ($dirname ne $m->{file_b}) {
469                                         $dirname = dirname($dirname);
470                                         next;
471                                 }
472                                 err_dir_to_file("$m->{file_a} => $m->{file_b}");
473                         }
474                 }
475                 if ($m->{chg} =~ /^(D|R)$/) {
476                         my $t = $1 eq 'D' ? 'file_b' : 'file_a';
477                         $rm_file{ $m->{$t} } = 1;
478                         my $dirname = dirname( $m->{$t} );
479                         my $basename = basename( $m->{$t} );
480                         $rmdir_check{$dirname}->{$basename} = 1;
481                 } elsif ($m->{chg} =~ /^(?:A|C)$/) {
482                         if (-d $m->{file_b}) {
483                                 err_dir_to_file($m->{file_b});
484                         }
485                         my $dirname = dirname( $m->{file_b} );
486                         my $basename = basename( $m->{file_b} );
487                         $added_check{$dirname}->{$basename} = 1;
488                         while ($dirname ne File::Spec->curdir) {
489                                 if ($rm_file{$dirname}) {
490                                         err_file_to_dir($m->{file_b});
491                                 }
492                                 $dirname = dirname $dirname;
493                         }
494                 }
495         }
496         return (\%rmdir_check, \%added_check);
497
498         sub err_dir_to_file {
499                 my $file = shift;
500                 print STDERR "Node change from directory to file ",
501                                 "is not supported by Subversion: ",$file,"\n";
502                 exit 1;
503         }
504         sub err_file_to_dir {
505                 my $file = shift;
506                 print STDERR "Node change from file to directory ",
507                                 "is not supported by Subversion: ",$file,"\n";
508                 exit 1;
509         }
510 }
511
512 sub svn_checkout_tree {
513         my ($svn_rev, $treeish) = @_;
514         my $from = file_to_s("$REV_DIR/$svn_rev");
515         assert_svn_wc_clean($svn_rev,$from);
516         print "diff-tree $from $treeish\n";
517         my $pid = open my $diff_fh, '-|';
518         defined $pid or croak $!;
519         if ($pid == 0) {
520                 my @diff_tree = qw(git-diff-tree -z -r -C);
521                 push @diff_tree, '--find-copies-harder' if $_find_copies_harder;
522                 push @diff_tree, "-l$_l" if defined $_l;
523                 exec(@diff_tree, $from, $treeish) or croak $!;
524         }
525         my $mods = parse_diff_tree($diff_fh);
526         unless (@$mods) {
527                 # git can do empty commits, but SVN doesn't allow it...
528                 return $mods;
529         }
530         my ($rm, $add) = precommit_check($mods);
531
532         my %o = ( D => 1, R => 0, C => -1, A => 3, M => 3, T => 3 );
533         foreach my $m (sort { $o{$a->{chg}} <=> $o{$b->{chg}} } @$mods) {
534                 if ($m->{chg} eq 'C') {
535                         svn_ensure_parent_path( $m->{file_b} );
536                         sys(qw(svn cp),         $m->{file_a}, $m->{file_b});
537                         apply_mod_line_blob($m);
538                         svn_check_prop_executable($m);
539                 } elsif ($m->{chg} eq 'D') {
540                         sys(qw(svn rm --force), $m->{file_b});
541                 } elsif ($m->{chg} eq 'R') {
542                         svn_ensure_parent_path( $m->{file_b} );
543                         sys(qw(svn mv --force), $m->{file_a}, $m->{file_b});
544                         apply_mod_line_blob($m);
545                         svn_check_prop_executable($m);
546                 } elsif ($m->{chg} eq 'M') {
547                         apply_mod_line_blob($m);
548                         svn_check_prop_executable($m);
549                 } elsif ($m->{chg} eq 'T') {
550                         sys(qw(svn rm --force),$m->{file_b});
551                         apply_mod_line_blob($m);
552                         sys(qw(svn add --force), $m->{file_b});
553                         svn_check_prop_executable($m);
554                 } elsif ($m->{chg} eq 'A') {
555                         svn_ensure_parent_path( $m->{file_b} );
556                         apply_mod_line_blob($m);
557                         sys(qw(svn add --force), $m->{file_b});
558                         svn_check_prop_executable($m);
559                 } else {
560                         croak "Invalid chg: $m->{chg}\n";
561                 }
562         }
563
564         assert_tree($treeish);
565         if ($_rmdir) { # remove empty directories
566                 handle_rmdir($rm, $add);
567         }
568         assert_tree($treeish);
569         return $mods;
570 }
571
572 # svn ls doesn't work with respect to the current working tree, but what's
573 # in the repository.  There's not even an option for it... *sigh*
574 # (added files don't show up and removed files remain in the ls listing)
575 sub svn_ls_current {
576         my ($dir, $rm, $add) = @_;
577         chomp(my @ls = safe_qx('svn','ls',$dir));
578         my @ret = ();
579         foreach (@ls) {
580                 s#/$##; # trailing slashes are evil
581                 push @ret, $_ unless $rm->{$dir}->{$_};
582         }
583         if (exists $add->{$dir}) {
584                 push @ret, keys %{$add->{$dir}};
585         }
586         return \@ret;
587 }
588
589 sub handle_rmdir {
590         my ($rm, $add) = @_;
591
592         foreach my $dir (sort {length $b <=> length $a} keys %$rm) {
593                 my $ls = svn_ls_current($dir, $rm, $add);
594                 next if (scalar @$ls);
595                 sys(qw(svn rm --force),$dir);
596
597                 my $dn = dirname $dir;
598                 $rm->{ $dn }->{ basename $dir } = 1;
599                 $ls = svn_ls_current($dn, $rm, $add);
600                 while (scalar @$ls == 0 && $dn ne File::Spec->curdir) {
601                         sys(qw(svn rm --force),$dn);
602                         $dir = basename $dn;
603                         $dn = dirname $dn;
604                         $rm->{ $dn }->{ $dir } = 1;
605                         $ls = svn_ls_current($dn, $rm, $add);
606                 }
607         }
608 }
609
610 sub svn_commit_tree {
611         my ($svn_rev, $commit) = @_;
612         my $commit_msg = "$GIT_DIR/$GIT_SVN/.svn-commit.tmp.$$";
613         my %log_msg = ( msg => '' );
614         open my $msg, '>', $commit_msg or croak $!;
615
616         chomp(my $type = `git-cat-file -t $commit`);
617         if ($type eq 'commit') {
618                 my $pid = open my $msg_fh, '-|';
619                 defined $pid or croak $!;
620
621                 if ($pid == 0) {
622                         exec(qw(git-cat-file commit), $commit) or croak $!;
623                 }
624                 my $in_msg = 0;
625                 while (<$msg_fh>) {
626                         if (!$in_msg) {
627                                 $in_msg = 1 if (/^\s*$/);
628                         } elsif (/^git-svn-id: /) {
629                                 # skip this, we regenerate the correct one
630                                 # on re-fetch anyways
631                         } else {
632                                 print $msg $_ or croak $!;
633                         }
634                 }
635                 close $msg_fh or croak $!;
636         }
637         close $msg or croak $!;
638
639         if ($_edit || ($type eq 'tree')) {
640                 my $editor = $ENV{VISUAL} || $ENV{EDITOR} || 'vi';
641                 system($editor, $commit_msg);
642         }
643
644         # file_to_s removes all trailing newlines, so just use chomp() here:
645         open $msg, '<', $commit_msg or croak $!;
646         { local $/; chomp($log_msg{msg} = <$msg>); }
647         close $msg or croak $!;
648
649         my ($oneline) = ($log_msg{msg} =~ /([^\n\r]+)/);
650         print "Committing $commit: $oneline\n";
651
652         my @ci_output = safe_qx(qw(svn commit -F),$commit_msg);
653         my ($committed) = grep(/^Committed revision \d+\./,@ci_output);
654         unlink $commit_msg;
655         defined $committed or croak
656                         "Commit output failed to parse committed revision!\n",
657                         join("\n",@ci_output),"\n";
658         my ($rev_committed) = ($committed =~ /^Committed revision (\d+)\./);
659
660         my @svn_up = qw(svn up);
661         push @svn_up, '--ignore-externals' unless $_no_ignore_ext;
662         if ($rev_committed == ($svn_rev + 1)) {
663                 push @svn_up, "-r$rev_committed";
664                 sys(@svn_up);
665                 my $info = svn_info('.');
666                 my $date = $info->{'Last Changed Date'} or die "Missing date\n";
667                 if ($info->{'Last Changed Rev'} != $rev_committed) {
668                         croak "$info->{'Last Changed Rev'} != $rev_committed\n"
669                 }
670                 my ($Y,$m,$d,$H,$M,$S,$tz) = ($date =~
671                                         /(\d{4})\-(\d\d)\-(\d\d)\s
672                                          (\d\d)\:(\d\d)\:(\d\d)\s([\-\+]\d+)/x)
673                                          or croak "Failed to parse date: $date\n";
674                 $log_msg{date} = "$tz $Y-$m-$d $H:$M:$S";
675                 $log_msg{author} = $info->{'Last Changed Author'};
676                 $log_msg{revision} = $rev_committed;
677                 $log_msg{msg} .= "\n";
678                 my $parent = file_to_s("$REV_DIR/$svn_rev");
679                 git_commit(\%log_msg, $parent, $commit);
680                 return $rev_committed;
681         }
682         # resync immediately
683         push @svn_up, "-r$svn_rev";
684         sys(@svn_up);
685         return fetch("$rev_committed=$commit")->{revision};
686 }
687
688 sub svn_log_raw {
689         my (@log_args) = @_;
690         my $pid = open my $log_fh,'-|';
691         defined $pid or croak $!;
692
693         if ($pid == 0) {
694                 exec (qw(svn log), @log_args) or croak $!
695         }
696
697         my @svn_log;
698         my $state = 'sep';
699         while (<$log_fh>) {
700                 chomp;
701                 if (/^\-{72}$/) {
702                         if ($state eq 'msg') {
703                                 if ($svn_log[$#svn_log]->{lines}) {
704                                         $svn_log[$#svn_log]->{msg} .= $_."\n";
705                                         unless(--$svn_log[$#svn_log]->{lines}) {
706                                                 $state = 'sep';
707                                         }
708                                 } else {
709                                         croak "Log parse error at: $_\n",
710                                                 $svn_log[$#svn_log]->{revision},
711                                                 "\n";
712                                 }
713                                 next;
714                         }
715                         if ($state ne 'sep') {
716                                 croak "Log parse error at: $_\n",
717                                         "state: $state\n",
718                                         $svn_log[$#svn_log]->{revision},
719                                         "\n";
720                         }
721                         $state = 'rev';
722
723                         # if we have an empty log message, put something there:
724                         if (@svn_log) {
725                                 $svn_log[$#svn_log]->{msg} ||= "\n";
726                                 delete $svn_log[$#svn_log]->{lines};
727                         }
728                         next;
729                 }
730                 if ($state eq 'rev' && s/^r(\d+)\s*\|\s*//) {
731                         my $rev = $1;
732                         my ($author, $date, $lines) = split(/\s*\|\s*/, $_, 3);
733                         ($lines) = ($lines =~ /(\d+)/);
734                         my ($Y,$m,$d,$H,$M,$S,$tz) = ($date =~
735                                         /(\d{4})\-(\d\d)\-(\d\d)\s
736                                          (\d\d)\:(\d\d)\:(\d\d)\s([\-\+]\d+)/x)
737                                          or croak "Failed to parse date: $date\n";
738                         my %log_msg = ( revision => $rev,
739                                         date => "$tz $Y-$m-$d $H:$M:$S",
740                                         author => $author,
741                                         lines => $lines,
742                                         msg => '' );
743                         push @svn_log, \%log_msg;
744                         $state = 'msg_start';
745                         next;
746                 }
747                 # skip the first blank line of the message:
748                 if ($state eq 'msg_start' && /^$/) {
749                         $state = 'msg';
750                 } elsif ($state eq 'msg') {
751                         if ($svn_log[$#svn_log]->{lines}) {
752                                 $svn_log[$#svn_log]->{msg} .= $_."\n";
753                                 unless (--$svn_log[$#svn_log]->{lines}) {
754                                         $state = 'sep';
755                                 }
756                         } else {
757                                 croak "Log parse error at: $_\n",
758                                         $svn_log[$#svn_log]->{revision},"\n";
759                         }
760                 }
761         }
762         close $log_fh or croak $?;
763         return \@svn_log;
764 }
765
766 sub svn_info {
767         my $url = shift || $SVN_URL;
768
769         my $pid = open my $info_fh, '-|';
770         defined $pid or croak $!;
771
772         if ($pid == 0) {
773                 exec(qw(svn info),$url) or croak $!;
774         }
775
776         my $ret = {};
777         # only single-lines seem to exist in svn info output
778         while (<$info_fh>) {
779                 chomp $_;
780                 if (m#^([^:]+)\s*:\s*(\S.*)$#) {
781                         $ret->{$1} = $2;
782                         push @{$ret->{-order}}, $1;
783                 }
784         }
785         close $info_fh or croak $!;
786         return $ret;
787 }
788
789 sub sys { system(@_) == 0 or croak $? }
790
791 sub git_addremove {
792         system( "git-diff-files --name-only -z ".
793                                 " | git-update-index --remove -z --stdin && ".
794                 "git-ls-files -z --others ".
795                         "'--exclude-from=$GIT_DIR/$GIT_SVN/info/exclude'".
796                                 " | git-update-index --add -z --stdin"
797                 ) == 0 or croak $?
798 }
799
800 sub s_to_file {
801         my ($str, $file, $mode) = @_;
802         open my $fd,'>',$file or croak $!;
803         print $fd $str,"\n" or croak $!;
804         close $fd or croak $!;
805         chmod ($mode &~ umask, $file) if (defined $mode);
806 }
807
808 sub file_to_s {
809         my $file = shift;
810         open my $fd,'<',$file or croak "$!: file: $file\n";
811         local $/;
812         my $ret = <$fd>;
813         close $fd or croak $!;
814         $ret =~ s/\s*$//s;
815         return $ret;
816 }
817
818 sub assert_revision_unknown {
819         my $revno = shift;
820         if (-f "$REV_DIR/$revno") {
821                 croak "$REV_DIR/$revno already exists! ",
822                                 "Why are we refetching it?";
823         }
824 }
825
826 sub assert_revision_eq_or_unknown {
827         my ($revno, $commit) = @_;
828         if (-f "$REV_DIR/$revno") {
829                 my $current = file_to_s("$REV_DIR/$revno");
830                 if ($commit ne $current) {
831                         croak "$REV_DIR/$revno already exists!\n",
832                                 "current: $current\nexpected: $commit\n";
833                 }
834                 return;
835         }
836 }
837
838 sub git_commit {
839         my ($log_msg, @parents) = @_;
840         assert_revision_unknown($log_msg->{revision});
841         my $out_fh = IO::File->new_tmpfile or croak $!;
842         my $info = svn_info('.');
843         my $uuid = $info->{'Repository UUID'};
844         defined $uuid or croak "Unable to get Repository UUID\n";
845
846         map_tree_joins() if (@_branch_from && !%tree_map);
847
848         # commit parents can be conditionally bound to a particular
849         # svn revision via: "svn_revno=commit_sha1", filter them out here:
850         my @exec_parents;
851         foreach my $p (@parents) {
852                 next unless defined $p;
853                 if ($p =~ /^(\d+)=($sha1_short)$/o) {
854                         if ($1 == $log_msg->{revision}) {
855                                 push @exec_parents, $2;
856                         }
857                 } else {
858                         push @exec_parents, $p if $p =~ /$sha1_short/o;
859                 }
860         }
861
862         my $pid = fork;
863         defined $pid or croak $!;
864         if ($pid == 0) {
865                 $ENV{GIT_INDEX_FILE} = $GIT_SVN_INDEX;
866                 git_addremove();
867                 chomp(my $tree = `git-write-tree`);
868                 croak if $?;
869                 if (exists $tree_map{$tree}) {
870                         my %seen_parent = map { $_ => 1 } @exec_parents;
871                         foreach (@{$tree_map{$tree}}) {
872                                 # MAXPARENT is defined to 16 in commit-tree.c:
873                                 if ($seen_parent{$_} || @exec_parents > 16) {
874                                         next;
875                                 }
876                                 push @exec_parents, $_;
877                                 $seen_parent{$_} = 1;
878                         }
879                 }
880                 my $msg_fh = IO::File->new_tmpfile or croak $!;
881                 print $msg_fh $log_msg->{msg}, "\ngit-svn-id: ",
882                                         "$SVN_URL\@$log_msg->{revision}",
883                                         " $uuid\n" or croak $!;
884                 $msg_fh->flush == 0 or croak $!;
885                 seek $msg_fh, 0, 0 or croak $!;
886
887                 $ENV{GIT_AUTHOR_NAME} = $ENV{GIT_COMMITTER_NAME} =
888                                                 $log_msg->{author};
889                 $ENV{GIT_AUTHOR_EMAIL} = $ENV{GIT_COMMITTER_EMAIL} =
890                                                 $log_msg->{author}."\@$uuid";
891                 $ENV{GIT_AUTHOR_DATE} = $ENV{GIT_COMMITTER_DATE} =
892                                                 $log_msg->{date};
893                 my @exec = ('git-commit-tree',$tree);
894                 push @exec, '-p', $_  foreach @exec_parents;
895                 open STDIN, '<&', $msg_fh or croak $!;
896                 open STDOUT, '>&', $out_fh or croak $!;
897                 exec @exec or croak $!;
898         }
899         waitpid($pid,0);
900         croak if $?;
901
902         $out_fh->flush == 0 or croak $!;
903         seek $out_fh, 0, 0 or croak $!;
904         chomp(my $commit = do { local $/; <$out_fh> });
905         if ($commit !~ /^$sha1$/o) {
906                 croak "Failed to commit, invalid sha1: $commit\n";
907         }
908         my @update_ref = ('git-update-ref',"refs/remotes/$GIT_SVN",$commit);
909         if (my $primary_parent = shift @exec_parents) {
910                 push @update_ref, $primary_parent;
911         }
912         sys(@update_ref);
913         sys('git-update-ref',"$GIT_SVN/revs/$log_msg->{revision}",$commit);
914         print "r$log_msg->{revision} = $commit\n";
915         return $commit;
916 }
917
918 sub apply_mod_line_blob {
919         my $m = shift;
920         if ($m->{mode_b} =~ /^120/) {
921                 blob_to_symlink($m->{sha1_b}, $m->{file_b});
922         } else {
923                 blob_to_file($m->{sha1_b}, $m->{file_b});
924         }
925 }
926
927 sub blob_to_symlink {
928         my ($blob, $link) = @_;
929         defined $link or croak "\$link not defined!\n";
930         croak "Not a sha1: $blob\n" unless $blob =~ /^$sha1$/o;
931         if (-l $link || -f _) {
932                 unlink $link or croak $!;
933         }
934
935         my $dest = `git-cat-file blob $blob`; # no newline, so no chomp
936         symlink $dest, $link or croak $!;
937 }
938
939 sub blob_to_file {
940         my ($blob, $file) = @_;
941         defined $file or croak "\$file not defined!\n";
942         croak "Not a sha1: $blob\n" unless $blob =~ /^$sha1$/o;
943         if (-l $file || -f _) {
944                 unlink $file or croak $!;
945         }
946
947         open my $blob_fh, '>', $file or croak "$!: $file\n";
948         my $pid = fork;
949         defined $pid or croak $!;
950
951         if ($pid == 0) {
952                 open STDOUT, '>&', $blob_fh or croak $!;
953                 exec('git-cat-file','blob',$blob);
954         }
955         waitpid $pid, 0;
956         croak $? if $?;
957
958         close $blob_fh or croak $!;
959 }
960
961 sub safe_qx {
962         my $pid = open my $child, '-|';
963         defined $pid or croak $!;
964         if ($pid == 0) {
965                 exec(@_) or croak $?;
966         }
967         my @ret = (<$child>);
968         close $child or croak $?;
969         die $? if $?; # just in case close didn't error out
970         return wantarray ? @ret : join('',@ret);
971 }
972
973 sub svn_check_ignore_externals {
974         return if $_no_ignore_ext;
975         unless (grep /ignore-externals/,(safe_qx(qw(svn co -h)))) {
976                 print STDERR "W: Installed svn version does not support ",
977                                 "--ignore-externals\n";
978                 $_no_ignore_ext = 1;
979         }
980 }
981
982 sub check_upgrade_needed {
983         my $old = eval {
984                 my $pid = open my $child, '-|';
985                 defined $pid or croak $!;
986                 if ($pid == 0) {
987                         close STDERR;
988                         exec('git-rev-parse',"$GIT_SVN-HEAD") or croak $?;
989                 }
990                 my @ret = (<$child>);
991                 close $child or croak $?;
992                 die $? if $?; # just in case close didn't error out
993                 return wantarray ? @ret : join('',@ret);
994         };
995         return unless $old;
996         my $head = eval { safe_qx('git-rev-parse',"refs/remotes/$GIT_SVN") };
997         if ($@ || !$head) {
998                 print STDERR "Please run: $0 rebuild --upgrade\n";
999                 exit 1;
1000         }
1001 }
1002
1003 # fills %tree_map with a reverse mapping of trees to commits.  Useful
1004 # for finding parents to commit on.
1005 sub map_tree_joins {
1006         foreach my $br (@_branch_from) {
1007                 my $pid = open my $pipe, '-|';
1008                 defined $pid or croak $!;
1009                 if ($pid == 0) {
1010                         exec(qw(git-rev-list --pretty=raw), $br) or croak $?;
1011                 }
1012                 while (<$pipe>) {
1013                         if (/^commit ($sha1)$/o) {
1014                                 my $commit = $1;
1015                                 my ($tree) = (<$pipe> =~ /^tree ($sha1)$/o);
1016                                 unless (defined $tree) {
1017                                         die "Failed to parse commit $commit\n";
1018                                 }
1019                                 push @{$tree_map{$tree}}, $commit;
1020                         }
1021                 }
1022                 close $pipe or croak $?;
1023         }
1024 }
1025
1026 __END__
1027
1028 Data structures:
1029
1030 @svn_log = array of log_msg hashes
1031
1032 $log_msg hash
1033 {
1034         msg => 'whitespace-formatted log entry
1035 ',                                              # trailing newline is preserved
1036         revision => '8',                        # integer
1037         date => '2004-02-24T17:01:44.108345Z',  # commit date
1038         author => 'committer name'
1039 };
1040
1041
1042 @mods = array of diff-index line hashes, each element represents one line
1043         of diff-index output
1044
1045 diff-index line ($m hash)
1046 {
1047         mode_a => first column of diff-index output, no leading ':',
1048         mode_b => second column of diff-index output,
1049         sha1_b => sha1sum of the final blob,
1050         chg => change type [MCRADT],
1051         file_a => original file name of a file (iff chg is 'C' or 'R')
1052         file_b => new/current file name of a file (any chg)
1053 }
1054 ;