git-apply: allow operating in sparsely populated working tree.
[git.git] / apply.c
1 /*
2  * apply.c
3  *
4  * Copyright (C) Linus Torvalds, 2005
5  *
6  * This applies patches on top of some (arbitrary) version of the SCM.
7  *
8  * NOTE! It does all its work in the index file, and only cares about
9  * the files in the working directory if you tell it to "merge" the
10  * patch apply.
11  *
12  * Even when merging it always takes the source from the index, and
13  * uses the working tree as a "branch" for a 3-way merge.
14  */
15 #include <ctype.h>
16 #include <fnmatch.h>
17 #include "cache.h"
18
19 // We default to the merge behaviour, since that's what most people would
20 // expect.
21 //
22 //  --check turns on checking that the working tree matches the
23 //    files that are being modified, but doesn't apply the patch
24 //  --stat does just a diffstat, and doesn't actually apply
25 //  --show-files shows the directory changes
26 //
27 static int merge_patch = 1;
28 static int check_index = 0;
29 static int write_index = 0;
30 static int diffstat = 0;
31 static int summary = 0;
32 static int check = 0;
33 static int apply = 1;
34 static int show_files = 0;
35 static const char apply_usage[] =
36 "git-apply [--no-merge] [--stat] [--summary] [--check] [--index] [--apply] [--show-files] <patch>...";
37
38 /*
39  * For "diff-stat" like behaviour, we keep track of the biggest change
40  * we've seen, and the longest filename. That allows us to do simple
41  * scaling.
42  */
43 static int max_change, max_len;
44
45 /*
46  * Various "current state", notably line numbers and what
47  * file (and how) we're patching right now.. The "is_xxxx"
48  * things are flags, where -1 means "don't know yet".
49  */
50 static int linenr = 1;
51
52 struct fragment {
53         unsigned long oldpos, oldlines;
54         unsigned long newpos, newlines;
55         const char *patch;
56         int size;
57         struct fragment *next;
58 };
59
60 struct patch {
61         char *new_name, *old_name, *def_name;
62         unsigned int old_mode, new_mode;
63         int is_rename, is_copy, is_new, is_delete;
64         int lines_added, lines_deleted;
65         int score;
66         struct fragment *fragments;
67         char *result;
68         unsigned long resultsize;
69         struct patch *next;
70 };
71
72 #define CHUNKSIZE (8192)
73 #define SLOP (16)
74
75 static void *read_patch_file(int fd, unsigned long *sizep)
76 {
77         unsigned long size = 0, alloc = CHUNKSIZE;
78         void *buffer = xmalloc(alloc);
79
80         for (;;) {
81                 int nr = alloc - size;
82                 if (nr < 1024) {
83                         alloc += CHUNKSIZE;
84                         buffer = xrealloc(buffer, alloc);
85                         nr = alloc - size;
86                 }
87                 nr = read(fd, buffer + size, nr);
88                 if (!nr)
89                         break;
90                 if (nr < 0) {
91                         if (errno == EAGAIN)
92                                 continue;
93                         die("git-apply: read returned %s", strerror(errno));
94                 }
95                 size += nr;
96         }
97         *sizep = size;
98
99         /*
100          * Make sure that we have some slop in the buffer
101          * so that we can do speculative "memcmp" etc, and
102          * see to it that it is NUL-filled.
103          */
104         if (alloc < size + SLOP)
105                 buffer = xrealloc(buffer, size + SLOP);
106         memset(buffer + size, 0, SLOP);
107         return buffer;
108 }
109
110 static unsigned long linelen(const char *buffer, unsigned long size)
111 {
112         unsigned long len = 0;
113         while (size--) {
114                 len++;
115                 if (*buffer++ == '\n')
116                         break;
117         }
118         return len;
119 }
120
121 static int is_dev_null(const char *str)
122 {
123         return !memcmp("/dev/null", str, 9) && isspace(str[9]);
124 }
125
126 #define TERM_SPACE      1
127 #define TERM_TAB        2
128
129 static int name_terminate(const char *name, int namelen, int c, int terminate)
130 {
131         if (c == ' ' && !(terminate & TERM_SPACE))
132                 return 0;
133         if (c == '\t' && !(terminate & TERM_TAB))
134                 return 0;
135
136         return 1;
137 }
138
139 static char * find_name(const char *line, char *def, int p_value, int terminate)
140 {
141         int len;
142         const char *start = line;
143         char *name;
144
145         for (;;) {
146                 char c = *line;
147
148                 if (isspace(c)) {
149                         if (c == '\n')
150                                 break;
151                         if (name_terminate(start, line-start, c, terminate))
152                                 break;
153                 }
154                 line++;
155                 if (c == '/' && !--p_value)
156                         start = line;
157         }
158         if (!start)
159                 return def;
160         len = line - start;
161         if (!len)
162                 return def;
163
164         /*
165          * Generally we prefer the shorter name, especially
166          * if the other one is just a variation of that with
167          * something else tacked on to the end (ie "file.orig"
168          * or "file~").
169          */
170         if (def) {
171                 int deflen = strlen(def);
172                 if (deflen < len && !strncmp(start, def, deflen))
173                         return def;
174         }
175
176         name = xmalloc(len + 1);
177         memcpy(name, start, len);
178         name[len] = 0;
179         free(def);
180         return name;
181 }
182
183 /*
184  * Get the name etc info from the --/+++ lines of a traditional patch header
185  *
186  * NOTE! This hardcodes "-p1" behaviour in filename detection.
187  *
188  * FIXME! The end-of-filename heuristics are kind of screwy. For existing
189  * files, we can happily check the index for a match, but for creating a
190  * new file we should try to match whatever "patch" does. I have no idea.
191  */
192 static void parse_traditional_patch(const char *first, const char *second, struct patch *patch)
193 {
194         int p_value = 1;
195         char *name;
196
197         first += 4;     // skip "--- "
198         second += 4;    // skip "+++ "
199         if (is_dev_null(first)) {
200                 patch->is_new = 1;
201                 patch->is_delete = 0;
202                 name = find_name(second, NULL, p_value, TERM_SPACE | TERM_TAB);
203                 patch->new_name = name;
204         } else if (is_dev_null(second)) {
205                 patch->is_new = 0;
206                 patch->is_delete = 1;
207                 name = find_name(first, NULL, p_value, TERM_SPACE | TERM_TAB);
208                 patch->old_name = name;
209         } else {
210                 name = find_name(first, NULL, p_value, TERM_SPACE | TERM_TAB);
211                 name = find_name(second, name, p_value, TERM_SPACE | TERM_TAB);
212                 patch->old_name = patch->new_name = name;
213         }
214         if (!name)
215                 die("unable to find filename in patch at line %d", linenr);
216 }
217
218 static int gitdiff_hdrend(const char *line, struct patch *patch)
219 {
220         return -1;
221 }
222
223 /*
224  * We're anal about diff header consistency, to make
225  * sure that we don't end up having strange ambiguous
226  * patches floating around.
227  *
228  * As a result, gitdiff_{old|new}name() will check
229  * their names against any previous information, just
230  * to make sure..
231  */
232 static char *gitdiff_verify_name(const char *line, int isnull, char *orig_name, const char *oldnew)
233 {
234         int len;
235         const char *name;
236
237         if (!orig_name && !isnull)
238                 return find_name(line, NULL, 1, 0);
239
240         name = "/dev/null";
241         len = 9;
242         if (orig_name) {
243                 name = orig_name;
244                 len = strlen(name);
245                 if (isnull)
246                         die("git-apply: bad git-diff - expected /dev/null, got %s on line %d", name, linenr);
247         }
248
249         if (*name == '/')
250                 goto absolute_path;
251
252         for (;;) {
253                 char c = *line++;
254                 if (c == '\n')
255                         break;
256                 if (c != '/')
257                         continue;
258 absolute_path:
259                 if (memcmp(line, name, len) || line[len] != '\n')
260                         break;
261                 return orig_name;
262         }
263         die("git-apply: bad git-diff - inconsistent %s filename on line %d", oldnew, linenr);
264         return NULL;
265 }
266
267 static int gitdiff_oldname(const char *line, struct patch *patch)
268 {
269         patch->old_name = gitdiff_verify_name(line, patch->is_new, patch->old_name, "old");
270         return 0;
271 }
272
273 static int gitdiff_newname(const char *line, struct patch *patch)
274 {
275         patch->new_name = gitdiff_verify_name(line, patch->is_delete, patch->new_name, "new");
276         return 0;
277 }
278
279 static int gitdiff_oldmode(const char *line, struct patch *patch)
280 {
281         patch->old_mode = strtoul(line, NULL, 8);
282         return 0;
283 }
284
285 static int gitdiff_newmode(const char *line, struct patch *patch)
286 {
287         patch->new_mode = strtoul(line, NULL, 8);
288         return 0;
289 }
290
291 static int gitdiff_delete(const char *line, struct patch *patch)
292 {
293         patch->is_delete = 1;
294         patch->old_name = patch->def_name;
295         return gitdiff_oldmode(line, patch);
296 }
297
298 static int gitdiff_newfile(const char *line, struct patch *patch)
299 {
300         patch->is_new = 1;
301         patch->new_name = patch->def_name;
302         return gitdiff_newmode(line, patch);
303 }
304
305 static int gitdiff_copysrc(const char *line, struct patch *patch)
306 {
307         patch->is_copy = 1;
308         patch->old_name = find_name(line, NULL, 0, 0);
309         return 0;
310 }
311
312 static int gitdiff_copydst(const char *line, struct patch *patch)
313 {
314         patch->is_copy = 1;
315         patch->new_name = find_name(line, NULL, 0, 0);
316         return 0;
317 }
318
319 static int gitdiff_renamesrc(const char *line, struct patch *patch)
320 {
321         patch->is_rename = 1;
322         patch->old_name = find_name(line, NULL, 0, 0);
323         return 0;
324 }
325
326 static int gitdiff_renamedst(const char *line, struct patch *patch)
327 {
328         patch->is_rename = 1;
329         patch->new_name = find_name(line, NULL, 0, 0);
330         return 0;
331 }
332
333 static int gitdiff_similarity(const char *line, struct patch *patch)
334 {
335         if ((patch->score = strtoul(line, NULL, 10)) == ULONG_MAX)
336                 patch->score = 0;
337         return 0;
338 }
339
340 static int gitdiff_dissimilarity(const char *line, struct patch *patch)
341 {
342         if ((patch->score = strtoul(line, NULL, 10)) == ULONG_MAX)
343                 patch->score = 0;
344         return 0;
345 }
346
347 /*
348  * This is normal for a diff that doesn't change anything: we'll fall through
349  * into the next diff. Tell the parser to break out.
350  */
351 static int gitdiff_unrecognized(const char *line, struct patch *patch)
352 {
353         return -1;
354 }
355
356 static char *git_header_name(char *line)
357 {
358         int len;
359         char *name, *second;
360
361         /*
362          * Find the first '/'
363          */
364         name = line;
365         for (;;) {
366                 char c = *name++;
367                 if (c == '\n')
368                         return NULL;
369                 if (c == '/')
370                         break;
371         }
372
373         /*
374          * We don't accept absolute paths (/dev/null) as possibly valid
375          */
376         if (name == line+1)
377                 return NULL;
378
379         /*
380          * Accept a name only if it shows up twice, exactly the same
381          * form.
382          */
383         for (len = 0 ; ; len++) {
384                 char c = name[len];
385
386                 switch (c) {
387                 default:
388                         continue;
389                 case '\n':
390                         return NULL;
391                 case '\t': case ' ':
392                         second = name+len;
393                         for (;;) {
394                                 char c = *second++;
395                                 if (c == '\n')
396                                         return NULL;
397                                 if (c == '/')
398                                         break;
399                         }
400                         if (second[len] == '\n' && !memcmp(name, second, len)) {
401                                 char *ret = xmalloc(len + 1);
402                                 memcpy(ret, name, len);
403                                 ret[len] = 0;
404                                 return ret;
405                         }
406                 }
407         }
408         return NULL;
409 }
410
411 /* Verify that we recognize the lines following a git header */
412 static int parse_git_header(char *line, int len, unsigned int size, struct patch *patch)
413 {
414         unsigned long offset;
415
416         /* A git diff has explicit new/delete information, so we don't guess */
417         patch->is_new = 0;
418         patch->is_delete = 0;
419
420         /*
421          * Some things may not have the old name in the
422          * rest of the headers anywhere (pure mode changes,
423          * or removing or adding empty files), so we get
424          * the default name from the header.
425          */
426         patch->def_name = git_header_name(line + strlen("diff --git "));
427
428         line += len;
429         size -= len;
430         linenr++;
431         for (offset = len ; size > 0 ; offset += len, size -= len, line += len, linenr++) {
432                 static const struct opentry {
433                         const char *str;
434                         int (*fn)(const char *, struct patch *);
435                 } optable[] = {
436                         { "@@ -", gitdiff_hdrend },
437                         { "--- ", gitdiff_oldname },
438                         { "+++ ", gitdiff_newname },
439                         { "old mode ", gitdiff_oldmode },
440                         { "new mode ", gitdiff_newmode },
441                         { "deleted file mode ", gitdiff_delete },
442                         { "new file mode ", gitdiff_newfile },
443                         { "copy from ", gitdiff_copysrc },
444                         { "copy to ", gitdiff_copydst },
445                         { "rename old ", gitdiff_renamesrc },
446                         { "rename new ", gitdiff_renamedst },
447                         { "rename from ", gitdiff_renamesrc },
448                         { "rename to ", gitdiff_renamedst },
449                         { "similarity index ", gitdiff_similarity },
450                         { "dissimilarity index ", gitdiff_dissimilarity },
451                         { "", gitdiff_unrecognized },
452                 };
453                 int i;
454
455                 len = linelen(line, size);
456                 if (!len || line[len-1] != '\n')
457                         break;
458                 for (i = 0; i < sizeof(optable) / sizeof(optable[0]); i++) {
459                         const struct opentry *p = optable + i;
460                         int oplen = strlen(p->str);
461                         if (len < oplen || memcmp(p->str, line, oplen))
462                                 continue;
463                         if (p->fn(line + oplen, patch) < 0)
464                                 return offset;
465                         break;
466                 }
467         }
468
469         return offset;
470 }
471
472 static int parse_num(const char *line, unsigned long *p)
473 {
474         char *ptr;
475
476         if (!isdigit(*line))
477                 return 0;
478         *p = strtoul(line, &ptr, 10);
479         return ptr - line;
480 }
481
482 static int parse_range(const char *line, int len, int offset, const char *expect,
483                         unsigned long *p1, unsigned long *p2)
484 {
485         int digits, ex;
486
487         if (offset < 0 || offset >= len)
488                 return -1;
489         line += offset;
490         len -= offset;
491
492         digits = parse_num(line, p1);
493         if (!digits)
494                 return -1;
495
496         offset += digits;
497         line += digits;
498         len -= digits;
499
500         *p2 = *p1;
501         if (*line == ',') {
502                 digits = parse_num(line+1, p2);
503                 if (!digits)
504                         return -1;
505
506                 offset += digits+1;
507                 line += digits+1;
508                 len -= digits+1;
509         }
510
511         ex = strlen(expect);
512         if (ex > len)
513                 return -1;
514         if (memcmp(line, expect, ex))
515                 return -1;
516
517         return offset + ex;
518 }
519
520 /*
521  * Parse a unified diff fragment header of the
522  * form "@@ -a,b +c,d @@"
523  */
524 static int parse_fragment_header(char *line, int len, struct fragment *fragment)
525 {
526         int offset;
527
528         if (!len || line[len-1] != '\n')
529                 return -1;
530
531         /* Figure out the number of lines in a fragment */
532         offset = parse_range(line, len, 4, " +", &fragment->oldpos, &fragment->oldlines);
533         offset = parse_range(line, len, offset, " @@", &fragment->newpos, &fragment->newlines);
534
535         return offset;
536 }
537
538 static int find_header(char *line, unsigned long size, int *hdrsize, struct patch *patch)
539 {
540         unsigned long offset, len;
541
542         patch->is_rename = patch->is_copy = 0;
543         patch->is_new = patch->is_delete = -1;
544         patch->old_mode = patch->new_mode = 0;
545         patch->old_name = patch->new_name = NULL;
546         for (offset = 0; size > 0; offset += len, size -= len, line += len, linenr++) {
547                 unsigned long nextlen;
548
549                 len = linelen(line, size);
550                 if (!len)
551                         break;
552
553                 /* Testing this early allows us to take a few shortcuts.. */
554                 if (len < 6)
555                         continue;
556
557                 /*
558                  * Make sure we don't find any unconnected patch fragmants.
559                  * That's a sign that we didn't find a header, and that a
560                  * patch has become corrupted/broken up.
561                  */
562                 if (!memcmp("@@ -", line, 4)) {
563                         struct fragment dummy;
564                         if (parse_fragment_header(line, len, &dummy) < 0)
565                                 continue;
566                         error("patch fragment without header at line %d: %.*s", linenr, (int)len-1, line);
567                 }
568
569                 if (size < len + 6)
570                         break;
571
572                 /*
573                  * Git patch? It might not have a real patch, just a rename
574                  * or mode change, so we handle that specially
575                  */
576                 if (!memcmp("diff --git ", line, 11)) {
577                         int git_hdr_len = parse_git_header(line, len, size, patch);
578                         if (git_hdr_len <= len)
579                                 continue;
580                         if (!patch->old_name && !patch->new_name) {
581                                 if (!patch->def_name)
582                                         die("git diff header lacks filename information (line %d)", linenr);
583                                 patch->old_name = patch->new_name = patch->def_name;
584                         }
585                         *hdrsize = git_hdr_len;
586                         return offset;
587                 }
588
589                 /** --- followed by +++ ? */
590                 if (memcmp("--- ", line,  4) || memcmp("+++ ", line + len, 4))
591                         continue;
592
593                 /*
594                  * We only accept unified patches, so we want it to
595                  * at least have "@@ -a,b +c,d @@\n", which is 14 chars
596                  * minimum
597                  */
598                 nextlen = linelen(line + len, size - len);
599                 if (size < nextlen + 14 || memcmp("@@ -", line + len + nextlen, 4))
600                         continue;
601
602                 /* Ok, we'll consider it a patch */
603                 parse_traditional_patch(line, line+len, patch);
604                 *hdrsize = len + nextlen;
605                 linenr += 2;
606                 return offset;
607         }
608         return -1;
609 }
610
611 /*
612  * Parse a unified diff. Note that this really needs
613  * to parse each fragment separately, since the only
614  * way to know the difference between a "---" that is
615  * part of a patch, and a "---" that starts the next
616  * patch is to look at the line counts..
617  */
618 static int parse_fragment(char *line, unsigned long size, struct patch *patch, struct fragment *fragment)
619 {
620         int added, deleted;
621         int len = linelen(line, size), offset;
622         unsigned long oldlines, newlines;
623
624         offset = parse_fragment_header(line, len, fragment);
625         if (offset < 0)
626                 return -1;
627         oldlines = fragment->oldlines;
628         newlines = fragment->newlines;
629
630         if (patch->is_new < 0) {
631                 patch->is_new =  !oldlines;
632                 if (!oldlines)
633                         patch->old_name = NULL;
634         }
635         if (patch->is_delete < 0) {
636                 patch->is_delete = !newlines;
637                 if (!newlines)
638                         patch->new_name = NULL;
639         }
640
641         if (patch->is_new != !oldlines)
642                 return error("new file depends on old contents");
643         if (patch->is_delete != !newlines) {
644                 if (newlines)
645                         return error("deleted file still has contents");
646                 fprintf(stderr, "** warning: file %s becomes empty but is not deleted\n", patch->new_name);
647         }
648
649         /* Parse the thing.. */
650         line += len;
651         size -= len;
652         linenr++;
653         added = deleted = 0;
654         for (offset = len; size > 0; offset += len, size -= len, line += len, linenr++) {
655                 if (!oldlines && !newlines)
656                         break;
657                 len = linelen(line, size);
658                 if (!len || line[len-1] != '\n')
659                         return -1;
660                 switch (*line) {
661                 default:
662                         return -1;
663                 case ' ':
664                         oldlines--;
665                         newlines--;
666                         break;
667                 case '-':
668                         deleted++;
669                         oldlines--;
670                         break;
671                 case '+':
672                         added++;
673                         newlines--;
674                         break;
675
676                 /* We allow "\ No newline at end of file". Depending
677                  * on locale settings when the patch was produced we
678                  * don't know what this line looks like. The only
679                  * thing we do know is that it begins with "\ ".
680                  * Checking for 12 is just for sanity check -- any
681                  * l10n of "\ No newline..." is at least that long.
682                  */
683                 case '\\':
684                         if (len < 12 || memcmp(line, "\\ ", 2))
685                                 return -1;
686                         break;
687                 }
688         }
689         /* If a fragment ends with an incomplete line, we failed to include
690          * it in the above loop because we hit oldlines == newlines == 0
691          * before seeing it.
692          */
693         if (12 < size && !memcmp(line, "\\ ", 2))
694                 offset += linelen(line, size);
695
696         patch->lines_added += added;
697         patch->lines_deleted += deleted;
698         return offset;
699 }
700
701 static int parse_single_patch(char *line, unsigned long size, struct patch *patch)
702 {
703         unsigned long offset = 0;
704         struct fragment **fragp = &patch->fragments;
705
706         while (size > 4 && !memcmp(line, "@@ -", 4)) {
707                 struct fragment *fragment;
708                 int len;
709
710                 fragment = xmalloc(sizeof(*fragment));
711                 memset(fragment, 0, sizeof(*fragment));
712                 len = parse_fragment(line, size, patch, fragment);
713                 if (len <= 0)
714                         die("corrupt patch at line %d", linenr);
715
716                 fragment->patch = line;
717                 fragment->size = len;
718
719                 *fragp = fragment;
720                 fragp = &fragment->next;
721
722                 offset += len;
723                 line += len;
724                 size -= len;
725         }
726         return offset;
727 }
728
729 static inline int metadata_changes(struct patch *patch)
730 {
731         return  patch->is_rename > 0 ||
732                 patch->is_copy > 0 ||
733                 patch->is_new > 0 ||
734                 patch->is_delete ||
735                 (patch->old_mode && patch->new_mode &&
736                  patch->old_mode != patch->new_mode);
737 }
738
739 static int parse_chunk(char *buffer, unsigned long size, struct patch *patch)
740 {
741         int hdrsize, patchsize;
742         int offset = find_header(buffer, size, &hdrsize, patch);
743
744         if (offset < 0)
745                 return offset;
746
747         patchsize = parse_single_patch(buffer + offset + hdrsize, size - offset - hdrsize, patch);
748
749         if (!patchsize && !metadata_changes(patch))
750                 die("patch with only garbage at line %d", linenr);
751
752         return offset + hdrsize + patchsize;
753 }
754
755 static const char pluses[] = "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++";
756 static const char minuses[]= "----------------------------------------------------------------------";
757
758 static void show_stats(struct patch *patch)
759 {
760         const char *prefix = "";
761         char *name = patch->new_name;
762         int len, max, add, del, total;
763
764         if (!name)
765                 name = patch->old_name;
766
767         /*
768          * "scale" the filename
769          */
770         len = strlen(name);
771         max = max_len;
772         if (max > 50)
773                 max = 50;
774         if (len > max) {
775                 char *slash;
776                 prefix = "...";
777                 max -= 3;
778                 name += len - max;
779                 slash = strchr(name, '/');
780                 if (slash)
781                         name = slash;
782         }
783         len = max;
784
785         /*
786          * scale the add/delete
787          */
788         max = max_change;
789         if (max + len > 70)
790                 max = 70 - len;
791
792         add = patch->lines_added;
793         del = patch->lines_deleted;
794         total = add + del;
795
796         if (max_change > 0) {
797                 total = (total * max + max_change / 2) / max_change;
798                 add = (add * max + max_change / 2) / max_change;
799                 del = total - add;
800         }
801         printf(" %s%-*s |%5d %.*s%.*s\n", prefix,
802                 len, name, patch->lines_added + patch->lines_deleted,
803                 add, pluses, del, minuses);
804 }
805
806 static int read_old_data(struct stat *st, const char *path, void *buf, unsigned long size)
807 {
808         int fd;
809         unsigned long got;
810
811         switch (st->st_mode & S_IFMT) {
812         case S_IFLNK:
813                 return readlink(path, buf, size);
814         case S_IFREG:
815                 fd = open(path, O_RDONLY);
816                 if (fd < 0)
817                         return error("unable to open %s", path);
818                 got = 0;
819                 for (;;) {
820                         int ret = read(fd, buf + got, size - got);
821                         if (ret < 0) {
822                                 if (errno == EAGAIN)
823                                         continue;
824                                 break;
825                         }
826                         if (!ret)
827                                 break;
828                         got += ret;
829                 }
830                 close(fd);
831                 return got;
832
833         default:
834                 return -1;
835         }
836 }
837
838 static int find_offset(const char *buf, unsigned long size, const char *fragment, unsigned long fragsize, int line)
839 {
840         int i;
841         unsigned long start, backwards, forwards;
842
843         if (fragsize > size)
844                 return -1;
845
846         start = 0;
847         if (line > 1) {
848                 unsigned long offset = 0;
849                 i = line-1;
850                 while (offset + fragsize <= size) {
851                         if (buf[offset++] == '\n') {
852                                 start = offset;
853                                 if (!--i)
854                                         break;
855                         }
856                 }
857         }
858
859         /* Exact line number? */
860         if (!memcmp(buf + start, fragment, fragsize))
861                 return start;
862
863         /*
864          * There's probably some smart way to do this, but I'll leave
865          * that to the smart and beautiful people. I'm simple and stupid.
866          */
867         backwards = start;
868         forwards = start;
869         for (i = 0; ; i++) {
870                 unsigned long try;
871                 int n;
872
873                 /* "backward" */
874                 if (i & 1) {
875                         if (!backwards) {
876                                 if (forwards + fragsize > size)
877                                         break;
878                                 continue;
879                         }
880                         do {
881                                 --backwards;
882                         } while (backwards && buf[backwards-1] != '\n');
883                         try = backwards;
884                 } else {
885                         while (forwards + fragsize <= size) {
886                                 if (buf[forwards++] == '\n')
887                                         break;
888                         }
889                         try = forwards;
890                 }
891
892                 if (try + fragsize > size)
893                         continue;
894                 if (memcmp(buf + try, fragment, fragsize))
895                         continue;
896                 n = (i >> 1)+1;
897                 if (i & 1)
898                         n = -n;
899                 return try;
900         }
901
902         /*
903          * We should start searching forward and backward.
904          */
905         return -1;
906 }
907
908 struct buffer_desc {
909         char *buffer;
910         unsigned long size;
911         unsigned long alloc;
912 };
913
914 static int apply_one_fragment(struct buffer_desc *desc, struct fragment *frag)
915 {
916         char *buf = desc->buffer;
917         const char *patch = frag->patch;
918         int offset, size = frag->size;
919         char *old = xmalloc(size);
920         char *new = xmalloc(size);
921         int oldsize = 0, newsize = 0;
922
923         while (size > 0) {
924                 int len = linelen(patch, size);
925                 int plen;
926
927                 if (!len)
928                         break;
929
930                 /*
931                  * "plen" is how much of the line we should use for
932                  * the actual patch data. Normally we just remove the
933                  * first character on the line, but if the line is
934                  * followed by "\ No newline", then we also remove the
935                  * last one (which is the newline, of course).
936                  */
937                 plen = len-1;
938                 if (len < size && patch[len] == '\\')
939                         plen--;
940                 switch (*patch) {
941                 case ' ':
942                 case '-':
943                         memcpy(old + oldsize, patch + 1, plen);
944                         oldsize += plen;
945                         if (*patch == '-')
946                                 break;
947                 /* Fall-through for ' ' */
948                 case '+':
949                         memcpy(new + newsize, patch + 1, plen);
950                         newsize += plen;
951                         break;
952                 case '@': case '\\':
953                         /* Ignore it, we already handled it */
954                         break;
955                 default:
956                         return -1;
957                 }
958                 patch += len;
959                 size -= len;
960         }
961
962         offset = find_offset(buf, desc->size, old, oldsize, frag->newpos);
963         if (offset >= 0) {
964                 int diff = newsize - oldsize;
965                 unsigned long size = desc->size + diff;
966                 unsigned long alloc = desc->alloc;
967
968                 if (size > alloc) {
969                         alloc = size + 8192;
970                         desc->alloc = alloc;
971                         buf = xrealloc(buf, alloc);
972                         desc->buffer = buf;
973                 }
974                 desc->size = size;
975                 memmove(buf + offset + newsize, buf + offset + oldsize, size - offset - newsize);
976                 memcpy(buf + offset, new, newsize);
977                 offset = 0;
978         }
979
980         free(old);
981         free(new);
982         return offset;
983 }
984
985 static int apply_fragments(struct buffer_desc *desc, struct patch *patch)
986 {
987         struct fragment *frag = patch->fragments;
988
989         while (frag) {
990                 if (apply_one_fragment(desc, frag) < 0)
991                         return error("patch failed: %s:%ld", patch->old_name, frag->oldpos);
992                 frag = frag->next;
993         }
994         return 0;
995 }
996
997 static int apply_data(struct patch *patch, struct stat *st)
998 {
999         char *buf;
1000         unsigned long size, alloc;
1001         struct buffer_desc desc;
1002
1003         size = 0;
1004         alloc = 0;
1005         buf = NULL;
1006         if (patch->old_name) {
1007                 size = st->st_size;
1008                 alloc = size + 8192;
1009                 buf = xmalloc(alloc);
1010                 if (read_old_data(st, patch->old_name, buf, alloc) != size)
1011                         return error("read of %s failed", patch->old_name);
1012         }
1013
1014         desc.size = size;
1015         desc.alloc = alloc;
1016         desc.buffer = buf;
1017         if (apply_fragments(&desc, patch) < 0)
1018                 return -1;
1019         patch->result = desc.buffer;
1020         patch->resultsize = desc.size;
1021
1022         if (patch->is_delete && patch->resultsize)
1023                 return error("removal patch leaves file contents");
1024
1025         return 0;
1026 }
1027
1028 static int check_patch(struct patch *patch)
1029 {
1030         struct stat st;
1031         const char *old_name = patch->old_name;
1032         const char *new_name = patch->new_name;
1033
1034         if (old_name) {
1035                 int changed;
1036                 int stat_ret = lstat(old_name, &st);
1037
1038                 if (check_index) {
1039                         int pos = cache_name_pos(old_name, strlen(old_name));
1040                         if (pos < 0)
1041                                 return error("%s: does not exist in index",
1042                                              old_name);
1043                         if (stat_ret < 0) {
1044                                 struct checkout costate;
1045                                 if (errno != ENOENT)
1046                                         return error("%s: %s", old_name,
1047                                                      strerror(errno));
1048                                 /* checkout */
1049                                 costate.base_dir = "";
1050                                 costate.base_dir_len = 0;
1051                                 costate.force = 0;
1052                                 costate.quiet = 0;
1053                                 costate.not_new = 0;
1054                                 costate.refresh_cache = 1;
1055                                 if (checkout_entry(active_cache[pos],
1056                                                    &costate) ||
1057                                     lstat(old_name, &st))
1058                                         return -1;
1059                         }
1060
1061                         changed = ce_match_stat(active_cache[pos], &st);
1062                         if (changed)
1063                                 return error("%s: does not match index",
1064                                              old_name);
1065                 }
1066                 else if (stat_ret < 0)
1067                         return error("%s: %s", old_name, strerror(errno));
1068
1069                 if (patch->is_new < 0)
1070                         patch->is_new = 0;
1071                 st.st_mode = ntohl(create_ce_mode(st.st_mode));
1072                 if (!patch->old_mode)
1073                         patch->old_mode = st.st_mode;
1074                 if ((st.st_mode ^ patch->old_mode) & S_IFMT)
1075                         return error("%s: wrong type", old_name);
1076                 if (st.st_mode != patch->old_mode)
1077                         fprintf(stderr, "warning: %s has type %o, expected %o\n",
1078                                 old_name, st.st_mode, patch->old_mode);
1079         }
1080
1081         if (new_name && (patch->is_new | patch->is_rename | patch->is_copy)) {
1082                 if (check_index && cache_name_pos(new_name, strlen(new_name)) >= 0)
1083                         return error("%s: already exists in index", new_name);
1084                 if (!lstat(new_name, &st))
1085                         return error("%s: already exists in working directory", new_name);
1086                 if (errno != ENOENT)
1087                         return error("%s: %s", new_name, strerror(errno));
1088                 if (!patch->new_mode) {
1089                         if (patch->is_new)
1090                                 patch->new_mode = S_IFREG | 0644;
1091                         else
1092                                 patch->new_mode = patch->old_mode;
1093                 }
1094         }
1095
1096         if (new_name && old_name) {
1097                 int same = !strcmp(old_name, new_name);
1098                 if (!patch->new_mode)
1099                         patch->new_mode = patch->old_mode;
1100                 if ((patch->old_mode ^ patch->new_mode) & S_IFMT)
1101                         return error("new mode (%o) of %s does not match old mode (%o)%s%s",
1102                                 patch->new_mode, new_name, patch->old_mode,
1103                                 same ? "" : " of ", same ? "" : old_name);
1104         }       
1105
1106         if (apply_data(patch, &st) < 0)
1107                 return error("%s: patch does not apply", old_name);
1108         return 0;
1109 }
1110
1111 static int check_patch_list(struct patch *patch)
1112 {
1113         int error = 0;
1114
1115         for (;patch ; patch = patch->next)
1116                 error |= check_patch(patch);
1117         return error;
1118 }
1119
1120 static void show_file(int c, unsigned int mode, const char *name)
1121 {
1122         printf("%c %o %s\n", c, mode, name);
1123 }
1124
1125 static void show_file_list(struct patch *patch)
1126 {
1127         for (;patch ; patch = patch->next) {
1128                 if (patch->is_rename) {
1129                         show_file('-', patch->old_mode, patch->old_name);
1130                         show_file('+', patch->new_mode, patch->new_name);
1131                         continue;
1132                 }
1133                 if (patch->is_copy || patch->is_new) {
1134                         show_file('+', patch->new_mode, patch->new_name);
1135                         continue;
1136                 }
1137                 if (patch->is_delete) {
1138                         show_file('-', patch->old_mode, patch->old_name);
1139                         continue;
1140                 }
1141                 if (patch->old_mode && patch->new_mode && patch->old_mode != patch->new_mode) {
1142                         printf("M %o:%o %s\n", patch->old_mode, patch->new_mode, patch->old_name);
1143                         continue;
1144                 }
1145                 printf("M %o %s\n", patch->old_mode, patch->old_name);
1146         }
1147 }
1148
1149 static void stat_patch_list(struct patch *patch)
1150 {
1151         int files, adds, dels;
1152
1153         for (files = adds = dels = 0 ; patch ; patch = patch->next) {
1154                 files++;
1155                 adds += patch->lines_added;
1156                 dels += patch->lines_deleted;
1157                 show_stats(patch);
1158         }
1159
1160         printf(" %d files changed, %d insertions(+), %d deletions(-)\n", files, adds, dels);
1161 }
1162
1163 static void show_file_mode_name(const char *newdelete, unsigned int mode, const char *name)
1164 {
1165         if (mode)
1166                 printf(" %s mode %06o %s\n", newdelete, mode, name);
1167         else
1168                 printf(" %s %s\n", newdelete, name);
1169 }
1170
1171 static void show_mode_change(struct patch *p, int show_name)
1172 {
1173         if (p->old_mode && p->new_mode && p->old_mode != p->new_mode) {
1174                 if (show_name)
1175                         printf(" mode change %06o => %06o %s\n",
1176                                p->old_mode, p->new_mode, p->new_name);
1177                 else
1178                         printf(" mode change %06o => %06o\n",
1179                                p->old_mode, p->new_mode);
1180         }
1181 }
1182
1183 static void show_rename_copy(struct patch *p)
1184 {
1185         const char *renamecopy = p->is_rename ? "rename" : "copy";
1186         const char *old, *new;
1187
1188         /* Find common prefix */
1189         old = p->old_name;
1190         new = p->new_name;
1191         while (1) {
1192                 const char *slash_old, *slash_new;
1193                 slash_old = strchr(old, '/');
1194                 slash_new = strchr(new, '/');
1195                 if (!slash_old ||
1196                     !slash_new ||
1197                     slash_old - old != slash_new - new ||
1198                     memcmp(old, new, slash_new - new))
1199                         break;
1200                 old = slash_old + 1;
1201                 new = slash_new + 1;
1202         }
1203         /* p->old_name thru old is the common prefix, and old and new
1204          * through the end of names are renames
1205          */
1206         if (old != p->old_name)
1207                 printf(" %s %.*s{%s => %s} (%d%%)\n", renamecopy,
1208                        (int)(old - p->old_name), p->old_name,
1209                        old, new, p->score);
1210         else
1211                 printf(" %s %s => %s (%d%%)\n", renamecopy,
1212                        p->old_name, p->new_name, p->score);
1213         show_mode_change(p, 0);
1214 }
1215
1216 static void summary_patch_list(struct patch *patch)
1217 {
1218         struct patch *p;
1219
1220         for (p = patch; p; p = p->next) {
1221                 if (p->is_new)
1222                         show_file_mode_name("create", p->new_mode, p->new_name);
1223                 else if (p->is_delete)
1224                         show_file_mode_name("delete", p->old_mode, p->old_name);
1225                 else {
1226                         if (p->is_rename || p->is_copy)
1227                                 show_rename_copy(p);
1228                         else {
1229                                 if (p->score) {
1230                                         printf(" rewrite %s (%d%%)\n",
1231                                                p->new_name, p->score);
1232                                         show_mode_change(p, 0);
1233                                 }
1234                                 else
1235                                         show_mode_change(p, 1);
1236                         }
1237                 }
1238         }
1239 }
1240
1241 static void patch_stats(struct patch *patch)
1242 {
1243         int lines = patch->lines_added + patch->lines_deleted;
1244
1245         if (lines > max_change)
1246                 max_change = lines;
1247         if (patch->old_name) {
1248                 int len = strlen(patch->old_name);
1249                 if (len > max_len)
1250                         max_len = len;
1251         }
1252         if (patch->new_name) {
1253                 int len = strlen(patch->new_name);
1254                 if (len > max_len)
1255                         max_len = len;
1256         }
1257 }
1258
1259 static void remove_file(struct patch *patch)
1260 {
1261         if (write_index) {
1262                 if (remove_file_from_cache(patch->old_name) < 0)
1263                         die("unable to remove %s from index", patch->old_name);
1264         }
1265         unlink(patch->old_name);
1266 }
1267
1268 static void add_index_file(const char *path, unsigned mode, void *buf, unsigned long size)
1269 {
1270         struct stat st;
1271         struct cache_entry *ce;
1272         int namelen = strlen(path);
1273         unsigned ce_size = cache_entry_size(namelen);
1274
1275         if (!write_index)
1276                 return;
1277
1278         ce = xmalloc(ce_size);
1279         memset(ce, 0, ce_size);
1280         memcpy(ce->name, path, namelen);
1281         ce->ce_mode = create_ce_mode(mode);
1282         ce->ce_flags = htons(namelen);
1283         if (lstat(path, &st) < 0)
1284                 die("unable to stat newly created file %s", path);
1285         fill_stat_cache_info(ce, &st);
1286         if (write_sha1_file(buf, size, "blob", ce->sha1) < 0)
1287                 die("unable to create backing store for newly created file %s", path);
1288         if (add_cache_entry(ce, ADD_CACHE_OK_TO_ADD) < 0)
1289                 die("unable to add cache entry for %s", path);
1290 }
1291
1292 static void create_subdirectories(const char *path)
1293 {
1294         int len = strlen(path);
1295         char *buf = xmalloc(len + 1);
1296         const char *slash = path;
1297
1298         while ((slash = strchr(slash+1, '/')) != NULL) {
1299                 len = slash - path;
1300                 memcpy(buf, path, len);
1301                 buf[len] = 0;
1302                 if (mkdir(buf, 0777) < 0) {
1303                         if (errno != EEXIST)
1304                                 break;
1305                 }
1306         }
1307         free(buf);
1308 }
1309
1310 static int try_create_file(const char *path, unsigned int mode, const char *buf, unsigned long size)
1311 {
1312         int fd;
1313
1314         if (S_ISLNK(mode))
1315                 return symlink(buf, path);
1316         fd = open(path, O_CREAT | O_EXCL | O_WRONLY | O_TRUNC, (mode & 0100) ? 0777 : 0666);
1317         if (fd < 0)
1318                 return -1;
1319         while (size) {
1320                 int written = write(fd, buf, size);
1321                 if (written < 0) {
1322                         if (errno == EINTR || errno == EAGAIN)
1323                                 continue;
1324                         die("writing file %s: %s", path, strerror(errno));
1325                 }
1326                 if (!written)
1327                         die("out of space writing file %s", path);
1328                 buf += written;
1329                 size -= written;
1330         }
1331         if (close(fd) < 0)
1332                 die("closing file %s: %s", path, strerror(errno));
1333         return 0;
1334 }
1335
1336 /*
1337  * We optimistically assume that the directories exist,
1338  * which is true 99% of the time anyway. If they don't,
1339  * we create them and try again.
1340  */
1341 static void create_one_file(const char *path, unsigned mode, const char *buf, unsigned long size)
1342 {
1343         if (!try_create_file(path, mode, buf, size))
1344                 return;
1345
1346         if (errno == ENOENT) {
1347                 create_subdirectories(path);
1348                 if (!try_create_file(path, mode, buf, size))
1349                         return;
1350         }
1351
1352         if (errno == EEXIST) {
1353                 unsigned int nr = getpid();
1354
1355                 for (;;) {
1356                         const char *newpath;
1357                         newpath = mkpath("%s~%u", path, nr);
1358                         if (!try_create_file(newpath, mode, buf, size)) {
1359                                 if (!rename(newpath, path))
1360                                         return;
1361                                 unlink(newpath);
1362                                 break;
1363                         }
1364                         if (errno != EEXIST)
1365                                 break;
1366                 }                       
1367         }
1368         die("unable to write file %s mode %o", path, mode);
1369 }
1370
1371 static void create_file(struct patch *patch)
1372 {
1373         const char *path = patch->new_name;
1374         unsigned mode = patch->new_mode;
1375         unsigned long size = patch->resultsize;
1376         char *buf = patch->result;
1377
1378         if (!mode)
1379                 mode = S_IFREG | 0644;
1380         create_one_file(path, mode, buf, size); 
1381         add_index_file(path, mode, buf, size);
1382 }
1383
1384 static void write_out_one_result(struct patch *patch)
1385 {
1386         if (patch->is_delete > 0) {
1387                 remove_file(patch);
1388                 return;
1389         }
1390         if (patch->is_new > 0 || patch->is_copy) {
1391                 create_file(patch);
1392                 return;
1393         }
1394         /*
1395          * Rename or modification boils down to the same
1396          * thing: remove the old, write the new
1397          */
1398         remove_file(patch);
1399         create_file(patch);
1400 }
1401
1402 static void write_out_results(struct patch *list, int skipped_patch)
1403 {
1404         if (!list && !skipped_patch)
1405                 die("No changes");
1406
1407         while (list) {
1408                 write_out_one_result(list);
1409                 list = list->next;
1410         }
1411 }
1412
1413 static struct cache_file cache_file;
1414
1415 static struct excludes {
1416         struct excludes *next;
1417         const char *path;
1418 } *excludes;
1419
1420 static int use_patch(struct patch *p)
1421 {
1422         const char *pathname = p->new_name ? p->new_name : p->old_name;
1423         struct excludes *x = excludes;
1424         while (x) {
1425                 if (fnmatch(x->path, pathname, 0) == 0)
1426                         return 0;
1427                 x = x->next;
1428         }
1429         return 1;
1430 }
1431
1432 static int apply_patch(int fd)
1433 {
1434         int newfd;
1435         unsigned long offset, size;
1436         char *buffer = read_patch_file(fd, &size);
1437         struct patch *list = NULL, **listp = &list;
1438         int skipped_patch = 0;
1439
1440         if (!buffer)
1441                 return -1;
1442         offset = 0;
1443         while (size > 0) {
1444                 struct patch *patch;
1445                 int nr;
1446
1447                 patch = xmalloc(sizeof(*patch));
1448                 memset(patch, 0, sizeof(*patch));
1449                 nr = parse_chunk(buffer + offset, size, patch);
1450                 if (nr < 0)
1451                         break;
1452                 if (use_patch(patch)) {
1453                         patch_stats(patch);
1454                         *listp = patch;
1455                         listp = &patch->next;
1456                 } else {
1457                         /* perhaps free it a bit better? */
1458                         free(patch);
1459                         skipped_patch++;
1460                 }
1461                 offset += nr;
1462                 size -= nr;
1463         }
1464
1465         newfd = -1;
1466         write_index = check_index && apply;
1467         if (write_index)
1468                 newfd = hold_index_file_for_update(&cache_file, get_index_file());
1469         if (check_index) {
1470                 if (read_cache() < 0)
1471                         die("unable to read index file");
1472         }
1473
1474         if ((check || apply) && check_patch_list(list) < 0)
1475                 exit(1);
1476
1477         if (apply)
1478                 write_out_results(list, skipped_patch);
1479
1480         if (write_index) {
1481                 if (write_cache(newfd, active_cache, active_nr) ||
1482                     commit_index_file(&cache_file))
1483                         die("Unable to write new cachefile");
1484         }
1485
1486         if (show_files)
1487                 show_file_list(list);
1488
1489         if (diffstat)
1490                 stat_patch_list(list);
1491
1492         if (summary)
1493                 summary_patch_list(list);
1494
1495         free(buffer);
1496         return 0;
1497 }
1498
1499 int main(int argc, char **argv)
1500 {
1501         int i;
1502         int read_stdin = 1;
1503
1504         for (i = 1; i < argc; i++) {
1505                 const char *arg = argv[i];
1506                 int fd;
1507
1508                 if (!strcmp(arg, "-")) {
1509                         apply_patch(0);
1510                         read_stdin = 0;
1511                         continue;
1512                 }
1513                 if (!strncmp(arg, "--exclude=", 10)) {
1514                         struct excludes *x = xmalloc(sizeof(*x));
1515                         x->path = arg + 10;
1516                         x->next = excludes;
1517                         excludes = x;
1518                         continue;
1519                 }
1520                 /* NEEDSWORK: this does not do anything at this moment. */
1521                 if (!strcmp(arg, "--no-merge")) {
1522                         merge_patch = 0;
1523                         continue;
1524                 }
1525                 if (!strcmp(arg, "--stat")) {
1526                         apply = 0;
1527                         diffstat = 1;
1528                         continue;
1529                 }
1530                 if (!strcmp(arg, "--summary")) {
1531                         apply = 0;
1532                         summary = 1;
1533                         continue;
1534                 }
1535                 if (!strcmp(arg, "--check")) {
1536                         apply = 0;
1537                         check = 1;
1538                         continue;
1539                 }
1540                 if (!strcmp(arg, "--index")) {
1541                         check_index = 1;
1542                         continue;
1543                 }
1544                 if (!strcmp(arg, "--apply")) {
1545                         apply = 1;
1546                         continue;
1547                 }
1548                 if (!strcmp(arg, "--show-files")) {
1549                         show_files = 1;
1550                         continue;
1551                 }
1552                 fd = open(arg, O_RDONLY);
1553                 if (fd < 0)
1554                         usage(apply_usage);
1555                 read_stdin = 0;
1556                 apply_patch(fd);
1557                 close(fd);
1558         }
1559         if (read_stdin)
1560                 apply_patch(0);
1561         return 0;
1562 }