[PATCH] Header files for object parsing

This adds the structs and function declarations for parsing git objects.

Signed-Off-By: Daniel Barkalow <barkalow@iabervon.org>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Do a very simple "merge-base" that finds the most recent common
parent of two commits.

The question of "best" commit can probably be tweaked almost arbitrarily.
In particular, trying to take things like how big the tree differences
are into account migt be a good idea. This one is just very simple.

Make "rev-tree.c" use the new-and-improved "mark_reachable()"

It used to have its own specialized version for marking the
sub-reachability bits.

Make "revision.h" slightly better to use.

 - mark_reachable() can be more generic, marking the reachable revisions
   with an arbitrary mask.
 - date parsing will parse to a date of 0 rather than ULONG_MAX for the
   bad old case, sorting the dates correctly.

Move "parse_commit()" into common revision.h file.

This also drops the old-style date parsing. We just don't care
enough, since we dropped that format pretty early.

Yes, this could do with some cleanup, and a common library file.
Some day.

[PATCH] fix for memory leak in write-tree.c

Fix a memory leak in write-tree.c, not freeing the directory buffer.

[PATCH] Fix +x-related show-diff false positives

This fixes show-diff listing all +x files as differring.

Signed-off-by: Petr Baudis <pasky@ucw.cz>
[ That's what I get for working on a G5 - my testing was all
  big-endian in the first place.  -- Linus ]

Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Remove unused arguments from index_fd()

The function index_fd() in update-cache.c takes 5 arguments, but
two is not necessary and one that is a pointer to a structure
really needs to be a pointer to one member of that structure.
This patch cleans it up.

Also it removes printf() apparently left after initial
debugging.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Better error message from checkout-cache for unmerged files.

The checkout-cache command says "file is not in the cache" when
an unmerged path is given.  This patch adds code to distinguish
the unmerged and the nonexistent cases and gives an appropriate
error message.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Fix total permission bogosity in "checkout-cache.c".

Use the proper octal mode naming instead of random decimal
crud, and don't reset the mode after the create with fchmod:
the whole point was to let "umask" do its thing.

Duh.

[PATCH] update-cache --remove marks the path merged.

When update-cache --remove is run, resolve unmerged state for
the path.  This is consistent with the update-cache --add
behaviour.  Essentially, the user is telling us how he wants to
resolve the merge by running update-cache.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Fixed to do the right thing at the end.

Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] show-diff.c: do not include unused header file

This is my bad.  I added #include <ctype.h> to the file,
which I ended up not using and failed to remove it.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Be much more liberal about the file mode bits.

We only really care about the difference between a file being executable
or not (by its owner). Everything else we leave for the user umask to
decide.

[PATCH] Do not run useless show-diff on unmerged paths repeatedly.

When run on unmerged dircache, show-diff compares the working
file with each non-empty stage for that path.  Two out of three
times, this is not very helpful.  This patch makes it report the
unmergedness only once per each path and avoids running the
actual diff.

Upper layer SCMs like Cogito are expected to find out mode/SHA1
for each stage by using "show-files --stage" and run the diff
itself.  This would result in more sensible diffs.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] show-diff style fix.

This fixes some stylistic problems introduced by my previous set
of patches.  I'll be sending my last patch to show-diff next,
which depends on this cleanup.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Rename confusing variable in show-diff

The show-diff command uses a variable "new" but it is always
used to point at the original data recorded in the dircache
before the user started editing in the working file.  Rename it
to "old" to avoid confusion.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] show-diff shell safety

The command line for running "diff" command is built without
taking shell metacharacters into account.  A malicious dircache
entry "foo 2>bar" (yes, a filename with space) would result in
creating a file called "bar" with the error message "diff: foo:
No such file or directory" in it.

This is not just a user screwing over himself.  Such a dircache
can be created as a result of a merge with tree from others.

Here is a fix.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] show-diff -z option for machine readable output.

This patch adds the -z option to the show-diff command,
primarily for use by scripts.  The information emitted is
similar to that of -q option, but in a more machine readable
form.  Records are terminated with NUL instead of LF, so that
the scripts can deal with pathnames with embedded newlines.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Optionally tell show-diff to show only named files

SCMs have ways to say "I want diff only this particular file",
or "I want diff files under this directory".  This patch teaches
show-diff to do something similar.  Without command line
arguments, it still examines everything in the dircache as
before.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Un unoptimize ls-tree behaviour

ls-tree unconditionally called read_sha1_file() for all paths
even when not needed, which was a mistake introduced by me.
Rectify this by first checking S_ISDIR(mode) and read the tree
contents only when it is a tree and we are recursive.  There is
no need to read it in any other cases.

The patch also removes the confusing comment that led to this
incorrect implementation.

Thanks to Peter Baudis for noticing this problem.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Add "--unmerged" flag to "show-files", which does what the name implies.

The flag also implies "--stage", since unmerged file information doesn't
make sense without the full output.

Remove "merge-tree.c"

It's there in the history if somebody wants to resurrect it, but it
seems to have been successfully superceded by the new and improved
index-merge thing, where we do all merging entirely in the index.

When inserting a index entry of stage 0, remove all old unmerged entries.

This allows you to actually tell git that you've resolved a conflict.

Make 'read-tree' do a few more of the trivial merge cases.

This cuts down the work for the "real merge" to stuff where
people might actually disagree on the algorithm. The trivial
cases would seem to be totally independent of any policy.

[PATCH] Add --stage to show-files for new stage dircache.

This adds --stage option to show-files command.  It shows
file-mode, SHA1, stage and pathname.  Record separator follows
the usual convention of -z option as before.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Byteorder fix for read-tree, new -m semantics version.

The ce_namelen field has been renamed to ce_flags and split into
the top 2-bit unused, next 2-bit stage number and the lowest
12-bit name-length, stored in the network byte order.  A new
macro create_ce_flags() is defined to synthesize this value from
length and stage, but it forgets to turn the value into the
network byte order.  Here is a fix.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Make "read-tree" merge the trees it reads by giving them consecutive states.

Normally you'd use state 0 for the "merged" state, and start out with
state 1 being "origin", state 2 being "first tree" and state 3 being
"second tree".

Once all the index entries are back in state 0, we have a successful
merge and can write the result tree back.

Make cache entry comparison take the new "state" flag into account.

This is what allows us to have multiple states of the same file in
the index, and what makes it always sort correctly.

write-tree: refuse to write out trees with unmerged index entries.

Of course, we can't even generate such an index yet, but give me
some time. This is a cunning plan. Let's see if it actually works.

(I feel like Wile E Coyote, waiting for the big rock to fall).

Encode a few extra flags per index entry.

This will allow us to have the same name in different "states" in the
index at the same time. Which in turn seems to be a very simple way to
merge.

Simplify show-diff cache entry name handling.

The cache-entry names are all proper strings, no need to worry about
their length.

[PATCH] Add '-z' to merge-tree.c

This adds '-z' to merge-tree and changes its default line termination to
LF to make it consistent with your other recent changes.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Make "diff-tree" have similar behaviour as "ls-tree" wrt line termination.

Default to the human-readable '\n', but make the scriptable "-z" flag
do the old '\0' behaviour.

[PATCH] Add "-q" option to show-diff.c

This adds the '-q' option for show-diff.c to squelch complaints for
missing files.

It is handy if you want to run it in the merge temporary directory after
running merge-trees with its minimum checkout mode, which is the
default, because you would not find any files other than the ones that
needs human validation after the merge there.

It also fixes the argument parsing bug Paul Mackerras noticed in
<16991.42305.118284.139777@cargo.ozlabs.ibm.com> but slightly
differently.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

[PATCH] Add -z option to show-files

This adds NUL-terminated output (-z) to show-files.  This is necessary
for merge-trees script to deal with filenames with embedded newlines.

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Add "--cacheinfo" option to update-cache.

This allows scripts to manually add entries to the cache explicitly.

Need to do some way to remove them too, even if the path exists.

Convert the index file reading/writing to use network byte order.

This allows using a git tree over NFS with different byte order, and
makes it possible to just copy a fully populated repository and have
the end result immediately usable (needing just a refresh to update
the stat information).

[PATCH] Simplify date handling and make it more reliable

This make all dates be stores as seconds since UTC epoch, with the
author's or committer's timezone as auxiliary data so that dates can be
pretty-printed in the original timezone later if anyone cares.  I left
the date parsing in rev-tree.c for backward compatibility but it can be
dropped when we change to base64 :)

commit-tree now eats RFC2822 dates as AUTHOR_DATE because that's
what you're going to want to feed it.

Yes, glibc sucks and strptime is a pile of crap. We have to parse it
ourselves.

[PATCH] ls-tree enhancements

This adds '-r' (recursive) option and '-z' (NUL terminated)
option to ls-tree.  I need it so that the merge-trees (formerly
known as git-merge.perl) script does not need to create any
temporary dircache while merging.  It used to use show-files on
a temporary dircache to get the list of files in the ancestor
tree, and also used the dircache to store the result of its
automerge.  I probably still need it for the latter reason, but
with this patch not for the former reason anymore.

It is relative to bb95843a5a0f397270819462812735ee29796fb4

Signed-off-by: Junio C Hamano <junkio@cox.net>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Add "merge-tree" helper program. Maybe it's retarded, maybe it's helpful.

It only works one directory level at a time, so lookout..

Use common "revision.h" header for both fsck and rev-tree.

It's really a very generic thing: the notion of one sha1 revision
referring to another one. "fsck" uses it for all nodes, and "rev-tree"
only tracks commit-node relationships, but the code was already
the same - now we just make that explicit by moving it to a common
header file.

Fix read-cache.c collission check logic.

Not only did it test the #define the wrong way around, but
it also leaked file descriptors and VM space. This should
fix it.

Make 'fsck' able to take an arbitrary number of parents on the
command line.

"arbitrary" is a bit wrong, since it is limited by the argument
size limit (128kB or so), but let's see if anybody ever cares.
Arguably you should prune your tree before you have a few thousand
dangling heads in your archive.

We can fix it by passing in a file listing if we ever care.

Make fsck reachability avoid doing unnecessary work for
parents that we reach multiple ways.

This doesn't matter right now. It _will_ matter once we have
complex revision graphs.

Make "fsck-cache" use the same revision tracking structure as "rev-tree".

This makes things a lot more efficient, and makes it trivial to do things
like reachability analysis.

Add command line flags to tell what the head is, and whether to warn
about unreachable objects.

[PATCH] Change diff-tree output format

Changes diff-tree output format so that fields are separated by tabs instead of
spaces (readibility, parseability), and tree entry type is listed along the
entry (avoids having to figure that out from the mode in the scripts).

This is what my scripts expect.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] diff-tree usage

Fix diff-tree usage, since it takes -r instead of -R now.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] nsec portability

It seems like the nsec portability is limited; in particular, older
glibcs (<=2.2.4 at least) don't seem to like it. So access the nsec
fields in struct stat only when -DNSEC.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Whitespace Fixes

Trivial whitespace fixes.

From: Ingo Molnar <mingo@elte.hu>
Signed-off-by: Ingo Molnar <mingo@elte.hu>
Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] No need to clean temp_git_file_* anymore

Ancient cat-file command used to leave temp_git_file_* and there
was support to remove them in the clean target of Makefile.  I
do not think it is needed anymore.

From: Junio C Hamano <junkio@cox.net>
Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Typofix in git/show-files.

Fixes a typo in usage string.

From: Junio C Hamano <junkio@cox.net>
Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Consolidate the error handling

Now there is error() for "library" errors and die() for fatal "application"
errors. usage() is now used strictly only for usage errors.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Make nsec checking optional

The nsec field of ctime/mtime is now checked only with -DNSEC defined during
compilation. nsec acts broken since it is stored in the icache but apparently
just gets to zero when flushed to filesystem not supporting it (e.g. ext3),
creating illusions of false changes. At least that's my impression.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] SHA1 naive collision checking

When compiled with -DCOLLISION_CHECK, we will check against SHA1
collisions when writing to the object database.

From: Christopher Li <chrislgit@chrisli.org>
Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] ls-tree for listing trees

ls-tree tool provides just a way to export the binary tree objects
to a usable text format. This is bound to be useful in variety
of scripts, although none of those I have currently uses it.
But e.g. the simple script I've sent to HPA for purging the object
database uses it.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Correct show-diff output for deleted files

My convention is that contrary to files trimmed to zero size,
deleted files always go to /dev/null. This patch turns show-diff
to abide this.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Silent flag for show-diff

This patch adds a -s flag for show-diff, which will surpress the
actual diffing. This is useful for my scripts when they just want
to see what needs to be updated in the cache.

Signed-off-by: Petr Baudis <pasky@ucw.cz>

[PATCH] Fix a crash when doing rev-tree

In parse_commit(), free(buffer) is fed a bogus pointer.

Signed-off-by: Petr Baudis <pasky@ucw.cz>
Signed-off-by: Linus Torvalds <torvalds@osdl.org>

Make "checkout-cache" silently skip up-to-date files.

It used to always overwrite them if forced. Now it just
realizes that they are already ok, and don't need to be
touched.

Make "rev-tree" able to read its own output again from the cache.

Also, add "date" information to the output so that you can do something
like this:

rev-tree `cat .git/HEAD` | sort -nr | cut -d' ' -f2 | while read i; do cat-file commit $i; done

which basically becomes a "git log" (aka "git changes") where things are
sorted by time.

[PATCH] rev-tree support for "in X but not in Y".

To do the automated commit-mailing I need to be able to answer the
question "which commits are here today but weren't yesterday"...  i.e.
given two commit-ids $HEAD and $YESTERDAY I want to be able to do:

rev-tree $HEAD ^$YESTERDAY

to list those commits which are in the tree now but weren't
ancestors of yesterday's head.

Yes, I could probably do this with
rev-tree $HEAD $YESTERDAY | egrep -v ^[a-z0-9]*:3
but I prefer not to.

[PATCH] show-diff show deleted files as diff as well.

The ideas is that using the show-diff to generate the
patch including deleted and new file (in the next patch).
So we don't have to do the temp new file diff dance on the
script.

The cache index now contain enough information to generate
the whole patch. So the GIT SCM don't need separate command
for check out file to edit or delete. Just do the edit and
remove and GIT will generate the correct patch.

It still require tell GIT to add new files.

Remove the annoying "ok" printout from show-diff.

It used to be useful before I wrote "show-files", so that
show-diff would also tell what the cached files were. Now
it's just annoying.

Add a "check-files" command, which is useful for scripting
patches.

In particular, it verifies that all the listed files are up-to-date
in the cache (or don't exist and are ready to be added).

Add "show-files" command to show the list of managed (or non-managed) files.

You want things like this to check in a patch..

Allow zero-sized files to be checked in.

The kernel may not want it, but others probably do.

Noted (again) by Junio Hamano.

Make the rev-tree output more regular. This is the last
change. Promise.

It now always outputs all the revisions as <sha1>:<reachability>, where the
reachability is the bitmask of how that revision was reachable from the
commits in the argument list.

Trivially, if there is only one commit, the reachability will always be
(1 << 0) == 1 for all reachable revisions, and there won't be any edges
(so the "--edges" flag only makes sense with multiple commit keys).

Make "rev-tree" capable of showing the difference in reachability between two
or more commit points.

This is important both to know what the difference between two commit
points is, but also to figure out where to try to merge from.

Make "rev-tree" more efficient and more useful.

Slight change of output format: it now lists all parents on the same line.

This allows it to work on initial commits too (which have no parents), and
also makes the output format a lot more intuitive.

Rename ".dircache" directory to ".git"

I started out calling the tool "dircache". That's clearly moronic.

Fix stale index.lock file removal using "atexit()".

Problem noted by Randy Dunlap.

Add a "rev-tree" helper, which calculates the revision
tree graph.

It's quite fast when the commit-objects are cached, but since
it has to walk every single commit-object, it also allows you
to cache an old state and just add on top of that.

Fix "usage()" to do the missing line termination.

It got broken when I changed it to use stdarg.

Fix "update-cache" not fixing up the size field as appropriate.

The size field isn't in the tree information, so we need to
update it if the sha1 matches.

Make the default directory permissions more lax.

After all, if you want to not allow others to read your
stuff, set your "umask" appropriately or make sure the
parent directories aren't readable/executable.

Add a COPYING notice, making it explicit that the license is GPLv2.

Let's bite the v3 bullet when it comes, although if people want to,
they can just state "or later at discretion of Linus" in their copyright
messages.

Make "update-cache --refresh" do what it really should do: just
refresh the "stat" information.

We need this after having done a "read-tree", for example, when the
stat information does not match the checked-out tree, and we want to
start getting efficient cache matching against the parts of the tree
that are already up-to-date.

Fix up commit-tree/diff-tree user interface issues.

No, this doesn't make them easy to use, but makes diff-tree use
the "-r" flag for "recursive" (not "-R") and makes commit-tree
use AUTHOR_xxx environment flags (not COMMITTER_xxx) to match what
it actually does.

Oops. Fix bad initialization of the "seen" array, causing us to not
properly clear the reference count at init time. It happened to work
for me by pure luck.

Until it broke, and my unreferenced commit suddenly looked referenced
again. Fixed.

Oops, the actual 'printf' for missing objects was missing.

Which made fsck very quiet about objects it hadn't found. So add
it.

We'll need to make things like these optional, because it's
perfectly ok to have partial history if you don't want it,
and don't want to go backwards. But for development, it's best
to always complain about missing sha1 object files that are
referenced from somewhere else.

Add connectivity tracking to fsck.

This shows that I've lost track of one commit already. Most likely
because I forgot to update the .dircache/HEAD file when doing a
commit, so that the next commit referenced not the top-of-tree, but
the one older commit.

Having dangling commits is fine (in fact, you should always have
at least _one_ dangling commit in the top-of-tree). But it's
good to know about them.

Fix off-by-one error in removal of cache entry.

Also make the return value of "cache_name_pos()" be sane: positive
or zero if we found it (it's the index into the cache array), and
"-pos-1" to indicate where it should go if we didn't.

Fix diff-tree recursion.

And, perhaps more importantly, fix the fact that if a filename changed from a
directory to a file (or vice versa), we must consider it a delete and an add,
not a "filechange".

Simplify "diff-tree" output, and only keep track of one single name-base.

During original development I had different name-bases for source and
destination, so that I could make the output show how it got removed
from "tree a" and added to "tree b", but we don't want that. We only
do recursive diffs on anything where the bases are exactly the same,
so we might as well just work with a single base.

Also, make the output for "changed" be a single line, since people
hated the separate '<' / '>' format. They were right. It sucked.

Add "-R" flag to "diff-tree", so that it will recursively traverse a tree of trees
as it diffs them.

This makes diff-tree usable again in the new world order.

Make "update-cache" a bit friendlier to use (and harder to mis-use).

It now requires the "--add" flag before you add any new files, and
a "--remove" file if you want to mark files for removal. And giving
it the "--refresh" flag makes it just update all the files that it
already knows about.

This implements the new "recursive tree" write-tree.

It's got some debugging printouts etc still in it, but testing on the
kernel seems to show that it does indeed fix the issue with huge tree
files for each commit.

Make fsck-cache warn about old-style tree objects that have full
pathnames in them. We're migrating away from that.

This will cause tons of warnings for the current "sparse" archive,
but hell, better now than later.

Teach "fsck" and "read-tree" about recursive tree-nodes.

This is totally untested, since we can't actually _write_ things that
way yet, but I'll get to that next, I hope. That should fix the
huge wasted space for kernel-sized tree objects.

Make "fsck-cache" print out all the root commits it finds.

Once I do the reference tracking, I'll also make it print out all the
HEAD commits it finds, which is even more interesting.

Add "diff-tree" program to show which files have changed between two trees.

Very useful for creating diffs efficiently, and in general to see what has
changed in the namespace.

Export "cache_name_compare()" helper function.

The "diff-tree" program needs it.

Make "read-tree" read the tree into the current directory cache.

It will no longer update the actual working directory, just the
cache. To update the working directory, you need to use "checkout-cache".

Make "write_cache()" and friends available as generic routines.

This is needed for the change to make "read-tree" just read into the
cache (and then you do a "checkout-cache" to update your current dir
contents).

Fix "checkout-cache.c" mis-use of read_sha1_file() interface.

It's supposed to test the returned file type, not think that read_sha1_file()
tests it. Confusion from "cat-file" command line usage.

Fix up "checkout-cache" a bit

Make the warnings have newlines, and don't stop "checkout-cache -a"
just because a file already exists.

Add a "checkout-cache" command which does what the name suggests.

I'll also eventually change "read-tree" to only update the cache
information, instead of doing a checkout of the tree. Much nicer.

Make the cache stat information comparator public.

Like the cache filename finder, it's a generically useful function,
rather than something specific to the current "show-diff" thing.

Make "cache_name_pos()" available to others.

It finds the cache entry position for a given name, and is
generally useful. Sure, everybody can just scan the active
cache array, but since it's sorted, you actually want to
search it with a binary search, so let's not duplicate that
logic all over the place.

Fix missing return values and some error tests for empty index files

Patches from Dave Jones and Ingo Molnar, but since I don't have any
infrastructure in place to use the old patch applicator scripts I
am trying to build up, I ended up fixing the thing by hand instead.

Credit where credit is due, though. Nice to see that people are
taking a look at the project even in this early stage.