pack-objects: improve path grouping heuristics.
[git.git] / daemon.c
1 #include <signal.h>
2 #include <sys/wait.h>
3 #include <sys/socket.h>
4 #include <sys/time.h>
5 #include <sys/poll.h>
6 #include <netdb.h>
7 #include <netinet/in.h>
8 #include <arpa/inet.h>
9 #include <syslog.h>
10 #include "pkt-line.h"
11 #include "cache.h"
12 #include "exec_cmd.h"
13
14 static int log_syslog;
15 static int verbose;
16 static int reuseaddr;
17
18 static const char daemon_usage[] =
19 "git-daemon [--verbose] [--syslog] [--inetd | --port=n] [--export-all]\n"
20 "           [--timeout=n] [--init-timeout=n] [--strict-paths]\n"
21 "           [--base-path=path] [--user-path | --user-path=path]\n"
22 "           [--reuseaddr] [directory...]";
23
24 /* List of acceptable pathname prefixes */
25 static char **ok_paths = NULL;
26 static int strict_paths = 0;
27
28 /* If this is set, git-daemon-export-ok is not required */
29 static int export_all_trees = 0;
30
31 /* Take all paths relative to this one if non-NULL */
32 static char *base_path = NULL;
33
34 /* If defined, ~user notation is allowed and the string is inserted
35  * after ~user/.  E.g. a request to git://host/~alice/frotz would
36  * go to /home/alice/pub_git/frotz with --user-path=pub_git.
37  */
38 static char *user_path = NULL;
39
40 /* Timeout, and initial timeout */
41 static unsigned int timeout = 0;
42 static unsigned int init_timeout = 0;
43
44 static void logreport(int priority, const char *err, va_list params)
45 {
46         /* We should do a single write so that it is atomic and output
47          * of several processes do not get intermingled. */
48         char buf[1024];
49         int buflen;
50         int maxlen, msglen;
51
52         /* sizeof(buf) should be big enough for "[pid] \n" */
53         buflen = snprintf(buf, sizeof(buf), "[%ld] ", (long) getpid());
54
55         maxlen = sizeof(buf) - buflen - 1; /* -1 for our own LF */
56         msglen = vsnprintf(buf + buflen, maxlen, err, params);
57
58         if (log_syslog) {
59                 syslog(priority, "%s", buf);
60                 return;
61         }
62
63         /* maxlen counted our own LF but also counts space given to
64          * vsnprintf for the terminating NUL.  We want to make sure that
65          * we have space for our own LF and NUL after the "meat" of the
66          * message, so truncate it at maxlen - 1.
67          */
68         if (msglen > maxlen - 1)
69                 msglen = maxlen - 1;
70         else if (msglen < 0)
71                 msglen = 0; /* Protect against weird return values. */
72         buflen += msglen;
73
74         buf[buflen++] = '\n';
75         buf[buflen] = '\0';
76
77         write(2, buf, buflen);
78 }
79
80 static void logerror(const char *err, ...)
81 {
82         va_list params;
83         va_start(params, err);
84         logreport(LOG_ERR, err, params);
85         va_end(params);
86 }
87
88 static void loginfo(const char *err, ...)
89 {
90         va_list params;
91         if (!verbose)
92                 return;
93         va_start(params, err);
94         logreport(LOG_INFO, err, params);
95         va_end(params);
96 }
97
98 static int avoid_alias(char *p)
99 {
100         int sl, ndot;
101
102         /* 
103          * This resurrects the belts and suspenders paranoia check by HPA
104          * done in <435560F7.4080006@zytor.com> thread, now enter_repo()
105          * does not do getcwd() based path canonicalizations.
106          *
107          * sl becomes true immediately after seeing '/' and continues to
108          * be true as long as dots continue after that without intervening
109          * non-dot character.
110          */
111         if (!p || (*p != '/' && *p != '~'))
112                 return -1;
113         sl = 1; ndot = 0;
114         p++;
115
116         while (1) {
117                 char ch = *p++;
118                 if (sl) {
119                         if (ch == '.')
120                                 ndot++;
121                         else if (ch == '/') {
122                                 if (ndot < 3)
123                                         /* reject //, /./ and /../ */
124                                         return -1;
125                                 ndot = 0;
126                         }
127                         else if (ch == 0) {
128                                 if (0 < ndot && ndot < 3)
129                                         /* reject /.$ and /..$ */
130                                         return -1;
131                                 return 0;
132                         }
133                         else
134                                 sl = ndot = 0;
135                 }
136                 else if (ch == 0)
137                         return 0;
138                 else if (ch == '/') {
139                         sl = 1;
140                         ndot = 0;
141                 }
142         }
143 }
144
145 static char *path_ok(char *dir)
146 {
147         static char rpath[PATH_MAX];
148         char *path;
149
150         if (avoid_alias(dir)) {
151                 logerror("'%s': aliased", dir);
152                 return NULL;
153         }
154
155         if (*dir == '~') {
156                 if (!user_path) {
157                         logerror("'%s': User-path not allowed", dir);
158                         return NULL;
159                 }
160                 if (*user_path) {
161                         /* Got either "~alice" or "~alice/foo";
162                          * rewrite them to "~alice/%s" or
163                          * "~alice/%s/foo".
164                          */
165                         int namlen, restlen = strlen(dir);
166                         char *slash = strchr(dir, '/');
167                         if (!slash)
168                                 slash = dir + restlen;
169                         namlen = slash - dir;
170                         restlen -= namlen;
171                         loginfo("userpath <%s>, request <%s>, namlen %d, restlen %d, slash <%s>", user_path, dir, namlen, restlen, slash);
172                         snprintf(rpath, PATH_MAX, "%.*s/%s%.*s",
173                                  namlen, dir, user_path, restlen, slash);
174                         dir = rpath;
175                 }
176         }
177         else if (base_path) {
178                 if (*dir != '/') {
179                         /* Allow only absolute */
180                         logerror("'%s': Non-absolute path denied (base-path active)", dir);
181                         return NULL;
182                 }
183                 else {
184                         snprintf(rpath, PATH_MAX, "%s%s", base_path, dir);
185                         dir = rpath;
186                 }
187         }
188
189         path = enter_repo(dir, strict_paths);
190
191         if (!path) {
192                 logerror("'%s': unable to chdir or not a git archive", dir);
193                 return NULL;
194         }
195
196         if ( ok_paths && *ok_paths ) {
197                 char **pp;
198                 int pathlen = strlen(path);
199
200                 /* The validation is done on the paths after enter_repo
201                  * appends optional {.git,.git/.git} and friends, but 
202                  * it does not use getcwd().  So if your /pub is
203                  * a symlink to /mnt/pub, you can whitelist /pub and
204                  * do not have to say /mnt/pub.
205                  * Do not say /pub/.
206                  */
207                 for ( pp = ok_paths ; *pp ; pp++ ) {
208                         int len = strlen(*pp);
209                         if (len <= pathlen &&
210                             !memcmp(*pp, path, len) &&
211                             (path[len] == '\0' ||
212                              (!strict_paths && path[len] == '/')))
213                                 return path;
214                 }
215         }
216         else {
217                 /* be backwards compatible */
218                 if (!strict_paths)
219                         return path;
220         }
221
222         logerror("'%s': not in whitelist", path);
223         return NULL;            /* Fallthrough. Deny by default */
224 }
225
226 static int upload(char *dir)
227 {
228         /* Timeout as string */
229         char timeout_buf[64];
230         const char *path;
231
232         loginfo("Request for '%s'", dir);
233
234         if (!(path = path_ok(dir)))
235                 return -1;
236
237         /*
238          * Security on the cheap.
239          *
240          * We want a readable HEAD, usable "objects" directory, and
241          * a "git-daemon-export-ok" flag that says that the other side
242          * is ok with us doing this.
243          *
244          * path_ok() uses enter_repo() and does whitelist checking.
245          * We only need to make sure the repository is exported.
246          */
247
248         if (!export_all_trees && access("git-daemon-export-ok", F_OK)) {
249                 logerror("'%s': repository not exported.", path);
250                 errno = EACCES;
251                 return -1;
252         }
253
254         /*
255          * We'll ignore SIGTERM from now on, we have a
256          * good client.
257          */
258         signal(SIGTERM, SIG_IGN);
259
260         snprintf(timeout_buf, sizeof timeout_buf, "--timeout=%u", timeout);
261
262         /* git-upload-pack only ever reads stuff, so this is safe */
263         execl_git_cmd("upload-pack", "--strict", timeout_buf, ".", NULL);
264         return -1;
265 }
266
267 static int execute(void)
268 {
269         static char line[1000];
270         int len;
271
272         alarm(init_timeout ? init_timeout : timeout);
273         len = packet_read_line(0, line, sizeof(line));
274         alarm(0);
275
276         if (len && line[len-1] == '\n')
277                 line[--len] = 0;
278
279         if (!strncmp("git-upload-pack ", line, 16))
280                 return upload(line+16);
281
282         logerror("Protocol error: '%s'", line);
283         return -1;
284 }
285
286
287 /*
288  * We count spawned/reaped separately, just to avoid any
289  * races when updating them from signals. The SIGCHLD handler
290  * will only update children_reaped, and the fork logic will
291  * only update children_spawned.
292  *
293  * MAX_CHILDREN should be a power-of-two to make the modulus
294  * operation cheap. It should also be at least twice
295  * the maximum number of connections we will ever allow.
296  */
297 #define MAX_CHILDREN 128
298
299 static int max_connections = 25;
300
301 /* These are updated by the signal handler */
302 static volatile unsigned int children_reaped = 0;
303 static pid_t dead_child[MAX_CHILDREN];
304
305 /* These are updated by the main loop */
306 static unsigned int children_spawned = 0;
307 static unsigned int children_deleted = 0;
308
309 static struct child {
310         pid_t pid;
311         int addrlen;
312         struct sockaddr_storage address;
313 } live_child[MAX_CHILDREN];
314
315 static void add_child(int idx, pid_t pid, struct sockaddr *addr, int addrlen)
316 {
317         live_child[idx].pid = pid;
318         live_child[idx].addrlen = addrlen;
319         memcpy(&live_child[idx].address, addr, addrlen);
320 }
321
322 /*
323  * Walk from "deleted" to "spawned", and remove child "pid".
324  *
325  * We move everything up by one, since the new "deleted" will
326  * be one higher.
327  */
328 static void remove_child(pid_t pid, unsigned deleted, unsigned spawned)
329 {
330         struct child n;
331
332         deleted %= MAX_CHILDREN;
333         spawned %= MAX_CHILDREN;
334         if (live_child[deleted].pid == pid) {
335                 live_child[deleted].pid = -1;
336                 return;
337         }
338         n = live_child[deleted];
339         for (;;) {
340                 struct child m;
341                 deleted = (deleted + 1) % MAX_CHILDREN;
342                 if (deleted == spawned)
343                         die("could not find dead child %d\n", pid);
344                 m = live_child[deleted];
345                 live_child[deleted] = n;
346                 if (m.pid == pid)
347                         return;
348                 n = m;
349         }
350 }
351
352 /*
353  * This gets called if the number of connections grows
354  * past "max_connections".
355  *
356  * We _should_ start off by searching for connections
357  * from the same IP, and if there is some address wth
358  * multiple connections, we should kill that first.
359  *
360  * As it is, we just "randomly" kill 25% of the connections,
361  * and our pseudo-random generator sucks too. I have no
362  * shame.
363  *
364  * Really, this is just a place-holder for a _real_ algorithm.
365  */
366 static void kill_some_children(int signo, unsigned start, unsigned stop)
367 {
368         start %= MAX_CHILDREN;
369         stop %= MAX_CHILDREN;
370         while (start != stop) {
371                 if (!(start & 3))
372                         kill(live_child[start].pid, signo);
373                 start = (start + 1) % MAX_CHILDREN;
374         }
375 }
376
377 static void check_max_connections(void)
378 {
379         for (;;) {
380                 int active;
381                 unsigned spawned, reaped, deleted;
382
383                 spawned = children_spawned;
384                 reaped = children_reaped;
385                 deleted = children_deleted;
386
387                 while (deleted < reaped) {
388                         pid_t pid = dead_child[deleted % MAX_CHILDREN];
389                         remove_child(pid, deleted, spawned);
390                         deleted++;
391                 }
392                 children_deleted = deleted;
393
394                 active = spawned - deleted;
395                 if (active <= max_connections)
396                         break;
397
398                 /* Kill some unstarted connections with SIGTERM */
399                 kill_some_children(SIGTERM, deleted, spawned);
400                 if (active <= max_connections << 1)
401                         break;
402
403                 /* If the SIGTERM thing isn't helping use SIGKILL */
404                 kill_some_children(SIGKILL, deleted, spawned);
405                 sleep(1);
406         }
407 }
408
409 static void handle(int incoming, struct sockaddr *addr, int addrlen)
410 {
411         pid_t pid = fork();
412         char addrbuf[256] = "";
413         int port = -1;
414
415         if (pid) {
416                 unsigned idx;
417
418                 close(incoming);
419                 if (pid < 0)
420                         return;
421
422                 idx = children_spawned % MAX_CHILDREN;
423                 children_spawned++;
424                 add_child(idx, pid, addr, addrlen);
425
426                 check_max_connections();
427                 return;
428         }
429
430         dup2(incoming, 0);
431         dup2(incoming, 1);
432         close(incoming);
433
434         if (addr->sa_family == AF_INET) {
435                 struct sockaddr_in *sin_addr = (void *) addr;
436                 inet_ntop(AF_INET, &sin_addr->sin_addr, addrbuf, sizeof(addrbuf));
437                 port = sin_addr->sin_port;
438
439 #ifndef NO_IPV6
440         } else if (addr->sa_family == AF_INET6) {
441                 struct sockaddr_in6 *sin6_addr = (void *) addr;
442
443                 char *buf = addrbuf;
444                 *buf++ = '['; *buf = '\0'; /* stpcpy() is cool */
445                 inet_ntop(AF_INET6, &sin6_addr->sin6_addr, buf, sizeof(addrbuf) - 1);
446                 strcat(buf, "]");
447
448                 port = sin6_addr->sin6_port;
449 #endif
450         }
451         loginfo("Connection from %s:%d", addrbuf, port);
452
453         exit(execute());
454 }
455
456 static void child_handler(int signo)
457 {
458         for (;;) {
459                 int status;
460                 pid_t pid = waitpid(-1, &status, WNOHANG);
461
462                 if (pid > 0) {
463                         unsigned reaped = children_reaped;
464                         dead_child[reaped % MAX_CHILDREN] = pid;
465                         children_reaped = reaped + 1;
466                         /* XXX: Custom logging, since we don't wanna getpid() */
467                         if (verbose) {
468                                 char *dead = "";
469                                 if (!WIFEXITED(status) || WEXITSTATUS(status) > 0)
470                                         dead = " (with error)";
471                                 if (log_syslog)
472                                         syslog(LOG_INFO, "[%d] Disconnected%s", pid, dead);
473                                 else
474                                         fprintf(stderr, "[%d] Disconnected%s\n", pid, dead);
475                         }
476                         continue;
477                 }
478                 break;
479         }
480 }
481
482 static int set_reuse_addr(int sockfd)
483 {
484         int on = 1;
485
486         if (!reuseaddr)
487                 return 0;
488         return setsockopt(sockfd, SOL_SOCKET, SO_REUSEADDR,
489                           &on, sizeof(on));
490 }
491
492 #ifndef NO_IPV6
493
494 static int socksetup(int port, int **socklist_p)
495 {
496         int socknum = 0, *socklist = NULL;
497         int maxfd = -1;
498         char pbuf[NI_MAXSERV];
499
500         struct addrinfo hints, *ai0, *ai;
501         int gai;
502
503         sprintf(pbuf, "%d", port);
504         memset(&hints, 0, sizeof(hints));
505         hints.ai_family = AF_UNSPEC;
506         hints.ai_socktype = SOCK_STREAM;
507         hints.ai_protocol = IPPROTO_TCP;
508         hints.ai_flags = AI_PASSIVE;
509
510         gai = getaddrinfo(NULL, pbuf, &hints, &ai0);
511         if (gai)
512                 die("getaddrinfo() failed: %s\n", gai_strerror(gai));
513
514         for (ai = ai0; ai; ai = ai->ai_next) {
515                 int sockfd;
516                 int *newlist;
517
518                 sockfd = socket(ai->ai_family, ai->ai_socktype, ai->ai_protocol);
519                 if (sockfd < 0)
520                         continue;
521                 if (sockfd >= FD_SETSIZE) {
522                         error("too large socket descriptor.");
523                         close(sockfd);
524                         continue;
525                 }
526
527 #ifdef IPV6_V6ONLY
528                 if (ai->ai_family == AF_INET6) {
529                         int on = 1;
530                         setsockopt(sockfd, IPPROTO_IPV6, IPV6_V6ONLY,
531                                    &on, sizeof(on));
532                         /* Note: error is not fatal */
533                 }
534 #endif
535
536                 if (set_reuse_addr(sockfd)) {
537                         close(sockfd);
538                         continue;
539                 }
540
541                 if (bind(sockfd, ai->ai_addr, ai->ai_addrlen) < 0) {
542                         close(sockfd);
543                         continue;       /* not fatal */
544                 }
545                 if (listen(sockfd, 5) < 0) {
546                         close(sockfd);
547                         continue;       /* not fatal */
548                 }
549
550                 newlist = realloc(socklist, sizeof(int) * (socknum + 1));
551                 if (!newlist)
552                         die("memory allocation failed: %s", strerror(errno));
553
554                 socklist = newlist;
555                 socklist[socknum++] = sockfd;
556
557                 if (maxfd < sockfd)
558                         maxfd = sockfd;
559         }
560
561         freeaddrinfo(ai0);
562
563         *socklist_p = socklist;
564         return socknum;
565 }
566
567 #else /* NO_IPV6 */
568
569 static int socksetup(int port, int **socklist_p)
570 {
571         struct sockaddr_in sin;
572         int sockfd;
573
574         sockfd = socket(AF_INET, SOCK_STREAM, 0);
575         if (sockfd < 0)
576                 return 0;
577
578         memset(&sin, 0, sizeof sin);
579         sin.sin_family = AF_INET;
580         sin.sin_addr.s_addr = htonl(INADDR_ANY);
581         sin.sin_port = htons(port);
582
583         if (set_reuse_addr(sockfd)) {
584                 close(sockfd);
585                 return 0;
586         }
587
588         if ( bind(sockfd, (struct sockaddr *)&sin, sizeof sin) < 0 ) {
589                 close(sockfd);
590                 return 0;
591         }
592
593         if (listen(sockfd, 5) < 0) {
594                 close(sockfd);
595                 return 0;
596         }
597
598         *socklist_p = xmalloc(sizeof(int));
599         **socklist_p = sockfd;
600         return 1;
601 }
602
603 #endif
604
605 static int service_loop(int socknum, int *socklist)
606 {
607         struct pollfd *pfd;
608         int i;
609
610         pfd = xcalloc(socknum, sizeof(struct pollfd));
611
612         for (i = 0; i < socknum; i++) {
613                 pfd[i].fd = socklist[i];
614                 pfd[i].events = POLLIN;
615         }
616
617         signal(SIGCHLD, child_handler);
618
619         for (;;) {
620                 int i;
621
622                 if (poll(pfd, socknum, -1) < 0) {
623                         if (errno != EINTR) {
624                                 error("poll failed, resuming: %s",
625                                       strerror(errno));
626                                 sleep(1);
627                         }
628                         continue;
629                 }
630
631                 for (i = 0; i < socknum; i++) {
632                         if (pfd[i].revents & POLLIN) {
633                                 struct sockaddr_storage ss;
634                                 unsigned int sslen = sizeof(ss);
635                                 int incoming = accept(pfd[i].fd, (struct sockaddr *)&ss, &sslen);
636                                 if (incoming < 0) {
637                                         switch (errno) {
638                                         case EAGAIN:
639                                         case EINTR:
640                                         case ECONNABORTED:
641                                                 continue;
642                                         default:
643                                                 die("accept returned %s", strerror(errno));
644                                         }
645                                 }
646                                 handle(incoming, (struct sockaddr *)&ss, sslen);
647                         }
648                 }
649         }
650 }
651
652 static int serve(int port)
653 {
654         int socknum, *socklist;
655
656         socknum = socksetup(port, &socklist);
657         if (socknum == 0)
658                 die("unable to allocate any listen sockets on port %u", port);
659
660         return service_loop(socknum, socklist);
661 }
662
663 int main(int argc, char **argv)
664 {
665         int port = DEFAULT_GIT_PORT;
666         int inetd_mode = 0;
667         int i;
668
669         for (i = 1; i < argc; i++) {
670                 char *arg = argv[i];
671
672                 if (!strncmp(arg, "--port=", 7)) {
673                         char *end;
674                         unsigned long n;
675                         n = strtoul(arg+7, &end, 0);
676                         if (arg[7] && !*end) {
677                                 port = n;
678                                 continue;
679                         }
680                 }
681                 if (!strcmp(arg, "--inetd")) {
682                         inetd_mode = 1;
683                         log_syslog = 1;
684                         continue;
685                 }
686                 if (!strcmp(arg, "--verbose")) {
687                         verbose = 1;
688                         continue;
689                 }
690                 if (!strcmp(arg, "--syslog")) {
691                         log_syslog = 1;
692                         continue;
693                 }
694                 if (!strcmp(arg, "--export-all")) {
695                         export_all_trees = 1;
696                         continue;
697                 }
698                 if (!strncmp(arg, "--timeout=", 10)) {
699                         timeout = atoi(arg+10);
700                         continue;
701                 }
702                 if (!strncmp(arg, "--init-timeout=", 15)) {
703                         init_timeout = atoi(arg+15);
704                         continue;
705                 }
706                 if (!strcmp(arg, "--strict-paths")) {
707                         strict_paths = 1;
708                         continue;
709                 }
710                 if (!strncmp(arg, "--base-path=", 12)) {
711                         base_path = arg+12;
712                         continue;
713                 }
714                 if (!strcmp(arg, "--reuseaddr")) {
715                         reuseaddr = 1;
716                         continue;
717                 }
718                 if (!strcmp(arg, "--user-path")) {
719                         user_path = "";
720                         continue;
721                 }
722                 if (!strncmp(arg, "--user-path=", 12)) {
723                         user_path = arg + 12;
724                         continue;
725                 }
726                 if (!strcmp(arg, "--")) {
727                         ok_paths = &argv[i+1];
728                         break;
729                 } else if (arg[0] != '-') {
730                         ok_paths = &argv[i];
731                         break;
732                 }
733
734                 usage(daemon_usage);
735         }
736
737         if (log_syslog)
738                 openlog("git-daemon", 0, LOG_DAEMON);
739
740         if (strict_paths && (!ok_paths || !*ok_paths)) {
741                 if (!inetd_mode)
742                         die("git-daemon: option --strict-paths requires a whitelist");
743
744                 logerror("option --strict-paths requires a whitelist");
745                 exit (1);
746         }
747
748         if (inetd_mode) {
749                 fclose(stderr); //FIXME: workaround
750                 return execute();
751         }
752
753         return serve(port);
754 }