lib: Reimplemented mtio-epoll timeout checking as a bin-heap.
[ashd.git] / src / htparser.c
1 /*
2     ashd - A Sane HTTP Daemon
3     Copyright (C) 2008  Fredrik Tolf <fredrik@dolda2000.com>
4
5     This program is free software: you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation, either version 3 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program.  If not, see <http://www.gnu.org/licenses/>.
17 */
18
19 #include <stdlib.h>
20 #include <unistd.h>
21 #include <stdio.h>
22 #include <fcntl.h>
23 #include <string.h>
24 #include <sys/socket.h>
25 #include <pwd.h>
26 #include <sys/signal.h>
27 #include <errno.h>
28
29 #ifdef HAVE_CONFIG_H
30 #include <config.h>
31 #endif
32 #include <utils.h>
33 #include <mt.h>
34 #include <mtio.h>
35 #include <log.h>
36 #include <req.h>
37 #include <proc.h>
38
39 #include "htparser.h"
40
41 static int plex;
42 static char *pidfile = NULL;
43 static int daemonize, usesyslog;
44 struct mtbuf listeners;
45
46 static void trimx(struct hthead *req)
47 {
48     int i;
49     
50     i = 0;
51     while(i < req->noheaders) {
52         if(!strncasecmp(req->headers[i][0], "x-ash-", 6)) {
53             free(req->headers[i][0]);
54             free(req->headers[i][1]);
55             free(req->headers[i]);
56             memmove(req->headers + i, req->headers + i + 1, sizeof(*req->headers) * (--req->noheaders - i));
57         } else {
58             i++;
59         }
60     }
61 }
62
63 static struct hthead *parsereq(FILE *in)
64 {
65     struct hthead *req;
66     struct charbuf method, url, ver;
67     int c;
68     
69     req = NULL;
70     bufinit(method);
71     bufinit(url);
72     bufinit(ver);
73     while(1) {
74         c = getc(in);
75         if(c == ' ') {
76             break;
77         } else if((c == EOF) || (c < 32) || (c >= 128)) {
78             goto fail;
79         } else {
80             bufadd(method, c);
81             if(method.d >= 128)
82                 goto fail;
83         }
84     }
85     while(1) {
86         c = getc(in);
87         if(c == ' ') {
88             break;
89         } else if((c == EOF) || (c < 32)) {
90             goto fail;
91         } else {
92             bufadd(url, c);
93             if(url.d >= 65536)
94                 goto fail;
95         }
96     }
97     while(1) {
98         c = getc(in);
99         if(c == 10) {
100             break;
101         } else if(c == 13) {
102         } else if((c == EOF) || (c < 32) || (c >= 128)) {
103             goto fail;
104         } else {
105             bufadd(ver, c);
106             if(ver.d >= 128)
107                 goto fail;
108         }
109     }
110     bufadd(method, 0);
111     bufadd(url, 0);
112     bufadd(ver, 0);
113     req = mkreq(method.b, url.b, ver.b);
114     if(parseheaders(req, in))
115         goto fail;
116     trimx(req);
117     goto out;
118     
119 fail:
120     if(req != NULL) {
121         freehthead(req);
122         req = NULL;
123     }
124 out:
125     buffree(method);
126     buffree(url);
127     buffree(ver);
128     return(req);
129 }
130
131 static off_t passdata(FILE *in, FILE *out, off_t max)
132 {
133     size_t read;
134     off_t total;
135     char buf[8192];
136     
137     total = 0;
138     while(!feof(in) && ((max < 0) || (total < max))) {
139         read = sizeof(buf);
140         if(max >= 0)
141             read = min(max - total, read);
142         read = fread(buf, 1, read, in);
143         if(ferror(in))
144             return(-1);
145         if(fwrite(buf, 1, read, out) != read)
146             return(-1);
147         total += read;
148     }
149     return(total);
150 }
151
152 static int recvchunks(FILE *in, FILE *out)
153 {
154     char buf[8192];
155     size_t read, chlen;
156     int c, r;
157     
158     while(1) {
159         chlen = 0;
160         r = 0;
161         while(1) {
162             c = getc(in);
163             if(c == 10) {
164                 if(!r)
165                     return(-1);
166                 break;
167             } else if(c == 13) {
168             } else if((c >= '0') && (c <= '9')) {
169                 chlen = (chlen << 4) + (c - '0');
170                 r = 1;
171             } else if((c >= 'A') && (c <= 'F')) {
172                 chlen = (chlen << 4) + (c + 10 - 'A');
173                 r = 1;
174             } else if((c >= 'a') && (c <= 'f')) {
175                 chlen = (chlen << 4) + (c + 10 - 'a');
176                 r = 1;
177             } else {
178                 /* XXX: Technically, there may be chunk extensions to
179                  * be read, but since that will likely never actually
180                  * happen in practice, I can just as well add support
181                  * for that if it actually does become relevant. */
182                 return(-1);
183             }
184         }
185         if(chlen == 0)
186             break;
187         while(chlen > 0) {
188             read = fread(buf, 1, min(sizeof(buf), chlen), in);
189             if(feof(in) || ferror(in))
190                 return(-1);
191             if(fwrite(buf, 1, read, out) != read)
192                 return(-1);
193             chlen -= read;
194         }
195         if((getc(in) != 13) || (getc(in) != 10))
196             return(-1);
197     }
198     /* XXX: Technically, there may be trailers to be read, but that's
199      * just about as likely as chunk extensions. */
200     if((getc(in) != 13) || (getc(in) != 10))
201         return(-1);
202     return(0);
203 }
204
205 static int passchunks(FILE *in, FILE *out)
206 {
207     char buf[8192];
208     size_t read;
209     
210     do {
211         read = fread(buf, 1, sizeof(buf), in);
212         if(ferror(in))
213             return(-1);
214         fprintf(out, "%zx\r\n", read);
215         if(fwrite(buf, 1, read, out) != read)
216             return(-1);
217         fprintf(out, "\r\n");
218     } while(read > 0);
219     return(0);
220 }
221
222 static int hasheader(struct hthead *head, char *name, char *val)
223 {
224     char *hd;
225     
226     if((hd = getheader(head, name)) == NULL)
227         return(0);
228     return(!strcasecmp(hd, val));
229 }
230
231 static int canonreq(struct hthead *req)
232 {
233     char *p, *p2, *r;
234     int n;
235
236     if(req->url[0] == '/') {
237         replrest(req, req->url + 1);
238         if((p = strchr(req->rest, '?')) != NULL)
239             *p = 0;
240         return(1);
241     }
242     if((p = strstr(req->url, "://")) != NULL) {
243         n = p - req->url;
244         if(((n == 4) && !strncasecmp(req->url, "http", 4)) ||
245            ((n == 5) && !strncasecmp(req->url, "https", 5))) {
246             if(getheader(req, "host"))
247                 return(0);
248             p += 3;
249             if((p2 = strchr(p, '/')) == NULL) {
250                 headappheader(req, "Host", p);
251                 free(req->url);
252                 req->url = sstrdup("/");
253             } else {
254                 r = sstrdup(p2);
255                 *(p2++) = 0;
256                 headappheader(req, "Host", p);
257                 free(req->url);
258                 req->url = r;
259             }
260             replrest(req, req->url + 1);
261             if((p = strchr(req->rest, '?')) != NULL)
262                 *p = 0;
263             return(1);
264         }
265     }
266     return(0);
267 }
268
269 static int http10keep(struct hthead *req, struct hthead *resp)
270 {
271     int fc;
272     
273     fc = hasheader(resp, "connection", "close");
274     headrmheader(resp, "connection");
275     if(!fc && hasheader(req, "connection", "keep-alive")) {
276         headappheader(resp, "Connection", "Keep-Alive");
277         return(1);
278     } else {
279         return(0);
280     }
281 }
282
283 void serve(FILE *in, struct conn *conn)
284 {
285     int pfds[2];
286     FILE *out;
287     struct hthead *req, *resp;
288     char *hd;
289     off_t dlen;
290     int keep;
291     
292     out = NULL;
293     req = resp = NULL;
294     while(plex >= 0) {
295         if((req = parsereq(in)) == NULL)
296             break;
297         if(!canonreq(req))
298             break;
299         
300         if((conn->initreq != NULL) && conn->initreq(conn, req))
301             break;
302         
303         if((plex < 0) || block(plex, EV_WRITE, 60) <= 0)
304             break;
305         if(socketpair(PF_UNIX, SOCK_STREAM, 0, pfds))
306             break;
307         if(sendreq(plex, req, pfds[0]))
308             break;
309         close(pfds[0]);
310         out = mtstdopen(pfds[1], 1, 600, "r+");
311
312         if(getheader(req, "content-type") != NULL) {
313             if((hd = getheader(req, "content-length")) != NULL) {
314                 dlen = atoo(hd);
315                 if(dlen > 0) {
316                     if(passdata(in, out, dlen) != dlen)
317                         break;
318                 }
319             } else if(((hd = getheader(req, "transfer-encoding")) != NULL) && !strcasecmp(hd, "chunked")) {
320                 if(recvchunks(in, out))
321                     break;
322             } else {
323                 /* Ignore rather than abort, to be kinder to broken clients. */
324                 headrmheader(req, "content-type");
325             }
326         }
327         if(fflush(out))
328             break;
329         /* Make sure to send EOF */
330         shutdown(pfds[1], SHUT_WR);
331         
332         if((resp = parseresponse(out)) == NULL)
333             break;
334         replstr(&resp->ver, req->ver);
335         
336         if(!getheader(resp, "server"))
337             headappheader(resp, "Server", sprintf3("ashd/%s", VERSION));
338
339         if(!strcasecmp(req->ver, "HTTP/1.0")) {
340             if(!strcasecmp(req->method, "head")) {
341                 keep = http10keep(req, resp);
342                 writeresp(in, resp);
343                 fprintf(in, "\r\n");
344             } else if((hd = getheader(resp, "content-length")) != NULL) {
345                 keep = http10keep(req, resp);
346                 dlen = atoo(hd);
347                 writeresp(in, resp);
348                 fprintf(in, "\r\n");
349                 if(passdata(out, in, dlen) != dlen)
350                     break;
351             } else {
352                 headrmheader(resp, "connection");
353                 writeresp(in, resp);
354                 fprintf(in, "\r\n");
355                 passdata(out, in, -1);
356                 break;
357             }
358             if(!keep)
359                 break;
360         } else if(!strcasecmp(req->ver, "HTTP/1.1")) {
361             if(!strcasecmp(req->method, "head")) {
362                 writeresp(in, resp);
363                 fprintf(in, "\r\n");
364             } else if((hd = getheader(resp, "content-length")) != NULL) {
365                 writeresp(in, resp);
366                 fprintf(in, "\r\n");
367                 dlen = atoo(hd);
368                 if(passdata(out, in, dlen) != dlen)
369                     break;
370             } else if(!getheader(resp, "transfer-encoding")) {
371                 headappheader(resp, "Transfer-Encoding", "chunked");
372                 writeresp(in, resp);
373                 fprintf(in, "\r\n");
374                 if(passchunks(out, in))
375                     break;
376             } else {
377                 writeresp(in, resp);
378                 fprintf(in, "\r\n");
379                 passdata(out, in, -1);
380                 break;
381             }
382             if(hasheader(req, "connection", "close") || hasheader(resp, "connection", "close"))
383                 break;
384         } else {
385             break;
386         }
387
388         fclose(out);
389         out = NULL;
390         freehthead(req);
391         freehthead(resp);
392         req = resp = NULL;
393     }
394     
395     if(out != NULL)
396         fclose(out);
397     if(req != NULL)
398         freehthead(req);
399     if(resp != NULL)
400         freehthead(resp);
401     fclose(in);
402 }
403
404 static void plexwatch(struct muth *muth, va_list args)
405 {
406     vavar(int, fd);
407     char *buf;
408     int i, ret;
409     
410     while(1) {
411         if(block(fd, EV_READ, 0) == 0)
412             break;
413         buf = smalloc(65536);
414         ret = recv(fd, buf, 65536, 0);
415         if(ret < 0) {
416             flog(LOG_WARNING, "received error on rootplex read channel: %s", strerror(errno));
417             exit(1);
418         } else if(ret == 0) {
419             free(buf);
420             break;
421         }
422         /* Maybe I'd like to implement some protocol in this direction
423          * some day... */
424         free(buf);
425     }
426     close(plex);
427     plex = -1;
428     for(i = 0; i < listeners.d; i++) {
429         if(listeners.b[i] == muth)
430             bufdel(listeners, i);
431     }
432     flog(LOG_INFO, "root handler exited, so shutting down listening...");
433     while(listeners.d > 0)
434         resume(listeners.b[0], 0);
435 }
436
437 static void initroot(void *uu)
438 {
439     int fd;
440     
441     setsid();
442     if(daemonize) {
443         chdir("/");
444         if((fd = open("/dev/null", O_RDWR)) >= 0) {
445             dup2(fd, 0);
446             dup2(fd, 1);
447             dup2(fd, 2);
448             close(fd);
449         }
450     }
451     if(usesyslog)
452         putenv("ASHD_USESYSLOG=1");
453     else
454         unsetenv("ASHD_USESYSLOG");
455 }
456
457 static void usage(FILE *out)
458 {
459     fprintf(out, "usage: htparser [-hSf] [-u USER] [-r ROOT] [-p PIDFILE] PORTSPEC... -- ROOT [ARGS...]\n");
460     fprintf(out, "\twhere PORTSPEC is HANDLER[:PAR[=VAL][(,PAR[=VAL])...]] (try HANDLER:help)\n");
461     fprintf(out, "\tavailable handlers are `plain' and `ssl'.\n");
462 }
463
464 static void addport(char *spec)
465 {
466     char *nm, *p, *p2, *n;
467     struct charvbuf pars, vals;
468     
469     bufinit(pars);
470     bufinit(vals);
471     if((p = strchr(spec, ':')) == NULL) {
472         nm = spec;
473     } else {
474         nm = spec;
475         *(p++) = 0;
476         do {
477             if((n = strchr(p, ',')) != NULL)
478                 *(n++) = 0;
479             if((p2 = strchr(p, '=')) != NULL)
480                 *(p2++) = 0;
481             if(!*p) {
482                 usage(stderr);
483                 exit(1);
484             }
485             bufadd(pars, p);
486             if(p2)
487                 bufadd(vals, p2);
488             else
489                 bufadd(vals, "");
490         } while((p = n) != NULL);
491     }
492     
493     /* XXX: It would be nice to decentralize this, but, meh... */
494     if(!strcmp(nm, "plain")) {
495         handleplain(pars.d, pars.b, vals.b);
496 #ifdef HAVE_GNUTLS
497     } else if(!strcmp(nm, "ssl")) {
498         handlegnussl(pars.d, pars.b, vals.b);
499 #endif
500     } else {
501         flog(LOG_ERR, "htparser: unknown port handler `%s'", nm);
502         exit(1);
503     }
504     
505     buffree(pars);
506     buffree(vals);
507 }
508
509 static void sighandler(int sig)
510 {
511     exitioloop(1);
512 }
513
514 int main(int argc, char **argv)
515 {
516     int c, d;
517     int i, s1;
518     char *root;
519     FILE *pidout;
520     struct passwd *pwent;
521     
522     daemonize = usesyslog = 0;
523     root = NULL;
524     pwent = NULL;
525     while((c = getopt(argc, argv, "+hSfu:r:p:")) >= 0) {
526         switch(c) {
527         case 'h':
528             usage(stdout);
529             exit(0);
530         case 'f':
531             daemonize = 1;
532             break;
533         case 'S':
534             usesyslog = 1;
535             break;
536         case 'u':
537             if((pwent = getpwnam(optarg)) == NULL) {
538                 flog(LOG_ERR, "could not find user %s", optarg);
539                 exit(1);
540             }
541             break;
542         case 'r':
543             root = optarg;
544             break;
545         case 'p':
546             pidfile = optarg;
547             break;
548         default:
549             usage(stderr);
550             exit(1);
551         }
552     }
553     s1 = 0;
554     for(i = optind; i < argc; i++) {
555         if(!strcmp(argv[i], "--"))
556             break;
557         s1 = 1;
558         addport(argv[i]);
559     }
560     if(!s1 || (i == argc)) {
561         usage(stderr);
562         exit(1);
563     }
564     if((plex = stdmkchild(argv + ++i, initroot, NULL)) < 0) {
565         flog(LOG_ERR, "could not spawn root multiplexer: %s", strerror(errno));
566         return(1);
567     }
568     bufadd(listeners, mustart(plexwatch, plex));
569     pidout = NULL;
570     if(pidfile != NULL) {
571         if((pidout = fopen(pidfile, "w")) == NULL) {
572             flog(LOG_ERR, "could not open %s for writing: %s", pidfile, strerror(errno));
573             return(1);
574         }
575     }
576     if(usesyslog)
577         opensyslog();
578     if(root) {
579         if(chdir(root) || chroot(root)) {
580             flog(LOG_ERR, "could not chroot to %s: %s", root, strerror(errno));
581             exit(1);
582         }
583     }
584     if(pwent) {
585         if(setgid(pwent->pw_gid)) {
586             flog(LOG_ERR, "could not switch group to %i: %s", (int)pwent->pw_gid, strerror(errno));
587             exit(1);
588         }
589         if(setuid(pwent->pw_uid)) {
590             flog(LOG_ERR, "could not switch user to %i: %s", (int)pwent->pw_uid, strerror(errno));
591             exit(1);
592         }
593     }
594     signal(SIGPIPE, SIG_IGN);
595     signal(SIGCHLD, SIG_IGN);
596     signal(SIGINT, sighandler);
597     signal(SIGTERM, sighandler);
598     if(daemonize) {
599         daemon(0, 0);
600     }
601     if(pidout != NULL) {
602         fprintf(pidout, "%i\n", getpid());
603         fclose(pidout);
604     }
605     d = 0;
606     while(!d) {
607         switch(ioloop()) {
608         case 0:
609             d = 1;
610             break;
611         case 1:
612             if(listeners.d > 0) {
613                 while(listeners.d > 0)
614                     resume(listeners.b[0], 0);
615                 flog(LOG_INFO, "no longer listening");
616             } else {
617                 d = 1;
618             }
619             break;
620         }
621     }
622     return(0);
623 }