Merge branch 'master' of rpi2:src/ashd
[ashd.git] / src / htparser.c
1 /*
2     ashd - A Sane HTTP Daemon
3     Copyright (C) 2008  Fredrik Tolf <fredrik@dolda2000.com>
4
5     This program is free software: you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation, either version 3 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program.  If not, see <http://www.gnu.org/licenses/>.
17 */
18
19 #include <stdlib.h>
20 #include <unistd.h>
21 #include <stdio.h>
22 #include <fcntl.h>
23 #include <string.h>
24 #include <sys/socket.h>
25 #include <pwd.h>
26 #include <sys/signal.h>
27 #include <errno.h>
28
29 #ifdef HAVE_CONFIG_H
30 #include <config.h>
31 #endif
32 #include <utils.h>
33 #include <mt.h>
34 #include <mtio.h>
35 #include <log.h>
36 #include <req.h>
37 #include <proc.h>
38 #include <bufio.h>
39
40 #include "htparser.h"
41
42 static int plex;
43 static char *pidfile = NULL;
44 static int daemonize, usesyslog;
45 struct mtbuf listeners;
46
47 static void trimx(struct hthead *req)
48 {
49     int i;
50     
51     i = 0;
52     while(i < req->noheaders) {
53         if(!strncasecmp(req->headers[i][0], "x-ash-", 6)) {
54             free(req->headers[i][0]);
55             free(req->headers[i][1]);
56             free(req->headers[i]);
57             memmove(req->headers + i, req->headers + i + 1, sizeof(*req->headers) * (--req->noheaders - i));
58         } else {
59             i++;
60         }
61     }
62 }
63
64 static struct hthead *parsereq(struct bufio *in)
65 {
66     struct hthead *req;
67     struct charbuf method, url, ver;
68     int c;
69     
70     req = NULL;
71     bufinit(method);
72     bufinit(url);
73     bufinit(ver);
74     while(1) {
75         c = biogetc(in);
76         if(c == ' ') {
77             break;
78         } else if((c == EOF) || (c < 32) || (c >= 128)) {
79             goto fail;
80         } else {
81             bufadd(method, c);
82             if(method.d >= 128)
83                 goto fail;
84         }
85     }
86     while(1) {
87         c = biogetc(in);
88         if(c == ' ') {
89             break;
90         } else if((c == EOF) || (c < 32)) {
91             goto fail;
92         } else {
93             bufadd(url, c);
94             if(url.d >= 65536)
95                 goto fail;
96         }
97     }
98     while(1) {
99         c = biogetc(in);
100         if(c == 10) {
101             break;
102         } else if(c == 13) {
103         } else if((c == EOF) || (c < 32) || (c >= 128)) {
104             goto fail;
105         } else {
106             bufadd(ver, c);
107             if(ver.d >= 128)
108                 goto fail;
109         }
110     }
111     bufadd(method, 0);
112     bufadd(url, 0);
113     bufadd(ver, 0);
114     req = mkreq(method.b, url.b, ver.b);
115     if(parseheadersb(req, in))
116         goto fail;
117     trimx(req);
118     goto out;
119     
120 fail:
121     if(req != NULL) {
122         freehthead(req);
123         req = NULL;
124     }
125 out:
126     buffree(method);
127     buffree(url);
128     buffree(ver);
129     return(req);
130 }
131
132 static off_t passdata(struct bufio *in, struct bufio *out, off_t max)
133 {
134     ssize_t read;
135     off_t total;
136     
137     total = 0;
138     while(!bioeof(in) && ((max < 0) || (total < max))) {
139         if((read = biordata(in)) > 0) {
140             if(max >= 0)
141                 read = min(max - total, read);
142             if((read = biowritesome(out, in->rbuf.b + in->rh, read)) < 0)
143                 return(-1);
144             in->rh += read;
145             total += read;
146         }
147         if(biorspace(in) && ((max < 0) || (biordata(in) < max - total)) && (biofillsome(in) < 0))
148             return(-1);
149     }
150     return(total);
151 }
152
153 static int recvchunks(struct bufio *in, struct bufio *out)
154 {
155     ssize_t read, chlen;
156     int c, r;
157     
158     while(1) {
159         chlen = 0;
160         r = 0;
161         while(1) {
162             c = biogetc(in);
163             if(c == 10) {
164                 if(!r)
165                     return(-1);
166                 break;
167             } else if(c == 13) {
168             } else if((c >= '0') && (c <= '9')) {
169                 chlen = (chlen << 4) + (c - '0');
170                 r = 1;
171             } else if((c >= 'A') && (c <= 'F')) {
172                 chlen = (chlen << 4) + (c + 10 - 'A');
173                 r = 1;
174             } else if((c >= 'a') && (c <= 'f')) {
175                 chlen = (chlen << 4) + (c + 10 - 'a');
176                 r = 1;
177             } else {
178                 /* XXX: Technically, there may be chunk extensions to
179                  * be read, but since that will likely never actually
180                  * happen in practice, I can just as well add support
181                  * for that if it actually does become relevant. */
182                 return(-1);
183             }
184         }
185         if(chlen == 0)
186             break;
187         while(chlen > 0) {
188             if((read = biordata(in)) > 0) {
189                 if((read = biowritesome(out, in->rbuf.b + in->rh, min(read, chlen))) < 0)
190                     return(-1);
191                 in->rh += read;
192                 chlen -= read;
193             }
194             if(biorspace(in) && (biordata(in) < chlen) && (biofillsome(in) <= 0))
195                 return(-1);
196         }
197         if((biogetc(in) != 13) || (biogetc(in) != 10))
198             return(-1);
199     }
200     /* XXX: Technically, there may be trailers to be read, but that's
201      * just about as likely as chunk extensions. */
202     if((biogetc(in) != 13) || (biogetc(in) != 10))
203         return(-1);
204     return(0);
205 }
206
207 static int passchunks(struct bufio *in, struct bufio *out)
208 {
209     size_t read;
210     
211     while(!bioeof(in)) {
212         if((read = biordata(in)) > 0) {
213             bioprintf(out, "%zx\r\n", read);
214             if(biowrite(out, in->rbuf.b + in->rh, read) != read)
215                 return(-1);
216             in->rh += read;
217             bioprintf(out, "\r\n");
218             if(bioflush(out) < 0)
219                 return(-1);
220         }
221         if(biorspace(in) && (biofillsome(in) < 0))
222             return(-1);
223     }
224     bioprintf(out, "0\r\n\r\n");
225     return(0);
226 }
227
228 static int hasheader(struct hthead *head, char *name, char *val)
229 {
230     char *hd;
231     
232     if((hd = getheader(head, name)) == NULL)
233         return(0);
234     return(!strcasecmp(hd, val));
235 }
236
237 static int canonreq(struct hthead *req)
238 {
239     char *p, *p2, *r;
240     int n;
241
242     if(req->url[0] == '/') {
243         replrest(req, req->url + 1);
244         if((p = strchr(req->rest, '?')) != NULL)
245             *p = 0;
246         return(1);
247     }
248     if((p = strstr(req->url, "://")) != NULL) {
249         n = p - req->url;
250         if(((n == 4) && !strncasecmp(req->url, "http", 4)) ||
251            ((n == 5) && !strncasecmp(req->url, "https", 5))) {
252             if(getheader(req, "host"))
253                 return(0);
254             p += 3;
255             if((p2 = strchr(p, '/')) == NULL) {
256                 headappheader(req, "Host", p);
257                 free(req->url);
258                 req->url = sstrdup("/");
259             } else {
260                 r = sstrdup(p2);
261                 *(p2++) = 0;
262                 headappheader(req, "Host", p);
263                 free(req->url);
264                 req->url = r;
265             }
266             replrest(req, req->url + 1);
267             if((p = strchr(req->rest, '?')) != NULL)
268                 *p = 0;
269             return(1);
270         }
271     }
272     return(0);
273 }
274
275 static int http10keep(struct hthead *req, struct hthead *resp)
276 {
277     int fc;
278     
279     fc = hasheader(resp, "connection", "close");
280     headrmheader(resp, "connection");
281     if(!fc && hasheader(req, "connection", "keep-alive")) {
282         headappheader(resp, "Connection", "Keep-Alive");
283         return(1);
284     } else {
285         return(0);
286     }
287 }
288
289 static char *connid(void)
290 {
291     static struct charbuf cur;
292     int i;
293     char *ret;
294     
295     for(i = 0; i < cur.d; i++) {
296         if((++cur.b[i]) > 'Z')
297             cur.b[i] = 'A';
298         else
299             goto done;
300     }
301     bufadd(cur, 'A');
302 done:
303     ret = memcpy(smalloc(cur.d + 1), cur.b, cur.d);
304     ret[cur.d] = 0;
305     return(ret);
306 }
307
308 static void passduplex(struct bufio *a, int afd, struct bufio *b, int bfd)
309 {
310     struct selected pfd[4], sel;
311     struct bufio *sio;
312     int n, ev;
313     
314     while(!bioeof(a) && !bioeof(b)) {
315         biocopybuf(b, a);
316         biocopybuf(a, b);
317         n = 0;
318         if(!a->eof) {
319             ev = 0;
320             if(biorspace(a))
321                 ev |= EV_READ;
322             if(biowdata(a))
323                 ev |= EV_WRITE;
324             if(ev)
325                 pfd[n++] = (struct selected){.fd = afd, .ev = ev};
326         }
327         if(!b->eof) {
328             ev = 0;
329             if(!b->eof && biorspace(b))
330                 ev |= EV_READ;
331             if(biowdata(b))
332                 ev |= EV_WRITE;
333             if(ev)
334                 pfd[n++] = (struct selected){.fd = bfd, .ev = ev};
335         }
336         if((sel = mblock(600, n, pfd)).ev == 0)
337             break;
338         if(sel.fd == afd)
339             sio = a;
340         else if(sel.fd == bfd)
341             sio = b;
342         else
343             break;
344         if((sel.ev & EV_READ) && (biofillsome(sio) < 0))
345             break;
346         if((sel.ev & EV_WRITE) && (bioflushsome(sio) < 0))
347             break;
348     }
349 }
350
351 void serve(struct bufio *in, int infd, struct conn *conn)
352 {
353     int pfds[2];
354     struct bufio *out, *dout;
355     struct stdiofd *outi;
356     struct hthead *req, *resp;
357     char *hd, *id;
358     off_t dlen;
359     int keep, duplex;
360     
361     id = connid();
362     out = NULL;
363     req = resp = NULL;
364     while(plex >= 0) {
365         bioflush(in);
366         if((req = parsereq(in)) == NULL)
367             break;
368         if(!canonreq(req))
369             break;
370         
371         headappheader(req, "X-Ash-Connection-ID", id);
372         if((conn->initreq != NULL) && conn->initreq(conn, req))
373             break;
374         
375         if((plex < 0) || block(plex, EV_WRITE, 60) <= 0)
376             break;
377         if(socketpair(PF_UNIX, SOCK_STREAM, 0, pfds))
378             break;
379         if(sendreq(plex, req, pfds[0]))
380             break;
381         close(pfds[0]);
382         out = mtbioopen(pfds[1], 1, 600, "r+", &outi);
383
384         if(getheader(req, "content-type") != NULL) {
385             if((hd = getheader(req, "content-length")) != NULL) {
386                 dlen = atoo(hd);
387                 if(dlen > 0) {
388                     if(passdata(in, out, dlen) != dlen)
389                         break;
390                 }
391             } else if(((hd = getheader(req, "transfer-encoding")) != NULL) && !strcasecmp(hd, "chunked")) {
392                 if(recvchunks(in, out))
393                     break;
394             } else {
395                 /* Ignore rather than abort, to be kinder to broken clients. */
396                 headrmheader(req, "content-type");
397             }
398         }
399         if(bioflush(out))
400             break;
401         /* Make sure to send EOF */
402         shutdown(pfds[1], SHUT_WR);
403         
404         if((resp = parseresponseb(out)) == NULL)
405             break;
406         replstr(&resp->ver, req->ver);
407         
408         if(!getheader(resp, "server"))
409             headappheader(resp, "Server", sprintf3("ashd/%s", VERSION));
410         duplex = hasheader(resp, "x-ash-switch", "duplex");
411         trimx(resp);
412
413         if(duplex) {
414             if(outi->rights < 0)
415                 break;
416             writerespb(in, resp);
417             bioprintf(in, "\r\n");
418             dout = mtbioopen(outi->rights, 1, 600, "r+", NULL);
419             passduplex(in, infd, dout, outi->rights);
420             outi->rights = -1;
421             bioclose(dout);
422             break;
423         } else if(!strcasecmp(req->ver, "HTTP/1.0")) {
424             if(!strcasecmp(req->method, "head")) {
425                 keep = http10keep(req, resp);
426                 writerespb(in, resp);
427                 bioprintf(in, "\r\n");
428             } else if((hd = getheader(resp, "content-length")) != NULL) {
429                 keep = http10keep(req, resp);
430                 dlen = atoo(hd);
431                 writerespb(in, resp);
432                 bioprintf(in, "\r\n");
433                 if(passdata(out, in, dlen) != dlen)
434                     break;
435             } else {
436                 headrmheader(resp, "connection");
437                 writerespb(in, resp);
438                 bioprintf(in, "\r\n");
439                 passdata(out, in, -1);
440                 break;
441             }
442             if(!keep)
443                 break;
444         } else if(!strcasecmp(req->ver, "HTTP/1.1")) {
445             if(!strcasecmp(req->method, "head")) {
446                 writerespb(in, resp);
447                 bioprintf(in, "\r\n");
448             } else if((hd = getheader(resp, "content-length")) != NULL) {
449                 writerespb(in, resp);
450                 bioprintf(in, "\r\n");
451                 dlen = atoo(hd);
452                 if(passdata(out, in, dlen) != dlen)
453                     break;
454             } else if(!getheader(resp, "transfer-encoding")) {
455                 headappheader(resp, "Transfer-Encoding", "chunked");
456                 writerespb(in, resp);
457                 bioprintf(in, "\r\n");
458                 if(passchunks(out, in))
459                     break;
460             } else {
461                 writerespb(in, resp);
462                 bioprintf(in, "\r\n");
463                 passdata(out, in, -1);
464                 break;
465             }
466             if(hasheader(req, "connection", "close") || hasheader(resp, "connection", "close"))
467                 break;
468         } else {
469             break;
470         }
471
472         bioclose(out);
473         out = NULL;
474         freehthead(req);
475         freehthead(resp);
476         req = resp = NULL;
477     }
478     
479     if(out != NULL)
480         bioclose(out);
481     if(req != NULL)
482         freehthead(req);
483     if(resp != NULL)
484         freehthead(resp);
485     bioclose(in);
486     free(id);
487 }
488
489 static void plexwatch(struct muth *muth, va_list args)
490 {
491     vavar(int, fd);
492     char *buf;
493     int i, s, ret;
494     
495     s = 0;
496     while(1) {
497         if(block(fd, EV_READ, 0) == 0)
498             break;
499         buf = smalloc(65536);
500         ret = recv(fd, buf, 65536, 0);
501         if(ret < 0) {
502             flog(LOG_WARNING, "received error on rootplex read channel: %s", strerror(errno));
503             exit(1);
504         } else if(ret == 0) {
505             s = 1;
506             free(buf);
507             break;
508         }
509         /* Maybe I'd like to implement some protocol in this direction
510          * some day... */
511         free(buf);
512     }
513     shutdown(plex, SHUT_RDWR);
514     for(i = 0; i < listeners.d; i++) {
515         if(listeners.b[i] == muth)
516             bufdel(listeners, i);
517     }
518     if(s) {
519         flog(LOG_INFO, "root handler exited, so shutting down listening...");
520         while(listeners.d > 0)
521             resume(listeners.b[0], 0);
522     }
523 }
524
525 static void initroot(void *uu)
526 {
527     int fd;
528     
529     setsid();
530     if(daemonize) {
531         chdir("/");
532         if((fd = open("/dev/null", O_RDWR)) >= 0) {
533             dup2(fd, 0);
534             dup2(fd, 1);
535             dup2(fd, 2);
536             close(fd);
537         }
538     }
539     if(usesyslog)
540         putenv("ASHD_USESYSLOG=1");
541     else
542         unsetenv("ASHD_USESYSLOG");
543 }
544
545 static void usage(FILE *out)
546 {
547     fprintf(out, "usage: htparser [-hSf] [-u USER] [-r ROOT] [-p PIDFILE] PORTSPEC... -- ROOT [ARGS...]\n");
548     fprintf(out, "\twhere PORTSPEC is HANDLER[:PAR[=VAL][(,PAR[=VAL])...]] (try HANDLER:help)\n");
549     fprintf(out, "\tavailable handlers are `plain' and `ssl'.\n");
550 }
551
552 static void addport(char *spec)
553 {
554     char *nm, *p, *p2, *n;
555     struct charvbuf pars, vals;
556     
557     bufinit(pars);
558     bufinit(vals);
559     if((p = strchr(spec, ':')) == NULL) {
560         nm = spec;
561     } else {
562         nm = spec;
563         *(p++) = 0;
564         do {
565             if((n = strchr(p, ',')) != NULL)
566                 *(n++) = 0;
567             if((p2 = strchr(p, '=')) != NULL)
568                 *(p2++) = 0;
569             if(!*p) {
570                 usage(stderr);
571                 exit(1);
572             }
573             bufadd(pars, p);
574             if(p2)
575                 bufadd(vals, p2);
576             else
577                 bufadd(vals, "");
578         } while((p = n) != NULL);
579     }
580     
581     /* XXX: It would be nice to decentralize this, but, meh... */
582     if(!strcmp(nm, "plain")) {
583         handleplain(pars.d, pars.b, vals.b);
584 #ifdef HAVE_GNUTLS
585     } else if(!strcmp(nm, "ssl")) {
586         handlegnussl(pars.d, pars.b, vals.b);
587 #endif
588     } else {
589         flog(LOG_ERR, "htparser: unknown port handler `%s'", nm);
590         exit(1);
591     }
592     
593     buffree(pars);
594     buffree(vals);
595 }
596
597 static void sighandler(int sig)
598 {
599     exitioloop(1);
600 }
601
602 int main(int argc, char **argv)
603 {
604     int c, d;
605     int i, s1;
606     char *root;
607     FILE *pidout;
608     struct passwd *pwent;
609     
610     daemonize = usesyslog = 0;
611     root = NULL;
612     pwent = NULL;
613     while((c = getopt(argc, argv, "+hSfu:r:p:")) >= 0) {
614         switch(c) {
615         case 'h':
616             usage(stdout);
617             exit(0);
618         case 'f':
619             daemonize = 1;
620             break;
621         case 'S':
622             usesyslog = 1;
623             break;
624         case 'u':
625             if((pwent = getpwnam(optarg)) == NULL) {
626                 flog(LOG_ERR, "could not find user %s", optarg);
627                 exit(1);
628             }
629             break;
630         case 'r':
631             root = optarg;
632             break;
633         case 'p':
634             pidfile = optarg;
635             break;
636         default:
637             usage(stderr);
638             exit(1);
639         }
640     }
641     s1 = 0;
642     for(i = optind; i < argc; i++) {
643         if(!strcmp(argv[i], "--"))
644             break;
645         s1 = 1;
646         addport(argv[i]);
647     }
648     if(!s1 || (i == argc)) {
649         usage(stderr);
650         exit(1);
651     }
652     if((plex = stdmkchild(argv + ++i, initroot, NULL)) < 0) {
653         flog(LOG_ERR, "could not spawn root multiplexer: %s", strerror(errno));
654         return(1);
655     }
656     bufadd(listeners, mustart(plexwatch, plex));
657     pidout = NULL;
658     if(pidfile != NULL) {
659         if((pidout = fopen(pidfile, "w")) == NULL) {
660             flog(LOG_ERR, "could not open %s for writing: %s", pidfile, strerror(errno));
661             return(1);
662         }
663     }
664     if(usesyslog)
665         opensyslog();
666     if(root) {
667         if(chdir(root) || chroot(root)) {
668             flog(LOG_ERR, "could not chroot to %s: %s", root, strerror(errno));
669             exit(1);
670         }
671     }
672     if(pwent) {
673         if(setgid(pwent->pw_gid)) {
674             flog(LOG_ERR, "could not switch group to %i: %s", (int)pwent->pw_gid, strerror(errno));
675             exit(1);
676         }
677         if(setuid(pwent->pw_uid)) {
678             flog(LOG_ERR, "could not switch user to %i: %s", (int)pwent->pw_uid, strerror(errno));
679             exit(1);
680         }
681     }
682     signal(SIGPIPE, SIG_IGN);
683     signal(SIGCHLD, SIG_IGN);
684     signal(SIGINT, sighandler);
685     signal(SIGTERM, sighandler);
686     if(daemonize) {
687         daemon(0, 0);
688     }
689     if(pidout != NULL) {
690         fprintf(pidout, "%i\n", getpid());
691         fclose(pidout);
692     }
693     d = 0;
694     while(!d) {
695         switch(ioloop()) {
696         case 0:
697             d = 1;
698             break;
699         case 1:
700             if(listeners.d > 0) {
701                 while(listeners.d > 0)
702                     resume(listeners.b[0], 0);
703                 flog(LOG_INFO, "no longer listening");
704             } else {
705                 d = 1;
706             }
707             break;
708         }
709     }
710     return(0);
711 }