- Added LOG_LEVEL_DEANIMATE
[privoxy.git] / jcc.c
diff --git a/jcc.c b/jcc.c
index 0ee0e15..9ff723b 100644 (file)
--- a/jcc.c
+++ b/jcc.c
@@ -1,4 +1,4 @@
-const char jcc_rcs[] = "$Id: jcc.c,v 1.12 2001/05/27 22:17:04 oes Exp $";
+const char jcc_rcs[] = "$Id: jcc.c,v 1.22 2001/06/29 21:45:41 oes Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
@@ -33,6 +33,74 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.12 2001/05/27 22:17:04 oes Exp $";
  *
  * Revisions   :
  *    $Log: jcc.c,v $
+ *    Revision 1.22  2001/06/29 21:45:41  oes
+ *    Indentation, CRLF->LF, Tab-> Space
+ *
+ *    Revision 1.21  2001/06/29 13:29:36  oes
+ *    - Cleaned up, improved comments
+ *    - Unified all possible interceptors (CGI,
+ *      block, trust, fast_redirect) in one
+ *      place, with one (CGI) answer generation
+ *      mechansim. Much clearer now.
+ *    - Removed the GIF image generation, which
+ *      is now done in filters.c:block_url()
+ *    - Made error conditions like domain lookup
+ *      failiure or (various) problems while talking
+ *      to the server use cgi.c:error_response()
+ *      instead of generating HTML/HTTP in chat() (yuck!)
+ *    - Removed logentry from cancelled commit
+ *
+ *    Revision 1.20  2001/06/09 10:55:28  jongfoster
+ *    Changing BUFSIZ ==> BUFFER_SIZE
+ *
+ *    Revision 1.19  2001/06/07 23:12:52  jongfoster
+ *    Replacing function pointer in struct gateway with a directly
+ *    called function forwarded_connect().
+ *    Replacing struct gateway with struct forward_spec
+ *
+ *    Revision 1.18  2001/06/03 19:12:16  oes
+ *    introduced new cgi handling
+ *
+ *    Revision 1.17  2001/06/01 20:07:23  jongfoster
+ *    Now uses action +image-blocker{} rather than config->tinygif
+ *
+ *    Revision 1.16  2001/06/01 18:49:17  jongfoster
+ *    Replaced "list_share" with "list" - the tiny memory gain was not
+ *    worth the extra complexity.
+ *
+ *    Revision 1.15  2001/05/31 21:24:47  jongfoster
+ *    Changed "permission" to "action" throughout.
+ *    Removed DEFAULT_USER_AGENT - it must now be specified manually.
+ *    Moved vanilla wafer check into chat(), since we must now
+ *    decide whether or not to add it based on the URL.
+ *
+ *    Revision 1.14  2001/05/29 20:14:01  joergs
+ *    AmigaOS bugfix: PCRS needs a lot of stack, stacksize for child threads
+ *    increased.
+ *
+ *    Revision 1.13  2001/05/29 09:50:24  jongfoster
+ *    Unified blocklist/imagelist/permissionslist.
+ *    File format is still under discussion, but the internal changes
+ *    are (mostly) done.
+ *
+ *    Also modified interceptor behaviour:
+ *    - We now intercept all URLs beginning with one of the following
+ *      prefixes (and *only* these prefixes):
+ *        * http://i.j.b/
+ *        * http://ijbswa.sf.net/config/
+ *        * http://ijbswa.sourceforge.net/config/
+ *    - New interceptors "home page" - go to http://i.j.b/ to see it.
+ *    - Internal changes so that intercepted and fast redirect pages
+ *      are not replaced with an image.
+ *    - Interceptors now have the option to send a binary page direct
+ *      to the client. (i.e. ijb-send-banner uses this)
+ *    - Implemented show-url-info interceptor.  (Which is why I needed
+ *      the above interceptors changes - a typical URL is
+ *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
+ *      The previous mechanism would not have intercepted that, and
+ *      if it had been intercepted then it then it would have replaced
+ *      it with an image.)
+ *
  *    Revision 1.12  2001/05/27 22:17:04  oes
  *
  *    - re_process_buffer no longer writes the modified buffer
@@ -187,6 +255,7 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.12 2001/05/27 22:17:04 oes Exp $";
 #endif
 
 #include "project.h"
+#include "list.h"
 #include "jcc.h"
 #include "filters.h"
 #include "loaders.h"
@@ -197,12 +266,12 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.12 2001/05/27 22:17:04 oes Exp $";
 #include "errlog.h"
 #include "jbsockets.h"
 #include "gateway.h"
+#include "actions.h"
+#include "cgi.h"
 
 const char jcc_h_rcs[] = JCC_H_VERSION;
 const char project_h_rcs[] = PROJECT_H_VERSION;
 
-const char DEFAULT_USER_AGENT[] ="User-Agent: Mozilla (X11; I; Linux 2.0.32 i586)";
-
 struct client_state  clients[1];
 struct file_list     files[1];
 
@@ -229,6 +298,17 @@ static int32 server_thread(void *data);
 #endif
 
 
+/* The vanilla wafer. */
+static const char VANILLA_WAFER[] =
+   "NOTICE=TO_WHOM_IT_MAY_CONCERN_"
+   "Do_not_send_me_any_copyrighted_information_other_than_the_"
+   "document_that_I_am_requesting_or_any_of_its_necessary_components._"
+   "In_particular_do_not_send_me_any_cookies_that_"
+   "are_subject_to_a_claim_of_copyright_by_anybody._"
+   "Take_notice_that_I_refuse_to_be_bound_by_any_license_condition_"
+   "(copyright_or_otherwise)_applying_to_any_cookie._";
+
+
 /*********************************************************************
  *
  * Function    :  chat
@@ -264,20 +344,20 @@ static void chat(struct client_state *csp)
 #endif /* ndef TOGGLE */
 #ifdef FORCE_LOAD
 #   define IS_NOT_FORCED_AND (!csp->force) && 
-#else /* ifndef TOGGLE */
+#else /* ifndef FORCE_LOAD */
 #   define IS_NOT_FORCED_AND
 #endif /* def FORCE_LOAD */
 
-#define IS_ENABLED_AND IS_TOGGLED_ON_AND IS_NOT_FORCED_AND
+#define IS_ENABLED_AND   IS_TOGGLED_ON_AND IS_NOT_FORCED_AND
 
-   char buf[BUFSIZ], *hdr, *p, *req;
+   char buf[BUFFER_SIZE];
+   char *hdr, *p, *req;
    char *err = NULL;
-   char *eno;
    fd_set rfds;
    int n, maxfd, server_body;
    int ms_iis5_hack = 0;
    int byte_count = 0;
-   const struct gateway *gw;
+   const struct forward_spec * fwd;
    struct http_request *http;
 #ifdef KILLPOPUPS
    int block_popups;         /* bool, 1==will block popups */
@@ -287,6 +367,7 @@ static void chat(struct client_state *csp)
    int pcrs_filter;   /* bool, 1==will filter through pcrs */
    int filtering = 0; /* bool, 1==currently filtering through pcrs */
 #endif /* def PCRS */
+   struct http_response *rsp;
 
    http = csp->http;
 
@@ -349,7 +430,7 @@ static void chat(struct client_state *csp)
 
    /* decide how to route the HTTP request */
 
-   if ((gw = forward_url(http, csp)) == NULL)
+   if ((fwd = forward_url(http, csp)) == NULL)
    {
       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
       /* Never get here - LOG_LEVEL_FATAL causes program exit */
@@ -380,7 +461,7 @@ static void chat(struct client_state *csp)
     *
     */
 
-   if (gw->forward_host)
+   if (fwd->forward_host)
    {
       /* if forwarding, just pass the request as is */
       enlist(csp->headers, http->cmd);
@@ -406,21 +487,35 @@ static void chat(struct client_state *csp)
 #ifdef TOGGLE
    if (!csp->toggled_on)
    {
-      /* Most compatible set of permissions */
-      csp->permissions = PERMIT_MOST_COMPATIBLE;
+      /* Most compatible set of actions (i.e. none) */
+      init_current_action(csp->action);
    }
    else
 #endif /* ndef TOGGLE */
    {
-      csp->permissions = url_permissions(http, csp);
+      url_actions(http, csp);
    }
 
+#ifdef JAR_FILES
+   /*
+    * If we're logging cookies in a cookie jar, and the user has not
+    * supplied any wafers, and the user has not told us to suppress the
+    * vanilla wafer, then send the vanilla wafer.
+    */
+   if ((csp->config->jarfile != NULL)
+       && (csp->action->multi[ACTION_MULTI_WAFER]->next == NULL)
+       && ((csp->action->flags & ACTION_VANILLA_WAFER) != 0))
+   {
+      enlist(csp->action->multi[ACTION_MULTI_WAFER], VANILLA_WAFER);
+   }
+#endif /* def JAR_FILES */
+
 #ifdef KILLPOPUPS
-   block_popups               = ((csp->permissions & PERMIT_POPUPS) == 0);
+   block_popups               = ((csp->action->flags & ACTION_NO_POPUPS) != 0);
 #endif /* def KILLPOPUPS */
 #ifdef PCRS
    pcrs_filter                = (csp->rlist != NULL) &&  /* There are expressions to be used */
-                                ((csp->permissions & PERMIT_RE_FILTER) != 0);
+                                ((csp->action->flags & ACTION_FILTER) != 0);
 #endif /* def PCRS */
 
 
@@ -446,120 +541,67 @@ static void chat(struct client_state *csp)
       freez(p);
    }
 
-   /* filter it as required */
+   /* We have a request. */
 
    hdr = sed(client_patterns, add_client_headers, csp);
-
    destroy_list(csp->headers);
 
-   /* Check the request against all rules, unless
-    * we're toggled off or in force mode. 
+   /* 
+    * Now, check to see if we need to intercept it, i.e.
+    * If
     */
  
-   if (intercept_url(http, csp))
-   {
-      /*
-       * The interceptor will write out the data.
-       * We don't need to do anything else
-       */
-
-#ifdef STATISTICS
-      csp->rejected = 1;
-#endif /* def STATISTICS */
-
-      freez(hdr);
-      return;
-   }
-
-#ifdef FAST_REDIRECTS
-   else if (IS_ENABLED_AND
-            ((csp->permissions & PERMIT_FAST_REDIRECTS) != 0) && 
-            (p = redirect_url(http, csp))) 
-   {
-      /* This must be blocked as HTML */
-#ifdef STATISTICS
-      csp->rejected = 1;
-#endif /* def STATISTICS */
+   if (
+       /* a CGI call was detected and answered */
+        (NULL != (rsp = dispatch_cgi(csp))) 
 
-      log_error(LOG_LEVEL_GPC, "%s%s crunch!", http->hostport, http->path);
+       /* or we are enabled and... */
+       || (IS_ENABLED_AND (
 
-      log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", 
-                               csp->ip_addr_str, http->cmd); 
+            /* ..the request was blocked */
+           ( NULL != (rsp = block_url(csp)))
 
-      /* Send HTML redirection result */
-      write_socket(csp->cfd, p, strlen(p));
+          /* ..or untrusted */
+#ifdef TRUST_FILES
+          || ( NULL != (rsp = trust_url(csp)))
+#endif 
 
-      freez(p);
-      freez(hdr);
-      return;
-   }
+          /* ..or a fast redirect kicked in */
+#ifdef FAST_REDIRECTS
+          || (((csp->action->flags & ACTION_FAST_REDIRECTS) != 0) && 
+                    (NULL != (rsp = redirect_url(csp))))
 #endif /* def FAST_REDIRECTS */
-
-   else if (IS_ENABLED_AND (
-#ifdef TRUST_FILES
-         (p = trust_url(http, csp)) ||
-#endif /* def TRUST_FILES */
-         (p = block_url(http, csp)) ))
+                ))
+       )
    {
-      /* Block as HTML or image */
+      /* Write the answer to the client */
+      if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
+            || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
+      { 
+         log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
+      }
+
 #ifdef STATISTICS
+      /* Count as a rejected request */
       csp->rejected = 1;
 #endif /* def STATISTICS */
 
+      /* Log (FIXME: All intercept reasons apprear as "crunch" with Status 200) */
       log_error(LOG_LEVEL_GPC, "%s%s crunch!", http->hostport, http->path);
+      log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", csp->ip_addr_str, http->cmd); 
 
-      log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 1", 
-                               csp->ip_addr_str, http->cmd); 
-
-#ifdef IMAGE_BLOCKING
-      /* Block as image?  */
-      if ( (csp->config->tinygif > 0) && block_imageurl(http, csp) )
-      {
-         /* Send "blocked" image */
-         log_error(LOG_LEVEL_GPC, "%s%s image crunch!",
-                   http->hostport, http->path);
-
-         if (csp->config->tinygif == 1)
-         {
-            write_socket(csp->cfd, BLANKGIF, sizeof(BLANKGIF)-1);
-         }
-         else if (csp->config->tinygif == 2)
-         {
-            write_socket(csp->cfd, JBGIF, sizeof(JBGIF)-1);
-         }
-         else if ((csp->config->tinygif == 3) && (csp->config->tinygifurl))
-         {
-            freez(p);
-            p = (char *)malloc(sizeof(HTTP_REDIRECT_TEMPLATE) 
-              + strlen(csp->config->tinygifurl));
-            sprintf(p, HTTP_REDIRECT_TEMPLATE, csp->config->tinygifurl);
-            write_socket(csp->cfd, p, strlen(p));
-         }
-         else
-         {
-            /* Should never happen */
-            write_socket(csp->cfd, JBGIF, sizeof(JBGIF)-1);
-         }
-      }
-      else
-#endif /* def IMAGE_BLOCKING */
-      /* Block as HTML */
-      {
-         /* Send HTML "blocked" message, interception, or redirection result */
-         write_socket(csp->cfd, p, strlen(p));
-      }
-
-      freez(p);
+      /* Clean up and return */
+      free_http_response(rsp);
       freez(hdr);
       return;
    }
 
    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
 
-   if (gw->forward_host)
+   if (fwd->forward_host)
    {
       log_error(LOG_LEVEL_CONNECT, "via %s:%d to: %s",
-               gw->forward_host, gw->forward_port, http->hostport);
+               fwd->forward_host, fwd->forward_port, http->hostport);
    }
    else
    {
@@ -568,7 +610,7 @@ static void chat(struct client_state *csp)
 
    /* here we connect to the server, gateway, or the forwarder */
 
-   csp->sfd = (gw->conn)(gw, http, csp);
+   csp->sfd = forwarded_connect(fwd, http, csp);
 
    if (csp->sfd < 0)
    {
@@ -577,32 +619,37 @@ static void chat(struct client_state *csp)
 
       if (errno == EINVAL)
       {
-         err = zalloc(strlen(CNXDOM) + strlen(http->host));
-         sprintf(err, CNXDOM, http->host);
+          rsp = error_response(csp, "no-such-domain", errno);
 
          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 404 0", 
                    csp->ip_addr_str, http->cmd);
       }
       else
       {
-         eno = safe_strerror(errno);
-         err = zalloc(strlen(CFAIL) + strlen(http->hostport) + strlen(eno));
-         sprintf(err, CFAIL, http->hostport, eno);
+          rsp = error_response(csp, "connect-failed", errno);
 
          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0", 
                    csp->ip_addr_str, http->cmd);
       }
 
-      write_socket(csp->cfd, err, strlen(err));
+      /* Write the answer to the client */
+      if(rsp)
+       {
+         if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
+               || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
+         { 
+            log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
+         }
+      }
 
-      freez(err);
+      free_http_response(rsp);
       freez(hdr);
       return;
    }
 
    log_error(LOG_LEVEL_CONNECT, "OK");
 
-   if (gw->forward_host || (http->ssl == 0))
+   if (fwd->forward_host || (http->ssl == 0))
    {
       /* write the client's (modified) header to the server
        * (along with anything else that may be in the buffer)
@@ -616,15 +663,21 @@ static void chat(struct client_state *csp)
          log_error(LOG_LEVEL_CONNECT, "write header to: %s failed: %E",
                     http->hostport);
 
-         eno = safe_strerror(errno);
-         err = zalloc(strlen(CFAIL) + strlen(http->hostport) + strlen(eno));
-         sprintf(err, CFAIL, http->hostport, eno);
-         write_socket(csp->cfd, err, strlen(err));
-
          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0", 
                    csp->ip_addr_str, http->cmd); 
 
-         freez(err);
+         rsp = error_response(csp, "connect-failed", errno);
+
+         if(rsp)
+         {
+            if ((write_socket(csp->cfd, rsp->head, n) != n)
+               || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
+            { 
+               log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
+            }
+         }
+
+         free_http_response(rsp);
          freez(hdr);
          return;
       }
@@ -710,14 +763,21 @@ static void chat(struct client_state *csp)
          {
             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
 
-            eno = safe_strerror(errno);
-            sprintf(buf, CFAIL, http->hostport, eno);
-            freez(eno);
-
             log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0", 
                       csp->ip_addr_str, http->cmd); 
 
-            write_socket(csp->cfd, buf, strlen(buf));
+            rsp = error_response(csp, "connect-failed", errno);
+
+            if(rsp)
+            {
+               if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
+                   || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
+               { 
+                  log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
+                          }
+                       }
+
+            free_http_response(rsp);
             return;
          }
 
@@ -982,7 +1042,6 @@ static void serve(struct client_state *csp)
 
 
 #ifdef __BEOS__
-
 /*********************************************************************
  *
  * Function    :  server_thread
@@ -1001,7 +1060,6 @@ static int32 server_thread(void *data)
    return 0;
 
 }
-
 #endif
 
 
@@ -1036,7 +1094,7 @@ int main(int argc, const char *argv[])
 {
    configfile =
 #ifdef AMIGA
-   "AmiTCP:db/junkbuster.config"
+   "AmiTCP:db/junkbuster/config"
 #elif !defined(_WIN32)
    "config"
 #else
@@ -1061,10 +1119,6 @@ int main(int argc, const char *argv[])
    }
 #endif /* !defined(_WIN32) || defined(_WIN_CONSOLE) */
 
-#ifdef AMIGA
-   InitAmiga();
-#endif
-
    Argc = argc;
    Argv = argv;
 
@@ -1075,7 +1129,9 @@ int main(int argc, const char *argv[])
 
    files->next = NULL;
 
-#ifdef _WIN32
+#ifdef AMIGA
+   InitAmiga();
+#elif defined(_WIN32)
    InitWin32();
 #endif
 
@@ -1232,6 +1288,7 @@ static void listen_loop(void)
          /* Never get here - LOG_LEVEL_FATAL causes program exit */
       }
 
+#ifdef ACL_FILES
       if (block_acl(NULL,csp))
       {
          log_error(LOG_LEVEL_CONNECT, "Connection dropped due to ACL");
@@ -1239,6 +1296,7 @@ static void listen_loop(void)
          freez(csp);
          continue;
       }
+#endif /* def ACL_FILES */
 
       /* add it to the list of clients */
       csp->next = clients->next;
@@ -1284,7 +1342,7 @@ static void listen_loop(void)
             NP_Output, Output(),
             NP_CloseOutput, FALSE,
             NP_Name, (ULONG)"junkbuster child",
-            NP_StackSize, 20*1024,
+            NP_StackSize, 200*1024,
             TAG_DONE)))
          {
             childs++;
@@ -1303,7 +1361,7 @@ static void listen_loop(void)
 
          if (child_id < 0) /* failed */
          {
-            char buf[BUFSIZ];
+            char buf[BUFFER_SIZE];
 
             log_error(LOG_LEVEL_ERROR, "can't fork: %E");