The host parameter to connect_to() is now const.
[privoxy.git] / jcc.c
diff --git a/jcc.c b/jcc.c
index 75e48a2..cd0f26d 100644 (file)
--- a/jcc.c
+++ b/jcc.c
@@ -1,4 +1,4 @@
-const char jcc_rcs[] = "$Id: jcc.c,v 1.10 2001/05/26 15:26:15 jongfoster Exp $";
+const char jcc_rcs[] = "$Id: jcc.c,v 1.18 2001/06/03 11:03:48 oes Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
@@ -33,6 +33,117 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.10 2001/05/26 15:26:15 jongfoster Exp $";
  *
  * Revisions   :
  *    $Log: jcc.c,v $
+ *    Revision 1.18  2001/06/03 11:03:48  oes
+ *    Makefile/in
+ *
+ *    introduced cgi.c
+ *
+ *    actions.c:
+ *
+ *    adapted to new enlist_unique arg format
+ *
+ *    conf loadcfg.c
+ *
+ *    introduced confdir option
+ *
+ *    filters.c filtrers.h
+ *
+ *     extracted-CGI relevant stuff
+ *
+ *    jbsockets.c
+ *
+ *     filled comment
+ *
+ *    jcc.c
+ *
+ *     support for new cgi mechansim
+ *
+ *    list.c list.h
+ *
+ *    functions for new list type: "map"
+ *    extended enlist_unique
+ *
+ *    miscutil.c .h
+ *    introduced bindup()
+ *
+ *    parsers.c parsers.h
+ *
+ *    deleted const struct interceptors
+ *
+ *    pcrs.c
+ *    added FIXME
+ *
+ *    project.h
+ *
+ *    added struct map
+ *    added struct http_response
+ *    changes struct interceptors to struct cgi_dispatcher
+ *    moved HTML stuff to cgi.h
+ *
+ *    re_filterfile:
+ *
+ *    changed
+ *
+ *    showargs.c
+ *    NO TIME LEFT
+ *
+ *    Revision 1.17  2001/06/01 20:07:23  jongfoster
+ *    Now uses action +image-blocker{} rather than config->tinygif
+ *
+ *    Revision 1.16  2001/06/01 18:49:17  jongfoster
+ *    Replaced "list_share" with "list" - the tiny memory gain was not
+ *    worth the extra complexity.
+ *
+ *    Revision 1.15  2001/05/31 21:24:47  jongfoster
+ *    Changed "permission" to "action" throughout.
+ *    Removed DEFAULT_USER_AGENT - it must now be specified manually.
+ *    Moved vanilla wafer check into chat(), since we must now
+ *    decide whether or not to add it based on the URL.
+ *
+ *    Revision 1.14  2001/05/29 20:14:01  joergs
+ *    AmigaOS bugfix: PCRS needs a lot of stack, stacksize for child threads
+ *    increased.
+ *
+ *    Revision 1.13  2001/05/29 09:50:24  jongfoster
+ *    Unified blocklist/imagelist/permissionslist.
+ *    File format is still under discussion, but the internal changes
+ *    are (mostly) done.
+ *
+ *    Also modified interceptor behaviour:
+ *    - We now intercept all URLs beginning with one of the following
+ *      prefixes (and *only* these prefixes):
+ *        * http://i.j.b/
+ *        * http://ijbswa.sf.net/config/
+ *        * http://ijbswa.sourceforge.net/config/
+ *    - New interceptors "home page" - go to http://i.j.b/ to see it.
+ *    - Internal changes so that intercepted and fast redirect pages
+ *      are not replaced with an image.
+ *    - Interceptors now have the option to send a binary page direct
+ *      to the client. (i.e. ijb-send-banner uses this)
+ *    - Implemented show-url-info interceptor.  (Which is why I needed
+ *      the above interceptors changes - a typical URL is
+ *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
+ *      The previous mechanism would not have intercepted that, and
+ *      if it had been intercepted then it then it would have replaced
+ *      it with an image.)
+ *
+ *    Revision 1.12  2001/05/27 22:17:04  oes
+ *
+ *    - re_process_buffer no longer writes the modified buffer
+ *      to the client, which was very ugly. It now returns the
+ *      buffer, which it is then written by chat.
+ *
+ *    - content_length now adjusts the Content-Length: header
+ *      for modified documents rather than crunch()ing it.
+ *      (Length info in csp->content_length, which is 0 for
+ *      unmodified documents)
+ *
+ *    - For this to work, sed() is called twice when filtering.
+ *
+ *    Revision 1.11  2001/05/26 17:27:53  jongfoster
+ *    Added support for CLF and fixed LOG_LEVEL_LOG.
+ *    Also did CRLF->LF fix of my previous patch.
+ *
  *    Revision 1.10  2001/05/26 15:26:15  jongfoster
  *    ACL feature now provides more security by immediately dropping
  *    connections from untrusted hosts.
@@ -170,6 +281,7 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.10 2001/05/26 15:26:15 jongfoster Exp $";
 #endif
 
 #include "project.h"
+#include "list.h"
 #include "jcc.h"
 #include "filters.h"
 #include "loaders.h"
@@ -180,12 +292,12 @@ const char jcc_rcs[] = "$Id: jcc.c,v 1.10 2001/05/26 15:26:15 jongfoster Exp $";
 #include "errlog.h"
 #include "jbsockets.h"
 #include "gateway.h"
+#include "actions.h"
+#include "cgi.h"
 
 const char jcc_h_rcs[] = JCC_H_VERSION;
 const char project_h_rcs[] = PROJECT_H_VERSION;
 
-const char DEFAULT_USER_AGENT[] ="User-Agent: Mozilla (X11; I; Linux 2.0.32 i586)";
-
 struct client_state  clients[1];
 struct file_list     files[1];
 
@@ -212,6 +324,17 @@ static int32 server_thread(void *data);
 #endif
 
 
+/* The vanilla wafer. */
+static const char VANILLA_WAFER[] =
+   "NOTICE=TO_WHOM_IT_MAY_CONCERN_"
+   "Do_not_send_me_any_copyrighted_information_other_than_the_"
+   "document_that_I_am_requesting_or_any_of_its_necessary_components._"
+   "In_particular_do_not_send_me_any_cookies_that_"
+   "are_subject_to_a_claim_of_copyright_by_anybody._"
+   "Take_notice_that_I_refuse_to_be_bound_by_any_license_condition_"
+   "(copyright_or_otherwise)_applying_to_any_cookie._";
+
+
 /*********************************************************************
  *
  * Function    :  chat
@@ -235,21 +358,23 @@ static int32 server_thread(void *data);
  *********************************************************************/
 static void chat(struct client_state *csp)
 {
-/* This next line is a little ugly, but it simplifies the if statement below. */
-/* Basically if TOGGLE, then we want the if to test "csp->toggled_on", else we don't */
+/*
+ * This next lines are a little ugly, but they simplifies the if statements below.
+ * Basically if TOGGLE, then we want the if to test "csp->toggled_on", else we don't
+ * And if FORCE_LOAD, then we want the if to test "csp->toggled_on", else we don't
+ */
 #ifdef TOGGLE
-#   define IS_TOGGLED_ON csp->toggled_on &&
+#   define IS_TOGGLED_ON_AND (csp->toggled_on) &&
 #else /* ifndef TOGGLE */
-#   define IS_TOGGLED_ON
+#   define IS_TOGGLED_ON_AND
 #endif /* ndef TOGGLE */
+#ifdef FORCE_LOAD
+#   define IS_NOT_FORCED_AND (!csp->force) && 
+#else /* ifndef TOGGLE */
+#   define IS_NOT_FORCED_AND
+#endif /* def FORCE_LOAD */
 
-/* This next line is a little ugly, but it simplifies the if statement below. */
-/* Basically if TRUST_FILES, then we want the if to call "trust_url", else we don't */
-#ifdef TRUST_FILES
-#   define IS_TRUSTED_URL (p = trust_url(http, csp)) ||
-#else /* ifndef TRUST_FILES */
-#   define IS_TRUSTED_URL
-#endif /* ndef TRUST_FILES */
+#define IS_ENABLED_AND IS_TOGGLED_ON_AND IS_NOT_FORCED_AND
 
    char buf[BUFSIZ], *hdr, *p, *req;
    char *err = NULL;
@@ -268,6 +393,7 @@ static void chat(struct client_state *csp)
    int pcrs_filter;   /* bool, 1==will filter through pcrs */
    int filtering = 0; /* bool, 1==currently filtering through pcrs */
 #endif /* def PCRS */
+   struct http_response *rsp;
 
    http = csp->http;
 
@@ -387,23 +513,35 @@ static void chat(struct client_state *csp)
 #ifdef TOGGLE
    if (!csp->toggled_on)
    {
-      /* Most compatible set of permissions */
-      csp->permissions = PERMIT_COOKIE_SET | PERMIT_COOKIE_READ | PERMIT_POPUPS;
+      /* Most compatible set of actions (i.e. none) */
+      init_current_action(csp->action);
    }
    else
+#endif /* ndef TOGGLE */
    {
-      csp->permissions = url_permissions(http, csp);
+      url_actions(http, csp);
    }
-#else /* ifndef TOGGLE */
-   csp->permissions = url_permissions(http, csp);
-#endif /* ndef TOGGLE */
+
+#ifdef JAR_FILES
+   /*
+    * If we're logging cookies in a cookie jar, and the user has not
+    * supplied any wafers, and the user has not told us to suppress the
+    * vanilla wafer, then send the vanilla wafer.
+    */
+   if ((csp->config->jarfile != NULL)
+       && (csp->action->multi[ACTION_MULTI_WAFER]->next == NULL)
+       && ((csp->action->flags & ACTION_VANILLA_WAFER) != 0))
+   {
+      enlist(csp->action->multi[ACTION_MULTI_WAFER], VANILLA_WAFER);
+   }
+#endif /* def JAR_FILES */
 
 #ifdef KILLPOPUPS
-   block_popups               = ((csp->permissions & PERMIT_POPUPS) == 0);
+   block_popups               = ((csp->action->flags & ACTION_NO_POPUPS) != 0);
 #endif /* def KILLPOPUPS */
 #ifdef PCRS
    pcrs_filter                = (csp->rlist != NULL) &&  /* There are expressions to be used */
-                                ((csp->permissions & PERMIT_RE_FILTER) != 0);
+                                ((csp->action->flags & ACTION_FILTER) != 0);
 #endif /* def PCRS */
 
 
@@ -439,18 +577,58 @@ static void chat(struct client_state *csp)
     * we're toggled off or in force mode. 
     */
  
-   if (IS_TOGGLED_ON
-#ifdef FORCE_LOAD
-       (!csp->force) && 
-#endif /* def FORCE_LOAD */
-       ( (p = intercept_url(http, csp)) ||
-         IS_TRUSTED_URL
-         (p = block_url(http, csp))
+   if (NULL != (rsp = cgi_dispatch(csp)))
+   {
+          if(0 != (n = make_http_response(rsp)))
+      {
+         if ((write_socket(csp->cfd, rsp->head, n) != n)
+                    || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
+         { 
+            log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
+             }
+          }
+
+
+#ifdef STATISTICS
+      csp->rejected = 1;
+#endif /* def STATISTICS */
+
+      free_http_response(rsp);
+      freez(hdr);
+      return;
+   }
+
 #ifdef FAST_REDIRECTS
-         || (csp->config->fast_redirects && (p = redirect_url(http, csp))) 
+   else if (IS_ENABLED_AND
+            ((csp->action->flags & ACTION_FAST_REDIRECTS) != 0) && 
+            (p = redirect_url(http, csp))) 
+   {
+      /* This must be blocked as HTML */
+#ifdef STATISTICS
+      csp->rejected = 1;
+#endif /* def STATISTICS */
+
+      log_error(LOG_LEVEL_GPC, "%s%s crunch!", http->hostport, http->path);
+
+      log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", 
+                               csp->ip_addr_str, http->cmd); 
+
+      /* Send HTML redirection result */
+      write_socket(csp->cfd, p, strlen(p));
+
+      freez(p);
+      freez(hdr);
+      return;
+   }
 #endif /* def FAST_REDIRECTS */
-      ))
+
+   else if (IS_ENABLED_AND (
+#ifdef TRUST_FILES
+         (p = trust_url(http, csp)) ||
+#endif /* def TRUST_FILES */
+         (p = block_url(http, csp)) ))
    {
+      /* Block as HTML or image */
 #ifdef STATISTICS
       csp->rejected = 1;
 #endif /* def STATISTICS */
@@ -460,40 +638,38 @@ static void chat(struct client_state *csp)
       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 1", 
                                csp->ip_addr_str, http->cmd); 
 
-#if defined(DETECT_MSIE_IMAGES) || defined(USE_IMAGE_LIST)
+#ifdef IMAGE_BLOCKING
       /* Block as image?  */
-      if ( (csp->config->tinygif > 0) && block_imageurl(http, csp) )
+      if ( ((csp->action->flags & ACTION_IMAGE_BLOCKER) != 0)
+        && block_imageurl(http, csp) )
       {
          /* Send "blocked" image */
-         log_error(LOG_LEVEL_GPC, "%s%s image crunch!",
-                   http->hostport, http->path);
+         const char * blocker = csp->action->string[ACTION_STRING_IMAGE_BLOCKER];
 
-         if ((csp->config->tinygif == 2) || strstr(http->path, "ijb-send-banner"))
+         log_error(LOG_LEVEL_GPC, "%s%s image crunch! --> %s",
+            http->hostport, http->path, (blocker ? blocker : "logo"));
+
+         if ((blocker == NULL) || (0 == strcmpic(blocker, "logo")))
          {
             write_socket(csp->cfd, JBGIF, sizeof(JBGIF)-1);
          }
-         else if (csp->config->tinygif == 1)
+         else if (0 == strcmpic(blocker, "blank"))
          {
             write_socket(csp->cfd, BLANKGIF, sizeof(BLANKGIF)-1);
          }
-         else if ((csp->config->tinygif == 3) && (csp->config->tinygifurl))
+         else
          {
             freez(p);
-            p = (char *)malloc(sizeof(HTTP_REDIRECT_TEMPLATE) 
-              + strlen(csp->config->tinygifurl));
-            sprintf(p, HTTP_REDIRECT_TEMPLATE, csp->config->tinygifurl);
+            p = (char *)malloc(sizeof(HTTP_REDIRECT_TEMPLATE) + strlen(blocker));
+            sprintf(p, HTTP_REDIRECT_TEMPLATE, blocker);
             write_socket(csp->cfd, p, strlen(p));
          }
-         else
-         {
-            write_socket(csp->cfd, JBGIF, sizeof(JBGIF)-1);
-         }
       }
       else
-#endif /* defined(DETECT_MSIE_IMAGES) || defined(USE_IMAGE_LIST) */
+#endif /* def IMAGE_BLOCKING */
       /* Block as HTML */
       {
-         /* Send HTML "blocked" message, interception, or redirection result */
+         /* Send HTML "blocked" message */
          write_socket(csp->cfd, p, strlen(p));
       }
 
@@ -708,7 +884,17 @@ static void chat(struct client_state *csp)
 #ifdef PCRS
                if (filtering)
                {
-                  re_process_buffer(csp);
+                  p = re_process_buffer(csp);
+                  hdr = sed(server_patterns, add_server_headers, csp);
+                  n = strlen(hdr);
+                  if ((write_socket(csp->cfd, hdr, n) != n)
+                      || (write_socket(csp->cfd, p, csp->content_length) != csp->content_length))
+                  {
+                     log_error(LOG_LEVEL_CONNECT, "write modified content to client failed: %E");
+                     return;
+                  }
+               freez(hdr);
+               freez(p);
                }
 #endif /* def PCRS */
                break; /* "game over, man" */
@@ -819,7 +1005,7 @@ static void chat(struct client_state *csp)
 
             if (csp->is_text  &&  /* It's a text / * MIME-Type */
                 !http->ssl    &&  /* We talk plaintext */
-                block_popups)
+                block_popups)     /* Policy allows */
             {
                block_popups_now = 1;
             }
@@ -846,8 +1032,8 @@ static void chat(struct client_state *csp)
 
 #endif /* def PCRS */
 
-            if ((write_socket(csp->cfd, hdr, n) != n)
-                || (NOT_FILTERING_AND (n = flush_socket(csp->cfd, csp) < 0)))
+            if (NOT_FILTERING_AND ((write_socket(csp->cfd, hdr, n) != n)
+                || (n = flush_socket(csp->cfd, csp) < 0)))
             {
                log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
 
@@ -974,7 +1160,7 @@ int main(int argc, const char *argv[])
 {
    configfile =
 #ifdef AMIGA
-   "AmiTCP:db/junkbuster.config"
+   "AmiTCP:db/junkbuster/config"
 #elif !defined(_WIN32)
    "config"
 #else
@@ -999,10 +1185,6 @@ int main(int argc, const char *argv[])
    }
 #endif /* !defined(_WIN32) || defined(_WIN_CONSOLE) */
 
-#ifdef AMIGA
-   InitAmiga();
-#endif
-
    Argc = argc;
    Argv = argv;
 
@@ -1013,7 +1195,9 @@ int main(int argc, const char *argv[])
 
    files->next = NULL;
 
-#ifdef _WIN32
+#ifdef AMIGA
+   InitAmiga();
+#elif defined(_WIN32)
    InitWin32();
 #endif
 
@@ -1090,7 +1274,7 @@ static void listen_loop(void)
 #endif /* !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
       sweep();
 
-      if ( NULL == (csp = (struct client_state *) malloc(sizeof(*csp))) )
+      if ( NULL == (csp = (struct client_state *) zalloc(sizeof(*csp))) )
       {
          log_error(LOG_LEVEL_FATAL, "malloc(%d) for csp failed: %E", sizeof(*csp));
          continue;
@@ -1222,7 +1406,7 @@ static void listen_loop(void)
             NP_Output, Output(),
             NP_CloseOutput, FALSE,
             NP_Name, (ULONG)"junkbuster child",
-            NP_StackSize, 20*1024,
+            NP_StackSize, 200*1024,
             TAG_DONE)))
          {
             childs++;