Remove kill-popups action.
[privoxy.git] / project.h
index da8548e..52321e0 100644 (file)
--- a/project.h
+++ b/project.h
@@ -1,6 +1,7 @@
 #ifndef PROJECT_H_INCLUDED
 #define PROJECT_H_INCLUDED
-#define PROJECT_H_VERSION "$Id: project.h,v 1.65 2002/04/04 00:36:36 gliptak Exp $"
+/** Version string. */
+#define PROJECT_H_VERSION "$Id: project.h,v 1.107 2008/03/26 18:07:08 fabiankeil Exp $"
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/project.h,v $
@@ -9,7 +10,7 @@
  *                project.  Does not define any variables or functions
  *                (though it does declare some macros).
  *
- * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
+ * Copyright   :  Written by and Copyright (C) 2001-2008 the SourceForge
  *                Privoxy team. http://www.privoxy.org/
  *
  *                Based on the Internet Junkbuster originally written
  *
  * Revisions   :
  *    $Log: project.h,v $
+ *    Revision 1.107  2008/03/26 18:07:08  fabiankeil
+ *    Add hostname directive. Closes PR#1918189.
+ *
+ *    Revision 1.106  2008/03/24 11:21:03  fabiankeil
+ *    Share the action settings for multiple patterns in the same
+ *    section so we waste less memory for gigantic block lists
+ *    (and load them slightly faster). Reported by Franz Schwartau.
+ *
+ *    Revision 1.105  2008/03/21 11:16:27  fabiankeil
+ *    Garbage-collect csp->my_ip_addr_str and csp->my_hostname.
+ *
+ *    Revision 1.104  2008/03/04 18:30:40  fabiankeil
+ *    Remove the treat-forbidden-connects-like-blocks action. We now
+ *    use the "blocked" page for forbidden CONNECT requests by default.
+ *
+ *    Revision 1.103  2008/03/01 14:00:45  fabiankeil
+ *    Let the block action take the reason for the block
+ *    as argument and show it on the "blocked" page.
+ *
+ *    Revision 1.102  2008/02/03 13:46:14  fabiankeil
+ *    Add SOCKS5 support. Patch #1862863 by Eric M. Hopper with minor changes.
+ *
+ *    Revision 1.101  2007/12/07 18:29:23  fabiankeil
+ *    Remove now-obsolete csp member x_forwarded.
+ *
+ *    Revision 1.100  2007/09/02 13:42:11  fabiankeil
+ *    - Allow port lists in url patterns.
+ *    - Ditch unused url_spec member pathlen.
+ *
+ *    Revision 1.99  2007/07/21 11:51:36  fabiankeil
+ *    As Hal noticed, checking dispatch_cgi() as the last cruncher
+ *    looks like a bug if CGI requests are blocked unintentionally,
+ *    so don't do it unless the user enabled the new config option
+ *    "allow-cgi-request-crunching".
+ *
+ *    Revision 1.98  2007/07/14 07:31:26  fabiankeil
+ *    Add new csp->content_type flag (CT_DECLARED).
+ *
+ *    Revision 1.97  2007/05/27 12:38:08  fabiankeil
+ *    - Remove some left-overs from the switch to dedicated header filters.
+ *    - Adjust "X-Filter: No" to disable dedicated header filters.
+ *    - Prepare for forward-override{}
+ *
+ *    Revision 1.96  2007/05/14 10:41:15  fabiankeil
+ *    Ditch the csp member cookie_list[] which isn't used anymore.
+ *
+ *    Revision 1.95  2007/04/30 15:02:19  fabiankeil
+ *    Introduce dynamic pcrs jobs that can resolve variables.
+ *
+ *    Revision 1.94  2007/04/15 16:39:21  fabiankeil
+ *    Introduce tags as alternative way to specify which
+ *    actions apply to a request. At the moment tags can be
+ *    created based on client and server headers.
+ *
+ *    Revision 1.93  2007/03/20 15:16:34  fabiankeil
+ *    Use dedicated header filter actions instead of abusing "filter".
+ *    Replace "filter-client-headers" and "filter-client-headers"
+ *    with "server-header-filter" and "client-header-filter".
+ *
+ *    Revision 1.92  2007/03/17 15:20:05  fabiankeil
+ *    New config option: enforce-blocks.
+ *
+ *    Revision 1.91  2007/03/05 13:28:03  fabiankeil
+ *    Add some CSP_FLAGs for the header parsers.
+ *
+ *    Revision 1.90  2007/02/07 10:36:16  fabiankeil
+ *    Add new http_response member to save
+ *    the reason why the response was generated.
+ *
+ *    Revision 1.89  2007/01/27 13:09:16  fabiankeil
+ *    Add new config option "templdir" to
+ *    change the templates directory.
+ *
+ *    Revision 1.88  2007/01/25 13:36:59  fabiankeil
+ *    Add csp->error_message for failure reasons
+ *    that should be embedded into the CGI pages.
+ *
+ *    Revision 1.87  2007/01/01 19:36:37  fabiankeil
+ *    Integrate a modified version of Wil Mahan's
+ *    zlib patch (PR #895531).
+ *
+ *    Revision 1.86  2006/12/31 17:56:37  fabiankeil
+ *    Added config option accept-intercepted-requests
+ *    and disabled it by default.
+ *
+ *    Revision 1.85  2006/12/31 15:03:31  fabiankeil
+ *    Fix gcc43 compiler warnings and a comment.
+ *
+ *    Revision 1.84  2006/12/21 12:57:48  fabiankeil
+ *    Add config option "split-large-forms"
+ *    to work around the browser bug reported
+ *    in BR #1570678.
+ *
+ *    Revision 1.83  2006/12/06 19:26:29  fabiankeil
+ *    Moved HTTP snipplets into jcc.c. They aren't
+ *    used anywhere else.
+ *
+ *    Revision 1.82  2006/09/20 15:50:31  fabiankeil
+ *    Doubled size of HOSTENT_BUFFER_SIZE to mask
+ *    problems with gethostbyname_r and some
+ *    /etc/hosts configurations. Only a workaround
+ *    until we get the real fix ready.
+ *    Thanks FĂ©lix Rauch for reporting.
+ *
+ *    Increased value of MAX_TRUSTED_REFERRERS from 64 to 512.
+ *
+ *    Revision 1.81  2006/09/06 13:03:04  fabiankeil
+ *    Respond with 400 and a short text message
+ *    if the client tries to use Privoxy as FTP proxy.
+ *
+ *    Revision 1.80  2006/09/06 10:43:32  fabiankeil
+ *    Added config option enable-remote-http-toggle
+ *    to specify if Privoxy should recognize special
+ *    headers (currently only X-Filter) to change its
+ *    behaviour. Disabled by default.
+ *
+ *    Revision 1.79  2006/09/06 09:23:37  fabiankeil
+ *    Make number of retries in case of forwarded-connect problems
+ *    a config file option (forwarded-connect-retries) and use 0 as
+ *    default.
+ *
+ *    Revision 1.78  2006/08/31 16:25:06  fabiankeil
+ *    Work around a buffer overflow that caused Privoxy to
+ *    segfault if too many trusted referrers were used. Good
+ *    enough for now, but should be replaced with a real
+ *    solution after the next release.
+ *
+ *    Revision 1.77  2006/08/21 12:50:51  david__schmidt
+ *    Formatting cleanup
+ *
+ *    Revision 1.76  2006/08/14 08:25:19  fabiankeil
+ *    Split filter-headers{} into filter-client-headers{}
+ *    and filter-server-headers{}.
+ *    Added parse_header_time() to share some code.
+ *    Replaced timegm() with mktime().
+ *
+ *    Revision 1.75  2006/08/03 02:46:41  david__schmidt
+ *    Incorporate Fabian Keil's patch work:\r *    http://www.fabiankeil.de/sourcecode/privoxy/
+ *
+ *    Revision 1.74  2006/07/18 14:48:47  david__schmidt
+ *    Reorganizing the repository: swapping out what was HEAD (the old 3.1 branch)
+ *    with what was really the latest development (the v_3_0_branch branch)
+ *
+ *    Revision 1.72.2.7  2006/01/29 23:10:56  david__schmidt
+ *    Multiple filter file support
+ *
+ *    Revision 1.72.2.6  2004/10/03 12:53:46  david__schmidt
+ *    Add the ability to check jpeg images for invalid
+ *    lengths of comment blocks.  Defensive strategy
+ *    against the exploit:
+ *       Microsoft Security Bulletin MS04-028
+ *       Buffer Overrun in JPEG Processing (GDI+) Could
+ *       Allow Code Execution (833987)
+ *    Enabled with +inspect-jpegs in actions files.
+ *
+ *    Revision 1.72.2.5  2004/01/30 15:29:29  oes
+ *    Updated the copyright note
+ *
+ *    Revision 1.72.2.4  2004/01/13 16:12:14  oes
+ *    Fixed double slash in USER_MANUAL_URL. Closes BR #867088.
+ *
+ *    Revision 1.72.2.3  2003/03/11 11:54:37  oes
+ *    Introduced RC_FLAG_* flags for use in child process return code
+ *
+ *    Revision 1.72.2.2  2002/11/28 18:15:44  oes
+ *    Added flag to each cgi_dispatcher that allows or denies
+ *    external linking and removed const qualifier from
+ *    struct list_entry.str.
+ *
+ *    Revision 1.72.2.1  2002/08/10 11:25:18  oes
+ *    - Include config.h for access to config data
+ *    - Include <pcre*.h> depending on where they are
+ *
+ *    Revision 1.72  2002/05/14 21:35:49  oes
+ *    Split HELP_LINK_PREFIX into ACTIONS_HELP_PREFIX and CONFIG_HELP_PREFIX
+ *    because of split in user-manual
+ *
+ *    Revision 1.71  2002/05/12 21:39:36  jongfoster
+ *    - Adding Doxygen-style comments to structures and #defines.
+ *
+ *    Revision 1.70  2002/05/12 16:05:50  jongfoster
+ *    Fixing ACTION_MASK_ALL to be unsigned long rather than
+ *    just unsigned int.  I don't know if anyone is porting
+ *    Privoxy to 16-bit platforms, but if so, +limit-connect
+ *    wouldn't have worked because of this bug.
+ *
+ *    Revision 1.69  2002/05/08 16:00:16  oes
+ *    Added size member to struct iob, so it can
+ *    be alloced larger than needed.
+ *
+ *    Revision 1.68  2002/04/26 12:56:00  oes
+ *    Killed REDIRECT_URL, added USER_MANUAL_URL and HELP_LINK_PREFIX
+ *
+ *    Revision 1.67  2002/04/24 02:12:43  oes
+ *     - Jon's multiple AF patch:
+ *       - Make csp->actions_list an array
+ *       - #define MAX_AF_FILES
+ *     - Moved CGI_PARAM_LEN_MAX (500) here
+ *
+ *    Revision 1.66  2002/04/15 19:06:43  jongfoster
+ *    Typos
+ *
  *    Revision 1.65  2002/04/04 00:36:36  gliptak
  *    always use pcre for matching
  *
 
 /* Need time_t for file_list */
 #include <time.h>
+/* Needed for pcre choice */
+#include "config.h"
 
 /*
  * Include appropriate regular expression libraries.
 #ifdef STATIC_PCRE
 #  include "pcre.h"
 #else
-#  include <pcre.h>
+#  ifdef PCRE_H_IN_SUBDIR
+#    include <pcre/pcre.h>
+#  else
+#    include <pcre.h>
+#  endif
 #endif
 
 #ifdef STATIC_PCRS
 #ifdef STATIC_PCRE
 #  include "pcreposix.h"
 #else
-#  include <pcreposix.h>
+#  ifdef PCRE_H_IN_SUBDIR
+#    include <pcre/pcreposix.h>
+#  else
+#    include <pcreposix.h>
+#  endif
 #endif
 
 #ifdef AMIGA
 extern "C" {
 #endif
 
-/*
- * The type used by sockets.  On UNIX it's an int.  Microsoft decided to
- * make it an unsigned.
- */
 #ifdef _WIN32
+
 typedef SOCKET jb_socket;
+
 #define JB_INVALID_SOCKET INVALID_SOCKET
+
 #else /* ndef _WIN32 */
+
+/**
+ * The type used by sockets.  On UNIX it's an int.  Microsoft decided to
+ * make it an unsigned.
+ */
 typedef int jb_socket;
+
+/**
+ * The error value used for variables of type jb_socket.  On UNIX this
+ * is -1, however Microsoft decided to make socket handles unsigned, so
+ * they use a different value.
+ */
+
 #define JB_INVALID_SOCKET (-1)
+
 #endif /* ndef _WIN32 */
 
 
-/*
- * Error codes.  Functions returning these should return a jb_err
- */
-#define JB_ERR_OK         0 /* Success, no error                        */
-#define JB_ERR_MEMORY     1 /* Out of memory                            */
-#define JB_ERR_CGI_PARAMS 2 /* Missing or corrupt CGI parameters        */
-#define JB_ERR_FILE       3 /* Error opening, reading or writing a file */
-#define JB_ERR_PARSE      4 /* Error parsing file                       */
-#define JB_ERR_MODIFIED   5 /* File has been modified outside of the    */
-                            /* CGI actions editor.                      */
+/**
+ * A standard error code.  This should be JB_ERR_OK or one of the JB_ERR_xxx
+ * series of errors.
+ */
 typedef int jb_err;
 
-
-/*
- * This macro is used to free a pointer that may be NULL
+#define JB_ERR_OK         0 /**< Success, no error                        */
+#define JB_ERR_MEMORY     1 /**< Out of memory                            */
+#define JB_ERR_CGI_PARAMS 2 /**< Missing or corrupt CGI parameters        */
+#define JB_ERR_FILE       3 /**< Error opening, reading or writing a file */
+#define JB_ERR_PARSE      4 /**< Error parsing file                       */
+#define JB_ERR_MODIFIED   5 /**< File has been modified outside of the  
+                                 CGI actions editor.                      */
+#define JB_ERR_COMPRESS   6 /**< Error on decompression                   */
+
+/**
+ * This macro is used to free a pointer that may be NULL.
+ * It also sets the variable to NULL after it's been freed.
+ * The paramater should be a simple variable without side effects.
  */
 #define freez(X)  { if(X) { free((void*)X); X = NULL ; } }
 
 
-/* Fix a problem with Solaris.  There should be no effect on other
+/**
+ * Fix a problem with Solaris.  There should be no effect on other
  * platforms.
+ *
  * Solaris's isspace() is a macro which uses it's argument directly
  * as an array index.  Therefore we need to make sure that high-bit
  * characters generate +ve values, and ideally we also want to make
@@ -512,14 +743,19 @@ typedef int jb_err;
 #define ijb_tolower(__X) tolower((int)(unsigned char)(__X))
 #define ijb_isspace(__X) isspace((int)(unsigned char)(__X))  
 
-/*
+/**
  * Use for statically allocated buffers if you have no other choice.
  * Remember to check the length of what you write into the buffer
  * - we don't want any buffer overflows!
  */
 #define BUFFER_SIZE 5000
 
-/*
+/**
+ * Max length of CGI parameters (arbitrary limit).
+ */
+#define CGI_PARAM_LEN_MAX 500
+
+/**
  * Buffer size for capturing struct hostent data in the
  * gethostby(name|addr)_r library calls. Since we don't
  * loop over gethostbyname_r, the buffer must be sufficient
@@ -527,174 +763,380 @@ typedef int jb_err;
  * load balancing. W3C's wwwlib uses 1K, so that should be
  * good enough for us, too.
  */
-#define HOSTENT_BUFFER_SIZE 1024
+/**
+ * XXX: Temporary doubled, for some configurations
+ * 1K is still too small and we didn't get the
+ * real fix ready for inclusion.
+ */
+#define HOSTENT_BUFFER_SIZE 2048
 
-/*
- * So you can say "while (FOREVER) { ...do something... }"
+/**
+ * Do not use.  Originally this was so that you can
+ * say "while (FOREVER) { ...do something... }".
+ * However, this gives a warning with some compilers (e.g. VC++).
+ * Instead, use "for (;;) { ...do something... }".
  */
 #define FOREVER 1
 
-/* Default IP and port to listen on */
+/**
+ * Default IP address to listen on, as a string.
+ * Set to "127.0.0.1".
+ */
 #define HADDR_DEFAULT   "127.0.0.1"
+
+/**
+ * Default port to listen on, as a number.
+ * Set to 8118.
+ */
 #define HADDR_PORT      8118
 
-/* Forward defs for various structures */
 
-/* Need this for struct client_state */
+/* Forward def for struct client_state */
 struct configuration_spec;
 
 
-/* Generic linked list of strings */
-
+/**
+ * Entry in a linked list of strings.
+ */
 struct list_entry
 {
-   const char *str;
+   /**
+    * The string pointer. It must point to a dynamically malloc()ed
+    * string or be NULL for the list functions to work. In the latter
+    * case, just be careful next time you iterate through the list in
+    * your own code.
+    */
+   char *str;
+   
+   /** Next entry in the linked list, or NULL if no more. */
    struct list_entry *next;
 };
 
+/**
+ * A header for a linked list of strings.
+ */
 struct list
 {
+   /** First entry in the list, or NULL if the list is empty. */
    struct list_entry *first;
+
+   /** Last entry in the list, or NULL if the list is empty. */
    struct list_entry *last;
 };
 
 
-/* A map from a string to another string */
-
+/**
+ * An entry in a map.  This is a name=value pair.
+ */
 struct map_entry
 {
+   /** The key for the map. */
    const char *name;
+   /** The value associated with that key. */
    const char *value;
+   /** The next map entry, or NULL if none. */
    struct map_entry *next;
 };
 
+/**
+ * A map from a string to another string.
+ * This is used for the paramaters passed in a HTTP GET request, and
+ * to store the exports when the CGI interface is filling in a template.
+ */
 struct map
 {
+   /** The first map entry, or NULL if the map is empty. */
    struct map_entry *first;
+   /** The last map entry, or NULL if the map is empty. */
    struct map_entry *last;
 };
 
 
+/**
+ * A HTTP request.  This includes the method (GET, POST) and
+ * the parsed URL.
+ *
+ * This is also used whenever we want to match a URL against a
+ * URL pattern.  This always contains the URL to match, and never
+ * a URL pattern.  (See struct url_spec).
+ */
 struct http_request
 {
-   char *cmd;      /* Whole command line: method, URL, Version */
-   char *ocmd;     /* Backup of original cmd for CLF logging */
-   char *gpc;      /* HTTP method: GET, POST, .. */
-   char *url;      /* The URL */
-   char *ver;      /* Protocol version */
-   int status;     /* HTTP Status */
-
-   char *host;     /* Host part of URL */
-   int   port;     /* Port of URL or 80 (default) */
-   char *path;     /* Path of URL */
-   char *hostport; /* host[:port] */
-   int   ssl;      /* Flag if protocol is https */
-
-   char *host_ip_addr_str; /* String with dotted decimal representation
-                            * of host's IP. NULL before connect_to() */
-
-   char  *dbuffer;     /* Buffer with '\0'-delimited domain name.           */
-   char **dvec;        /* List of pointers to the strings in dbuffer.       */
-   int    dcount;      /* How many parts to this domain? (length of dvec)   */
+   char *cmd;      /**< Whole command line: method, URL, Version */
+   char *ocmd;     /**< Backup of original cmd for CLF logging */
+   char *gpc;      /**< HTTP method: GET, POST, ... */
+   char *url;      /**< The URL */
+   char *ver;      /**< Protocol version */
+   int status;     /**< HTTP Status */
+
+   char *host;     /**< Host part of URL */
+   int   port;     /**< Port of URL or 80 (default) */
+   char *path;     /**< Path of URL */
+   char *hostport; /**< host[:port] */
+   int   ssl;      /**< Flag if protocol is https */
+
+   char *host_ip_addr_str; /**< String with dotted decimal representation
+                                of host's IP. NULL before connect_to() */
+
+   char  *dbuffer; /**< Buffer with '\0'-delimited domain name.           */
+   char **dvec;    /**< List of pointers to the strings in dbuffer.       */
+   int    dcount;  /**< How many parts to this domain? (length of dvec)   */
 };
 
-/* 
+/**
+ * Reasons for generating a http_response instead of delivering
+ * the requested resource. Mostly ordered the way they are checked
+ * for in chat().
+ */
+#define RSP_REASON_UNSUPPORTED        1
+#define RSP_REASON_BLOCKED            2
+#define RSP_REASON_UNTRUSTED          3
+#define RSP_REASON_REDIRECTED         4
+#define RSP_REASON_CGI_CALL           5
+#define RSP_REASON_NO_SUCH_DOMAIN     6
+#define RSP_REASON_FORWARDING_FAILED  7
+#define RSP_REASON_CONNECT_FAILED     8
+#define RSP_REASON_OUT_OF_MEMORY      9
+#define RSP_REASON_INTERNAL_ERROR     10
+
+/**
  * Response generated by CGI, blocker, or error handler
  */
 struct http_response
 {
-  char  *status;          /* HTTP status (string) */
-  struct list headers[1]; /* List of header lines */
-  char  *head;            /* Formatted http response head */
-  size_t head_length;     /* Length of http response head */
-  char  *body;            /* HTTP document body */
-  size_t content_length;  /* Length of body, REQUIRED if binary body */
-  int    is_static;       /* Nonzero if the content will never change and
-                           * should be cached by the brwoser (e.g. images) */
+  char  *status;          /**< HTTP status (string). */
+  struct list headers[1]; /**< List of header lines. */
+  char  *head;            /**< Formatted http response head. */
+  size_t head_length;     /**< Length of http response head. */
+  char  *body;            /**< HTTP document body. */
+  size_t content_length;  /**< Length of body, REQUIRED if binary body. */
+  int    is_static;       /**< Nonzero if the content will never change and
+                               should be cached by the browser (e.g. images). */
+  int reason;             /**< Why the response was generated in the first place. */
 };
 
-/* A URL pattern */
+/**
+ * A URL or a tag pattern.
+ */
 struct url_spec
 {
-   char  *spec;        /* The string which was parsed to produce this       */
-                       /* url_spec.  Used for debugging or display only.    */
-
-   /* Hostname matching, or dbuffer == NULL to match all hosts */
-   char  *dbuffer;     /* Buffer with '\0'-delimited domain name.           */
-   char **dvec;        /* List of pointers to the strings in dbuffer.       */
-   int    dcount;      /* How many parts to this domain? (length of dvec)   */
-   int    unanchored;  /* Bitmap - flags are ANCHOR_LEFT and ANCHOR_RIGHT.  */
-
-   /* Port matching: */
-   int   port;         /* The port number, or 0 to match all ports.         */
-
-   /* Path matching: */
-   char *path;         /* The path prefix (if not using regex), or source   */
-                       /* for the regex.                                    */
-   int   pathlen;      /* ==strlen(path).  Needed for prefix matching.      */
-   regex_t *preg;      /* Regex for matching path part                      */
+   /** The string which was parsed to produce this url_spec.
+       Used for debugging or display only.  */
+   char  *spec;
+
+   char  *dbuffer;     /**< Buffer with '\0'-delimited domain name, or NULL to match all hosts. */
+   char **dvec;        /**< List of pointers to the strings in dbuffer.       */
+   int    dcount;      /**< How many parts to this domain? (length of dvec)   */
+   int    unanchored;  /**< Bitmap - flags are ANCHOR_LEFT and ANCHOR_RIGHT.  */
+
+   char  *port_list;   /**< List of acceptable ports, or NULL to match all ports */
+
+   char  *path;        /**< The source for the regex.                         */
+   regex_t *preg;      /**< Regex for matching path part                      */
+   regex_t *tag_regex; /**< Regex for matching tags                           */
 };
-#define URL_SPEC_INITIALIZER { NULL, NULL, NULL, 0, 0, 0, NULL, 0, NULL }
 
-/* Constants for host part matching in URLs */
+/**
+ * If you declare a static url_spec, this is the value to initialize it to zero.
+ */
+#define URL_SPEC_INITIALIZER { NULL, NULL, NULL, 0, 0, NULL, NULL, NULL, NULL }
+
+/**
+ * Constant for host part matching in URLs.  If set, indicates that the start of
+ * the pattern must match the start of the URL.  E.g. this is not set for the
+ * pattern ".example.com", so that it will match both "example.com" and
+ * "www.example.com".  It is set for the pattern "example.com", which makes it
+ * match "example.com" only, not "www.example.com".
+ */
 #define ANCHOR_LEFT  1
+
+/**
+ * Constant for host part matching in URLs.  If set, indicates that the end of
+ * the pattern must match the end of the URL.  E.g. this is not set for the
+ * pattern "ad.", so that it will match any host called "ad", irrespective
+ * of how many subdomains are in the fully-qualified domain name.
+ */
 #define ANCHOR_RIGHT 2
 
 
-/* An I/O buffer */
+/**
+ * An I/O buffer.  Holds a string which can be appended to, and can have data
+ * removed from the beginning.
+ */
 struct iob
 {
-   char *buf;
-   char *cur;
-   char *eod;
+   char *buf;    /**< Start of buffer        */
+   char *cur;    /**< Start of relevant data */
+   char *eod;    /**< End of relevant data   */
+   size_t size;  /**< Size as malloc()ed     */
 };
 
 
+/**
+ * Return the number of bytes in the I/O buffer associated with the passed
+ * client_state pointer.
+ * May be zero.
+ */
 #define IOB_PEEK(CSP) ((CSP->iob->cur > CSP->iob->eod) ? (CSP->iob->eod - CSP->iob->cur) : 0)
+
+
+/**
+ * Remove any data in the I/O buffer associated with the passed
+ * client_state pointer.
+ */
 #define IOB_RESET(CSP) if(CSP->iob->buf) free(CSP->iob->buf); memset(CSP->iob, '\0', sizeof(CSP->iob));
 
-/* Bits for csp->content_type */
-#define CT_TEXT   1 /* Suitable for pcrs filtering */
-#define CT_GIF    2 /* Suitable for GIF filtering */
-#define CT_TABOO  4 /* DONT filter */
-
-#define ACTION_MASK_ALL        (~0U)
-
-#define ACTION_MOST_COMPATIBLE 0x00000000UL
-
-#define ACTION_BLOCK           0x00000001UL
-#define ACTION_DEANIMATE       0x00000002UL
-#define ACTION_DOWNGRADE       0x00000004UL
-#define ACTION_FAST_REDIRECTS  0x00000008UL
-#define ACTION_HIDE_FORWARDED  0x00000010UL
-#define ACTION_HIDE_FROM       0x00000020UL
-#define ACTION_HIDE_REFERER    0x00000040UL /* sic - follow HTTP, not English */
-#define ACTION_HIDE_USER_AGENT 0x00000080UL
-#define ACTION_IMAGE           0x00000100UL
-#define ACTION_IMAGE_BLOCKER   0x00000200UL
-#define ACTION_NO_COMPRESSION  0x00000400UL
-#define ACTION_NO_COOKIE_KEEP  0x00000800UL
-#define ACTION_NO_COOKIE_READ  0x00001000UL
-#define ACTION_NO_COOKIE_SET   0x00002000UL
-#define ACTION_NO_POPUPS       0x00004000UL
-#define ACTION_VANILLA_WAFER   0x00008000UL
-#define ACTION_LIMIT_CONNECT   0x00010000UL
-
-#define ACTION_STRING_DEANIMATE     0
-#define ACTION_STRING_FROM          1
-#define ACTION_STRING_IMAGE_BLOCKER 2
-#define ACTION_STRING_REFERER       3
-#define ACTION_STRING_USER_AGENT    4
-#define ACTION_STRING_LIMIT_CONNECT 5
-#define ACTION_STRING_COUNT         6
-
-#define ACTION_MULTI_ADD_HEADER     0
-#define ACTION_MULTI_WAFER          1
-#define ACTION_MULTI_FILTER         2
-#define ACTION_MULTI_COUNT          3
+/* Bits for csp->content_type bitmask: */
+#define CT_TEXT    0x0001U /**< Suitable for pcrs filtering. */
+#define CT_GIF     0x0002U /**< Suitable for GIF filtering.  */
+#define CT_TABOO   0x0004U /**< DO NOT filter, irrespective of other flags. */
+#define CT_JPEG    0x0008U /**< Suitable for JPEG filtering.  */
 
+/* Although these are not, strictly speaking, content types
+ * (they are content encodings), it is simple to handle them
+ * as such.
+ */
+#define CT_GZIP    0x0010U /**< gzip-compressed data. */
+#define CT_DEFLATE 0x0020U /**< zlib-compressed data. */
 
-/*
+/**
+ * Flag to signal that the server declared the content type,
+ * so we can differentiate between unknown and undeclared
+ * content types.
+ */
+#define CT_DECLARED 0x0040U
+
+/**
+ * The mask which includes all actions.
+ */
+#define ACTION_MASK_ALL        (~0UL)
+
+/**
+ * The most compatible set of actions - i.e. none.
+ */
+#define ACTION_MOST_COMPATIBLE                       0x00000000UL
+
+/** Action bitmap: Block the request. */
+#define ACTION_BLOCK                                 0x00000001UL
+/** Action bitmap: Deanimate if it's a GIF. */
+#define ACTION_DEANIMATE                             0x00000002UL
+/** Action bitmap: Downgrade HTTP/1.1 to 1.0. */
+#define ACTION_DOWNGRADE                             0x00000004UL
+/** Action bitmap: Fast redirects. */
+#define ACTION_FAST_REDIRECTS                        0x00000008UL
+/** Action bitmap: Remove existing "Forwarded" header, and do not add another. */
+#define ACTION_HIDE_FORWARDED                        0x00000010UL
+/** Action bitmap: Hide "From" header. */
+#define ACTION_HIDE_FROM                             0x00000020UL
+/** Action bitmap: Hide "Referer" header.  (sic - follow HTTP, not English). */
+#define ACTION_HIDE_REFERER                          0x00000040UL
+/** Action bitmap: Hide "User-Agent" and similar headers. */
+#define ACTION_HIDE_USER_AGENT                       0x00000080UL
+/** Action bitmap: This is an image. */
+#define ACTION_IMAGE                                 0x00000100UL
+/** Action bitmap: Sets the image blocker. */
+#define ACTION_IMAGE_BLOCKER                         0x00000200UL
+/** Action bitmap: Prevent compression. */
+#define ACTION_NO_COMPRESSION                        0x00000400UL
+/** Action bitmap: Change cookies to session only cookies. */
+#define ACTION_NO_COOKIE_KEEP                        0x00000800UL
+/** Action bitmap: Block rending cookies. */
+#define ACTION_NO_COOKIE_READ                        0x00001000UL
+/** Action bitmap: Block setting cookies. */
+#define ACTION_NO_COOKIE_SET                         0x00002000UL
+/** Action bitmap: Override the forward settings in the config file */
+#define ACTION_FORWARD_OVERRIDE                      0x00004000UL
+/** Action bitmap: Send a vanilla wafer. */
+#define ACTION_VANILLA_WAFER                         0x00008000UL
+/** Action bitmap: Limit CONNECT requests to safe ports. */
+#define ACTION_LIMIT_CONNECT                         0x00010000UL
+/** Action bitmap: Inspect if it's a JPEG. */
+#define ACTION_JPEG_INSPECT                          0x00020000UL
+/** Action bitmap: Crunch or modify "if-modified-since" header. */
+#define ACTION_HIDE_IF_MODIFIED_SINCE                0x00040000UL
+/** Action bitmap: Overwrite Content-Type header. */
+#define ACTION_CONTENT_TYPE_OVERWRITE                0x00080000UL
+/** Action bitmap: Crunch specified server header. */
+#define ACTION_CRUNCH_SERVER_HEADER                  0x00100000UL
+/** Action bitmap: Crunch specified client header */
+#define ACTION_CRUNCH_CLIENT_HEADER                  0x00200000UL
+/** Action bitmap: Enable text mode by force */
+#define ACTION_FORCE_TEXT_MODE                       0x00400000UL
+/** Action bitmap: Enable text mode by force */
+#define ACTION_CRUNCH_IF_NONE_MATCH                  0x00800000UL
+/** Action bitmap: Enable content-dispostion crunching */
+#define ACTION_HIDE_CONTENT_DISPOSITION              0x01000000UL
+/** Action bitmap: Replace or block Last-Modified header */
+#define ACTION_OVERWRITE_LAST_MODIFIED               0x02000000UL
+/** Action bitmap: Replace or block Accept-Language header */
+#define ACTION_HIDE_ACCEPT_LANGUAGE                  0x04000000UL
+/** Action bitmap: Block as empty document */
+#define  ACTION_HANDLE_AS_EMPTY_DOCUMENT             0x08000000UL
+/** Action bitmap: Redirect request. */
+#define  ACTION_REDIRECT                             0x10000000UL
+
+
+/** Action string index: How to deanimate GIFs */
+#define ACTION_STRING_DEANIMATE             0
+/** Action string index: Replacement for "From:" header */
+#define ACTION_STRING_FROM                  1
+/** Action string index: How to block images */
+#define ACTION_STRING_IMAGE_BLOCKER         2
+/** Action string index: Replacement for "Referer:" header */
+#define ACTION_STRING_REFERER               3
+/** Action string index: Replacement for "User-Agent:" header */
+#define ACTION_STRING_USER_AGENT            4
+/** Action string index: Legal CONNECT ports. */
+#define ACTION_STRING_LIMIT_CONNECT         5
+/** Action string index: Server headers containing this pattern are crunched*/
+#define ACTION_STRING_SERVER_HEADER         6
+/** Action string index: Client headers containing this pattern are crunched*/
+#define ACTION_STRING_CLIENT_HEADER         7
+/** Action string index: Replacement for the "Accept-Language:" header*/
+#define ACTION_STRING_LANGUAGE              8
+/** Action string index: Replacement for the "Content-Type:" header*/
+#define ACTION_STRING_CONTENT_TYPE          9
+/** Action string index: Replacement for the "content-dispostion:" header*/
+#define ACTION_STRING_CONTENT_DISPOSITION  10
+/** Action string index: Replacement for the "If-Modified-Since:" header*/
+#define ACTION_STRING_IF_MODIFIED_SINCE    11
+/** Action string index: Replacement for the "Last-Modified:" header. */
+#define ACTION_STRING_LAST_MODIFIED        12
+/** Action string index: Redirect URL */
+#define ACTION_STRING_REDIRECT             13
+/** Action string index: Decode before redirect? */
+#define ACTION_STRING_FAST_REDIRECTS       14
+/** Action string index: Overriding forward rule. */
+#define ACTION_STRING_FORWARD_OVERRIDE     15
+/** Action string index: Reason for the block. */
+#define ACTION_STRING_BLOCK                16
+/** Number of string actions. */
+#define ACTION_STRING_COUNT                17
+
+
+/* To make the ugly hack in sed easier to understand */
+#define CHECK_EVERY_HEADER_REMAINING 0
+
+
+/** Index into current_action_spec::multi[] for headers to add. */
+#define ACTION_MULTI_ADD_HEADER              0
+/** Index into current_action_spec::multi[] for headers to add. */
+#define ACTION_MULTI_WAFER                   1
+/** Index into current_action_spec::multi[] for content filters to apply. */
+#define ACTION_MULTI_FILTER                  2
+/** Index into current_action_spec::multi[] for server-header filters to apply. */
+#define ACTION_MULTI_SERVER_HEADER_FILTER    3
+/** Index into current_action_spec::multi[] for client-header filters to apply. */
+#define ACTION_MULTI_CLIENT_HEADER_FILTER    4
+/** Index into current_action_spec::multi[] for client-header tags to apply. */
+#define ACTION_MULTI_CLIENT_HEADER_TAGGER    5
+/** Index into current_action_spec::multi[] for server-header tags to apply. */
+#define ACTION_MULTI_SERVER_HEADER_TAGGER    6
+/** Number of multi-string actions. */
+#define ACTION_MULTI_COUNT                   7
+
+
+/**
  * This structure contains a list of actions to apply to a URL.
  * It only contains positive instructions - no "-" options.
  * It is not used to store the actions list itself, only for
@@ -702,184 +1144,295 @@ struct iob
  */
 struct current_action_spec
 {
-   unsigned long flags;    /* a bit set to "1" = add action    */
-
-   /* For those actions that require parameters: */
+   /** Actions to apply.  A bit set to "1" means perform the action. */
+   unsigned long flags;
 
-   /* each entry is valid if & only if corresponding entry in "add" set. */
+   /**
+    * Paramaters for those actions that require them.
+    * Each entry is valid if & only if the corresponding entry in "flags" is
+    * set.
+    */
    char * string[ACTION_STRING_COUNT];
 
-   /* Strings to add */
+   /** Lists of strings for multi-string actions. */
    struct list multi[ACTION_MULTI_COUNT][1];
 };
 
 
-/*
+/**
  * This structure contains a set of changes to actions.
  * It can contain both positive and negative instructions.
  * It is used to store an entry in the actions list.
  */
 struct action_spec
 {
-   unsigned long mask;   /* a bit set to "0" = remove action */
-   unsigned long add;    /* a bit set to "1" = add action    */
-
-   /* For those actions that require parameters: */
+   unsigned long mask; /**< Actions to keep. A bit set to "0" means remove action. */
+   unsigned long add;  /**< Actions to add.  A bit set to "1" means add action.    */
 
-   /* each entry is valid if & only if corresponding entry in "add" set. */
+   /**
+    * Paramaters for those actions that require them.
+    * Each entry is valid if & only if the corresponding entry in "flags" is
+    * set.
+    */
    char * string[ACTION_STRING_COUNT];
 
-   /* Strings to remove. */
+   /** Lists of strings to remove, for multi-string actions. */
    struct list multi_remove[ACTION_MULTI_COUNT][1];
 
-   /* If nonzero, remove *all* strings. */
+   /** If nonzero, remove *all* strings from the multi-string action. */
    int         multi_remove_all[ACTION_MULTI_COUNT];
 
-   /* Strings to add */
+   /** Lists of strings to add, for multi-string actions. */
    struct list multi_add[ACTION_MULTI_COUNT][1];
 };
 
-/*
- * This structure is used to store the actions list.
+
+/**
+ * This structure is used to store action files.
  *
- * It contains a URL pattern, and the chages to the actions.
- * It is a linked list.
+ * It contains an URL or tag pattern, and the changes to
+ * the actions. It's a linked list and should only be
+ * free'd through unload_actions_file() unless there's
+ * only a single entry.
  */
 struct url_actions
 {
-   struct url_spec url[1];
+   struct url_spec url[1];     /**< The URL or tag pattern. */
 
-   struct action_spec action[1];
+   struct action_spec *action; /**< Action settings that might be shared with
+                                    the list entry before or after the current
+                                    one and can't be free'd willy nilly. */
 
-   struct url_actions * next;
+   struct url_actions *next;   /**< Next action section in file, or NULL. */
 };
 
 
 /*
  * Flags for use in csp->flags
  */
-#define CSP_FLAG_ACTIVE     0x01 /* Set if this client is processing data.
-                                  * Cleared when the thread associated with
-                                  * this structure dies. */
-#define CSP_FLAG_CHUNKED    0x02 /* Set if the server's reply is in "chunked"
-                                  * transfer encoding */
-#define CSP_FLAG_FORCED     0x04 /* Set if this request was enforced, although
-                                  * it would normally have been blocked. */
-#define CSP_FLAG_MODIFIED   0x08 /* Set if any modification to the body was done */
-#define CSP_FLAG_REJECTED   0x10 /* Set if request was blocked.  */
-#define CSP_FLAG_TOGGLED_ON 0x20 /* Set if we are toggled on (FEATURE_TOGGLE) */
+/**
+ * Flag for csp->flags: Set if this client is processing data.
+ * Cleared when the thread associated with this structure dies.
+ */
+#define CSP_FLAG_ACTIVE     0x01
+
+/**
+ * Flag for csp->flags: Set if the server's reply is in "chunked"
+ * transfer encoding
+ */
+#define CSP_FLAG_CHUNKED    0x02
+
+/**
+ * Flag for csp->flags: Set if this request was enforced, although it would
+ * normally have been blocked.
+ */
+#define CSP_FLAG_FORCED     0x04
+
+/**
+ * Flag for csp->flags: Set if any modification to the body was done.
+ */
+#define CSP_FLAG_MODIFIED   0x08
+
+/**
+ * Flag for csp->flags: Set if request was blocked.
+ */
+#define CSP_FLAG_REJECTED   0x10
+
+/**
+ * Flag for csp->flags: Set if we are toggled on (FEATURE_TOGGLE).
+ */
+#define CSP_FLAG_TOGGLED_ON 0x20
+
+/**
+ * Flag for csp->flags: Set if adding the 'Connection: close' header
+ * for the client isn't necessary.
+ */
+#define CSP_FLAG_CLIENT_CONNECTION_CLOSE_SET   0x00000040UL
+
+/**
+ * Flag for csp->flags: Set if adding the 'Connection: close' header
+ * for the server isn't necessary.
+ */
+#define CSP_FLAG_SERVER_CONNECTION_CLOSE_SET   0x00000080UL
+
+/**
+ * Flag for csp->flags: Signals header parsers whether they
+ * are parsing server or client headers.
+ */
+#define CSP_FLAG_CLIENT_HEADER_PARSING_DONE    0x00000100UL
+
+/**
+ * Flag for csp->flags: Set if adding the Host: header
+ * isn't necessary.
+ */
+#define CSP_FLAG_HOST_HEADER_IS_SET            0x00000200UL
+
+/**
+ * Flag for csp->flags: Set if filtering is disabled by X-Filter: No
+ * XXX: As we now have tags we might as well ditch this.
+ */
+#define CSP_FLAG_NO_FILTERING                  0x00000400UL
+
 
 /*
+ * Flags for use in return codes of child processes
+ */
+
+/**
+ * Flag for process return code: Set if exiting porcess has been toggled
+ * during its lifetime.
+ */
+#define RC_FLAG_TOGGLED   0x10
+
+/**
+ * Flag for process return code: Set if exiting porcess has blocked its
+ * request.
+ */
+#define RC_FLAG_BLOCKED   0x20
+
+/**
+ * Maximum number of actions/filter files.  This limit is arbitrary - it's just used
+ * to size an array.
+ */
+#define MAX_AF_FILES 10
+
+/**
  * The state of a Privoxy processing thread.
  */
 struct client_state
 {
-   /* The proxy's configuration */
+   /** The proxy's configuration */
    struct configuration_spec * config;
 
-   /* The actions to perform on the current request */
+   /** The actions to perform on the current request */
    struct current_action_spec  action[1];
 
-   /* socket to talk to client (web browser) */
+   /** socket to talk to client (web browser) */
    jb_socket cfd;
 
-   /* socket to talk to server (web server or proxy) */
+   /** socket to talk to server (web server or proxy) */
    jb_socket sfd;
 
-   /* Multi-purpose flag container, see CSP_FLAG_* above */
-   unsigned short int flags;
+   /** Multi-purpose flag container, see CSP_FLAG_* above */
+   unsigned int flags;
 
-   /*
-    * Client PC's IP address, as reported by the accept()_ function.
-    * Both as string and number
-    */
+   /** Client PC's IP address, as reported by the accept() function.
+       As a string. */
    char *ip_addr_str;
+   /** Client PC's IP address, as reported by the accept() function.
+       As a number. */
    long  ip_addr_long;
 
+   /** The URL that was requested */
+   struct http_request http[1];
 
-   /* Our IP address and hostname, i.e. the IP address that
-      the client used to reach us, and the associated hostname,
-      both as strings
+   /*
+    * The final forwarding settings.
+    * XXX: Currently this is only used for forward-override,
+    * so we can free the space in sweep.
     */
-   char *my_ip_addr_str;
-   char *my_hostname;
-
-   /* The URL that was requested */
-   struct http_request http[1];
+   struct forward_spec * fwd;
 
-   /* An I/O buffer used for buffering data read from the client */
+   /** An I/O buffer used for buffering data read from the network */
    struct iob iob[1];
 
-   /* List of all headers for this request */
+   /** List of all headers for this request */
    struct list headers[1];
 
-   /* List of all cookies for this request */
-   struct list cookie_list[1];
+   /** List of all tags that apply to this request */
+   struct list tags[1];
 
-   /* MIME-Type key, see CT_* above */
-   unsigned short int content_type;
+   /** MIME-Type key, see CT_* above */
+   unsigned int content_type;
 
-   /* The "X-Forwarded-For:" header sent by the client */
-   char   *x_forwarded;
+   /** Actions files associated with this client */
+   struct file_list *actions_list[MAX_AF_FILES];
 
-   /* files associated with this client */
-   struct file_list *actions_list;
+   /** pcrs job files. */
+   struct file_list *rlist[MAX_AF_FILES];
 
-   struct file_list *rlist;   /* pcrs job file */
-   size_t content_length;     /* Length after content modification */
+   /** Length after content modification. */
+   size_t content_length;
 
 #ifdef FEATURE_TRUST
-   struct file_list *tlist;   /* trustfile */
+
+   /** Trust file. */
+   struct file_list *tlist;
+
 #endif /* def FEATURE_TRUST */
 
+   /**
+    * Failure reason to embedded in the CGI error page,
+    * or NULL. Currently only used for socks errors.
+    */
+   char *error_message;
+
+   /** Next thread in linked list. Only read or modify from the main thread! */
    struct client_state *next;
 };
 
 
-/*
+/**
  * A function to add a header
  */
 typedef jb_err (*add_header_func_ptr)(struct client_state *);
 
-/*
+/**
  * A function to process a header
  */
 typedef jb_err (*parser_func_ptr    )(struct client_state *, char **);
 
-/*
+
+/**
  * List of functions to run on a list of headers
  */
 struct parsers
 {
+   /** The header prefix to match */
    char   *str;
+   
+   /** The length of the prefix to match */
    size_t len;
+   
+   /** The function to apply to this line */
    parser_func_ptr parser;
 };
 
 
-/*
+/**
  * List of available CGI functions.
  */
 struct cgi_dispatcher
 {
+   /** The URL of the CGI, relative to the CGI root. */
    const char * const name;
+
+   /** The handler function for the CGI */
    jb_err    (* const handler)(struct client_state *csp, struct http_response *rsp, const struct map *parameters);
+
+   /** The description of the CGI, to appear on the main menu, or NULL to hide it. */
    const char * const description;
+
+   /** A flag that indicates whether unintentional calls to this CGI can cause damage */
+   int harmless;
 };
 
 
-/*
+/**
  * A data file used by Privoxy.  Kept in a linked list.
  */
 struct file_list
 {
-   /*
-    * this is a pointer to the data structures associated with the file.
+   /**
+    * This is a pointer to the data structures associated with the file.
     * Read-only once the structure has been created.
     */
    void *f;
 
-   /* Normally NULL.  When we are finished with file (i.e. when we have
+   /**
+    * The unloader function.
+    * Normally NULL.  When we are finished with file (i.e. when we have
     * loaded a new one), set to a pointer to an unloader function.
     * Unloader will be called by sweep() (called from main loop) when
     * all clients using this file are done.  This prevents threading
@@ -887,16 +1440,24 @@ struct file_list
     */
    void (*unloader)(void *);
 
-   /* Used internally by sweep().  Do not access from elsewhere. */
+   /**
+    * Used internally by sweep().  Do not access from elsewhere.
+    */
    int active;
 
-   /* Following variables allow us to check if file has been changed.
+   /**
+    * File last-modified time, so we can check if file has been changed.
     * Read-only once the structure has been created.
     */
    time_t lastmodified;
+   
+   /**
+    * The full filename.
+    */
    char * filename;
 
-   /* Pointer to next entry in the linked list of all "file_list"s.
+   /**
+    * Pointer to next entry in the linked list of all "file_list"s.
     * This linked list is so that sweep() can navigate it.
     * Since sweep() can remove items from the list, we must be careful
     * to only access this value from main thread (when we know sweep
@@ -907,41 +1468,74 @@ struct file_list
 
 
 #ifdef FEATURE_TRUST
+
+/**
+ * The format of a trust file when loaded into memory.
+ */
 struct block_spec
 {
-   struct url_spec url[1];
-   int    reject;
-   struct block_spec *next;
+   struct url_spec url[1];   /**< The URL pattern              */
+   int    reject;            /**< FIXME: Please document this! */
+   struct block_spec *next;  /**< Next entry in linked list    */
 };
+
+/**
+ * Arbitrary limit for the number of trusted referrers.
+ */
+#define MAX_TRUSTED_REFERRERS 512
+
 #endif /* def FEATURE_TRUST */
 
 
-#define SOCKS_NONE    0    /* Don't use a SOCKS server */
-#define SOCKS_4      40    /* original SOCKS 4 protocol */
-#define SOCKS_4A     41    /* as modified for hosts w/o external DNS */
+#define SOCKS_NONE    0    /**< Don't use a SOCKS server               */
+#define SOCKS_4      40    /**< original SOCKS 4 protocol              */
+#define SOCKS_4A     41    /**< as modified for hosts w/o external DNS */
+#define SOCKS_5      50    /**< as modified for hosts w/o external DNS */
+
 
+/**
+ * How to forward a connection to a parent proxy.
+ */
 struct forward_spec
 {
+   /** URL pattern that this forward_spec is for. */
    struct url_spec url[1];
 
-   /* Connection type - must be a SOCKS_xxx constant */
+   /** Connection type.  Must be SOCKS_NONE, SOCKS_4, SOCKS_4A or SOCKS_5. */
    int   type;
 
-   /* SOCKS server */
+   /** SOCKS server hostname.  Only valid if "type" is SOCKS_4 or SOCKS_4A. */
    char *gateway_host;
+
+   /** SOCKS server port. */
    int   gateway_port;
 
-   /* Parent HTTP proxy */
+   /** Parent HTTP proxy hostname, or NULL for none. */
    char *forward_host;
+
+   /** Parent HTTP proxy port. */
    int   forward_port;
 
-   /* For the linked list */
+   /** Next entry in the linked list. */
    struct forward_spec *next;
 };
+
+
+/**
+ * Initializer for a static struct forward_spec.
+ */
 #define FORWARD_SPEC_INITIALIZER { { URL_SPEC_INITIALIZER }, 0, NULL, 0, NULL, 0, NULL }
 
+/* Supported filter types */
+#define FT_CONTENT_FILTER       0
+#define FT_CLIENT_HEADER_FILTER 1
+#define FT_SERVER_HEADER_FILTER 2
+#define FT_CLIENT_HEADER_TAGGER 3
+#define FT_SERVER_HEADER_TAGGER 4
 
-/*
+#define MAX_FILTER_TYPES        5
+
+/**
  * This struct represents one filter (one block) from
  * the re_filterfile. If there is more than one filter
  * in the file, the file will be represented by a
@@ -949,128 +1543,224 @@ struct forward_spec
  */
 struct re_filterfile_spec
 {
-   char *name;                      /* Name from FILTER: statement in re_filterfile */
-   char *description;               /* Description from FILTER: statement in re_filterfile */
-   struct list patterns[1];         /* The patterns from the re_filterfile */
-   pcrs_job *joblist;               /* The resulting compiled pcrs_jobs */
-   struct re_filterfile_spec *next; /* The pointer for chaining */
+   char *name;                      /**< Name from FILTER: statement in re_filterfile. */
+   char *description;               /**< Description from FILTER: statement in re_filterfile. */
+   struct list patterns[1];         /**< The patterns from the re_filterfile. */
+   pcrs_job *joblist;               /**< The resulting compiled pcrs_jobs. */
+   int type;                        /**< Filter type (content, client-header, server-header). */
+   int dynamic;                     /**< Set to one if the pattern might contain variables
+                                         and has to be recompiled for every request. */
+   struct re_filterfile_spec *next; /**< The pointer for chaining. */
 };
 
+
 #ifdef FEATURE_ACL
-#define ACL_PERMIT   1  /* accept connection request */
-#define ACL_DENY     2  /* reject connection request */
 
+#define ACL_PERMIT   1  /**< Accept connection request */
+#define ACL_DENY     2  /**< Reject connection request */
+
+/**
+ * An IP address pattern.  Used to specify networks in the ACL.
+ */
 struct access_control_addr
 {
-   unsigned long addr;
-   unsigned long mask;
-   unsigned long port;
+   unsigned long addr;  /**< The IP address as an integer. */
+   unsigned long mask;  /**< The network mask as an integer. */
+   unsigned long port;  /**< The port number. */
 };
 
+/**
+ * An access control list (ACL) entry.
+ *
+ * This is a linked list.
+ */
 struct access_control_list
 {
-   struct access_control_addr src[1];
-   struct access_control_addr dst[1];
+   struct access_control_addr src[1];  /**< Client IP address */
+   struct access_control_addr dst[1];  /**< Website or parent proxy IP address */
 
-   short action;
-   struct access_control_list *next;
+   short action;                       /**< ACL_PERMIT or ACL_DENY */
+   struct access_control_list *next;   /**< The next entry in the ACL. */
 };
+
 #endif /* def FEATURE_ACL */
 
 
-/* Maximum number of loaders (actions, re_filter, ...) */
+/** Maximum number of loaders (actions, re_filter, ...) */
 #define NLOADERS 8
 
 
-#define RUNTIME_FEATURE_CGI_EDIT_ACTIONS  1
-#define RUNTIME_FEATURE_CGI_TOGGLE        2
+/** configuration_spec::feature_flags: CGI actions editor. */
+#define RUNTIME_FEATURE_CGI_EDIT_ACTIONS             1
 
+/** configuration_spec::feature_flags: Web-based toggle. */
+#define RUNTIME_FEATURE_CGI_TOGGLE                   2
 
-/*
+/** configuration_spec::feature_flags: HTTP-header-based toggle. */
+#define RUNTIME_FEATURE_HTTP_TOGGLE                  4
+
+/** configuration_spec::feature_flags: Split large forms to limit the number of GET arguments. */
+#define RUNTIME_FEATURE_SPLIT_LARGE_FORMS            8
+
+/** configuration_spec::feature_flags: Check the host header for requests with host-less request lines. */
+#define RUNTIME_FEATURE_ACCEPT_INTERCEPTED_REQUESTS 16
+
+/** configuration_spec::feature_flags: Don't allow to circumvent blocks with the force prefix. */
+#define RUNTIME_FEATURE_ENFORCE_BLOCKS              32
+
+/** configuration_spec::feature_flags: Allow to block or redirect CGI requests. */
+#define RUNTIME_FEATURE_CGI_CRUNCHING               64
+
+
+/**
  * Data loaded from the configuration file.
  *
  * (Anomaly: toggle is still handled through a global, not this structure)
  */
 struct configuration_spec
 {
+   /** What to log */
    int debug;
+   
+   /** Nonzero to enable multithreading. */
    int multi_threaded;
 
-   /* Features that can be enabled/disabled through the config file */
+   /**
+    * Bitmask of features that can be enabled/disabled through the config
+    * file.  Currently defined bits:
+    *
+    * - RUNTIME_FEATURE_CGI_EDIT_ACTIONS
+    * - RUNTIME_FEATURE_CGI_TOGGLE
+    * - RUNTIME_FEATURE_HTTP_TOGGLE
+    * - RUNTIME_FEATURE_SPLIT_LARGE_FORMS
+    */
    unsigned feature_flags;
 
+   /** The log file name. */
    const char *logfile;
 
+   /** The config file directory. */
    const char *confdir;
+
+   /** The directory for customized CGI templates. */
+   const char *templdir;
+
+   /** The log file directory. */
    const char *logdir;
-   const char *actions_file;
 
-   /* The administrator's email address */
+   /** The full paths to the actions files. */
+   const char *actions_file[MAX_AF_FILES];
+
+   /** The short names of the actions files. */
+   const char *actions_file_short[MAX_AF_FILES];
+
+   /** The administrator's email address */
    char *admin_address;
 
-   /* A URL with info on this proxy */
+   /** A URL with info on this proxy */
    char *proxy_info_url;
 
-   const char *re_filterfile;
+   /** URL to the user manual (on our website or local copy) */
+   char *usermanual;
+
+   /** The file names of the pcre filter files. */
+   const char *re_filterfile[MAX_AF_FILES];
+
+   /** The short names of the pcre filter files. */
+   const char *re_filterfile_short[MAX_AF_FILES];
+
+   /** The hostname to show on CGI pages, or NULL to use the real one. */
+   const char *hostname;
 
 #ifdef FEATURE_COOKIE_JAR
+
+   /** The file name of the cookie jar file */
    const char * jarfile;
+
+   /** The handle to the cookie jar file */
    FILE * jar;
+
 #endif /* def FEATURE_COOKIE_JAR */
 
-   /*
-    * Port and IP to bind to.
-    * Defaults to HADDR_DEFAULT:HADDR_PORT == 127.0.0.1:8118
-    */
+   /** IP address to bind to.  Defaults to HADDR_DEFAULT == 127.0.0.1. */
    const char *haddr;
+
+   /** Port to bind to.  Defaults to HADDR_PORT == 8118. */
    int         hport;
 
-   /* Size limit for IOB */
+   /** Size limit for IOB */
    size_t buffer_limit;
 
 #ifdef FEATURE_TRUST
+
+   /** The file name of the trust file. */
    const char * trustfile;
 
+   /** FIXME: DOCME: Document this. */
    struct list trust_info[1];
-   struct url_spec *trust_list[64];
+
+   /** FIXME: DOCME: Document this. */
+   struct url_spec *trust_list[MAX_TRUSTED_REFERRERS];
+
 #endif /* def FEATURE_TRUST */
 
 #ifdef FEATURE_ACL
+
+   /** The access control list (ACL). */
    struct access_control_list *acl;
+
 #endif /* def FEATURE_ACL */
 
+   /** Information about parent proxies (forwarding). */
    struct forward_spec *forward;
 
-   /* All options from the config file, HTML-formatted */
+   /** Number of retries in case a forwarded connection attempt fails */
+   int         forwarded_connect_retries;
+
+   /** All options from the config file, HTML-formatted. */
    char *proxy_args;
 
-   /* the configuration file object. */
+   /** The configuration file object. */
    struct file_list *config_file_list;
 
-   /* List of loaders */
+   /** List of loaders */
    int (*loaders[NLOADERS])(struct client_state *);
 
-   /* bool, nonzero if we need to bind() to the new port */
+   /** Nonzero if we need to bind() to the new port. */
    int need_bind;
 };
 
-
+/** Calculates the number of elements in an array, using sizeof. */
 #define SZ(X)  (sizeof(X) / sizeof(*X))
 
 #ifdef FEATURE_FORCE_LOAD
+/** The force load URL prefix. */
 #define FORCE_PREFIX "/PRIVOXY-FORCE"
 #endif /* def FEATURE_FORCE_LOAD */
 
 #ifdef FEATURE_NO_GIFS
+/** The MIME type for images ("image/png" or "image/gif"). */
 #define BUILTIN_IMAGE_MIMETYPE "image/png"
 #else
 #define BUILTIN_IMAGE_MIMETYPE "image/gif"
 #endif /* def FEATURE_NO_GIFS */
 
 
-/* Hardwired URLs */
-#define HOME_PAGE_URL       "http://www.privoxy.org"
-#define REDIRECT_URL        HOME_PAGE_URL "/redirect.php?v=" VERSION "&to="
+/* 
+ * Hardwired URLs
+ */
+
+/** URL for the Privoxy home page. */
+#define HOME_PAGE_URL     "http://www.privoxy.org/"
+
+/** URL for the Privoxy user manual. */
+#define USER_MANUAL_URL   HOME_PAGE_URL VERSION "/user-manual/"
+
+/** Prefix for actions help links  (append to USER_MANUAL_URL). */
+#define ACTIONS_HELP_PREFIX "actions-file.html#"
+
+/** Prefix for config option help links (append to USER_MANUAL_URL). */
+#define CONFIG_HELP_PREFIX  "config.html#"
 
 /*
  * The "hosts" to intercept and display CGI pages.
@@ -1085,24 +1775,12 @@ struct configuration_spec
 #define CGI_SITE_2_HOST "config.privoxy.org"
 #define CGI_SITE_2_PATH ""
 
-/*
+/**
  * The prefix for CGI pages.  Written out in generated HTML.
  * INCLUDES the trailing slash.
  */
 #define CGI_PREFIX  "http://" CGI_SITE_2_HOST CGI_SITE_2_PATH "/"
 
-
-/* HTTP snipplets */
-static const char CSUCCEED[] =
-   "HTTP/1.0 200 Connection established\n"
-   "Proxy-Agent: Privoxy/" VERSION "\r\n\r\n";
-
-static const char CHEADER[] =
-   "HTTP/1.0 400 Invalid header received from browser\r\n\r\n";
-
-static const char CFORBIDDEN[] =
-   "HTTP/1.0 403 Connection not allowable\r\nX-Hint: If you read this message interactively, then you know why this happens ,-)\r\n\r\n";
-
 #ifdef __cplusplus
 } /* extern "C" */
 #endif