Fix compiler warnings
[privoxy.git] / cgi.c
diff --git a/cgi.c b/cgi.c
index d605525..1307b87 100644 (file)
--- a/cgi.c
+++ b/cgi.c
@@ -1,4 +1,4 @@
-const char cgi_rcs[] = "$Id: cgi.c,v 1.65 2002/04/26 12:53:51 oes Exp $";
+const char cgi_rcs[] = "$Id: cgi.c,v 1.159 2014/10/18 11:31:25 fabiankeil Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/cgi.c,v $
@@ -7,18 +7,15 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.65 2002/04/26 12:53:51 oes Exp $";
  *                html or gif answers, and to compose HTTP resonses.
  *                This only contains the framework functions, the
  *                actual handler functions are declared elsewhere.
- *                
- *                Functions declared include:
- * 
  *
- * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
- *                Privoxy team. http://www.privoxy.org/
+ * Copyright   :  Written by and Copyright (C) 2001-2004, 2006-2008
+ *                the SourceForge Privoxy team. http://www.privoxy.org/
  *
  *                Based on the Internet Junkbuster originally written
- *                by and Copyright (C) 1997 Anonymous Coders and 
+ *                by and Copyright (C) 1997 Anonymous Coders and
  *                Junkbusters Corporation.  http://www.junkbusters.com
  *
- *                This program is free software; you can redistribute it 
+ *                This program is free software; you can redistribute it
  *                and/or modify it under the terms of the GNU General
  *                Public License as published by the Free Software
  *                Foundation; either version 2 of the License, or (at
@@ -36,331 +33,8 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.65 2002/04/26 12:53:51 oes Exp $";
  *                or write to the Free Software Foundation, Inc., 59
  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  *
- * Revisions   :
- *    $Log: cgi.c,v $
- *    Revision 1.65  2002/04/26 12:53:51  oes
- *     - New function add_help_link
- *     - default_exports now exports links to the user manual
- *       and a prefix for links into the config chapter
- *
- *    Revision 1.64  2002/04/24 02:17:21  oes
- *     - Better descriptions for CGIs
- *     - Hide edit-actions, more shortcuts
- *     - Moved get_char_param, get_string_param and get_number_param here
- *       from cgiedit.c
- *
- *    Revision 1.63  2002/04/15 19:06:43  jongfoster
- *    Typos
- *
- *    Revision 1.62  2002/04/10 19:59:46  jongfoster
- *    Fixes to #include in templates:
- *    - Didn't close main file if loading an included template fails.
- *    - I'm paranoid and want to disallow "#include /etc/passwd".
- *
- *    Revision 1.61  2002/04/10 13:37:48  oes
- *    Made templates modular: template_load now recursive with max depth 1
- *
- *    Revision 1.60  2002/04/08 20:50:25  swa
- *    fixed JB spelling
- *
- *    Revision 1.59  2002/04/05 15:51:51  oes
- *     - added send-stylesheet CGI
- *     - bugfix: error-pages now get correct request protocol
- *     - fixed
- *     - kludged CGI descriptions and menu not to break JS syntax
- *
- *    Revision 1.58  2002/03/29 03:33:13  david__schmidt
- *    Fix Mac OSX compiler warnings
- *
- *    Revision 1.57  2002/03/26 22:29:54  swa
- *    we have a new homepage!
- *
- *    Revision 1.56  2002/03/24 17:50:46  jongfoster
- *    Fixing compile error if actions file editor disabled
- *
- *    Revision 1.55  2002/03/24 16:55:06  oes
- *    Making GIF checkerboard transparent
- *
- *    Revision 1.54  2002/03/24 16:18:15  jongfoster
- *    Removing old logo
- *
- *    Revision 1.53  2002/03/24 16:06:00  oes
- *    Correct transparency for checkerboard PNG. Thanks, Magnus!
- *
- *    Revision 1.52  2002/03/24 15:23:33  jongfoster
- *    Name changes
- *
- *    Revision 1.51  2002/03/24 13:25:43  swa
- *    name change related issues
- *
- *    Revision 1.50  2002/03/16 23:54:06  jongfoster
- *    Adding graceful termination feature, to help look for memory leaks.
- *    If you enable this (which, by design, has to be done by hand
- *    editing config.h) and then go to http://i.j.b/die, then the program
- *    will exit cleanly after the *next* request.  It should free all the
- *    memory that was used.
- *
- *    Revision 1.49  2002/03/13 00:27:04  jongfoster
- *    Killing warnings
- *
- *    Revision 1.48  2002/03/08 17:47:07  jongfoster
- *    Adding comments
- *
- *    Revision 1.47  2002/03/08 16:41:33  oes
- *    Added GIF images again
- *
- *    Revision 1.46  2002/03/07 03:48:38  oes
- *     - Changed built-in images from GIF to PNG
- *       (with regard to Unisys patent issue)
- *     - Added a 4x4 pattern PNG which is less intrusive
- *       than the logo but also clearly marks the deleted banners
- *
- *    Revision 1.45  2002/03/06 22:54:35  jongfoster
- *    Automated function-comment nitpicking.
- *
- *    Revision 1.44  2002/03/05 22:43:45  david__schmidt
- *    - Better error reporting on OS/2
- *    - Fix double-slash comment (oops)
- *
- *    Revision 1.43  2002/03/05 21:33:45  david__schmidt
- *    - Re-enable OS/2 building after new parms were added
- *    - Fix false out of memory report when resolving CGI templates when no IP
- *      address is available of failed attempt (a la no such domain)
- *
- *    Revision 1.42  2002/01/21 00:33:20  jongfoster
- *    Replacing strsav() with the safer string_append() or string_join().
- *    Adding map_block_keep() to save a few bytes in the edit-actions-list HTML.
- *    Adding missing html_encode() to error message generators.
- *    Adding edit-actions-section-swap and many "shortcuts" to the list of CGIs.
- *
- *    Revision 1.41  2002/01/17 20:56:22  jongfoster
- *    Replacing hard references to the URL of the config interface
- *    with #defines from project.h
- *
- *    Revision 1.40  2002/01/09 14:26:46  oes
- *    Added support for thread-safe gmtime_r call.
- *
- *    Revision 1.39  2001/11/16 00:48:13  jongfoster
- *    Fixing a compiler warning
- *
- *    Revision 1.38  2001/11/13 00:31:21  jongfoster
- *    - Adding new CGIs for use by non-JavaScript browsers:
- *        edit-actions-url-form
- *        edit-actions-add-url-form
- *        edit-actions-remove-url-form
- *    - Fixing make_menu()'s HTML generation - it now quotes the href parameter.
- *    - Fixing || bug.
- *
- *    Revision 1.37  2001/11/01 14:28:47  david__schmidt
- *    Show enablement/disablement status in almost all templates.
- *    There is a little trickiness here: apparent recursive resolution of
- *    @if-enabled-then@ caused the toggle template to show status out-of-phase with
- *    the actual enablement status.  So a similar construct,
- *    @if-enabled-display-then@, is used to resolve the status display on non-'toggle'
- *    templates.
- *
- *    Revision 1.36  2001/10/26 17:33:27  oes
- *    marginal bugfix
- *
- *    Revision 1.35  2001/10/23 21:48:19  jongfoster
- *    Cleaning up error handling in CGI functions - they now send back
- *    a HTML error page and should never cause a FATAL error.  (Fixes one
- *    potential source of "denial of service" attacks).
- *
- *    CGI actions file editor that works and is actually useful.
- *
- *    Ability to toggle Junkbuster remotely using a CGI call.
- *
- *    You can turn off both the above features in the main configuration
- *    file, e.g. if you are running a multi-user proxy.
- *
- *    Revision 1.34  2001/10/18 22:22:09  david__schmidt
- *    Only show "Local support" on templates conditionally:
- *      - if either 'admin-address' or 'proxy-info-url' are uncommented in config
- *      - if not, no Local support section appears
- *
- *    Revision 1.33  2001/10/14 22:28:41  jongfoster
- *    Fixing stupid typo.
- *
- *    Revision 1.32  2001/10/14 22:20:18  jongfoster
- *    - Changes to CGI dispatching method to match CGI names exactly,
- *      rather than doing a prefix match.
- *    - No longer need to count the length of the CGI handler names by hand.
- *    - Adding new handler for 404 error when disptching a CGI, if none of
- *      the handlers match.
- *    - Adding new handlers for CGI actionsfile editor.
- *
- *    Revision 1.31  2001/10/10 10:56:39  oes
- *    Failiure to load template now fatal. Before, the user got a hard-to-understand assertion failure from cgi.c
- *
- *    Revision 1.30  2001/10/02 15:30:57  oes
- *    Introduced show-request cgi
- *
- *    Revision 1.29  2001/09/20 15:47:44  steudten
- *
- *    Fix BUG: Modify int size to size_t size in fill_template()
- *     - removes big trouble on machines where sizeof(int) != sizeof(size_t).
- *
- *    Revision 1.28  2001/09/19 18:00:37  oes
- *     - Deletef time() FIXME (Can't fail under Linux either, if
- *       the argument is guaranteed to be in out address space,
- *       which it is.)
- *     - Fixed comments
- *     - Pointer notation cosmetics
- *     - Fixed a minor bug in template_fill(): Failiure of
- *       pcrs_execute() now secure.
- *
- *    Revision 1.27  2001/09/16 17:08:54  jongfoster
- *    Moving simple CGI functions from cgi.c to new file cgisimple.c
- *
- *    Revision 1.26  2001/09/16 15:47:37  jongfoster
- *    First version of CGI-based edit interface.  This is very much a
- *    work-in-progress, and you can't actually use it to edit anything
- *    yet.  You must #define FEATURE_CGI_EDIT_ACTIONS for these changes
- *    to have any effect.
- *
- *    Revision 1.25  2001/09/16 15:02:35  jongfoster
- *    Adding i.j.b/robots.txt.
- *    Inlining add_stats() since it's only ever called from one place.
- *
- *    Revision 1.24  2001/09/16 11:38:01  jongfoster
- *    Splitting fill_template() into 2 functions:
- *    template_load() loads the file
- *    template_fill() performs the PCRS regexps.
- *    This is because the CGI edit interface has a "table row"
- *    template which is used many times in the page - this
- *    change means it's only loaded from disk once.
- *
- *    Revision 1.23  2001/09/16 11:16:05  jongfoster
- *    Better error handling in dispatch_cgi() and parse_cgi_parameters()
- *
- *    Revision 1.22  2001/09/16 11:00:10  jongfoster
- *    New function alloc_http_response, for symmetry with free_http_response
- *
- *    Revision 1.21  2001/09/13 23:53:03  jongfoster
- *    Support for both static and dynamically generated CGI pages.
- *    Correctly setting Last-Modified: and Expires: HTTP headers.
- *
- *    Revision 1.20  2001/09/13 23:40:36  jongfoster
- *    (Cosmetic only) Indentation correction
- *
- *    Revision 1.19  2001/09/13 23:31:25  jongfoster
- *    Moving image data to cgi.c rather than cgi.h.
- *
- *    Revision 1.18  2001/08/05 16:06:20  jongfoster
- *    Modifiying "struct map" so that there are now separate header and
- *    "map_entry" structures.  This means that functions which modify a
- *    map no longer need to return a pointer to the modified map.
- *    Also, it no longer reverses the order of the entries (which may be
- *    important with some advanced template substitutions).
- *
- *    Revision 1.17  2001/08/05 15:57:38  oes
- *    Adapted finish_http_response to new list_to_text
- *
- *    Revision 1.16  2001/08/01 21:33:18  jongfoster
- *    Changes to fill_template() that reduce memory usage without having
- *    an impact on performance.  I also renamed some variables so as not
- *    to clash with the C++ keywords "new" and "template".
- *
- *    Revision 1.15  2001/08/01 21:19:22  jongfoster
- *    Moving file version information to a separate CGI page.
- *
- *    Revision 1.14  2001/08/01 00:19:03  jongfoster
- *    New function: map_conditional() for an if-then-else syntax.
- *    Changing to use new version of show_defines()
- *
- *    Revision 1.13  2001/07/30 22:08:36  jongfoster
- *    Tidying up #defines:
- *    - All feature #defines are now of the form FEATURE_xxx
- *    - Permanently turned off WIN_GUI_EDIT
- *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
- *
- *    Revision 1.12  2001/07/29 18:47:05  jongfoster
- *    Adding missing #include "loadcfg.h"
- *
- *    Revision 1.11  2001/07/18 17:24:37  oes
- *    Changed to conform to new pcrs interface
- *
- *    Revision 1.10  2001/07/13 13:53:13  oes
- *    Removed all #ifdef PCRS and related code
- *
- *    Revision 1.9  2001/06/29 21:45:41  oes
- *    Indentation, CRLF->LF, Tab-> Space
- *
- *    Revision 1.8  2001/06/29 13:21:46  oes
- *    - Cosmetics: renamed and reordered functions, variables,
- *      texts, improved comments  etc
- *
- *    - Removed ij_untrusted_url() The relevant
- *      info is now part of the "untrusted" page,
- *      which is generated by filters.c:trust_url()
- *
- *    - Generators of content now call finish_http_response()
- *      themselves, making jcc.c:chat() a little less
- *      cluttered
- *
- *    - Removed obsolete "Pragma: no-cache" from our headers
- *
- *    - http_responses now know their head length
- *
- *    - fill_template now uses the new interface to pcrs, so that
- *       - long jobs (like whole files) no longer have to be assembled
- *         in a fixed size buffer
- *       - the new T (trivial) option is used, and the replacement may
- *         contain Perl syntax backrefs without confusing pcrs
- *
- *    - Introduced default_exports() which generates a set of exports
- *      common to all CGIs and other content generators
- *
- *    - Introduced convenience function map_block_killer()
- *
- *    - Introduced convenience function make_menu()
- *
- *    - Introduced CGI-like function error_response() which generates
- *      the "No such domain" and "Connect failed" messages using the
- *      CGI platform
- *
- *    - cgi_show_url_info:
- *      - adapted to new CGI features
- *      - form and answers now generated from same template
- *      - http:// prefix in URL now OK
- *
- *    - cgi_show_status:
- *      - adapted to new CGI features
- *      - no longer uses csp->init_proxy_args
- *
- *    - cgi_default:
- *      - moved menu generation to make_menu()
- *
- *    - add_stats now writes single export map entries instead
- *      of a fixed string
- *
- *    - Moved redirect_url() to filters.c
- *
- *    - Fixed mem leak in free_http_response(), map_block_killer(),
- *
- *    - Removed logentry from cancelled commit
- *
- *    Revision 1.7  2001/06/09 10:51:58  jongfoster
- *    Changing "show URL info" handler to new style.
- *    Changing BUFSIZ ==> BUFFER_SIZE
- *
- *    Revision 1.6  2001/06/07 23:05:19  jongfoster
- *    Removing code related to old forward and ACL files.
- *
- *    Revision 1.5  2001/06/05 19:59:16  jongfoster
- *    Fixing multiline character string (a GCC-only "feature"), and snprintf (it's _snprintf under VC++).
- *
- *    Revision 1.4  2001/06/04 10:41:52  swa
- *    show version string of cgi.h and cgi.c
- *
- *    Revision 1.3  2001/06/03 19:12:16  oes
- *    introduced new cgi handling
- *
- *    No revisions before 1.3
- *
  **********************************************************************/
-\f
+
 
 #include "config.h"
 
@@ -372,9 +46,9 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.65 2002/04/26 12:53:51 oes Exp $";
 #include <limits.h>
 #include <assert.h>
 
-#ifdef _WIN32
-#define snprintf _snprintf
-#endif /* def _WIN32 */
+#ifdef FEATURE_COMPRESSION
+#include <zlib.h>
+#endif
 
 #include "project.h"
 #include "cgi.h"
@@ -382,13 +56,18 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.65 2002/04/26 12:53:51 oes Exp $";
 #include "encode.h"
 #include "ssplit.h"
 #include "errlog.h"
+#include "filters.h"
 #include "miscutil.h"
 #include "cgisimple.h"
-#ifdef FEATURE_CGI_EDIT_ACTIONS
+#include "jbsockets.h"
+#if defined(FEATURE_CGI_EDIT_ACTIONS) || defined(FEATURE_TOGGLE)
 #include "cgiedit.h"
-#endif /* def FEATURE_CGI_EDIT_ACTIONS */
+#endif /* defined(FEATURE_CGI_EDIT_ACTIONS) || defined (FEATURE_TOGGLE) */
+
+/* loadcfg.h is for global_toggle_state only */
 #include "loadcfg.h"
-/* loadcfg.h is for g_bToggleIJB only */
+/* jcc.h is for mutex semaphore globals only */
+#include "jcc.h"
 
 const char cgi_h_rcs[] = CGI_H_VERSION;
 
@@ -400,114 +79,141 @@ const char cgi_h_rcs[] = CGI_H_VERSION;
 static const struct cgi_dispatcher cgi_dispatchers[] = {
    { "",
          cgi_default,
-         "Privoxy main page" },
+         "Privoxy main page",
+         TRUE },
 #ifdef FEATURE_GRACEFUL_TERMINATION
-   { "die", 
-         cgi_die,  
+   { "die",
+         cgi_die,
          "<b>Shut down</b> - <em class=\"warning\">Do not deploy this build in a production environment, "
-         "this is a one click Denial Of Service attack!!!</em>" }, 
+        "this is a one click Denial Of Service attack!!!</em>",
+         FALSE },
 #endif
-   { "show-status", 
-         cgi_show_status,  
-         "View & change the current configuration" }, 
-   { "show-version", 
-         cgi_show_version,  
-         "View the source code version numbers" }, 
-   { "show-request", 
-         cgi_show_request,  
-         "View the request headers." }, 
-   { "show-url-info",
-         cgi_show_url_info, 
-         "Look up which actions apply to a URL and why"  },
+   { "show-status",
+         cgi_show_status,
 #ifdef FEATURE_CGI_EDIT_ACTIONS
+        "View &amp; change the current configuration",
+#else
+        "View the current configuration",
+#endif
+         TRUE },
+   { "show-version",
+         cgi_show_version,
+         "View the source code version numbers",
+          TRUE },
+   { "show-request",
+         cgi_show_request,
+         "View the request headers",
+         TRUE },
+   { "show-url-info",
+         cgi_show_url_info,
+         "Look up which actions apply to a URL and why",
+         TRUE },
+#ifdef FEATURE_TOGGLE
    { "toggle",
-         cgi_toggle, 
-         "Toggle Privoxy on or off" },
-
+         cgi_toggle,
+         "Toggle Privoxy on or off",
+         FALSE },
+#endif /* def FEATURE_TOGGLE */
+#ifdef FEATURE_CGI_EDIT_ACTIONS
    { "edit-actions", /* Edit the actions list */
-         cgi_edit_actions, 
-         NULL },
+         cgi_edit_actions,
+         NULL, FALSE },
    { "eaa", /* Shortcut for edit-actions-add-url-form */
-         cgi_edit_actions_add_url_form, 
-         NULL },
+         cgi_edit_actions_add_url_form,
+         NULL, FALSE },
    { "eau", /* Shortcut for edit-actions-url-form */
-         cgi_edit_actions_url_form, 
-         NULL },
+         cgi_edit_actions_url_form,
+         NULL, FALSE },
    { "ear", /* Shortcut for edit-actions-remove-url-form */
-         cgi_edit_actions_remove_url_form, 
-         NULL },
+         cgi_edit_actions_remove_url_form,
+         NULL, FALSE },
+   { "eal", /* Shortcut for edit-actions-list */
+         cgi_edit_actions_list,
+         NULL, FALSE },
    { "eafu", /* Shortcut for edit-actions-for-url */
-         cgi_edit_actions_for_url, 
-         NULL },
+         cgi_edit_actions_for_url,
+         NULL, FALSE },
    { "eas", /* Shortcut for edit-actions-submit */
-         cgi_edit_actions_submit, 
-         NULL },
+         cgi_edit_actions_submit,
+         NULL, FALSE },
    { "easa", /* Shortcut for edit-actions-section-add */
-         cgi_edit_actions_section_add, 
-         NULL },
+         cgi_edit_actions_section_add,
+         NULL, FALSE  },
    { "easr", /* Shortcut for edit-actions-section-remove */
-         cgi_edit_actions_section_remove, 
-         NULL },
+         cgi_edit_actions_section_remove,
+         NULL, FALSE  },
    { "eass", /* Shortcut for edit-actions-section-swap */
-         cgi_edit_actions_section_swap, 
-         NULL },
+         cgi_edit_actions_section_swap,
+         NULL, FALSE  },
    { "edit-actions-for-url",
-         cgi_edit_actions_for_url, 
-         NULL /* Edit the actions for (a) specified URL(s) */ },
+         cgi_edit_actions_for_url,
+         NULL, FALSE  /* Edit the actions for (a) specified URL(s) */ },
    { "edit-actions-list",
-         cgi_edit_actions_list, 
-         NULL /* Edit the actions list */ },
+         cgi_edit_actions_list,
+         NULL, TRUE /* Edit the actions list */ },
    { "edit-actions-submit",
-         cgi_edit_actions_submit, 
-         NULL /* Change the actions for (a) specified URL(s) */ },
+         cgi_edit_actions_submit,
+         NULL, FALSE /* Change the actions for (a) specified URL(s) */ },
    { "edit-actions-url",
-         cgi_edit_actions_url, 
-         NULL /* Change a URL pattern in the actionsfile */ },
+         cgi_edit_actions_url,
+         NULL, FALSE /* Change a URL pattern in the actionsfile */ },
    { "edit-actions-url-form",
-         cgi_edit_actions_url_form, 
-         NULL /* Form to change a URL pattern in the actionsfile */ },
+         cgi_edit_actions_url_form,
+         NULL, FALSE /* Form to change a URL pattern in the actionsfile */ },
    { "edit-actions-add-url",
-         cgi_edit_actions_add_url, 
-         NULL /* Add a URL pattern to the actionsfile */ },
+         cgi_edit_actions_add_url,
+         NULL, FALSE /* Add a URL pattern to the actionsfile */ },
    { "edit-actions-add-url-form",
-         cgi_edit_actions_add_url_form, 
-         NULL /* Form to add a URL pattern to the actionsfile */ },
+         cgi_edit_actions_add_url_form,
+         NULL, FALSE /* Form to add a URL pattern to the actionsfile */ },
    { "edit-actions-remove-url",
-         cgi_edit_actions_remove_url, 
-         NULL /* Remove a URL pattern from the actionsfile */ },
+         cgi_edit_actions_remove_url,
+         NULL, FALSE /* Remove a URL pattern from the actionsfile */ },
    { "edit-actions-remove-url-form",
-         cgi_edit_actions_remove_url_form, 
-         NULL /* Form to remove a URL pattern from the actionsfile */ },
+         cgi_edit_actions_remove_url_form,
+         NULL, FALSE /* Form to remove a URL pattern from the actionsfile */ },
    { "edit-actions-section-add",
-         cgi_edit_actions_section_add, 
-         NULL /* Remove a section from the actionsfile */ },
+         cgi_edit_actions_section_add,
+         NULL, FALSE /* Remove a section from the actionsfile */ },
    { "edit-actions-section-remove",
-         cgi_edit_actions_section_remove, 
-         NULL /* Remove a section from the actionsfile */ },
+         cgi_edit_actions_section_remove,
+         NULL, FALSE /* Remove a section from the actionsfile */ },
    { "edit-actions-section-swap",
-         cgi_edit_actions_section_swap, 
-         NULL /* Swap two sections in the actionsfile */ },
+         cgi_edit_actions_section_swap,
+         NULL, FALSE /* Swap two sections in the actionsfile */ },
 #endif /* def FEATURE_CGI_EDIT_ACTIONS */
-   { "robots.txt", 
-         cgi_robots_txt,  
-         NULL /* Sends a robots.txt file to tell robots to go away. */ }, 
+   { "error-favicon.ico",
+         cgi_send_error_favicon,
+         NULL, TRUE /* Sends the favicon image for error pages. */ },
+   { "favicon.ico",
+         cgi_send_default_favicon,
+         NULL, TRUE /* Sends the default favicon image. */ },
+   { "robots.txt",
+         cgi_robots_txt,
+         NULL, TRUE /* Sends a robots.txt file to tell robots to go away. */ },
    { "send-banner",
-         cgi_send_banner, 
-         NULL /* Send a built-in image */ },
+         cgi_send_banner,
+         NULL, TRUE /* Send a built-in image */ },
    { "send-stylesheet",
-         cgi_send_stylesheet, 
-         NULL /* Send templates/cgi-style.css */ },
+         cgi_send_stylesheet,
+         NULL, FALSE /* Send templates/cgi-style.css */ },
    { "t",
-         cgi_transparent_image, 
-         NULL /* Send a transparent image (short name) */ },
+         cgi_transparent_image,
+         NULL, TRUE /* Send a transparent image (short name) */ },
+   { "url-info-osd.xml",
+         cgi_send_url_info_osd,
+         NULL, TRUE /* Send templates/url-info-osd.xml */ },
+   { "user-manual",
+          cgi_send_user_manual,
+          NULL, TRUE /* Send user-manual */ },
    { NULL, /* NULL Indicates end of list and default page */
          cgi_error_404,
-         NULL /* Unknown CGI page */ }
+         NULL, TRUE /* Unknown CGI page */ }
 };
 
 
 /*
- * Bulit-in images for ad replacement
+ * Built-in images for ad replacement
  *
  * Hint: You can encode your own images like this:
  * cat your-image | perl -e 'while (read STDIN, $c, 1) { printf("\\%.3o", unpack("C", $c)); }'
@@ -520,25 +226,23 @@ static const struct cgi_dispatcher cgi_dispatchers[] = {
  */
 const char image_pattern_data[] =
    "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104"
-   "\122\000\000\000\004\000\000\000\004\010\002\000\000\000\046"
-   "\223\011\051\000\000\000\006\142\113\107\104\000\310\000\310"
-   "\000\310\052\045\225\037\000\000\000\032\111\104\101\124\170"
-   "\332\143\070\161\342\304\377\377\377\041\044\003\234\165\342"
-   "\304\011\006\234\062\000\125\200\052\251\125\174\360\223\000"
-   "\000\000\000\111\105\116\104\256\102\140\202";
+   "\122\000\000\000\004\000\000\000\004\010\006\000\000\000\251"
+   "\361\236\176\000\000\000\006\142\113\107\104\000\000\000\000"
+   "\000\000\371\103\273\177\000\000\000\033\111\104\101\124\010"
+   "\327\143\140\140\140\060\377\377\377\077\003\234\106\341\060"
+   "\060\230\063\020\124\001\000\161\021\031\241\034\364\030\143"
+   "\000\000\000\000\111\105\116\104\256\102\140\202";
 
 /*
  * 1x1 transparant PNG.
  */
 const char image_blank_data[] =
  "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104\122"
- "\000\000\000\004\000\000\000\004\010\006\000\000\000\251\361\236"
- "\176\000\000\000\007\164\111\115\105\007\322\003\013\020\073\070"
- "\013\025\036\203\000\000\000\011\160\110\131\163\000\000\013\022"
- "\000\000\013\022\001\322\335\176\374\000\000\000\004\147\101\115"
- "\101\000\000\261\217\013\374\141\005\000\000\000\033\111\104\101"
- "\124\170\332\143\070\161\342\304\207\377\377\377\347\302\150\006"
- "\144\016\210\146\040\250\002\000\042\305\065\221\270\027\131\110"
+ "\000\000\000\001\000\000\000\001\001\003\000\000\000\045\333\126"
+ "\312\000\000\000\003\120\114\124\105\377\377\377\247\304\033\310"
+ "\000\000\000\001\164\122\116\123\000\100\346\330\146\000\000\000"
+ "\001\142\113\107\104\000\210\005\035\110\000\000\000\012\111\104"
+ "\101\124\170\001\143\140\000\000\000\002\000\001\163\165\001\030"
  "\000\000\000\000\111\105\116\104\256\102\140\202";
 #else
 
@@ -564,6 +268,13 @@ const char image_blank_data[] =
 const size_t image_pattern_length = sizeof(image_pattern_data) - 1;
 const size_t image_blank_length   = sizeof(image_blank_data) - 1;
 
+#ifdef FEATURE_COMPRESSION
+/*
+ * Minimum length which a buffer has to reach before
+ * we bother to (re-)compress it. Completely arbitrary.
+ */
+const size_t LOWER_LENGTH_LIMIT_FOR_COMPRESSION = 1024U;
+#endif
 
 static struct http_response cgi_error_memory_response[1];
 
@@ -573,13 +284,13 @@ static struct map *parse_cgi_parameters(char *argstring);
 
 
 /*********************************************************************
- * 
+ *
  * Function    :  dispatch_cgi
  *
  * Description :  Checks if a request URL has either the magical
  *                hostname CGI_SITE_1_HOST (usually http://p.p/) or
  *                matches CGI_SITE_2_HOST CGI_SITE_2_PATH (usually
- *                http://ijbswa.sourceforge.net/config). If so, it passes
+ *                http://config.privoxy.org/). If so, it passes
  *                the (rest of the) path onto dispatch_known_cgi, which
  *                calls the relevant CGI handler function.
  *
@@ -603,15 +314,15 @@ struct http_response *dispatch_cgi(struct client_state *csp)
    /* Either the host matches CGI_SITE_1_HOST ..*/
    if (   ( (0 == strcmpic(host, CGI_SITE_1_HOST))
          || (0 == strcmpic(host, CGI_SITE_1_HOST ".")))
-       && (path[0] == '/') )
+       && (path[0] == '/'))
    {
       /* ..then the path will all be for us.  Remove leading '/' */
       path++;
    }
    /* Or it's the host part CGI_SITE_2_HOST, and the path CGI_SITE_2_PATH */
-   else if ( ( (0 == strcmpic(host, CGI_SITE_2_HOST ))
-            || (0 == strcmpic(host, CGI_SITE_2_HOST ".")) )
-          && (0 == strncmpic(path, CGI_SITE_2_PATH, strlen(CGI_SITE_2_PATH))) )
+   else if ((  (0 == strcmpic(host, CGI_SITE_2_HOST))
+            || (0 == strcmpic(host, CGI_SITE_2_HOST ".")))
+          && (0 == strncmpic(path, CGI_SITE_2_PATH, strlen(CGI_SITE_2_PATH))))
    {
       /* take everything following CGI_SITE_2_PATH */
       path += strlen(CGI_SITE_2_PATH);
@@ -623,7 +334,7 @@ struct http_response *dispatch_cgi(struct client_state *csp)
       else if (*path != '\0')
       {
          /*
-          * wierdness: URL is /configXXX, where XXX is some string
+          * weirdness: URL is /configXXX, where XXX is some string
           * Do *NOT* intercept.
           */
          return NULL;
@@ -635,7 +346,22 @@ struct http_response *dispatch_cgi(struct client_state *csp)
       return NULL;
    }
 
-   /* 
+   if (strcmpic(csp->http->gpc, "GET")
+    && strcmpic(csp->http->gpc, "HEAD"))
+   {
+      log_error(LOG_LEVEL_ERROR,
+         "CGI request with unsupported method received: %s", csp->http->gpc);
+      /*
+       * The CGI pages currently only support GET and HEAD requests.
+       *
+       * If the client used a different method, ditch any data following
+       * the current headers to reduce the likelihood of parse errors
+       * with the following request.
+       */
+      csp->client_iob->eod = csp->client_iob->cur;
+   }
+
+   /*
     * This is a CGI call.
     */
 
@@ -644,7 +370,91 @@ struct http_response *dispatch_cgi(struct client_state *csp)
 
 
 /*********************************************************************
- * 
+ *
+ * Function    :  grep_cgi_referrer
+ *
+ * Description :  Ugly provisorical fix that greps the value of the
+ *                referer HTTP header field out of a linked list of
+ *                strings like found at csp->headers. Will disappear
+ *                in Privoxy 3.1.
+ *
+ *                FIXME: csp->headers ought to be csp->http->headers
+ *                FIXME: Parsing all client header lines should
+ *                       happen right after the request is received!
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *
+ * Returns     :  pointer to value (no copy!), or NULL if none found.
+ *
+ *********************************************************************/
+static char *grep_cgi_referrer(const struct client_state *csp)
+{
+   struct list_entry *p;
+
+   for (p = csp->headers->first; p != NULL; p = p->next)
+   {
+      if (p->str == NULL) continue;
+      if (strncmpic(p->str, "Referer: ", 9) == 0)
+      {
+         return ((p->str) + 9);
+      }
+   }
+   return NULL;
+
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  referrer_is_safe
+ *
+ * Description :  Decides whether we trust the Referer for
+ *                CGI pages which are only meant to be reachable
+ *                through Privoxy's web interface directly.
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *
+ * Returns     :  TRUE  if the referrer is safe, or
+ *                FALSE if the referrer is unsafe or not set.
+ *
+ *********************************************************************/
+static int referrer_is_safe(const struct client_state *csp)
+{
+   char *referrer;
+   static const char alternative_prefix[] = "http://" CGI_SITE_1_HOST "/";
+
+   referrer = grep_cgi_referrer(csp);
+
+   if (NULL == referrer)
+   {
+      /* No referrer, no access  */
+      log_error(LOG_LEVEL_ERROR, "Denying access to %s. No referrer found.",
+         csp->http->url);
+   }
+   else if ((0 == strncmp(referrer, CGI_PREFIX, sizeof(CGI_PREFIX)-1)
+         || (0 == strncmp(referrer, alternative_prefix, strlen(alternative_prefix)))))
+   {
+      /* Trustworthy referrer */
+      log_error(LOG_LEVEL_CGI, "Granting access to %s, referrer %s is trustworthy.",
+         csp->http->url, referrer);
+
+      return TRUE;
+   }
+   else
+   {
+      /* Untrustworthy referrer */
+      log_error(LOG_LEVEL_ERROR, "Denying access to %s, referrer %s isn't trustworthy.",
+         csp->http->url, referrer);
+   }
+
+   return FALSE;
+
+}
+
+/*********************************************************************
+ *
  * Function    :  dispatch_known_cgi
  *
  * Description :  Processes a CGI once dispatch_cgi has determined that
@@ -677,24 +487,35 @@ static struct http_response *dispatch_known_cgi(struct client_state * csp,
    {
       return cgi_error_memory();
    }
-
    query_args_start = path_copy;
-   while (*query_args_start && *query_args_start != '?')
+   while (*query_args_start && *query_args_start != '?' && *query_args_start != '/')
    {
       query_args_start++;
    }
-   if (*query_args_start == '?')
+   if (*query_args_start == '/')
    {
       *query_args_start++ = '\0';
+      param_list = new_map();
+      err = map(param_list, "file", 1, url_decode(query_args_start), 0);
+      if (JB_ERR_OK != err) {
+         free(param_list);
+         free(path_copy);
+         return cgi_error_memory();
+      }
    }
-
-   if (NULL == (param_list = parse_cgi_parameters(query_args_start)))
+   else
    {
-      free(path_copy);
-      return cgi_error_memory();
+      if (*query_args_start == '?')
+      {
+         *query_args_start++ = '\0';
+      }
+      if (NULL == (param_list = parse_cgi_parameters(query_args_start)))
+      {
+         free(path_copy);
+         return cgi_error_memory();
+      }
    }
 
-
    /*
     * At this point:
     * path_copy        = CGI call name
@@ -709,27 +530,59 @@ static struct http_response *dispatch_known_cgi(struct client_state * csp,
       return cgi_error_memory();
    }
 
-   log_error(LOG_LEVEL_GPC, "%s%s cgi call", csp->http->hostport, csp->http->path);
-   log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", 
-                            csp->ip_addr_str, csp->http->cmd); 
-
-   /* Find and start the right CGI function*/
+   /*
+    * Find and start the right CGI function
+    */
    d = cgi_dispatchers;
    for (;;)
    {
       if ((d->name == NULL) || (strcmp(path_copy, d->name) == 0))
       {
-         err = (d->handler)(csp, rsp, param_list);
+         /*
+          * If the called CGI is either harmless, or referred
+          * from a trusted source, start it.
+          */
+         if (d->harmless || referrer_is_safe(csp))
+         {
+            err = (d->handler)(csp, rsp, param_list);
+         }
+         else
+         {
+            /*
+             * Else, modify toggle calls so that they only display
+             * the status, and deny all other calls.
+             */
+            if (0 == strcmp(path_copy, "toggle"))
+            {
+               unmap(param_list, "set");
+               err = (d->handler)(csp, rsp, param_list);
+            }
+            else
+            {
+               err = cgi_error_disabled(csp, rsp);
+            }
+         }
+
          free(path_copy);
          free_map(param_list);
+
          if (err == JB_ERR_CGI_PARAMS)
          {
             err = cgi_error_bad_param(csp, rsp);
          }
+         if (err && (err != JB_ERR_MEMORY))
+         {
+            /* Unexpected error! Shouldn't get here */
+            log_error(LOG_LEVEL_ERROR,
+               "Unexpected CGI error %d in top-level handler. "
+               "Please file a bug report!", err);
+            err = cgi_error_unknown(csp, rsp, err);
+         }
          if (!err)
          {
             /* It worked */
-            return finish_http_response(rsp);
+            rsp->crunch_reason = CGI_CALL;
+            return finish_http_response(csp, rsp);
          }
          else
          {
@@ -751,7 +604,7 @@ static struct http_response *dispatch_known_cgi(struct client_state * csp,
  *                pairs and store them in a struct map list.
  *
  * Parameters  :
- *          1  :  string = string to be parsed.  Will be trashed.
+ *          1  :  argstring = string to be parsed.  Will be trashed.
  *
  * Returns     :  pointer to param list, or NULL if out of memory.
  *
@@ -759,16 +612,48 @@ static struct http_response *dispatch_known_cgi(struct client_state * csp,
 static struct map *parse_cgi_parameters(char *argstring)
 {
    char *p;
-   char *vector[BUFFER_SIZE];
+   char **vector;
    int pairs, i;
    struct map *cgi_params;
 
-   if (NULL == (cgi_params = new_map()))
+   /*
+    * XXX: This estimate is guaranteed to be high enough as we
+    *      let ssplit() ignore empty fields, but also a bit wasteful.
+    *      The same hack is used in get_last_url() so it looks like
+    *      a real solution is needed.
+    */
+   size_t max_segments = strlen(argstring) / 2;
+   if (max_segments == 0)
    {
-      return NULL;
+      /*
+       * XXX: If the argstring is empty, there's really
+       *      no point in creating a param list, but currently
+       *      other parts of Privoxy depend on the list's existence.
+       */
+      max_segments = 1;
+   }
+   vector = malloc_or_die(max_segments * sizeof(char *));
+
+   cgi_params = new_map();
+
+   /*
+    * IE 5 does, of course, violate RFC 2316 Sect 4.1 and sends
+    * the fragment identifier along with the request, so we must
+    * cut it off here, so it won't pollute the CGI params:
+    */
+   if (NULL != (p = strchr(argstring, '#')))
+   {
+      *p = '\0';
    }
 
-   pairs = ssplit(argstring, "&", vector, SZ(vector), 1, 1);
+   pairs = ssplit(argstring, "&", vector, max_segments);
+   assert(pairs != -1);
+   if (pairs == -1)
+   {
+      freez(vector);
+      free_map(cgi_params);
+      return NULL;
+   }
 
    for (i = 0; i < pairs; i++)
    {
@@ -777,12 +662,15 @@ static struct map *parse_cgi_parameters(char *argstring)
          *p = '\0';
          if (map(cgi_params, url_decode(vector[i]), 0, url_decode(++p), 0))
          {
+            freez(vector);
             free_map(cgi_params);
             return NULL;
          }
       }
    }
 
+   freez(vector);
+
    return cgi_params;
 
 }
@@ -813,7 +701,7 @@ char get_char_param(const struct map *parameters,
    ch = *(lookup(parameters, param_name));
    if ((ch >= 'a') && (ch <= 'z'))
    {
-      ch = ch - 'a' + 'A';
+      ch = (char)(ch - 'a' + 'A');
    }
 
    return ch;
@@ -878,8 +766,8 @@ jb_err get_string_param(const struct map *parameters,
    s = param;
    while ((ch = *s++) != '\0')
    {
-      if ( ((unsigned char)ch < (unsigned char)' ')
-        || (ch == '}') )
+      if (((unsigned char)ch < (unsigned char)' ')
+        || (ch == '}'))
       {
          /* Probable hack attempt, or user accidentally used '}'. */
          return JB_ERR_CGI_PARAMS;
@@ -927,7 +815,7 @@ jb_err get_number_param(struct client_state *csp,
    assert(name);
    assert(pvalue);
 
-   *pvalue = 0; 
+   *pvalue = 0;
 
    param = lookup(parameters, name);
    if (!*param)
@@ -945,7 +833,7 @@ jb_err get_number_param(struct client_state *csp,
          return JB_ERR_CGI_PARAMS;
       }
 
-      ch -= '0';
+      ch = (char)(ch - '0');
 
       /* Note:
        *
@@ -959,7 +847,7 @@ jb_err get_number_param(struct client_state *csp,
          return JB_ERR_CGI_PARAMS;
       }
 
-      value = value * 10 + ch;
+      value = value * 10 + (unsigned)ch;
    }
 
    /* Success */
@@ -980,19 +868,19 @@ jb_err get_number_param(struct client_state *csp,
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
  *          2  :  templatename = Which template should be used for the answer
- *          3  :  sys_err = system error number
  *
  * Returns     :  A http_response.  If we run out of memory, this
  *                will be cgi_error_memory().
  *
  *********************************************************************/
 struct http_response *error_response(struct client_state *csp,
-                                     const char *templatename,
-                                     int sys_err)
+                                     const char *templatename)
 {
    jb_err err;
    struct http_response *rsp;
-   struct map * exports = default_exports(csp, NULL);
+   struct map *exports = default_exports(csp, NULL);
+   char *path = NULL;
+
    if (exports == NULL)
    {
       return cgi_error_memory();
@@ -1004,11 +892,22 @@ struct http_response *error_response(struct client_state *csp,
       return cgi_error_memory();
    }
 
-   err = map(exports, "host", 1, html_encode(csp->http->host), 0);
+#ifdef FEATURE_FORCE_LOAD
+   if (csp->flags & CSP_FLAG_FORCED)
+   {
+      path = strdup(FORCE_PREFIX);
+   }
+   else
+#endif /* def FEATURE_FORCE_LOAD */
+   {
+      path = strdup("");
+   }
+   err = string_append(&path, csp->http->path);
+
+   if (!err) err = map(exports, "host", 1, html_encode(csp->http->host), 0);
    if (!err) err = map(exports, "hostport", 1, html_encode(csp->http->hostport), 0);
-   if (!err) err = map(exports, "path", 1, html_encode(csp->http->path), 0);
-   if (!err) err = map(exports, "error", 1, html_encode_and_free_original(safe_strerror(sys_err)), 0);
-   if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1); 
+   if (!err) err = map(exports, "path", 1, html_encode_and_free_original(path), 0);
+   if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1);
    if (!err)
    {
      err = map(exports, "host-ip", 1, html_encode(csp->http->host_ip_addr_str), 0);
@@ -1030,22 +929,94 @@ struct http_response *error_response(struct client_state *csp,
    if (!strcmp(templatename, "no-such-domain"))
    {
       rsp->status = strdup("404 No such domain");
-      if (rsp->status == NULL)
+      rsp->crunch_reason = NO_SUCH_DOMAIN;
+   }
+   else if (!strcmp(templatename, "forwarding-failed"))
+   {
+      const struct forward_spec *fwd = forward_url(csp, csp->http);
+      char *socks_type = NULL;
+      if (fwd == NULL)
+      {
+         log_error(LOG_LEVEL_FATAL, "gateway spec is NULL. This shouldn't happen!");
+         /* Never get here - LOG_LEVEL_FATAL causes program exit */
+      }
+
+      /*
+       * XXX: While the template is called forwarding-failed,
+       * it currently only handles socks forwarding failures.
+       */
+      assert(fwd != NULL);
+      assert(fwd->type != SOCKS_NONE);
+
+      /*
+       * Map failure reason, forwarding type and forwarder.
+       */
+      if (NULL == csp->error_message)
+      {
+         /*
+          * Either we forgot to record the failure reason,
+          * or the memory allocation failed.
+          */
+         log_error(LOG_LEVEL_ERROR, "Socks failure reason missing.");
+         csp->error_message = strdup("Failure reason missing. Check the log file for details.");
+      }
+      if (!err) err = map(exports, "gateway", 1, fwd->gateway_host, 1);
+
+      /*
+       * XXX: this is almost the same code as in cgi_show_url_info()
+       * and thus should be factored out and shared.
+       */
+      switch (fwd->type)
+      {
+         case SOCKS_4:
+            socks_type = "socks4-";
+            break;
+         case SOCKS_4A:
+            socks_type = "socks4a-";
+            break;
+         case SOCKS_5:
+            socks_type = "socks5-";
+            break;
+         case SOCKS_5T:
+            socks_type = "socks5t-";
+            break;
+         default:
+            log_error(LOG_LEVEL_FATAL, "Unknown socks type: %d.", fwd->type);
+      }
+
+      if (!err) err = map(exports, "forwarding-type", 1, socks_type, 1);
+      if (!err) err = map(exports, "error-message", 1, html_encode(csp->error_message), 0);
+      if ((NULL == csp->error_message) || err)
       {
          free_map(exports);
          free_http_response(rsp);
          return cgi_error_memory();
       }
+
+      rsp->status = strdup("503 Forwarding failure");
+      rsp->crunch_reason = FORWARDING_FAILED;
    }
    else if (!strcmp(templatename, "connect-failed"))
    {
       rsp->status = strdup("503 Connect failed");
-      if (rsp->status == NULL)
-      {
-         free_map(exports);
-         free_http_response(rsp);
-         return cgi_error_memory();
-      }
+      rsp->crunch_reason = CONNECT_FAILED;
+   }
+   else if (!strcmp(templatename, "connection-timeout"))
+   {
+      rsp->status = strdup("504 Connection timeout");
+      rsp->crunch_reason = CONNECTION_TIMEOUT;
+   }
+   else if (!strcmp(templatename, "no-server-data"))
+   {
+      rsp->status = strdup("502 No data received from server or forwarder");
+      rsp->crunch_reason = NO_SERVER_DATA;
+   }
+
+   if (rsp->status == NULL)
+   {
+      free_map(exports);
+      free_http_response(rsp);
+      return cgi_error_memory();
    }
 
    err = template_fill_for_cgi(csp, templatename, exports, rsp);
@@ -1055,7 +1026,50 @@ struct http_response *error_response(struct client_state *csp,
       return cgi_error_memory();
    }
 
-   return finish_http_response(rsp);
+   return finish_http_response(csp, rsp);
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  cgi_error_disabled
+ *
+ * Description :  CGI function that is called to generate an error
+ *                response if the actions editor or toggle CGI are
+ *                accessed despite having being disabled at compile-
+ *                or run-time, or if the user followed an untrusted link
+ *                to access a unsafe CGI feature that is only reachable
+ *                through Privoxy directly.
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *          2  :  rsp = http_response data structure for output
+ *
+ * CGI Parameters : none
+ *
+ * Returns     :  JB_ERR_OK on success
+ *                JB_ERR_MEMORY on out-of-memory error.
+ *
+ *********************************************************************/
+jb_err cgi_error_disabled(const struct client_state *csp,
+                          struct http_response *rsp)
+{
+   struct map *exports;
+
+   assert(csp);
+   assert(rsp);
+
+   if (NULL == (exports = default_exports(csp, "cgi-error-disabled")))
+   {
+      return JB_ERR_MEMORY;
+   }
+   if (map(exports, "url", 1, html_encode(csp->http->url), 0))
+   {
+      /* Not important enough to do anything */
+      log_error(LOG_LEVEL_ERROR, "Failed to fill in url.");
+   }
+
+   return template_fill_for_cgi(csp, "cgi-error-disabled", exports, rsp);
 }
 
 
@@ -1079,19 +1093,23 @@ void cgi_init_error_messages(void)
       "Content-Type: text/html\r\n"
       "\r\n";
    cgi_error_memory_response->body =
-      "<html>\r\n"
-      "<head><title>500 Internal Privoxy Error</title></head>\r\n"
-      "<body>\r\n"
-      "<h1>500 Internal Privoxy Error</h1>\r\n"
-      "<p>Privoxy <b>ran out of memory</b> while processing your request.</p>\r\n"
-      "<p>Please contact your proxy administrator, or try again later</p>\r\n"
-      "</body>\r\n"
-      "</html>\r\n";
+      "<html>\n"
+      "<head>\n"
+      " <title>500 Internal Privoxy Error</title>\n"
+      " <link rel=\"shortcut icon\" href=\"" CGI_PREFIX "error-favicon.ico\" type=\"image/x-icon\">"
+      "</head>\n"
+      "<body>\n"
+      "<h1>500 Internal Privoxy Error</h1>\n"
+      "<p>Privoxy <b>ran out of memory</b> while processing your request.</p>\n"
+      "<p>Please contact your proxy administrator, or try again later</p>\n"
+      "</body>\n"
+      "</html>\n";
 
    cgi_error_memory_response->head_length =
       strlen(cgi_error_memory_response->head);
    cgi_error_memory_response->content_length =
       strlen(cgi_error_memory_response->body);
+   cgi_error_memory_response->crunch_reason = OUT_OF_MEMORY;
 }
 
 
@@ -1102,14 +1120,10 @@ void cgi_init_error_messages(void)
  * Description :  Called if a CGI function runs out of memory.
  *                Returns a statically-allocated error response.
  *
- * Parameters  :
- *          1  :  csp = Current client state (buffers, headers, etc...)
- *          2  :  rsp = http_response data structure for output
- *          3  :  template_name = Name of template that could not
- *                                be loaded.
+ * Parameters  :  N/A
  *
- * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ * Returns     :  http_response data structure for output.  This is
+ *                statically allocated, for obvious reasons.
  *
  *********************************************************************/
 struct http_response *cgi_error_memory(void)
@@ -1125,9 +1139,9 @@ struct http_response *cgi_error_memory(void)
  *
  * Function    :  cgi_error_no_template
  *
- * Description :  Almost-CGI function that is called if a templae
+ * Description :  Almost-CGI function that is called if a template
  *                cannot be loaded.  Note this is not a true CGI,
- *                it takes a template name rather than a map of 
+ *                it takes a template name rather than a map of
  *                parameters.
  *
  * Parameters  :
@@ -1137,25 +1151,28 @@ struct http_response *cgi_error_memory(void)
  *                                be loaded.
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *
  *********************************************************************/
-jb_err cgi_error_no_template(struct client_state *csp,
+jb_err cgi_error_no_template(const struct client_state *csp,
                              struct http_response *rsp,
                              const char *template_name)
 {
    static const char status[] =
       "500 Internal Privoxy Error";
    static const char body_prefix[] =
-      "<html>\r\n"
-      "<head><title>500 Internal Privoxy Error</title></head>\r\n"
-      "<body>\r\n"
-      "<h1>500 Internal Privoxy Error</h1>\r\n"
-      "<p>Privoxy encountered an error while processing your request:</p>\r\n"
+      "<html>\n"
+      "<head>\n"
+      " <title>500 Internal Privoxy Error</title>\n"
+      " <link rel=\"shortcut icon\" href=\"" CGI_PREFIX "error-favicon.ico\" type=\"image/x-icon\">"
+      "</head>\n"
+      "<body>\n"
+      "<h1>500 Internal Privoxy Error</h1>\n"
+      "<p>Privoxy encountered an error while processing your request:</p>\n"
       "<p><b>Could not load template file <code>";
    static const char body_suffix[] =
-      "</code> or one of it's included components.</b></p>\r\n"
-      "<p>Please contact your proxy administrator.</p>\r\n"
+      "</code> or one of its included components.</b></p>\n"
+      "<p>Please contact your proxy administrator.</p>\n"
       "<p>If you are the proxy administrator, please put the required file(s)"
       "in the <code><i>(confdir)</i>/templates</code> directory.  The "
       "location of the <code><i>(confdir)</i></code> directory "
@@ -1164,9 +1181,10 @@ jb_err cgi_error_no_template(struct client_state *csp,
 #ifndef _WIN32
       ", or <code>/etc/privoxy/</code>"
 #endif /* ndef _WIN32 */
-      ").</p>\r\n"
-      "</body>\r\n"
-      "</html>\r\n";
+      ").</p>\n"
+      "</body>\n"
+      "</html>\n";
+   const size_t body_size = strlen(body_prefix) + strlen(template_name) + strlen(body_suffix) + 1;
 
    assert(csp);
    assert(rsp);
@@ -1180,17 +1198,88 @@ jb_err cgi_error_no_template(struct client_state *csp,
    rsp->head_length = 0;
    rsp->is_static = 0;
 
-   rsp->body = malloc(strlen(body_prefix) + strlen(template_name) + strlen(body_suffix) + 1);
-   if (rsp->body == NULL)
+   rsp->body = malloc_or_die(body_size);
+   strlcpy(rsp->body, body_prefix, body_size);
+   strlcat(rsp->body, template_name, body_size);
+   strlcat(rsp->body, body_suffix, body_size);
+
+   rsp->status = strdup(status);
+   if (rsp->status == NULL)
    {
       return JB_ERR_MEMORY;
    }
-   strcpy(rsp->body, body_prefix);
-   strcat(rsp->body, template_name);
-   strcat(rsp->body, body_suffix);
+
+   return JB_ERR_OK;
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  cgi_error_unknown
+ *
+ * Description :  Almost-CGI function that is called if an unexpected
+ *                error occurs in the top-level CGI dispatcher.
+ *                In this context, "unexpected" means "anything other
+ *                than JB_ERR_MEMORY or JB_ERR_CGI_PARAMS" - CGIs are
+ *                expected to handle all other errors internally,
+ *                since they can give more relavent error messages
+ *                that way.
+ *
+ *                Note this is not a true CGI, it takes an error
+ *                code rather than a map of parameters.
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *          2  :  rsp = http_response data structure for output
+ *          3  :  error_to_report = Error code to report.
+ *
+ * Returns     :  JB_ERR_OK on success
+ *                JB_ERR_MEMORY on out-of-memory error.
+ *
+ *********************************************************************/
+jb_err cgi_error_unknown(const struct client_state *csp,
+                         struct http_response *rsp,
+                         jb_err error_to_report)
+{
+   static const char status[] =
+      "500 Internal Privoxy Error";
+   static const char body_prefix[] =
+      "<html>\n"
+      "<head>\n"
+      " <title>500 Internal Privoxy Error</title>\n"
+      " <link rel=\"shortcut icon\" href=\"" CGI_PREFIX "error-favicon.ico\" type=\"image/x-icon\">"
+      "</head>\n"
+      "<body>\n"
+      "<h1>500 Internal Privoxy Error</h1>\n"
+      "<p>Privoxy encountered an error while processing your request:</p>\n"
+      "<p><b>Unexpected internal error: ";
+   static const char body_suffix[] =
+      "</b></p>\n"
+      "<p>Please "
+      "<a href=\"http://sourceforge.net/tracker/?group_id=11118&amp;atid=111118\">"
+      "file a bug report</a>.</p>\n"
+      "</body>\n"
+      "</html>\n";
+   /* Includes room for larger error numbers in the future. */
+   const size_t body_size = sizeof(body_prefix) + sizeof(body_suffix) + 5;
+   assert(csp);
+   assert(rsp);
+
+   /* Reset rsp, if needed */
+   freez(rsp->status);
+   freez(rsp->head);
+   freez(rsp->body);
+   rsp->content_length = 0;
+   rsp->head_length = 0;
+   rsp->is_static = 0;
+   rsp->crunch_reason = INTERNAL_ERROR;
+
+   rsp->body = malloc_or_die(body_size);
+
+   snprintf(rsp->body, body_size, "%s%d%s", body_prefix, error_to_report, body_suffix);
 
    rsp->status = strdup(status);
-   if (rsp->body == NULL)
+   if (rsp->status == NULL)
    {
       return JB_ERR_MEMORY;
    }
@@ -1205,7 +1294,7 @@ jb_err cgi_error_no_template(struct client_state *csp,
  *
  * Description :  CGI function that is called if the parameters
  *                (query string) for a CGI were wrong.
- *               
+ *
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
  *          2  :  rsp = http_response data structure for output
@@ -1213,10 +1302,10 @@ jb_err cgi_error_no_template(struct client_state *csp,
  * CGI Parameters : none
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *
  *********************************************************************/
-jb_err cgi_error_bad_param(struct client_state *csp,
+jb_err cgi_error_bad_param(const struct client_state *csp,
                            struct http_response *rsp)
 {
    struct map *exports;
@@ -1233,25 +1322,65 @@ jb_err cgi_error_bad_param(struct client_state *csp,
 }
 
 
+/*********************************************************************
+ *
+ * Function    :  cgi_redirect
+ *
+ * Description :  CGI support function to generate a HTTP redirect
+ *                message
+ *
+ * Parameters  :
+ *          1  :  rsp = http_response data structure for output
+ *          2  :  target = string with the target URL
+ *
+ * CGI Parameters : None
+ *
+ * Returns     :  JB_ERR_OK on success
+ *                JB_ERR_MEMORY on out-of-memory error.
+ *
+ *********************************************************************/
+jb_err cgi_redirect (struct http_response * rsp, const char *target)
+{
+   jb_err err;
+
+   assert(rsp);
+   assert(target);
+
+   err = enlist_unique_header(rsp->headers, "Location", target);
+
+   rsp->status = strdup("302 Local Redirect from Privoxy");
+   if (rsp->status == NULL)
+   {
+      return JB_ERR_MEMORY;
+   }
+
+   return err;
+}
+
+
 /*********************************************************************
  *
  * Function    :  add_help_link
  *
  * Description :  Produce a copy of the string given as item,
  *                embedded in an HTML link to its corresponding
- *                section (item name in uppercase) in the configuration
+ *                section (item name in uppercase) in the actions
  *                chapter of the user manual, (whose URL is given in
  *                the config and defaults to our web site).
  *
- * Parameters  :  
- *          1  :  item = item (will NOT be free()d.) 
+ *                FIXME: I currently only work for actions, and would
+ *                       like to be generalized for other topics.
+ *
+ * Parameters  :
+ *          1  :  item = item (will NOT be free()d.)
  *                       It is assumed to be HTML-safe.
+ *          2  :  config = The current configuration.
  *
  * Returns     :  String with item embedded in link, or NULL on
  *                out-of-memory
  *
  *********************************************************************/
-char *add_help_link(const char *item, 
+char *add_help_link(const char *item,
                     struct configuration_spec *config)
 {
    char *result;
@@ -1259,12 +1388,22 @@ char *add_help_link(const char *item,
    if (!item) return NULL;
 
    result = strdup("<a href=\"");
-   string_append(&result, config->usermanual);
-   string_append(&result, HELP_LINK_PREFIX);
+   if (!strncmpic(config->usermanual, "file://", 7) ||
+       !strncmpic(config->usermanual, "http", 4))
+   {
+      string_append(&result, config->usermanual);
+   }
+   else
+   {
+      string_append(&result, "http://");
+      string_append(&result, CGI_SITE_2_HOST);
+      string_append(&result, "/user-manual/");
+   }
+   string_append(&result, ACTIONS_HELP_PREFIX);
    string_join  (&result, string_toupper(item));
    string_append(&result, "\">");
    string_append(&result, item);
-   string_append(&result, "</a> ");
+   string_append(&result, "</a>");
 
    return result;
 }
@@ -1278,55 +1417,143 @@ char *add_help_link(const char *item,
  *                HTTP header - e.g.:
  *                "Sun, 06 Nov 1994 08:49:37 GMT"
  *
- * Parameters  :  
+ * Parameters  :
  *          1  :  time_offset = Time returned will be current time
  *                              plus this number of seconds.
- *          2  :  buf = Destination for result.  Must be long enough
- *                      to hold 29 characters plus a trailing zero.
+ *          2  :  buf = Destination for result.
+ *          3  :  buffer_size = Size of the buffer above. Must be big
+ *                              enough to hold 29 characters plus a
+ *                              trailing zero.
  *
  * Returns     :  N/A
  *
  *********************************************************************/
-void get_http_time(int time_offset, char *buf)
+void get_http_time(int time_offset, char *buf, size_t buffer_size)
 {
-   static const char day_names[7][4] =
-      { "Sun", "Mon", "Tue", "Wed", "Thu", "Fri", "Sat" };
-   static const char month_names[12][4] =
-      { "Jan", "Feb", "Mar", "Apr", "May", "Jun",
-        "Jul", "Aug", "Sep", "Oct", "Nov", "Dec" };
-
    struct tm *t;
    time_t current_time;
+#if defined(HAVE_GMTIME_R)
+   struct tm dummy;
+#endif
 
    assert(buf);
+   assert(buffer_size > (size_t)29);
 
-   time(&current_time); /* get current time */
+   time(&current_time);
 
    current_time += time_offset;
 
    /* get and save the gmt */
-   {
-#ifdef HAVE_GMTIME_R
-      struct tm dummy;
-      t = gmtime_r(&current_time, &dummy);
+#if HAVE_GMTIME_R
+   t = gmtime_r(&current_time, &dummy);
+#elif defined(MUTEX_LOCKS_AVAILABLE)
+   privoxy_mutex_lock(&gmtime_mutex);
+   t = gmtime(&current_time);
+   privoxy_mutex_unlock(&gmtime_mutex);
+#else
+   t = gmtime(&current_time);
+#endif
+
+   strftime(buf, buffer_size, "%a, %d %b %Y %H:%M:%S GMT", t);
+
+}
+
+/*********************************************************************
+ *
+ * Function    :  get_locale_time
+ *
+ * Description :  Get the time in a date(1)-like format
+ *                according to the current locale - e.g.:
+ *                "Fri Aug 29 19:37:12 CEST 2008"
+ *
+ *                XXX: Should we allow the user to change the format?
+ *
+ * Parameters  :
+ *          1  :  buf         = Destination for result.
+ *          2  :  buffer_size = Size of the buffer above. Must be big
+ *                              enough to hold 29 characters plus a
+ *                              trailing zero.
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+static void get_locale_time(char *buf, size_t buffer_size)
+{
+   struct tm *timeptr;
+   time_t current_time;
+#if defined(HAVE_LOCALTIME_R)
+   struct tm dummy;
+#endif
+
+   assert(buf);
+   assert(buffer_size > (size_t)29);
+
+   time(&current_time);
+
+#if HAVE_LOCALTIME_R
+   timeptr = localtime_r(&current_time, &dummy);
+#elif defined(MUTEX_LOCKS_AVAILABLE)
+   privoxy_mutex_lock(&localtime_mutex);
+   timeptr = localtime(&current_time);
+   privoxy_mutex_unlock(&localtime_mutex);
 #else
-      t = gmtime(&current_time);
+   timeptr = localtime(&current_time);
 #endif
+
+   strftime(buf, buffer_size, "%a %b %d %X %Z %Y", timeptr);
+
+}
+
+
+#ifdef FEATURE_COMPRESSION
+/*********************************************************************
+ *
+ * Function    :  compress_buffer
+ *
+ * Description :  Compresses the content of a buffer with zlib's deflate
+ *                Allocates a new buffer for the result, free'ing it is
+ *                up to the caller.
+ *
+ * Parameters  :
+ *          1  :  buffer = buffer whose content should be compressed
+ *          2  :  buffer_length = length of the buffer
+ *          3  :  compression_level = compression level for compress2()
+ *
+ * Returns     :  NULL on error, otherwise a pointer to the compressed
+ *                content of the input buffer.
+ *
+ *********************************************************************/
+char *compress_buffer(char *buffer, size_t *buffer_length, int compression_level)
+{
+   char *compressed_buffer;
+   uLongf new_length;
+   assert(-1 <= compression_level && compression_level <= 9);
+
+   /* Let zlib figure out the maximum length of the compressed data */
+   new_length = compressBound((uLongf)*buffer_length);
+
+   compressed_buffer = malloc_or_die(new_length);
+
+   if (Z_OK != compress2((Bytef *)compressed_buffer, &new_length,
+         (Bytef *)buffer, *buffer_length, compression_level))
+   {
+      log_error(LOG_LEVEL_ERROR,
+         "compress2() failed. Buffer size: %d, compression level: %d.",
+         new_length, compression_level);
+      freez(compressed_buffer);
+      return NULL;
    }
 
-   /* Format: "Sun, 06 Nov 1994 08:49:37 GMT" */
-   snprintf(buf, 30,
-      "%s, %02d %s %4d %02d:%02d:%02d GMT",
-      day_names[t->tm_wday],
-      t->tm_mday,
-      month_names[t->tm_mon],
-      t->tm_year + 1900,
-      t->tm_hour,
-      t->tm_min,
-      t->tm_sec
-      );
+   log_error(LOG_LEVEL_RE_FILTER,
+      "Compressed content from %d to %d bytes. Compression level: %d",
+      *buffer_length, new_length, compression_level);
+
+   *buffer_length = (size_t)new_length;
+
+   return compressed_buffer;
 
 }
+#endif
 
 
 /*********************************************************************
@@ -1335,6 +1562,8 @@ void get_http_time(int time_offset, char *buf)
  *
  * Description :  Fill in the missing headers in an http response,
  *                and flatten the headers to an http head.
+ *                For HEAD requests the body is freed once
+ *                the Content-Length header is set.
  *
  * Parameters  :
  *          1  :  rsp = pointer to http_response to be processed
@@ -1343,7 +1572,7 @@ void get_http_time(int time_offset, char *buf)
  *                On error, free()s rsp and returns cgi_error_memory()
  *
  *********************************************************************/
-struct http_response *finish_http_response(struct http_response *rsp)
+struct http_response *finish_http_response(struct client_state *csp, struct http_response *rsp)
 {
    char buf[BUFFER_SIZE];
    jb_err err;
@@ -1356,38 +1585,89 @@ struct http_response *finish_http_response(struct http_response *rsp)
       return rsp;
    }
 
-   /* 
-    * Fill in the HTTP Status
+   /*
+    * Fill in the HTTP Status, using HTTP/1.1
+    * unless the client asked for HTTP/1.0.
     */
-   sprintf(buf, "HTTP/1.0 %s", rsp->status ? rsp->status : "200 OK");
+   snprintf(buf, sizeof(buf), "%s %s",
+      strcmpic(csp->http->ver, "HTTP/1.0") ? "HTTP/1.1" : "HTTP/1.0",
+      rsp->status ? rsp->status : "200 OK");
    err = enlist_first(rsp->headers, buf);
 
-   /* 
+   /*
     * Set the Content-Length
     */
    if (rsp->content_length == 0)
    {
       rsp->content_length = rsp->body ? strlen(rsp->body) : 0;
    }
+
+#ifdef FEATURE_COMPRESSION
+   if (!err && (csp->flags & CSP_FLAG_CLIENT_SUPPORTS_DEFLATE)
+      && (rsp->content_length > LOWER_LENGTH_LIMIT_FOR_COMPRESSION))
+   {
+      char *compressed_content;
+
+      compressed_content = compress_buffer(rsp->body, &rsp->content_length,
+         csp->config->compression_level);
+      if (NULL != compressed_content)
+      {
+         freez(rsp->body);
+         rsp->body = compressed_content;
+         err = enlist_unique_header(rsp->headers, "Content-Encoding", "deflate");
+      }
+   }
+#endif
+
    if (!err)
    {
-      sprintf(buf, "Content-Length: %d", (int)rsp->content_length);
+      snprintf(buf, sizeof(buf), "Content-Length: %d", (int)rsp->content_length);
+      /*
+       * Signal serve() that the client will be able to figure out
+       * the end of the response without having to close the connection.
+       */
+      csp->flags |= CSP_FLAG_SERVER_CONTENT_LENGTH_SET;
       err = enlist(rsp->headers, buf);
    }
 
-   /* 
-    * Fill in the default headers:
+   if (0 == strcmpic(csp->http->gpc, "head"))
+   {
+      /*
+       * The client only asked for the head. Dispose
+       * the body and log an offensive message.
+       *
+       * While it may seem to be a bit inefficient to
+       * prepare the body if it isn't needed, it's the
+       * only way to get the Content-Length right for
+       * dynamic pages. We could have disposed the body
+       * earlier, but not without duplicating the
+       * Content-Length setting code above.
+       */
+      log_error(LOG_LEVEL_CGI, "Preparing to give head to %s.", csp->ip_addr_str);
+      freez(rsp->body);
+      rsp->content_length = 0;
+   }
+
+   if (strncmpic(rsp->status, "302", 3))
+   {
+      /*
+       * If it's not a redirect without any content,
+       * set the Content-Type to text/html if it's
+       * not already specified.
+       */
+      if (!err) err = enlist_unique(rsp->headers, "Content-Type: text/html", 13);
+   }
+
+   /*
+    * Fill in the rest of the default headers:
     *
-    * Content-Type: default to text/html if not already specified.
     * Date: set to current date/time.
     * Last-Modified: set to date/time the page was last changed.
     * Expires: set to date/time page next needs reloading.
     * Cache-Control: set to "no-cache" if applicable.
-    * 
+    *
     * See http://www.w3.org/Protocols/rfc2068/rfc2068
     */
-   if (!err) err = enlist_unique(rsp->headers, "Content-Type: text/html", 13);
-
    if (rsp->is_static)
    {
       /*
@@ -1397,7 +1677,7 @@ struct http_response *finish_http_response(struct http_response *rsp)
 
       if (!err)
       {
-         get_http_time(0, buf);
+         get_http_time(0, buf, sizeof(buf));
          err = enlist_unique_header(rsp->headers, "Date", buf);
       }
 
@@ -1406,27 +1686,63 @@ struct http_response *finish_http_response(struct http_response *rsp)
 
       if (!err)
       {
-         get_http_time(10 * 60, buf); /* 10 * 60sec = 10 minutes */
+         get_http_time(10 * 60, buf, sizeof(buf)); /* 10 * 60sec = 10 minutes */
          err = enlist_unique_header(rsp->headers, "Expires", buf);
       }
    }
+   else if (!strncmpic(rsp->status, "302", 3))
+   {
+      get_http_time(0, buf, sizeof(buf));
+      if (!err) err = enlist_unique_header(rsp->headers, "Date", buf);
+   }
    else
    {
       /*
-       * Compliant browsers should not cache this due to the "Cache-Control"
-       * setting.  However, to be certain, we also set both "Last-Modified"
-       * and "Expires" to the current time.
+       * Setting "Cache-Control" to "no-cache" and  "Expires" to
+       * the current time doesn't exactly forbid caching, it just
+       * requires the client to revalidate the cached copy.
+       *
+       * If a temporary problem occurs and the user tries again after
+       * getting Privoxy's error message, a compliant browser may set the
+       * If-Modified-Since header with the content of the error page's
+       * Last-Modified header. More often than not, the document on the server
+       * is older than Privoxy's error message, the server would send status code
+       * 304 and the browser would display the outdated error message again and again.
+       *
+       * For documents delivered with status code 403, 404 and 503 we set "Last-Modified"
+       * to Tim Berners-Lee's birthday, which predates the age of any page on the web
+       * and can be safely used to "revalidate" without getting a status code 304.
+       *
+       * There is no need to let the useless If-Modified-Since header reach the
+       * server, it is therefore stripped by client_if_modified_since in parsers.c.
        */
       if (!err) err = enlist_unique_header(rsp->headers, "Cache-Control", "no-cache");
 
-      get_http_time(0, buf);
+      get_http_time(0, buf, sizeof(buf));
       if (!err) err = enlist_unique_header(rsp->headers, "Date", buf);
-      if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", buf);
-      if (!err) err = enlist_unique_header(rsp->headers, "Expires", buf);
+      if (!strncmpic(rsp->status, "403", 3)
+       || !strncmpic(rsp->status, "404", 3)
+       || !strncmpic(rsp->status, "502", 3)
+       || !strncmpic(rsp->status, "503", 3)
+       || !strncmpic(rsp->status, "504", 3))
+      {
+         if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", "Wed, 08 Jun 1955 12:00:00 GMT");
+      }
+      else
+      {
+         if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", buf);
+      }
+      if (!err) err = enlist_unique_header(rsp->headers, "Expires", "Sat, 17 Jun 2000 12:00:00 GMT");
+      if (!err) err = enlist_unique_header(rsp->headers, "Pragma", "no-cache");
    }
 
+   if (!err && (!(csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
+              || (csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED)))
+   {
+      err = enlist_unique_header(rsp->headers, "Connection", "close");
+   }
 
-   /* 
+   /*
     * Write the head
     */
    if (err || (NULL == (rsp->head = list_to_text(rsp->headers))))
@@ -1494,24 +1810,23 @@ void free_http_response(struct http_response *rsp)
  * Function    :  template_load
  *
  * Description :  CGI support function that loads a given HTML
- *                template from the confdir, ignoring comment
- *                lines and following #include statements up to
- *                a depth of 1.
+ *                template, ignoring comment lines and following
+ *                #include statements up to a depth of 1.
  *
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
  *          2  :  template_ptr = Destination for pointer to loaded
  *                               template text.
- *          3  :  template = name of the HTML template to be used
+ *          3  :  templatename = name of the HTML template to be used
  *          4  :  recursive = Flag set if this function calls itself
  *                            following an #include statament
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *                JB_ERR_FILE if the template file cannot be read
  *
  *********************************************************************/
-jb_err template_load(struct client_state *csp, char **template_ptr, 
+jb_err template_load(const struct client_state *csp, char **template_ptr,
                      const char *templatename, int recursive)
 {
    jb_err err;
@@ -1543,11 +1858,23 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
       }
    }
 
-   /* Generate full path */
+   /*
+    * Generate full path using either templdir
+    * or confdir/templates as base directory.
+    */
+   if (NULL != csp->config->templdir)
+   {
+      templates_dir_path = strdup(csp->config->templdir);
+   }
+   else
+   {
+      templates_dir_path = make_path(csp->config->confdir, "templates");
+   }
 
-   templates_dir_path = make_path(csp->config->confdir, "templates");
    if (templates_dir_path == NULL)
    {
+      log_error(LOG_LEVEL_ERROR, "Out of memory while generating template path for %s.",
+         templatename);
       return JB_ERR_MEMORY;
    }
 
@@ -1555,6 +1882,8 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
    free(templates_dir_path);
    if (full_path == NULL)
    {
+      log_error(LOG_LEVEL_ERROR, "Out of memory while generating full template path for %s.",
+         templatename);
       return JB_ERR_MEMORY;
    }
 
@@ -1563,6 +1892,7 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
    file_buffer = strdup("");
    if (file_buffer == NULL)
    {
+      log_error(LOG_LEVEL_ERROR, "Not enough free memory to buffer %s.", full_path);
       free(full_path);
       return JB_ERR_MEMORY;
    }
@@ -1578,14 +1908,14 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
    }
    free(full_path);
 
-   /* 
+   /*
     * Read the file, ignoring comments, and honoring #include
     * statements, unless we're already called recursively.
     *
-    * FIXME: The comment handling could break with lines >BUFFER_SIZE long.
-    *        This is unlikely in practise.
+    * XXX: The comment handling could break with lines lengths > sizeof(buf).
+    *      This is unlikely in practise.
     */
-   while (fgets(buf, BUFFER_SIZE, fp))
+   while (fgets(buf, sizeof(buf), fp))
    {
       if (!recursive && !strncmp(buf, "#include ", 9))
       {
@@ -1633,7 +1963,7 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
  *                HTML template by replacing @name@ with value using
  *                pcrs, for each item in the output map.
  *
- *                Note that a leading '$' charachter in the export map's
+ *                Note that a leading '$' character in the export map's
  *                values will be stripped and toggle on backreference
  *                interpretation.
  *
@@ -1644,7 +1974,7 @@ jb_err template_load(struct client_state *csp, char **template_ptr,
  *                                    Caller must free().
  *          2  :  exports = map with fill in symbol -> name pairs
  *
- * Returns     :  JB_ERR_OK on success
+ * Returns     :  JB_ERR_OK on success (and for uncritical errors)
  *                JB_ERR_MEMORY on out-of-memory error
  *
  *********************************************************************/
@@ -1655,7 +1985,7 @@ jb_err template_fill(char **template_ptr, const struct map *exports)
    char buf[BUFFER_SIZE];
    char *tmp_out_buffer;
    char *file_buffer;
-   size_t  size;
+   size_t size;
    int error;
    const char *flags;
 
@@ -1666,7 +1996,7 @@ jb_err template_fill(char **template_ptr, const struct map *exports)
    file_buffer = *template_ptr;
    size = strlen(file_buffer) + 1;
 
-   /* 
+   /*
     * Assemble pcrs joblist from exports map
     */
    for (m = exports->first; m != NULL; m = m->next)
@@ -1678,28 +2008,27 @@ jb_err template_fill(char **template_ptr, const struct map *exports)
           * character and allow backreferences ($1 etc) in the
           * "replace with" text.
           */
-         snprintf(buf, BUFFER_SIZE, "%s", m->name + 1);
+         snprintf(buf, sizeof(buf), "%s", m->name + 1);
          flags = "sigU";
       }
       else
       {
          /*
-          * Treat the "replace with" text as a literal string - 
+          * Treat the "replace with" text as a literal string -
           * no quoting needed, no backreferences allowed.
           * ("Trivial" ['T'] flag).
           */
          flags = "sigTU";
 
          /* Enclose name in @@ */
-         snprintf(buf, BUFFER_SIZE, "@%s@", m->name);
+         snprintf(buf, sizeof(buf), "@%s@", m->name);
       }
 
-
       log_error(LOG_LEVEL_CGI, "Substituting: s/%s/%s/%s", buf, m->value, flags);
 
       /* Make and run job. */
       job = pcrs_compile(buf, m->value, flags,  &error);
-      if (job == NULL) 
+      if (job == NULL)
       {
          if (error == PCRS_ERR_NOMEM)
          {
@@ -1715,15 +2044,35 @@ jb_err template_fill(char **template_ptr, const struct map *exports)
       }
       else
       {
-         pcrs_execute(job, file_buffer, size, &tmp_out_buffer, &size);
-         free(file_buffer);
+         error = pcrs_execute(job, file_buffer, size, &tmp_out_buffer, &size);
+
          pcrs_free_job(job);
          if (NULL == tmp_out_buffer)
          {
             *template_ptr = NULL;
             return JB_ERR_MEMORY;
          }
-         file_buffer = tmp_out_buffer;
+
+         if (error < 0)
+         {
+            /*
+             * Substitution failed, keep the original buffer,
+             * log the problem and ignore it.
+             *
+             * The user might see some unresolved @CGI_VARIABLES@,
+             * but returning a special CGI error page seems unreasonable
+             * and could mask more important error messages.
+             */
+            free(tmp_out_buffer);
+            log_error(LOG_LEVEL_ERROR, "Failed to execute s/%s/%s/%s. %s",
+               buf, m->value, flags, pcrs_strerror(error));
+         }
+         else
+         {
+            /* Substitution succeeded, use modified buffer. */
+            free(file_buffer);
+            file_buffer = tmp_out_buffer;
+         }
       }
    }
 
@@ -1749,18 +2098,19 @@ jb_err template_fill(char **template_ptr, const struct map *exports)
  *          2  :  templatename = name of the HTML template to be used
  *          3  :  exports = map with fill in symbol -> name pairs.
  *                          Will be freed by this function.
+ *          4  :  rsp = Response structure to fill in.
  *
  * Returns     :  JB_ERR_OK on success
  *                JB_ERR_MEMORY on out-of-memory error
  *
  *********************************************************************/
-jb_err template_fill_for_cgi(struct client_state *csp,
+jb_err template_fill_for_cgi(const struct client_state *csp,
                              const char *templatename,
                              struct map *exports,
                              struct http_response *rsp)
 {
    jb_err err;
-   
+
    assert(csp);
    assert(templatename);
    assert(exports);
@@ -1800,34 +2150,60 @@ jb_err template_fill_for_cgi(struct client_state *csp,
  *********************************************************************/
 struct map *default_exports(const struct client_state *csp, const char *caller)
 {
-   char buf[20];
+   char buf[30];
    jb_err err;
    struct map * exports;
    int local_help_exists = 0;
+   char *ip_address = NULL;
+   char *port = NULL;
+   char *hostname = NULL;
 
    assert(csp);
 
    exports = new_map();
-   if (exports == NULL)
+
+   if (csp->config->hostname)
    {
-      return NULL;
+      get_host_information(csp->cfd, &ip_address, &port, NULL);
+      hostname = strdup(csp->config->hostname);
+   }
+   else
+   {
+      get_host_information(csp->cfd, &ip_address, &port, &hostname);
    }
 
    err = map(exports, "version", 1, html_encode(VERSION), 0);
-   if (!err) err = map(exports, "my-ip-address", 1, html_encode(csp->my_ip_addr_str ? csp->my_ip_addr_str : "unknown"), 0);
-   if (!err) err = map(exports, "my-hostname",   1, html_encode(csp->my_hostname ? csp->my_hostname : "unknown"), 0);
+   get_locale_time(buf, sizeof(buf));
+   if (!err) err = map(exports, "time",          1, html_encode(buf), 0);
+   if (!err) err = map(exports, "my-ip-address", 1, html_encode(ip_address ? ip_address : "unknown"), 0);
+   freez(ip_address);
+   if (!err) err = map(exports, "my-port",       1, html_encode(port ? port : "unknown"), 0);
+   freez(port);
+   if (!err) err = map(exports, "my-hostname",   1, html_encode(hostname ? hostname : "unknown"), 0);
+   freez(hostname);
    if (!err) err = map(exports, "homepage",      1, html_encode(HOME_PAGE_URL), 0);
    if (!err) err = map(exports, "default-cgi",   1, html_encode(CGI_PREFIX), 0);
-   if (!err) err = map(exports, "menu",          1, make_menu(caller), 0);
+   if (!err) err = map(exports, "menu",          1, make_menu(caller, csp->config->feature_flags), 0);
    if (!err) err = map(exports, "code-status",   1, CODE_STATUS, 1);
-   if (!err) err = map(exports, "user-manual",   1, csp->config->usermanual ,1);
-   if (!err) err = map(exports, "helplink",      1, HELP_LINK_PREFIX ,1);
-   if (!err) err = map_conditional(exports, "enabled-display", g_bToggleIJB);
-
-   snprintf(buf, 20, "%d", csp->config->hport);
-   if (!err) err = map(exports, "my-port", 1, buf, 1);
+   if (!strncmpic(csp->config->usermanual, "file://", 7) ||
+       !strncmpic(csp->config->usermanual, "http", 4))
+   {
+      /* Manual is located somewhere else, just link to it. */
+      if (!err) err = map(exports, "user-manual", 1, html_encode(csp->config->usermanual), 0);
+   }
+   else
+   {
+      /* Manual is delivered by Privoxy. */
+      if (!err) err = map(exports, "user-manual", 1, html_encode(CGI_PREFIX"user-manual/"), 0);
+   }
+   if (!err) err = map(exports, "actions-help-prefix", 1, ACTIONS_HELP_PREFIX ,1);
+#ifdef FEATURE_TOGGLE
+   if (!err) err = map_conditional(exports, "enabled-display", global_toggle_state);
+#else
+   if (!err) err = map_block_killer(exports, "can-toggle");
+#endif
 
-   if(!strcmp(CODE_STATUS, "stable"))
+   if (!strcmp(CODE_STATUS, "stable"))
    {
       if (!err) err = map_block_killer(exports, "unstable");
    }
@@ -1877,12 +2253,12 @@ struct map *default_exports(const struct client_state *csp, const char *caller)
  *                "if-<name>-start.*if-<name>-end" to the given
  *                export list.
  *
- * Parameters  :  
+ * Parameters  :
  *          1  :  exports = map to extend
  *          2  :  name = name of conditional block
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *
  *********************************************************************/
 jb_err map_block_killer(struct map *exports, const char *name)
@@ -1891,9 +2267,9 @@ jb_err map_block_killer(struct map *exports, const char *name)
 
    assert(exports);
    assert(name);
-   assert(strlen(name) < 490);
+   assert(strlen(name) < (size_t)490);
 
-   snprintf(buf, 1000, "if-%s-start.*if-%s-end", name, name);
+   snprintf(buf, sizeof(buf), "if-%s-start.*if-%s-end", name, name);
    return map(exports, buf, 1, "", 1);
 }
 
@@ -1906,12 +2282,12 @@ jb_err map_block_killer(struct map *exports, const char *name)
  *                by map-block-killer, to save a few bytes.
  *                i.e. removes "@if-<name>-start@" and "@if-<name>-end@"
  *
- * Parameters  :  
+ * Parameters  :
  *          1  :  exports = map to extend
  *          2  :  name = name of conditional block
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *
  *********************************************************************/
 jb_err map_block_keep(struct map *exports, const char *name)
@@ -1921,9 +2297,9 @@ jb_err map_block_keep(struct map *exports, const char *name)
 
    assert(exports);
    assert(name);
-   assert(strlen(name) < 490);
+   assert(strlen(name) < (size_t)490);
 
-   snprintf(buf, 500, "if-%s-start", name);
+   snprintf(buf, sizeof(buf), "if-%s-start", name);
    err = map(exports, buf, 1, "", 1);
 
    if (err)
@@ -1931,7 +2307,7 @@ jb_err map_block_keep(struct map *exports, const char *name)
       return err;
    }
 
-   snprintf(buf, 500, "if-%s-end", name);
+   snprintf(buf, sizeof(buf), "if-%s-end", name);
    return map(exports, buf, 1, "", 1);
 }
 
@@ -1952,13 +2328,13 @@ jb_err map_block_keep(struct map *exports, const char *name)
  *                The control structure and one of the alternatives
  *                will be hidden.
  *
- * Parameters  :  
+ * Parameters  :
  *          1  :  exports = map to extend
  *          2  :  name = name of conditional block
  *          3  :  choose_first = nonzero for first, zero for second.
  *
  * Returns     :  JB_ERR_OK on success
- *                JB_ERR_MEMORY on out-of-memory error.  
+ *                JB_ERR_MEMORY on out-of-memory error.
  *
  *********************************************************************/
 jb_err map_conditional(struct map *exports, const char *name, int choose_first)
@@ -1968,9 +2344,9 @@ jb_err map_conditional(struct map *exports, const char *name, int choose_first)
 
    assert(exports);
    assert(name);
-   assert(strlen(name) < 480);
+   assert(strlen(name) < (size_t)480);
 
-   snprintf(buf, 1000, (choose_first
+   snprintf(buf, sizeof(buf), (choose_first
       ? "else-not-%s@.*@endif-%s"
       : "if-%s-then@.*@else-not-%s"),
       name, name);
@@ -1981,7 +2357,7 @@ jb_err map_conditional(struct map *exports, const char *name, int choose_first)
       return err;
    }
 
-   snprintf(buf, 1000, (choose_first ? "if-%s-then" : "endif-%s"), name);
+   snprintf(buf, sizeof(buf), (choose_first ? "if-%s-then" : "endif-%s"), name);
    return map(exports, buf, 1, "", 1);
 }
 
@@ -1990,16 +2366,20 @@ jb_err map_conditional(struct map *exports, const char *name, int choose_first)
  *
  * Function    :  make_menu
  *
- * Description :  Returns an HTML-formatted menu of the available 
+ * Description :  Returns an HTML-formatted menu of the available
  *                unhidden CGIs, excluding the one given in <self>
+ *                and the toggle CGI if toggling is disabled.
  *
- * Parameters  :  self = name of CGI to leave out, can be NULL for
+ * Parameters  :
+ *          1  :  self = name of CGI to leave out, can be NULL for
  *                complete listing.
+ *          2  :  feature_flags = feature bitmap from csp->config
+ *
  *
  * Returns     :  menu string, or NULL on out-of-memory error.
  *
  *********************************************************************/
-char *make_menu(const char *self)
+char *make_menu(const char *self, const unsigned feature_flags)
 {
    const struct cgi_dispatcher *d;
    char *result = strdup("");
@@ -2012,9 +2392,36 @@ char *make_menu(const char *self)
    /* List available unhidden CGI's and export as "other-cgis" */
    for (d = cgi_dispatchers; d->name; d++)
    {
+
+#ifdef FEATURE_TOGGLE
+      if (!(feature_flags & RUNTIME_FEATURE_CGI_TOGGLE) && !strcmp(d->name, "toggle"))
+      {
+         /*
+          * Suppress the toggle link if remote toggling is disabled.
+          */
+         continue;
+      }
+#endif /* def FEATURE_TOGGLE */
+
       if (d->description && strcmp(d->name, self))
       {
-         string_append(&result, "<li><a href=\"" CGI_PREFIX);
+         char *html_encoded_prefix;
+
+         /*
+          * Line breaks would be great, but break
+          * the "blocked" template's JavaScript.
+          */
+         string_append(&result, "<li><a href=\"");
+         html_encoded_prefix = html_encode(CGI_PREFIX);
+         if (html_encoded_prefix == NULL)
+         {
+            return NULL;
+         }
+         else
+         {
+            string_append(&result, html_encoded_prefix);
+            free(html_encoded_prefix);
+         }
          string_append(&result, d->name);
          string_append(&result, "\">");
          string_append(&result, d->description);