pcrs: Request JIT compilation if it's supported
[privoxy.git] / default.filter
index 72ec7a2..e8bc150 100644 (file)
@@ -1,38 +1,30 @@
-# ********************************************************************
-# 
-#  File        :  $Source: /cvsroot/ijbswa/current/default.filter,v $
-# 
-#  $Id: default.filter,v 1.81 2011/06/23 13:58:53 fabiankeil Exp $
+#################################################################################
+#
+#  File        :  default.filter
 #
 #  Purpose     :  Rules to process the content of web pages
-# 
-#  Copyright   :  Written by and Copyright (C) 2001-2010 the
-#                 Privoxy team. http://www.privoxy.org/
-#
-# We value your feedback. However, to provide you with the best support,
-# please note:
-#  
-#  * Use the support forum to get help:
-#    http://sourceforge.net/tracker/?group_id=11118&atid=211118
-#  * Submit bugs only thru our bug forum:
-#    http://sourceforge.net/tracker/?group_id=11118&atid=111118 
-#    Make sure that the bug has not already been submitted. Please try
-#    to verify that it is a Privoxy bug, and not a browser or site
-#    bug first. If you are using your own custom configuration, please
-#    try the stock configs to see if the problem is a configuration
-#    related bug. And if not using the latest development snapshot,
-#    please try the latest one. Or even better, CVS sources.
-#  * Submit feature requests only thru our feature request forum:
-#    http://sourceforge.net/tracker/?atid=361118&group_id=11118&func=browse
-#      
-# For any other issues, feel free to use the mailing lists:
-# http://sourceforge.net/mail/?group_id=11118
-#    
-# Anyone interested in actively participating in development and related
-# discussions can join the appropriate mailing list here:
-# http://sourceforge.net/mail/?group_id=11118. Archives are available
-# here too.
-# 
+#
+#  Copyright   :  Written by and Copyright (C) 2001-2020 the
+#                 Privoxy team. https://www.privoxy.org/
+#
+#                 This program is free software; you can redistribute it
+#                 and/or modify it under the terms of the GNU General
+#                 Public License as published by the Free Software
+#                 Foundation; either version 2 of the License, or (at
+#                 your option) any later version.
+#
+#                 This program is distributed in the hope that it will
+#                 be useful, but WITHOUT ANY WARRANTY; without even the
+#                 implied warranty of MERCHANTABILITY or FITNESS FOR A
+#                 PARTICULAR PURPOSE.  See the GNU General Public
+#                 License for more details.
+#
+#                 The GNU General Public License should be included with
+#                 this file.  If not, you can view it at
+#                 http://www.gnu.org/copyleft/gpl.html
+#                 or write to the Free Software Foundation, Inc., 59
+#                 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
+#
 #################################################################################
 #
 # Syntax:
@@ -54,7 +46,7 @@
 #
 # Note2: In addition to the Perl options gimsx, the following nonstandard
 # options are supported:
-# 
+#
 # 'U' turns the default to ungreedy matching.  Add ? to quantifiers to
 #     switch back to greedy.
 #
@@ -63,7 +55,8 @@
 #     quoting.
 #
 # 'D' (Dynamic) allows the use of variables. Supported variables are:
-#     $host, $origin (the IP address the request came from), $path and $url.
+#     $host, $listen-address, $origin (the IP address the request came
+#     from), $path and $url.
 #
 #     Note that '$' is a bad choice as delimiter for dynamic filters as you
 #     might end up with unintended variables if you use a variable name
@@ -71,7 +64,7 @@
 #     escaping anything, therefore you also have to be careful not to chose
 #     delimiters that appear in the replacement text. For example '<' should
 #     be save, while '?' will sooner or later cause conflicts with $url.
-# 
+#
 #################################################################################
 
 
@@ -90,10 +83,10 @@ FILTER: js-annoyances Get rid of particularly annoying JavaScript abuse.
 # but that would make them match only the first occurrence of
 # nasty-item in each <script>. We need nestable jobs!
 
-# Get rid of Javascript referrer tracking. 
+# Get rid of Javascript referrer tracking.
 # Test page: http://www.javascript-page.com/referrer.html
 #
-s|(?:\w+\.)+referrer|"Not Your Business!"|gisU
+s|(?:\w+\.)+referrer|false.toString()|gisU
 
 # The status bar is for displaying link targets, not pointless blahblah
 #
@@ -108,16 +101,16 @@ s/(?:(?:this|window)\.(?:default)?status)\s*=\s*\w*\s*;//ig
 s/(<body\s+[^>]*)onunload/$1never/siU
 s|(<script.*)window\.onunload(?=.*</script>)|$1never|sigU
 
-# If we allow window.open, we want normal window features: 
+# If we allow window.open, we want normal window features:
 # Test: http://www.htmlgoodies.com/beyond/notitle.html
 #
 s/(open\s*\([^\)]+resizable=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
-s/(open\s*\([^\)]+location=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
-s/(open\s*\([^\)]+status=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
-s/(open\s*\([^\)]+scroll(?:ing|bars)=)(["']?)(?:no|0)\2/$1$2auto$2/sigU 
-s/(open\s*\([^\)]+menubar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
-s/(open\s*\([^\)]+toolbar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
-s/(open\s*\([^\)]+directories=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
+s/(open\s*\([^\)]+location=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
+s/(open\s*\([^\)]+status=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
+s/(open\s*\([^\)]+scroll(?:ing|bars)=)(["']?)(?:no|0)\2/$1$2auto$2/sigU
+s/(open\s*\([^\)]+menubar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
+s/(open\s*\([^\)]+toolbar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
+s/(open\s*\([^\)]+directories=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
 s/(open\s*\([^\)]+fullscreen=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
 s/(open\s*\([^\)]+always(?:raised|lowered)=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
 s/(open\s*\([^\)]+z-?lock=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
@@ -128,15 +121,15 @@ s/(open\s*\([^\)]+always(?:raised|lowered)=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
 
 #################################################################################
 #
-# js-events: Kill all JS event bindings and timers (Radically destructive! Only for extra nasty sites).
+# js-events: Kill JavaScript event bindings and timers (Radically destructive! Only for extra nasty sites).
 #
 #################################################################################
-FILTER: js-events Kill all JS event bindings and timers (Radically destructive! Only for extra nasty sites).
+FILTER: js-events Kill JavaScript event bindings and timers (Radically destructive! Only for extra nasty sites).
 
 s/(on|event\.)((mouse(over|out|down|up|move))|(un)?load|contextmenu|selectstart)/never/ig
 # Not events, but abused on the same type of sites:
 s/(alert|confirm)\s*\(/concat(/ig
-s/settimeout\(/concat(/ig
+s/set(timeout|interval)\(/concat(/ig
 
 #################################################################################
 #
@@ -148,9 +141,9 @@ FILTER: html-annoyances Get rid of particularly annoying HTML abuse.
 # New browser windows (if allowed -- see no-popups filter below) should be
 # resizeable and have a location and status bar
 #
-s/(<a\s+href[^>]+resizable=)(['"]?)(?:no|0)\2/$1$2yes$2/igU 
-s/(<a\s+href[^>]+location=)(['"]?)(?:no|0)\2/$1$2yes$2/igU 
-s/(<a\s+href[^>]+status=)(['"]?)(?:no|0)\2/$1$2yes1$2/igU
+s/(<a\s+href[^>]+resizable=)(['"]?)(?:no|0)\2/$1$2yes$2/igU
+s/(<a\s+href[^>]+location=)(['"]?)(?:no|0)\2/$1$2yes$2/igU
+s/(<a\s+href[^>]+status=)(['"]?)(?:no|0)\2/$1$2yes$2/igU
 s/(<a\s+href[^>]+scrolling=)(['"]?)(?:no|0)\2/$1$2auto$2/igU
 s/(<a\s+href[^>]+menubar=)(['"]?)(?:no|0)\2/$1$2yes$2/igU
 
@@ -197,7 +190,7 @@ FILTER: unsolicited-popups Disable only unsolicited pop-up windows.
 
 s+([^'"]\s*<head.*>)(?=\s*[^'"])+$1<script>function PrivoxyWindowOpen(){return(null);}</script>+isU
 s@([^\w\s.]\s*)((?:map)?(window|this|parent)\.?)?open\s*\(@$1PrivoxyWindowOpen(@ig
-s+([^'"]\s*</html>)(?!\s*(\\n|'|"))+$1<script>function PrivoxyWindowOpen(a, b, c){return(window.open(a, b, c));}</script>+iU     
+s+([^'"]\s*</html>)(?!\s*(\\n|'|"))+$1<script>function PrivoxyWindowOpen(a, b, c){return(window.open(a, b, c));}</script>+iU
 
 
 ##################################################################################
@@ -225,11 +218,11 @@ FILTER: img-reorder Reorder attributes in <img> tags to make the banners-by-* fi
 # This makes banners-by-size more effective and allows both banners-by-size
 # and banners-by-link to preserve the original image URL in the title attribute.
 
-s|<img\s+?([^>]*)\ssrc\s*=\s*(['"])([^>\\\2]+)\2|<img src=$2$3$2 $1|siUg
-s|<img\s+?([^>]*)\ssrc\s*=\s*([^'">\\\s]+)|<img src=$2 $1|sig
-s|(<img[^>]+height)\s*=\s*|$1=|sig
+s|<img\s+?([^>]*)\ssrc\s*=\s*(['"])([^>'" ]+)\2|<img src=$2$3$2 $1|siUg
+s|<img\s+?([^>]*)\ssrc\s*=\s*([^'">\\\s]+)|<img src=$2 $1|siUg
+s|(<img[^>]+height)\s*=\s*|$1=|siUg
 
-s|<img (src=(?:(['"])[^>\\\\2]*\2\|[^'">\\\s]+?))([^>]*)\s+width\s*=\s*((["']?)\d+?\5)(?=[\s>])|<img $1 width=$4$3|siUg
+s|<img (src=(?:(['"])[^>'" ]*\2\|[^'">\\\s]+?))([^>]*)\s+width\s*=\s*((["']?)\d+?\5)(?=[\s>])|<img $1 width=$4$3|siUg
 
 
 #################################################################################
@@ -325,7 +318,7 @@ s@<img[^>]*\s(?:width|height)\s*=\s*['"]?[01](?=\D)[^>]*\s(?:width|height)\s*=\s
 #################################################################################
 FILTER: tiny-textforms Extend those tiny textareas up to 40x80 and kill the hard wrap.
 
-s/(<textarea[^>]*?)(?:\s*(?:rows|cols)=(['"]?)\d+\2)+/$1 rows=$2\40$2 cols=$2\80$2/ig 
+s/(<textarea[^>]*?)(?:\s*(?:rows|cols)=(['"]?)\d+\2)+/$1 rows=$2\40$2 cols=$2\80$2/ig
 s/(<textarea[^>]*?)wrap=(['"]?)hard\2/$1/ig
 
 
@@ -349,18 +342,27 @@ s/(<frameset\s+[^>]*)framespacing=(['"]?)(no|0)\2/$1/igU
 s/(<frameset\s+[^>]*)frameborder=(['"]?)(no|0)\2/$1/igU
 s/(<frameset\s+[^>]*)border=(['"]?)(no|0)\2/$1/igU
 s/(<frame\s+[^>]*)noresize/$1/igU
-s/(<frame\s+[^>]*)frameborder=(['"]?)(no|0)\2/$1/igU 
+s/(<frame\s+[^>]*)frameborder=(['"]?)(no|0)\2/$1/igU
 s/(<frame\s+[^>]*)scrolling=(['"]?)(no|0)\2/$1/igU
 
 
+#################################################################################
+#
+# iframes: Remove all detected iframes. Should only be enabled for
+#          individual sites after testing that the iframes are optional.
+#
+#################################################################################
+FILTER: iframes Removes all detected iframes. Should only be enabled for individual sites.
+s@<iframe.*</iframe>@<!-- iframe removed by Privoxy's iframe filter -->@Uisg
+
 
 #################################################################################
 #
-# demoronizer: Correct Microsoft's abuse of standardized character sets, which 
-#              leave the browser to (mis)-interpret unknown characters, with 
+# demoronizer: Correct Microsoft's abuse of standardized character sets, which
+#              leave the browser to (mis)-interpret unknown characters, with
 #              sometimes bizarre results on non-MS platforms.
 #
-# credit: ripped from the demoroniser.pl script by: 
+# credit: ripped from the demoroniser.pl script by:
 #         John Walker -- January 1998, http://www.fourmilab.ch/webtools/demoroniser
 #
 #################################################################################
@@ -410,7 +412,7 @@ s|<embed [^>]*(application/x-shockwave-flash\|\.swf).*>(.*</embed>)?|<!-- Squish
 #################################################################################
 FILTER: quicktime-kioskmode Make Quicktime movies saveable.
 
-s/(<embed\s+[^>]*)kioskmode\s*=\s*(["']?)true\2/$1/ig 
+s/(<embed\s+[^>]*)kioskmode\s*=\s*(["']?)true\2/$1/ig
 
 
 #################################################################################
@@ -485,7 +487,7 @@ s/^.*\
 #Remove by regulations
 s/^.*(Section 2257|18 U.?S.?C.? 2257).*$\
 /This page has been blocked by Privoxy's crude-parental content filter\
-/is 
+/is
 
 
 #################################################################################
@@ -525,7 +527,7 @@ s%<script language="JavaScript">(window\.open|1;''\.concat)\("readme\.eml", null
 FILTER: site-specifics Cure for site-specific problems. Don't apply generally!
 
 # www.spiegel.de excludes X11 users from viewing Flash5 objects - shame.
-# Apply to: www.spiegel.de/static/js/flash-plugin.js 
+# Apply to: www.spiegel.de/static/js/flash-plugin.js
 #
 s/indexOf\("x11"\)/indexOf("x13")/
 
@@ -544,11 +546,11 @@ s|<a href="(.+?)">(?:Continue to message\|Weiter zu Nachricht)</a>|<meta http-eq
 # monster.com has two very similar gimmicks:
 #
 s|<input type="hidden" name="REDIRECT" value="(.+?)">|<meta http-equiv="refresh" content="0; URL=$1">|i
-s|<IMG SRC="http://media.monster.com/mm/usen/my/no_thanks_211x40.gif".+?>|<meta http-equiv="refresh" content="0; URL=http://my.monster.com/resume.asp">|i 
+
+s|<IMG SRC="http://media.monster.com/mm/usen/my/no_thanks_211x40.gif".+?>|<meta http-equiv="refresh" content="0; URL=http://my.monster.com/resume.asp">|i
 
 # nytimes.com triggers popups through the onload handler of dummy images
-# to fool popup-blockers.  
+# to fool popup-blockers.
 #
 s|(<img [^>]*)onload|$1never|sig
 
@@ -561,7 +563,7 @@ s|<INPUT name="\d{2,4}" type="RADIO" value="3" |$0 checked|g
 #################################################################################
 #
 # no-ping: Removes non-standard ping attributes in <a> and <area> tags.
-#          
+#
 #################################################################################
 FILTER: no-ping Removes non-standard ping attributes in <a> and <area> tags.
 s@(<a(?:rea)?[^>]*?)\sping=(['"]?)([^"'>]+)\2([>\s]?)@\
@@ -575,7 +577,7 @@ s@(<a(?:rea)?[^>]*?)\sping=(['"]?)([^"'>]+)\2([>\s]?)@\
 #################################################################################
 FILTER: google CSS-based block for Google text ads. Also removes a width limitation and the toolbar advertisement.
 
-s@</head>@<style type="text/css">\n\
+s@</head>[^\\]@<style type="text/css">\n\
  /* Style sheet inserted by Privoxy's google filter. */\n\
  \#fbc, \#fbl, \#ra, .rhh {visibility: hidden !important;}\n\
  \#tpa1,\#tpa2,\#tpa3,\#tpa4,\#tpa5,\#tpa5, \#spl, .ch, \#ads,\
@@ -625,17 +627,22 @@ FILTER: msn CSS-based block for MSN text ads. Also removes tracking URLs and a w
 s@</head>@<style type="text/css">\n\
  /* Style sheet inserted by Privoxy's msn filter. */\n\
  .msn_ads, \#at, \#ar, .mktmsg {display: none !important;}\n\
- \#results, .flank, .results_area_flank, .results_area_stroke,\n\
+ \#results, \#b_results, .flank, .results_area_flank, .results_area_stroke,\n\
  \#results_area, \#content, .sb_tlst, .sa_cc, .sb_ph, \#sw_main,\n\
-.content, \#sw_foot, \#bf, \#sw_content, \#sidebar, \#pag\n\
+ .content, .b_content, \#sw_foot, \#bf, \#sw_content, \#sidebar, \#pag\n\
  {width: 99% !important; min-width: 99% !important;\n\
  max-width: 100% !important; /* width:100% sometimes causes horizontal scrollbars */}\n\
+ /* Remove 'related' ads */\n\
+ .b_ad, .b_adlabel {clear: both; display:none;}\n\
  /* Remove "suggestions". They are next to worthless but partly overlap with the search results */\n\
  .suggestion, \#nys_right, \#nys {clear: both; display:none;}\n\
+ /* Remove "Related searches" at the left side of the main results.\n\
+    They are next to worthless, too, and also are still present below the main search results */\n\
+ \#b_results > .b_ans {clear: both; display:none;}\n\
  \#s_notf_div,\n \
  /* Overlay ads to enable Facebook 'likes' in search results. */\n\
  .sn_container {display:none !important;}\n\
- \#content {padding-right: 0;}\n\
+ \#content, \#b_content {padding: 0px 0px 0px 0px}\n\
  </style>\n$0@
 # Are these ids still in use?
 s@(<div[^>]*) id=(["']?)ads_[^\2]*\2@$1 class="msn_ads"@Uig
@@ -736,6 +743,16 @@ CLIENT-HEADER-FILTER: hide-tor-exit-notation Removes the Tor exit node notation
 
 s@^((?:Referer|Host):\s*(?:https?://)?[^/]*)\.[^\./]*?\.exit@$1@i
 
+#################################################################################
+#
+# no-brotli-accepted: Strips "br" from the Accept-Encoding header as Privoxy
+#                     currently doesn't support Brotli.
+#
+#################################################################################
+CLIENT-HEADER-FILTER: no-brotli-accepted Strip "br" from Accept-Encoding header
+
+s@(^Accept-Encoding:.*?)(?:br, |, br|br)@$1@i
+
 #################################################################################
 #
 # less-download-windows: Prevents annoying download windows for content types
@@ -804,6 +821,16 @@ CLIENT-HEADER-TAGGER: client-ip-address Tags the request with the client's IP ad
 
 s@^\w*\s+.*\s+HTTP/\d\.\d\s*@IP-ADDRESS: $origin@D
 
+#################################################################################
+#
+# listen-address: Tags the request with the listen-address on which the request
+#                 came in.
+#
+#################################################################################
+CLIENT-HEADER-TAGGER: listen-address Tags the request with the listen-address on which the request came in.
+
+s@^\w*\s+.*\s+HTTP/\d\.\d\s*@LISTEN-ADDRESS: $listen-address@D
+
 #################################################################################
 #
 # http-method: Tags the request with its HTTP method.
@@ -840,6 +867,15 @@ CLIENT-HEADER-TAGGER: user-agent Tags the request with the complete User-Agent h
 
 s@^User-Agent:.*@$0@i
 
+#################################################################################
+#
+# referer: Tags the request with the complete Referer header.
+#
+#################################################################################
+CLIENT-HEADER-TAGGER: referer Tags the request with the complete Referer header.
+
+s@^Referer:.*@$0@i
+
 #################################################################################
 #
 # content-type: Tags the request with the content type declared by the server.