Also let refresh-tags filter invalid refresh tags where the 'url=' part is missing.
[privoxy.git] / default.filter
1 # ********************************************************************
2
3 #  File        :  $Source: /cvsroot/ijbswa/current/default.filter,v $
4
5 #  $Id: default.filter,v 1.77 2010/02/05 21:41:31 fabiankeil Exp $
6 #
7 #  Purpose     :  Rules to process the content of web pages
8
9 #  Copyright   :  Written by and Copyright (C) 2001-2010 the
10 #                 Privoxy team. http://www.privoxy.org/
11 #
12 # We value your feedback. However, to provide you with the best support,
13 # please note:
14 #  
15 #  * Use the support forum to get help:
16 #    http://sourceforge.net/tracker/?group_id=11118&atid=211118
17 #  * Submit bugs only thru our bug forum:
18 #    http://sourceforge.net/tracker/?group_id=11118&atid=111118 
19 #    Make sure that the bug has not already been submitted. Please try
20 #    to verify that it is a Privoxy bug, and not a browser or site
21 #    bug first. If you are using your own custom configuration, please
22 #    try the stock configs to see if the problem is a configuration
23 #    related bug. And if not using the latest development snapshot,
24 #    please try the latest one. Or even better, CVS sources.
25 #  * Submit feature requests only thru our feature request forum:
26 #    http://sourceforge.net/tracker/?atid=361118&group_id=11118&func=browse
27 #      
28 # For any other issues, feel free to use the mailing lists:
29 # http://sourceforge.net/mail/?group_id=11118
30 #    
31 # Anyone interested in actively participating in development and related
32 # discussions can join the appropriate mailing list here:
33 # http://sourceforge.net/mail/?group_id=11118. Archives are available
34 # here too.
35
36 #################################################################################
37 #
38 # Syntax:
39 #
40 # Generally filters start with a line like "FILTER: name description".
41 # They are then referrable from the actionsfile with +filter{name}
42 #
43 # FILTER marks a filter as content filter, other filter
44 # types are CLIENT-HEADER-FILTER, CLIENT-HEADER-TAGGER,
45 # SERVER-HEADER-FILTER and SERVER-HEADER-TAGGER.
46 #
47 # Inside the filters, write one Perl-Style substitution (job) per line.
48 # Jobs that precede the first FILTER: line are ignored.
49 #
50 # For Details see the pcrs manpage contained in this distribution.
51 # (and the perlre, perlop and pcre manpages)
52 #
53 # Note that you are free to choose the delimiter as you see fit.
54 #
55 # Note2: In addition to the Perl options gimsx, the following nonstandard
56 # options are supported:
57
58 # 'U' turns the default to ungreedy matching.  Add ? to quantifiers to
59 #     switch back to greedy.
60 #
61 # 'T' (trivial) prevents parsing for backreferences in the substitute.
62 #     Use if you want to include text like '$&' in your substitute without
63 #     quoting.
64 #
65 # 'D' (Dynamic) allows the use of variables. Supported variables are:
66 #     $host, $origin (the IP address the request came from), $path and $url.
67 #
68 #     Note that '$' is a bad choice as delimiter for dynamic filters as you
69 #     might end up with unintended variables if you use a variable name
70 #     directly after the delimiter. Variables will be resolved without
71 #     escaping anything, therefore you also have to be careful not to chose
72 #     delimiters that appear in the replacement text. For example '<' should
73 #     be save, while '?' will sooner or later cause conflicts with $url.
74
75 #################################################################################
76
77
78 #################################################################################
79 #
80 # js-annoyances: Get rid of particularly annoying JavaScript abuse.
81 #
82 #################################################################################
83 FILTER: js-annoyances Get rid of particularly annoying JavaScript abuse.
84
85 # Note: Most of these jobs would be safer if restricted to a
86 # <script> context as in:
87 #
88 # s/(<script.*)nasty-item(?=.*<\/script>)/$1replacement/sigU
89 #
90 # but that would make them match only the first occurrence of
91 # nasty-item in each <script>. We need nestable jobs!
92
93 # Get rid of Javascript referrer tracking. 
94 # Test page: http://www.javascript-page.com/referrer.html
95 #
96 s|(?:\w+\.)+referrer|"Not Your Business!"|gisU
97
98 # The status bar is for displaying link targets, not pointless blahblah
99 #
100 s@([\W]\s*)((?:this|window)\.(?:default)?status)\s*=\s*((['"]).*?\4)@$1$2 =\
101  (typeof(this.href) != 'undefined')?($3 + ' URL: ' + this.href):($2)@ig
102
103 s/(?:(?:this|window)\.(?:default)?status)\s*=\s*\w*\s*;//ig
104
105 # Kill OnUnload popups. Yummy.
106 # Test: http://www.zdnet.com/zdsubs/yahoo/tree/yfs.html
107 #
108 s/(<body\s+[^>]*)onunload/$1never/siU
109 s|(<script.*)window\.onunload(?=.*</script>)|$1never|sigU
110
111 # If we allow window.open, we want normal window features: 
112 # Test: http://www.htmlgoodies.com/beyond/notitle.html
113 #
114 s/(open\s*\([^\)]+resizable=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
115 s/(open\s*\([^\)]+location=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
116 s/(open\s*\([^\)]+status=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
117 s/(open\s*\([^\)]+scroll(?:ing|bars)=)(["']?)(?:no|0)\2/$1$2auto$2/sigU 
118 s/(open\s*\([^\)]+menubar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
119 s/(open\s*\([^\)]+toolbar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
120 s/(open\s*\([^\)]+directories=)(["']?)(?:no|0)\2/$1$2yes$2/sigU 
121 s/(open\s*\([^\)]+fullscreen=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
122 s/(open\s*\([^\)]+always(?:raised|lowered)=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
123 s/(open\s*\([^\)]+z-?lock=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
124 s/(open\s*\([^\)]+hotkeys=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
125 s/(open\s*\([^\)]+titlebar=)(["']?)(?:no|0)\2/$1$2yes$2/sigU
126 s/(open\s*\([^\)]+always(?:raised|lowered)=)(["']?)(?:yes|1)\2/$1$2no$2/sigU
127
128
129 #################################################################################
130 #
131 # js-events: Kill all JS event bindings and timers (Radically destructive! Only for extra nasty sites).
132 #
133 #################################################################################
134 FILTER: js-events Kill all JS event bindings and timers (Radically destructive! Only for extra nasty sites).
135
136 s/(on|event\.)((mouse(over|out|down|up|move))|(un)?load|contextmenu|selectstart)/never/ig
137 # Not events, but abused on the same type of sites:
138 s/(alert|confirm)\s*\(/concat(/ig
139 s/settimeout\(/concat(/ig
140
141 #################################################################################
142 #
143 # html-annoyances: Get rid of particularly annoying HTML abuse.
144 #
145 #################################################################################
146 FILTER: html-annoyances Get rid of particularly annoying HTML abuse.
147
148 # New browser windows (if allowed -- see no-popups filter below) should be
149 # resizeable and have a location and status bar
150 #
151 s/(<a\s+href[^>]+resizable=)(['"]?)(?:no|0)\2/$1$2yes$2/igU 
152 s/(<a\s+href[^>]+location=)(['"]?)(?:no|0)\2/$1$2yes$2/igU 
153 s/(<a\s+href[^>]+status=)(['"]?)(?:no|0)\2/$1$2yes1$2/igU
154 s/(<a\s+href[^>]+scrolling=)(['"]?)(?:no|0)\2/$1$2auto$2/igU
155 s/(<a\s+href[^>]+menubar=)(['"]?)(?:no|0)\2/$1$2yes$2/igU
156
157 # The <BLINK> and <MARQUEE> tags were crimes!
158 #
159 s-</?(blink|marquee).*>--sigU
160
161
162 #################################################################################
163 #
164 # content-cookies: Kill cookies that come in the HTML or JS content.
165 #
166 #################################################################################
167 FILTER: content-cookies Kill cookies that come in the HTML or JS content.
168
169 # JS cookies, except those used by antiadbuster.com to detect us:
170 #
171 s|(\w+\.)+cookie(?=[ \t\r\n]*=)(?!='aab)|ZappedCookie|ig
172
173 # HTML cookies:
174 #
175 s|<meta\s+http-equiv=['"]?set-cookie.*>|<!-- ZappedCookie -->|igU
176
177
178 #################################################################################
179 #
180 # refresh-tags: Kill automatic refresh tags if refresh time is larger than 9 seconds.
181 #
182 #################################################################################
183 FILTER: refresh-tags Kill automatic refresh tags if refresh time is larger than 9 seconds.
184
185 # Note: Only deactivates refreshes with more than 9 seconds delay to
186 #       preserve monster-stupid but common redirections via meta tags.
187 #
188 s@<meta\s+http-equiv\s*=\s*(['"]?)refresh\1\s+content\s*=\s*(['"]?)\d{2,}\s*(;(?:\s*url\s*=\s*)?([^>\2]*))?\2@<link rev="x-refresh" href="$4"@ig
189
190
191 #################################################################################
192 #
193 # unsolicited-popups: Disable unsolicited pop-up windows.
194 #
195 #################################################################################
196 FILTER: unsolicited-popups Disable only unsolicited pop-up windows.
197
198 s+([^'"]\s*<head.*>)(?=\s*[^'"])+$1<script>function PrivoxyWindowOpen(){return(null);}</script>+isU
199 s@([^\w\s.]\s*)((?:map)?(window|this|parent)\.?)?open\s*\(@$1PrivoxyWindowOpen(@ig
200 s+([^'"]\s*</html>)(?!\s*(\\n|'|"))+$1<script>function PrivoxyWindowOpen(a, b, c){return(window.open(a, b, c));}</script>+iU     
201
202
203 ##################################################################################
204 #
205 # all-popups: Kill all popups in JavaScript and HTML.
206 #
207 #################################################################################
208 FILTER: all-popups Kill all popups in JavaScript and HTML.
209
210 s@((\W\s*)(?:map)?(window|this|parent)\.?)open\s*\\?\(@$1concat(@ig  # JavaScript
211 #s/\starget\s*=\s*(['"]?)_?(blank|new)\1?/ notarget/ig        # HTML
212 s/\starget\s*=\s*(['"]?)_?(blank|new)\1?/ /ig        # (X)HTML
213
214 ##################################################################################
215 #
216 # img-reorder: Reorder attributes in <img> tags to make the banners-by-* filters more effective.
217 #
218 #################################################################################
219 FILTER: img-reorder Reorder attributes in <img> tags to make the banners-by-* filters more effective.
220
221 # In the first step src is moved to the start, then width is moved to the second
222 # place to guarantee an order of src, width, height. Also does some white-space
223 # normalization.
224 #
225 # This makes banners-by-size more effective and allows both banners-by-size
226 # and banners-by-link to preserve the original image URL in the title attribute.
227
228 s|<img\s+?([^>]*)\ssrc\s*=\s*(['"])([^>\\\2]+)\2|<img src=$2$3$2 $1|siUg
229 s|<img\s+?([^>]*)\ssrc\s*=\s*([^'">\\\s]+)|<img src=$2 $1|sig
230 s|(<img[^>]+height)\s*=\s*|$1=|sig
231
232 s|<img (src=(?:(['"])[^>\\\\2]*\2\|[^'">\\\s]+?))([^>]*)\s+width\s*=\s*((["']?)\d+?\5)(?=[\s>])|<img $1 width=$4$3|siUg
233
234
235 #################################################################################
236 #
237 # banners-by-size: Kill banners by size.
238 #
239 #################################################################################
240 #
241 # Standard banner sizes taken from http://www.iab.net/iab_banner_standards/bannersizes.html
242 #
243 # Note: Use http://config.privoxy.org/send-banner?type=trans for a transparent 1x1 image
244 #       Use http://config.privoxy.org/send-banner?type=pattern for a grey/white pattern image
245 #       Use http://config.privoxy.org/send-banner?type=auto  to auto-select.
246 #
247 # Note2: Use img-reorder before this filter to ensure maximum matching success
248 #
249 #################################################################################
250 FILTER: banners-by-size Kill banners by size.
251
252 # 88*31
253 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)88\4)[^>]*?(height=(['"]?)31\6)[^>]*?(?=/?>)@\
254   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
255 # 120*60, 120*90, 120*240, 120*600
256 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)120\4)[^>]*?(height=(['"]?)(?:600?|90|240)\6)[^>]*?(?=/?>)@\
257   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
258 # 125*125
259 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)125\4)[^>]*?(height=(['"]?)125\6)[^>]*?(?=/?>)@\
260   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
261 # 160*600
262 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)160\4)[^>]*?(height=(['"]?)600\6)[^>]*?(?=/?>)@\
263   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
264 # 180*150
265 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)180\4)[^>]*?(height=(['"]?)150\6)[^>]*?(?=/?>)@\
266   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
267 # 234*60, 468*60 (Most Banners!)
268 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)(?:234|468)\4)[^>]*?(height=(['"]?)60\6)[^>]*?(?=/?>)@\
269   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
270 # 240*400
271 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)240\4)[^>]*?(height=(['"]?)400\6)[^>]*?(?=/?>)@\
272   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
273 # 250*250, 300*250
274 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)(?:250|300)\4)[^>]*?(height=(['"]?)250\6)[^>]*?(?=/?>)@\
275   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
276 # 336*280
277 s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)336\4)[^>]*?(height=(['"]?)280\6)[^>]*?(?=/?>)@\
278   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
279
280 # Note: 200*50 was also proposed, but it probably causes too much collateral damage:
281 #
282 #s@<img\s+(?:src\s*=\s*(['"]?)([^>\\\1\s]+)\1)?[^>]*?(width=(['"]?)200\4)[^>]*?(height=(['"]?)50\6)[^>]*?(?=/?>)@\
283 #   <img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed-$2-by-size" $3 $5@sig
284
285
286 #################################################################################
287 #
288 # banners-by-link: Kill banners by their links to known clicktrackers (Experimental).
289 #
290 #################################################################################
291 FILTER: banners-by-link Kill banners by their links to known clicktrackers.
292
293 # Common case with width and height attributes:
294 #
295 s@<a\s+href\s*=\s*(['"]?)([^>\1\s]*?(?:\
296   adclick                             # See www.dn.se \
297 | advert                              # see dict.leo.org \
298 | atwola\.com/(?:link|redir)          # see www.cnn.com \
299 | doubleclick\.net/jump/              # redirs for doublecklick.net ads \
300 | counter                             # common \
301 | (?<!&type=)tracker                  # (&type=tracker is used in sf's project statistics) \
302 | adlog\.pl                           # see sf.net \
303 )[^>\1\s]*)\1[^>]*>\s*<img\s+(?:src\s*=\s*(['"]?)([^>\\\3\s]+)\3)?[^>]*((?:width|height)\s*=\s*(['"]?)\d+?\6)[^>]*((?:width|height)\s*=\s*(['"]?)\d+?\8)[^>]*?(?=/?>)\
304 @<img $5 $7 src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed $4 by link to $2"@sigx
305
306 # Rare case w/o explicit dimensions:
307 #
308 s@<a\s+href\s*=\s*(['"]?)([^>\1\s]*?(?:ad(?:click|vert)|atwola\.com/(?:link|redir)|doubleclick\.net/jump/|(?<!&type=)tracker|counter|adlog\.pl)[^>\1\s]*)\1[^>]*>\s*<img\s+(?:src\s*=\s*(['"]?)([^>\\\3\s]+)\3)?[^>]*?(?=/?>)@<img src="http://config.privoxy.org/send-banner?type=auto" border="0" title="Killed $4 by link to $2"@sig
309
310
311 ################################################################################
312 #
313 # webbugs: Squish WebBugs (1x1 invisible GIFs used for user tracking).
314 #
315 #################################################################################
316 FILTER: webbugs Squish WebBugs (1x1 invisible GIFs used for user tracking).
317
318 s@<img[^>]*\s(?:width|height)\s*=\s*['"]?[01](?=\D)[^>]*\s(?:width|height)\s*=\s*['"]?[01](?=\D)[^>]*?>@@siUg
319
320
321 #################################################################################
322 #
323 # tiny-textforms: Extend those tiny textareas up to 40x80 and kill the hard wrap.
324 #
325 #################################################################################
326 FILTER: tiny-textforms Extend those tiny textareas up to 40x80 and kill the hard wrap.
327
328 s/(<textarea[^>]*?)(?:\s*(?:rows|cols)=(['"]?)\d+\2)+/$1 rows=$2\40$2 cols=$2\80$2/ig 
329 s/(<textarea[^>]*?)wrap=(['"]?)hard\2/$1/ig
330
331
332 #################################################################################
333 #
334 # jumping-windows: Prevent windows from resizing and moving themselves.
335 #
336 #################################################################################
337 FILTER: jumping-windows Prevent windows from resizing and moving themselves.
338
339 s/(?<=[\W])(?:window|this|self)\.(?:move|resize)(?:to|by)\(/''.concat(/ig
340
341 #################################################################################
342 #
343 # frameset-borders: Give frames a border, make them resizable and scrollable.
344 #
345 #################################################################################
346 FILTER: frameset-borders Give frames a border and make them resizable.
347
348 s/(<frameset\s+[^>]*)framespacing=(['"]?)(no|0)\2/$1/igU
349 s/(<frameset\s+[^>]*)frameborder=(['"]?)(no|0)\2/$1/igU
350 s/(<frameset\s+[^>]*)border=(['"]?)(no|0)\2/$1/igU
351 s/(<frame\s+[^>]*)noresize/$1/igU
352 s/(<frame\s+[^>]*)frameborder=(['"]?)(no|0)\2/$1/igU 
353 s/(<frame\s+[^>]*)scrolling=(['"]?)(no|0)\2/$1/igU
354
355
356
357 #################################################################################
358 #
359 # demoronizer: Correct Microsoft's abuse of standardized character sets, which 
360 #              leave the browser to (mis)-interpret unknown characters, with 
361 #              sometimes bizarre results on non-MS platforms.
362 #
363 # credit: ripped from the demoroniser.pl script by: 
364 #         John Walker -- January 1998, http://www.fourmilab.ch/webtools/demoroniser
365 #
366 #################################################################################
367 FILTER: demoronizer Fix MS's non-standard use of standard charsets.
368
369 s/(&\#[0-2]\d\d)\s/$1; /g
370 # per Robert Lynch: http://slate.msn.com//?id=2067547, just a guess.
371 # Must come before x94 below.
372 s/\xE2\x80\x94/ -- /g
373 s/\x82/,/g
374 #s-\x83-<em>f</em>-g
375 s/\x84/,,/g
376 s/\x85/.../g
377 #s/\x88/^/g
378 #s-\x89- °/°°-g
379 s/\x8B/</g
380 s/\x8C/Oe/g
381 s/\x91/`/g
382 s/\x92/'/g
383 s/(\x93|\x94)/"/g
384 # Bullet type character.
385 s/\x95/&middot;/g
386 s/\x96/-/g
387 s/\x97/--/g
388 #s-\x98-<sup>~</sup>-g
389 #s-\x99-<sup>TM</sup>-g
390 # per Robert Lynch.
391 s/\x9B/>/g                  # 155
392
393
394 #################################################################################
395 #
396 # shockwave-flash: Kill embedded Shockwave Flash objects.
397 #                  Note: Better just block "/.*\.swf$"!
398 #
399 #################################################################################
400 FILTER: shockwave-flash Kill embedded Shockwave Flash objects.
401
402 s|<object [^>]*macromedia.*</object>|<!-- Squished Shockwave Object -->|sigU
403 s|<embed [^>]*(application/x-shockwave-flash\|\.swf).*>(.*</embed>)?|<!-- Squished Shockwave Flash Embed -->|sigU
404
405
406 #################################################################################
407 #
408 # quicktime-kioskmode: Make Quicktime movies saveable.
409 #
410 #################################################################################
411 FILTER: quicktime-kioskmode Make Quicktime movies saveable.
412
413 s/(<embed\s+[^>]*)kioskmode\s*=\s*(["']?)true\2/$1/ig 
414
415
416 #################################################################################
417 #
418 # fun: Text replacements for subversive browsing fun!
419 #
420 #################################################################################
421 FILTER: fun Text replacements for subversive browsing fun!
422
423 # SCNR
424 #
425 s/microsoft(?!\.[^\s])/MicroSuck/ig
426
427 # Buzzword Bingo (example for extended regex syntax)
428 #
429 s* (?:industry|world)[ -]leading \
430 |  cutting[ -]edge \
431 |  customer[ -]focused \
432 |  market[ -]driven \
433 |  award[ -]winning # Comments are OK, too! \
434 |  high[ -]performance \
435 |  solutions[ -]based \
436 |  unmatched \
437 |  unparalleled \
438 |  unrivalled \
439 *$0<sup><font color="red"><b>Bingo!</b></font></sup> \
440 *igx
441
442 # For Germans only
443 #
444 s/(M|m)edien(?![^<]*>)/$1&auml;dchen/Ug
445
446 #################################################################################
447 #
448 # crude-parental: Crude parental filtering. Use with a suitable blocklist.
449 #                 Pages are "blocked" based on keyword matching.
450 #
451 #################################################################################
452 FILTER: crude-parental Crude parental filtering. Note that this filter doesn't work reliably.
453
454 # (Note: Middlesex, Sussex and Essex are counties in the UK, not rude words)
455 # (Note #2: Is 'sex' a rude word?!)
456
457 s%^.*(?<!middle)(?<!sus)(?<!es)sex.*$%<html><head><title>Blocked</title></head><body>\
458 <h3>Blocked by Privoxy's crude-parental filter due to possible adult content.</h3></body></html>%is
459
460 s+^.*warez.*$+<html><head><title>No Warez</title></head><body><h3>You're not searching for illegal stuff, are you?</h3></body></html>+is
461
462 # Remove by description
463 s/^.*\
464 (?:(suck|lick|tongue|rub|fuck|fingering|finger|chicks?)\s*)?\
465 (?:(her|your|my|hard|with|big|wet|tight|pink|hot|moist|young|teen)\s*)+\
466 (dicks?|penis|cocks?|balls?|tits?|pussy|cunt|clit|ass|mouth).*$\
467 /This page has been blocked by Privoxy's crude-parental content filter\
468 /is
469
470 #Remove by link text
471 s/^.*\
472 (download|broadband|view|watch|free|get|extreem)?\s*\
473 (sex|xxx|porn|cumshot|fuck(ing|s)?|anal|ass|asian|adult|Amateur|org(y|ies)|close ups?|hand?job|nail(ed)?)+\s*\
474 (movies?|pics?|videos?|dvds?|dvd's|links?).*$\
475 /This page has been blocked by Privoxy's crude-parental content filter\
476 /is
477
478 #Remove by age disclaimer
479 s/^.*\
480 (models?|chicks?|girls?|women|persons)\s*\
481 (who|are|were)+ (over|at least) (16|18|21) years (old|of age).*$\
482 /This page has been blocked by Privoxy's crude-parental content filter\
483 /is
484
485 #Remove by regulations
486 s/^.*(Section 2257|18 U.?S.?C.? 2257).*$\
487 /This page has been blocked by Privoxy's crude-parental content filter\
488 /is 
489
490
491 #################################################################################
492 #
493 # IE-Exploits: Disable some known Internet Explorer bug exploits.
494 #
495 #################################################################################
496 FILTER: ie-exploits Disable some known Internet Explorer bug exploits.
497
498 # Note: This is basically a demo and waits for someone more interested in IE
499 # security (sic!) to take over.
500
501 # Cross-site-scripting:
502 #
503 s%f\("javascript:location.replace\('mk:@MSITStore:C:'\)"\);%alert\("This page looks like it tries to use a vulnerability described here:\n http://online.securityfocus.com/archive/1/298748/2002-11-02/2002-11-08/2"\);%siU
504
505 # Address bar spoofing (http://www.secunia.com/advisories/10395/):
506 #
507 s/(<a[^>]*href[^>]*)(?:\x01|\x02|\x03|%0[012])@/$1MALICIOUS-LINK@/ig
508
509 # Nimda:
510 #
511 s%<script language="JavaScript">(window\.open|1;''\.concat)\("readme\.eml", null, "resizable=no,top=6000,left=6000"\)</script>%<br><font size="7"> WARNING: This Server is infected with <a href="http://www.cert.org/advisories/CA-2001-26.html">Nimda</a>!</font>%g
512
513
514 #################################################################################
515 #
516 #
517 # site-specifics: Cure for site-specific problems. Don't apply generally!
518 #
519 #   Note: The fixes contained here are so specific to the problems of the
520 #         particular web sites they are designed for that they would be a
521 #         waste of CPU cycles (or even destructive!) on 99.9% of the web
522 #         sites where they don't apply.
523 #
524 #################################################################################
525 FILTER: site-specifics Cure for site-specific problems. Don't apply generally!
526
527 # www.spiegel.de excludes X11 users from viewing Flash5 objects - shame.
528 # Apply to: www.spiegel.de/static/js/flash-plugin.js 
529 #
530 s/indexOf\("x11"\)/indexOf("x13")/
531
532 # www.quelle-bausparkasse.de uses a very stupid redirect mechanism that
533 # relies on a webbug being present. Can we tolerate that? No!
534 # Apply to: www.quelle-bausparkasse.de/$
535 #
536 s/mylogfunc()//g
537
538 # groups.yahoo.com has splash pages that one needs to click through in
539 # order to access the actual messages. Let the browser do that. Thanks
540 # to Paul Jobson for this one:
541 #
542 s|<a href="(.+?)">(?:Continue to message\|Weiter zu Nachricht)</a>|<meta http-equiv="refresh" content="0; URL=$1">|ig
543
544 # monster.com has two very similar gimmicks:
545 #
546 s|<input type="hidden" name="REDIRECT" value="(.+?)">|<meta http-equiv="refresh" content="0; URL=$1">|i
547  
548 s|<IMG SRC="http://media.monster.com/mm/usen/my/no_thanks_211x40.gif".+?>|<meta http-equiv="refresh" content="0; URL=http://my.monster.com/resume.asp">|i 
549
550 # nytimes.com triggers popups through the onload handler of dummy images
551 # to fool popup-blockers.  
552 #
553 s|(<img [^>]*)onload|$1never|sig
554
555 # Pre-check all the "Discard" buttons in GNU Mailman's web interface.
556 # (This saves a lot of mouse aiming practice when flushing spamtraps)
557 #
558 s|(<INPUT name="\d{2,4}" type="RADIO" value="0") CHECKED |$1|g
559 s|<INPUT name="\d{2,4}" type="RADIO" value="3" |$0 checked|g
560
561 #################################################################################
562 #
563 # no-ping: Removes non-standard ping attributes in <a> and <area> tags.
564 #          
565 #################################################################################
566 FILTER: no-ping Removes non-standard ping attributes in <a> and <area> tags.
567 s@(<a(?:rea)?[^>]*?)\sping=(['"]?)([^"'>]+)\2([>\s]?)@\
568 <strong style="color:white; background-color:red;" title="Privoxy removed ping target '$3'">PING!</strong>\n$1$4@ig
569
570 #################################################################################
571 #
572 # google: CSS-based block for Google text ads. Also removes
573 #         a width limitation and the toolbar advertisement.
574 #
575 #################################################################################
576 FILTER: google CSS-based block for Google text ads. Also removes a width limitation and the toolbar advertisement.
577
578 s@</head>@<style type="text/css">\n\
579  /* Style sheet inserted by Privoxy's google filter. */\n\
580  \#fbc, \#fbl, \#ra, .rhh {visibility: hidden !important;}\n\
581  \#tpa1,\#tpa2,\#tpa3,\#tpa4,\#tpa5,\#tpa5, \#spl, .ch, \#ads,\
582  \#toolbar, \#google_ads_frame, \#mbEnd {display: none !important;}\n\
583  .main_body, .j, \#res, .med, .hd, .g, .s\n\
584  {width: 99%; max-width: 100%; margin-left: 0; margin-right: 0;}\n\
585  </style>\n$0@
586 s@<div style=\"padding-top:11px;min-width:500px\">@<div id="main_body">@
587 s@(<table cellspacing=0 cellpadding=0 width=25% align=right bgcolor=\#ffffff border=0\
588 |</font></td></tr></tbody></table><table align=\"right\" bgcolor=\"\#ffffff\"\
589 |<table cellspacing=0 cellpadding=0 align=right bgcolor=\#ffffff border=0\
590 |<table style=\"clear:both\" align=right width=25% cellspacing=\"0\" cellpadding=\"0\"\
591  border=\"0\" bgcolor=\"\#ffffff\")@$0 id="ads"@
592 s@(<br clear=all><table)( border=0 cellpadding=9><tr><td)@$1 id="toolbar"$2@
593
594 #################################################################################
595 #
596 # yahoo: CSS-based block for Yahoo text ads. Also removes a width limitation.
597 #
598 #################################################################################
599 FILTER: yahoo CSS-based block for Yahoo text ads. Also removes a width limitation.
600
601 s@</head>@\n<style type="text/css">\n\
602  /* Style sheet inserted by Privoxy's yahoo filter. */\n\
603  \#symadbn, \#ymadbn, .yschbox, .yschhd, .bbox, \#yschsec, \#sec,\
604  \#yschanswr, .yschftad, .yschspn, .yschspns, \#ygrp-sponsored-links,\
605  \#nwad, \#MWA2, \#MSCM, \#yregad, \#sponsored-links,\
606  \#ks-ypn-ads, .ad, \#east, \#ygrp-vital {display: none !important;}\n\
607  \#yschpri, \#yschweb, \#pri, \#web, \#main, .yschttl, .abstr, .res \n\
608  {width: 99% !important; max-width: 100% !important;}\n\
609  .yschttl, .res, .res.indent, \#web {padding: 0px; margin: 0px !important;}\n\
610  \#web {padding-left: 0.5em}\n\
611  \#yschqcon, \#yschtg {width: auto !important; /* No useless horizontal scrollbar please */}\n\
612  \#composebox \#compose_editorArea {width: 70% !important; /* reasonably sized reply textarea please */\n\
613  </style>\n$0\n@
614
615 s@(<textarea\s+id="composeArea"[^>]*)width:545px;@$1width:70%;@isU
616
617 #################################################################################
618 #
619 # msn: CSS-based block for MSN text ads. Also removes tracking URLs
620 #      and a width limitation.
621 #
622 #################################################################################
623 FILTER: msn CSS-based block for MSN text ads. Also removes tracking URLs and a width limitation.
624
625 s@</head>@<style type="text/css">\n\
626  /* Style sheet inserted by Privoxy's msn filter. */\n\
627  .msn_ads, \#at, \#ar, .mktmsg {display: none !important;}\n\
628  \#results, .flank, .results_area_flank, .results_area_stroke,\n\
629  \#results_area, \#content, .sb_tlst, .sa_cc, .sb_ph, \#sw_main,\n\
630 .content, \#sw_foot, \#bf, \#sw_content, \#sidebar, \#pag\n\
631  {width: 99% !important; min-width: 99% !important;\n\
632  max-width: 100% !important; /* width:100% sometimes causes horizontal scrollbars */}\n\
633  /* Remove "suggestions". They are next to worthless but partly overlap with the search results */\n\
634  .suggestion, \#nys_right, \#nys {clear: both; display:none;}\n\
635  \#content {padding-right: 0;}\n\
636  </style>\n$0@
637 # Are these ids still in use?
638 s@(<div[^>]*) id=(["']?)ads_[^\2]*\2@$1 class="msn_ads"@Uig
639 s@(<div[^>]*) class=(["']?)sb_ads[^\2]*\2@$1 class="msn_ads"@Uig
640 s@(<a[^>]*href=\")http://g.msn.com/.*\?(http://.*)(&amp;&amp;DI=.*)(\")@$1$2$4@Ug
641 s@(<a[^>]*)gping=\".*\"@$1 title="URL cleaned up by Privoxy's msn filter"@Ug
642
643 #################################################################################
644 #
645 # blogspot: Cleans up some Blogspot blogs. Read the fine print before using this.
646 #
647 #           This filter also intentionally removes some navigation stuff and
648 #           sets the page width to 100%. As a result, some rounded "corners" would
649 #           appear to early or not at all and as fixing this would require a browser
650 #           that understands background-size (CSS3), they are removed instead.
651 #
652 #           When applied to feeds, it removes comment titles that
653 #           only contain the beginning of the actual comment.
654 #
655 #################################################################################
656 FILTER: blogspot Cleans up some Blogspot blogs. Read the fine print before using this.
657
658 s@</head>@<style type="text/css">\n\
659  /* Style sheet inserted by Privoxy's blogspot filter. */\n\
660  \#powered-by {display: none !important;}\n\
661  \#wrap4, \#wrapper {margin-top: 0px }\n\
662  \#blogheader, \#header {margin-top: 0.5em !important}\n\
663  \#content {width: 98% }\n\
664  \#main {width: 70% }\n\
665  \#sidebar {width: 29% }\n\
666  .post-body {overflow: auto;}\n\
667  .blogComments {width: 100%; overflow: auto;}\n</style>\n$0@
668 s@<body.*(?:<div id="space-for-ie"></div>|(<div id="(?:content|wrap4|wrapper)))@<body>\
669  <!-- Privoxy's blogspot filter ditched some garbage here -->$1@Us
670 s@(<div style=\"[^\"]*width:)30em@$1 100%@
671 s@background:url\(\"http://www.blogblog.com/rounders[^\"]*\"\).*;@/*$0*/@Ug
672 s@(background:\#[a-f\d]{3})( url\(\"http://www.blogblog.com/rounders[^\"]*\"\).*;)@$1 ;/*$2*/@Ug
673 # Do the feed filtering magic as described above.
674 s@<title(?:\s+type=\'text\')?>([^<]*)(?:\.\.\.)?\s*</title>\s*\
675 (<content(?:\s+type=\'(?:html|text)\')?>\s*\1)@<title></title>$2@ig
676
677 #################################################################################
678 #
679 # x-httpd-php-to-html: Changes the Content-Type header from
680 #                      x-httpd-php to html. "Content-Type: x-httpd-php"
681 #                      is set by clueless PHP users and causes many
682 #                      browsers do open a download menu instead of
683 #                      rendering the page.
684 #
685 #################################################################################
686 SERVER-HEADER-FILTER: x-httpd-php-to-html Changes the Content-Type header from x-httpd-php to html.
687
688 s@^(Content-Type:)\s*application/x-httpd-php@$1 text/html@i
689
690 #################################################################################
691 #
692 # html-to-xml: Changes the Content-Type header from html to xml.
693 #
694 #################################################################################
695 SERVER-HEADER-FILTER: html-to-xml Changes the Content-Type header from html to xml.
696
697 s@^(Content-Type:)\s*text/html(;.*)?$@$1 application/xhtml+xml$2@i
698
699 #################################################################################
700 #
701 # xml-to-html: Changes the Content-Type header from xml to html.
702 #
703 #################################################################################
704 SERVER-HEADER-FILTER: xml-to-html Changes the Content-Type header from xml to html.
705
706 s@^(Content-Type:)\s*(?:application|text)/(?:xhtml\+)?xml(;.*)?$@$1 text/html$2@i
707
708 #################################################################################
709 #
710 # hide-tor-exit-notation: Remove the Tor exit node notation in Host and Referer headers.
711 #
712 #   Note: If Privoxy and Tor are chained and Privoxy is configured to
713 #         use socks4a, one can use http://www.example.org.foobar.exit/
714 #         to access the host www.example.org through Tor exit node foobar.
715 #
716 #         As the HTTP client isn't aware of this notation, it treats the
717 #         whole string "www.example.org.foobar.exit" as host and uses it
718 #         for the "Host" and "Referer" headers. From the server's point of
719 #         view the resulting headers are invalid and can cause problems.
720 #
721 #         An invalid "Referer" header can trigger "hot-linking" protections,
722 #         an invalid "Host" header will make it impossible for the server to
723 #         find the right vhost (several domains hosted on the same IP address).
724 #
725 #         This filter removes the "foo.exit" part in those headers
726 #         to prevent the mentioned problems. Note that it only modifies
727 #         the HTTP headers, it doesn't make it impossible for the server
728 #         to detect your Tor exit node based on the IP address the request is
729 #         coming from.
730 #
731 #################################################################################
732 CLIENT-HEADER-FILTER: hide-tor-exit-notation Removes the Tor exit node notation in Host and Referer headers.
733
734 s@^((?:Referer|Host):\s*(?:https?://)?[^/]*)\.[^\./]*?\.exit@$1@i
735
736 #################################################################################
737 #
738 # less-download-windows: Prevents annoying download windows for content types
739 #                        the browser can handle itself.
740 #
741 #################################################################################
742 SERVER-HEADER-FILTER: less-download-windows Prevent annoying download windows for content types the browser can handle itself.
743
744 s@^Content-Disposition:.*filename=(["']?).*\.(png|gif|jpe?g|diff?|d?patch|c|h|pl|shar)\1.*$@@i
745 s@^(Content-Type:)\s*(?:message/(?:news|rfc822)|text/x-.*|application/x-sh(?:\s|$))\s*@$1 text/plain@i
746
747 #################################################################################
748 #
749 # image-requests: Tags detected image requests as "IMAGE-REQUEST". Whether
750 #                 or not the detection actually works depends on the browser.
751 #
752 #################################################################################
753 CLIENT-HEADER-TAGGER: image-requests Tags detected image requests as "IMAGE-REQUEST".
754
755 s@^Accept:\s*image/.*@IMAGE-REQUEST@i
756
757 #################################################################################
758 #
759 # css-requests:  Tags detected CSS requests as "CSS-REQUEST". Whether
760 #                or not the detection actually works depends on the browser.
761 #
762 #################################################################################
763 CLIENT-HEADER-TAGGER: css-requests Tags detected CSS requests as "CSS-REQUEST".
764
765 s@^Accept:\s*text/css.*@CSS-REQUEST@i
766
767 #################################################################################
768 #
769 # client-ip-address: Tags the request with the client's IP address.
770 #
771 #################################################################################
772 CLIENT-HEADER-TAGGER: client-ip-address Tags the request with the client's IP address.
773
774 s@^\w*\s+.*\s+HTTP/\d\.\d\s*@IP-ADDRESS: $origin@D
775
776 #################################################################################
777 #
778 # http-method: Tags the request with its HTTP method.
779 #
780 #################################################################################
781 CLIENT-HEADER-TAGGER: http-method Tags the request with its HTTP method.
782
783 s@^(\w*).*HTTP/\d\.\d\s*$@$1@i
784
785 #################################################################################
786 #
787 # allow-post: Tags POST requests as "ALLOWED-POST".
788 #
789 #################################################################################
790 CLIENT-HEADER-TAGGER: allow-post Tags POST requests as "ALLOWED-POST".
791
792 s@^(?:POST)\s+.*\s+HTTP/\d\.\d\s*@ALLOWED-POST@i
793
794 #################################################################################
795 #
796 # complete-url: Tags the request with the whole request URL.
797 #
798 #################################################################################
799 CLIENT-HEADER-TAGGER: complete-url Tags the request with the whole request URL.
800
801 s@^\w*\s+(.*)\s+HTTP/\d\.\d\s*$@$1@i
802
803 #################################################################################
804 #
805 # user-agent: Tags the request with the complete User-Agent header.
806 #
807 #################################################################################
808 CLIENT-HEADER-TAGGER: user-agent Tags the request with the complete User-Agent header.
809
810 s@^User-Agent:.*@$0@i
811
812 #################################################################################
813 #
814 # content-type: Tags the request with the content type declared by the server.
815 #
816 #################################################################################
817 SERVER-HEADER-TAGGER: content-type Tags the request with the content type declared by the server.
818
819 s@^Content-Type:\s*([^;]+).*@$1@i
820
821 #################################################################################
822 #
823 # privoxy-control: The taggers create tags with the content of X-Privoxy-Control
824 #                  headers, the filters remove said headers.
825 #
826 #################################################################################
827 CLIENT-HEADER-TAGGER: privoxy-control Creates tags with the content of X-Privoxy-Control headers.
828
829 s@^X-Privoxy-Control:\s*@@i
830
831 CLIENT-HEADER-FILTER: privoxy-control Removes X-Privoxy-Control headers.
832
833 s@^X-Privoxy-Control:.*@@i
834
835 SERVER-HEADER-TAGGER: privoxy-control Creates tags with the content of X-Privoxy-Control headers.
836
837 s@^X-Privoxy-Control:\s*@@i
838
839 SERVER-HEADER-FILTER: privoxy-control Removes X-Privoxy-Control headers.
840
841 s@^X-Privoxy-Control:.*@@i