b4ebf78e3e82d870f3d7654ed5ff65716bffb079
[privoxy.git] / default.filter
1 # ********************************************************************
2
3 #  File        :  $Source: /cvsroot/ijbswa/current/re_filterfile,v $
4
5 #  Purpose     :  Rules to process the content of web pages
6
7 #  Copyright   :  Written by and Copyright (C) 2001 the SourceForge
8 #                 IJBSWA team.  http://ijbswa.sourceforge.net
9
10 #                 This program is free software; you can redistribute it
11 #                 and/or modify it under the terms of the GNU General
12 #                 Public License as published by the Free Software
13 #                 Foundation; either version 2 of the License, or (at
14 #                 your option) any later version.
15
16 #                 This program is distributed in the hope that it will
17 #                 be useful, but WITHOUT ANY WARRANTY; without even the
18 #                 implied warranty of MERCHANTABILITY or FITNESS FOR A
19 #                 PARTICULAR PURPOSE.  See the GNU General Public
20 #                 License for more details.
21
22 #                 The GNU General Public License should be included with
23 #                 this file.  If not, you can view it at
24 #                 http://www.gnu.org/copyleft/gpl.html
25 #                 or write to the Free Software Foundation, Inc., 59
26 #                 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
27
28 #  Revisions   :
29 #     $Log: re_filterfile,v $
30 #     Revision 1.24  2002/03/16 20:39:54  oes
31 #      - Added descriptions to the filters so users will know what they select in the cgi editor
32 #      - Added content-cookies filter
33 #      - Bugfixed many jobs (Thanks to Al for some hints)
34 #
35 #     Revision 1.22  2002/03/12 13:42:50  oes
36 #     Fixing & Optimizing REs
37 #
38 #     Revision 1.21  2002/03/12 11:59:20  oes
39 #     Beefed up Buzzword Bingo
40 #
41 #     Revision 1.20  2002/03/12 01:42:50  oes
42 #     Introduced modular filters
43 #
44 #     Revision 1.19  2002/03/10 19:49:24  oes
45 #     Added expression to kill referer tracking in JavaScripts
46 #
47 #     Revision 1.18  2002/03/08 17:14:12  oes
48 #     PNG -> image in comments
49 #
50 #     Revision 1.17  2002/03/07 03:50:54  oes
51 #     Adapted comments to new built-in images
52 #
53 #     Revision 1.16  2002/02/21 00:12:19  jongfoster
54 #     Modifying the banner regexps to use long URLS and to autodetect
55 #     whether to show a logo or a transparent GIF, based on actionsfile
56 #     setting.
57 #
58 #     Revision 1.15  2001/12/28 23:54:20  steudten
59 #     Fix for feature Req #495374: http-equiv problem
60 #
61 #     Revision 1.14  2001/12/09 18:55:11  david__schmidt
62 #     Updated CODE_STATUS to beta, commented out microsuck line in re_filterfile
63 #     for 2.9.10 beta
64 #
65 #     Revision 1.13  2001/10/13 13:11:20  joergs
66 #     Fixed WebBug filter.
67 #
68 #     Revision 1.12  2001/10/07 15:46:42  oes
69 #     Followed Guy's proposal to change the document.cookie job
70 #
71 #     Revision 1.11  2001/09/21 12:34:00  joergs
72 #     Added filter to replace "Nimda" code by a warning.
73 #
74 #     Revision 1.10  2001/07/20 11:04:26  oes
75 #     Added Rodneys javascript cookie filter
76 #
77 #     Revision 1.9  2001/07/13 14:03:48  oes
78 #     Elimiated yet another bug in the banner-by-size jobs. Shame on me!
79 #
80 #     Revision 1.8  2001/06/29 13:34:00  oes
81 #     - Added explanation for U and T options
82 #     - Added hint on image replacement by CGI call
83 #     - Fixed bug in banner-by-size jobs
84 #
85 #     Revision 1.7  2001/06/19 14:21:56  oes
86 #     Fixed microsuck line
87 #
88 #     Revision 1.6  2001/06/09 14:01:57  swa
89 #     header. cosmetics. default: no messing ala microsuck.
90 #
91 #
92
93
94 #################################################################################
95 #
96 # Syntax:
97 #
98 #################################################################################
99 #
100 # Filters start with a line "FILTER: name description". They are then referrable
101 # from the actionsfile with +filter{name}
102 #
103 # Inside the filters, write one Perl-Style substitution (job) per line.
104 # Jobs that precede the first FILTER: line are ignored.
105 #
106 # For Details see the pcrs manpage contained in this distribution.
107 # (and the perlre, perlop and pcre manpages)
108 #
109 # Note that you are free to choose the delimter as you see fit.
110 #
111 # Note2: In addidion to the Perl options gimsx, the following nonstandard
112 # options are supported:
113
114 # 'U' turns the default to ungreedy matching.  Add ? to quantifiers to
115 #     switch back to greedy.
116 # 'T' (trivial) prevents parsing for backreferences in the substitute.
117 #     Use if you want to include text like '$&' in your substitute without
118 #     quoting.
119
120 #################################################################################
121
122
123 #################################################################################
124 #
125 # html-annoyances: Get rid of particularly annoying HTML abuse
126 #
127 #################################################################################
128 FILTER: html-annoyances Get rid of particularly annoying HTML abuse
129
130 # New browser windows (if allowed -- see no-popups filter below) should be
131 # resizeable and have a location and status bar
132 #
133 s/(<a\s+href[^>]+)resizable=['"]?(no|0|false)['"]?(.*>)/$1resizable=1$3/igU 
134 s/(<a\s+href[^>]+)location=['"]?(no|0)['"]?(.*>)/$1location=1$3/igU 
135 s/(<a\s+href[^>]+)status=['"]?(no|0)['"]?(.*>)/$1status=1$3/igU
136 s/(<a\s+href[^>]+)scrolling=['"]?(no|0|auto)['"]?(.*>)/$1scrolling=no$3/igU
137 s/(<a\s+href[^>]+)menubar=['"]?(no|0)['"]?(.*>)/$1menubar=1$3/igU
138
139 # The <BLINK> tag was a crime!
140 #
141 s*<blink>|</blink>**ig
142
143 # Is this evil? 
144 #
145 #s/margin(height|width)=[0-9]*//gi
146 #s/noresize/yesresize/igU
147
148
149 #################################################################################
150 #
151 # js-annoyances: Get rid of particularly annoying JavaScript abuse
152 #
153 #################################################################################
154 FILTER: js-annoyances Get rid of particularly annoying JavaScript abuse
155
156 # Get rid of Javascript referrer tracking. Test page: http://www.randomoddness.com/untitled.htm
157 #
158 s|(<script.*)document\.referrer(.*</script>)|$1"Not Your Business!"$2|Usg
159
160 # The status bar is for displaying link targets, not pointless blahblah
161 #
162 s/status='.*?';*//ig
163
164 # Kill OnUnload popups. Yummy. Test: http://www.zdnet.com/zdsubs/yahoo/tree/yfs.html
165 #
166 s/(<body .*)onunload(.*>)/$1never$2/iU
167
168
169 #################################################################################
170 #
171 # content-cookies: Kill cookies that come in the HTML or JS content
172 #
173 #################################################################################
174 FILTER: content-cookies Kill cookies that come in the HTML or JS content
175
176 # JS cookies, like found on privacy.net:
177 #
178 s|(document\.cookie)([ \t\r\n]*=)|documenZapCooky$2|g
179
180 # HTML cookies:
181 #
182 s|<meta\s+http-equiv=['"]?set-cookie['"]?\s+content=[^>].*>|<!--no cookies here -->|iUT  
183
184
185 ##################################################################################
186 #
187 # no-popups: Kill all popups in JS and HTML
188 #
189 #################################################################################
190 FILTER: no-popups Kill all popups in JS and HTML
191
192 s/window\.open\(/1;''\.concat\(/ig           # JavaScript
193 s/target=['"]?_blank['"]?/target_crunched/ig # HTML
194 s/target=['"]?_new['"]?/target_crunched/ig   # HTML
195
196 #################################################################################
197 #
198 # frameset-borders: Give frames a border and make them resizable
199 #
200 #################################################################################
201 FILTER: frameset-borders Give frames a border and make them resizable
202
203 s/(<frameset [^>]+)framespacing=['"]?(no|0)['"]?(.*>)/$1$3/igU
204 s/(<frameset [^>]+)frameborder=['"]?(no|0)['"]?(.*>)/$1$3/igU
205 s/(<frame [^>]+)border=['"]?(no|0)['"]?(.*>)/$1$3/igU
206 s/(<frame [^>]+)resizable=['"]?(no|0|false)['"]?(.*>)/$1$3/igU 
207
208 #################################################################################
209 #
210 # webbugs: Squish WebBugs (1x1 invisible GIFs used for user tracking)
211 #
212 #################################################################################
213 FILTER: webbugs Squish WebBugs (1x1 invisible GIFs used for user tracking)
214
215 s/<img\s+[^>]*?(width|height)\s*=\s*['"]?1\D[^>]*?(width|height)\s*=\s*['"]?1(\D[^>]*?)?>/<!-- Squished WebBug -->/sig
216
217
218 #################################################################################
219 #
220 # no-refresh: Kill automatic refresh tags (for dial-on-demand setups)
221 #
222 #################################################################################
223 FILTER: no-refresh Kill automatic refresh tags (for dial-on-demand setups)
224
225 s/<meta\s+http-equiv=['"]?refresh['"]?\s+content=['"]?[0-9]*;\s+url=([^>]*)['"]?>/<link rev="x-refresh" href=$1>/iU   
226 s/<meta\s+http-equiv=['"]?page-enter['"]?\s+content=[^>].*>/<!--no page enter for me-->/iU 
227
228
229 #################################################################################
230 #
231 # fun: Text replacements for subversive browsing fun!
232 #
233 #################################################################################
234 FILTER: fun Text replacements for subversive browsing fun!
235
236 s/microsoft(?!.com)/MicroSuck/ig
237
238 # Buzzword Bingo (example for extended syntax)
239 #
240 s* industry[ -]leading \
241 |  cutting[ -]edge \
242 |  award[ -]winning # Comments are OK, too! \
243 |  high[ -]performance \
244 |  solutions[ -]based \
245 |  unmatched \
246 |  unparalleled \
247 |  unrivalled \
248 *<font color=red><b>BINGO!</b></font> \
249 *igx
250
251
252 #################################################################################
253 #
254 # nimda: Remove Nimda (virus) code
255 #
256 #################################################################################
257 FILTER: nimda Remove Nimda (virus) code
258
259 s%<script language="JavaScript">(window\.open|1;''\.concat)\("readme\.eml", null, "resizable=no,top=6000,left=6000"\)</script>%<br><hr><font size=7><b>Internet J</b></font><b><font size=6>UNK</font><font size=5 color="red"><i>BUSTER</i></font></b><font size=7> WARNING: This Server is infected with <a href="http://www.cert.org/advisories/CA-2001-26.html">Nimda</a>!</font>%g
260
261
262 #################################################################################
263 #
264 # banners-by-size: Kill banners by size
265 #
266 #################################################################################
267 #
268 # Standard banner sizes taken from http://www.iab.net/iab_banner_standards/bannersizes.html
269 #
270 # Note: Use http://ijbswa.sourceforge.net/config/send-banner?type=trans for a transparent 1x1 image
271 #       Use http://ijbswa.sourceforge.net/config/send-banner?type=logo  for the logo image
272 #       Use http://ijbswa.sourceforge.net/config/send-banner?type=logo  for a grey/white pattern image
273 #       Use http://ijbswa.sourceforge.net/config/send-banner?type=auto  to auto-select.
274 #
275 #################################################################################
276 FILTER: banners-by-size Kill banners by size
277
278 s|<img\s+[^>]*?(width=['"]?468\D)[^>]*(height=['"]?60[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
279 s|<img\s+[^>]*?(width=['"]?234\D)[^>]*(height=['"]?60[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
280 s|<img\s+[^>]*?(width=['"]?88\D)[^>]*(height=['"]?31[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
281 s|<img\s+[^>]*?(width=['"]?120\D)[^>]*(height=['"]?90[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
282 s|<img\s+[^>]*?(width=['"]?120\D)[^>]*(height=['"]?600[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
283 s|<img\s+[^>]*?(width=['"]?120\D)[^>]*(height=['"]?60[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
284 s|<img\s+[^>]*?(width=['"]?160\D)[^>]*(height=['"]?600[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
285 s|<img\s+[^>]*?(width=['"]?125\D)[^>]*(height=['"]?125[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
286 s|<img\s+[^>]*?(width=['"]?120\D)[^>]*(height=['"]?240[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
287 s|<img\s+[^>]*?(width=['"]?180\D)[^>]*(height=['"]?150[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
288 s|<img\s+[^>]*?(width=['"]?300\D)[^>]*(height=['"]?250[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
289 s|<img\s+[^>]*?(width=['"]?250\D)[^>]*(height=['"]?250[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
290 s|<img\s+[^>]*?(width=['"]?240\D)[^>]*(height=['"]?400[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
291 s|<img\s+[^>]*?(width=['"]?336\D)[^>]*(height=['"]?280[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
292
293 # One more. (Where is 200x50 from?)
294 #
295 s|<img\s+[^>]*?(width=['"]?200\D)[^>]*(height=['"]?50[^>]*?)>|<img src=http://ijbswa.sourceforge.net/config/send-banner?type=auto $1 $2>|sig
296
297
298 #################################################################################
299 #
300 # crude-parental: Crude parental filtering?  (Use along with a suitable blocklist).
301 #                 Shows how to deny access to whole page based on a keyword.
302 #
303 #################################################################################
304 #
305 # (Note: Middlesex, Sussex and Essex are counties in the UK, not rude words)
306 # (Note #2: Is 'sex' a rude word?!)
307 #
308 #################################################################################
309 FILTER: crude-parental Crude parental filtering (demo only)
310
311 s%^.*(?<!middle)(?<!sus)(?<!es)sex.*$%<html><head><title>Blocked</title></head><body><h3>Blocked due to possible adult content. Please see <a href="http://dmoz.org/Kids_and_Teens/">this site</a>.</h3></body></html>%is
312 s+^.*warez.*$+<html><head><title>No Warez</title></head><body><h3>You're not searching for illegal stuff, are you?</h3></body></html>+is