]> git.vpit.fr Git - perl/modules/Regexp-Wildcards.git/blob - Wildcards.pm
f0b471a8be5cea353f87254b5e3c164849e703db
[perl/modules/Regexp-Wildcards.git] / Wildcards.pm
1 package Regexp::Wildcards;
2
3 use strict;
4 use warnings;
5
6 use Carp qw/croak/;
7 use Text::Balanced qw/extract_bracketed/;
8
9 =head1 NAME
10
11 Regexp::Wildcards - Converts wildcard expressions to Perl regular expressions.
12
13 =head1 VERSION
14
15 Version 1.02
16
17 =cut
18
19 use vars qw/$VERSION/;
20 BEGIN {
21  $VERSION = '1.02';
22 }
23
24 =head1 SYNOPSIS
25
26     use Regexp::Wildcards;
27
28     my $rw = Regexp::Wildcards->new(type => 'unix');
29
30     my $re;
31     $re = $rw->convert('a{b?,c}*');          # Do it Unix shell style.
32     $re = $rw->convert('a?,b*',   'win32');  # Do it Windows shell style.
33     $re = $rw->convert('*{x,y}?', 'jokers'); # Process the jokers and escape the rest.
34     $re = $rw->convert('%a_c%',   'sql');    # Turn SQL wildcards into regexps.
35
36     $rw = Regexp::Wildcards->new(
37      do      => [ qw/jokers brackets/ ], # Do jokers and brackets.
38      capture => [ qw/any greedy/ ],      # Capture *'s greedily.
39     );
40
41     $rw->do(add => 'groups');            # Don't escape groups.
42     $rw->capture(rem => [ qw/greedy/ ]); # Actually we want non-greedy matches.
43     $re = $rw->convert('*a{,(b)?}?c*');  # '(.*?)a(?:|(b).).c(.*?)'
44     $rw->capture();                      # No more captures.
45
46 =head1 DESCRIPTION
47
48 In many situations, users may want to specify patterns to match but don't need the full power of regexps.
49 Wildcards make one of those sets of simplified rules.
50 This module converts wildcard expressions to Perl regular expressions, so that you can use them for matching.
51
52 It handles the C<*> and C<?> jokers, as well as Unix bracketed alternatives C<{,}>, but also C<%> and C<_> SQL wildcards.
53 If required, it can also keep original C<(...)> groups or C<^> and C<$> anchors.
54 Backspace (C<\>) is used as an escape character.
55
56 Typesets that mimic the behaviour of Windows and Unix shells are also provided.
57
58 =head1 METHODS
59
60 =cut
61
62 sub _check_self {
63  croak 'First argument isn\'t a valid ' . __PACKAGE__ . ' object'
64   unless ref $_[0] and $_[0]->isa(__PACKAGE__);
65 }
66
67 my %types = (
68  jokers   => [ qw/jokers/ ],
69  sql      => [ qw/sql/ ],
70  commas   => [ qw/commas/ ],
71  brackets => [ qw/brackets/ ],
72  unix     => [ qw/jokers brackets/ ],
73  win32    => [ qw/jokers commas/ ],
74 );
75 $types{$_} = $types{win32} for qw/dos os2 MSWin32 cygwin/;
76 $types{$_} = $types{unix}  for qw/linux
77                                   darwin machten next
78                                   aix irix hpux dgux dynixptx
79                                   bsdos freebsd openbsd
80                                   svr4 solaris sunos dec_osf
81                                   sco_sv unicos unicosmk/;
82
83 my %escapes = (
84  jokers   => '?*',
85  sql      => '_%',
86  commas   => ',',
87  brackets => '{},',
88  groups   => '()',
89  anchors  => '^$',
90 );
91
92 my %captures = (
93  single   => sub { $_[1] ? '(.)' : '.' },
94  any      => sub { $_[1] ? ($_[0]->{greedy} ? '(.*)'
95                                             : '(.*?)')
96                          : '.*' },
97  brackets => sub { $_[1] ? '(' : '(?:'; },
98  greedy   => undef
99 );
100
101 sub _validate {
102  my $self  = shift;
103  _check_self $self;
104  my $valid = shift;
105  my $old   = shift;
106  $old = { } unless defined $old;
107
108  my %opts;
109  if (@_ <= 1) {
110   $opts{set} = defined $_[0] ? $_[0] : { };
111  } elsif (@_ % 2) {
112   croak 'Arguments must be passed as an unique scalar or as key => value pairs';
113  } else {
114   %opts = @_;
115  }
116
117  my %checked;
118  for (qw/set add rem/) {
119   my $opt = $opts{$_};
120   next unless defined $opt;
121   my $cb = {
122    ''      => sub { +{ ($_[0] => 1) x (exists $valid->{$_[0]}) } },
123    'ARRAY' => sub { +{ map { ($_ => 1) x (exists $valid->{$_}) } @{$_[0]} } },
124    'HASH'  => sub { +{ map { ($_ => $_[0]->{$_}) x (exists $valid->{$_}) }
125                         keys %{$_[0]} } }
126   }->{ ref $opt };
127   croak 'Wrong option set' unless $cb;
128   $checked{$_} = $cb->($opt);
129  }
130
131  my $config = (exists $checked{set}) ? $checked{set} : $old;
132  $config->{$_} = $checked{add}->{$_} for grep $checked{add}->{$_},
133                                           keys %{$checked{add} || {}};
134  delete $config->{$_}                for grep $checked{rem}->{$_},
135                                           keys %{$checked{rem} || {}};
136
137  $config;
138 }
139
140 sub _do {
141  my $self = shift;
142  my $config;
143  $config->{do} = $self->_validate(\%escapes, $self->{do}, @_);
144  $config->{escape} = '';
145  $config->{escape} .= $escapes{$_} for keys %{$config->{do}};
146  $config->{escape} = quotemeta $config->{escape};
147  $config;
148 }
149
150 sub do {
151  my $self = shift;
152  _check_self $self;
153  my $config = $self->_do(@_);
154  $self->{$_} = $config->{$_} for keys %$config;
155  $self;
156 }
157
158 sub _capture {
159  my $self = shift;
160  my $config;
161  $config->{capture} = $self->_validate(\%captures, $self->{capture}, @_);
162  $config->{greedy}  = delete $config->{capture}->{greedy};
163  for (keys %captures) {
164   $config->{'c_' . $_} = $captures{$_}->($config, $config->{capture}->{$_})
165                                                if $captures{$_}; # Skip 'greedy'
166  }
167  $config;
168 }
169
170 sub capture {
171  my $self = shift;
172  _check_self $self;
173  my $config = $self->_capture(@_);
174  $self->{$_} = $config->{$_} for keys %$config;
175  $self;
176 }
177
178 sub _type {
179  my ($self, $type) = @_;
180  $type = 'unix'      unless defined $type;
181  croak 'Wrong type'  unless exists $types{$type};
182  my $config = $self->_do($types{$type});
183  $config->{type} = $type;
184  $config;
185 }
186
187 sub type {
188  my $self = shift;
189  _check_self $self;
190  my $config = $self->_type(@_);
191  $self->{$_} = $config->{$_} for keys %$config;
192  $self;
193 }
194
195 sub new {
196  my $class = shift;
197  $class = ref($class) || $class || __PACKAGE__;
198  croak 'Optional arguments must be passed as key => value pairs' if @_ % 2;
199  my %args = @_;
200  my $self = { };
201  bless $self, $class;
202  if (defined $args{do}) {
203   $self->do($args{do});
204  } else {
205   $self->type($args{type});
206  }
207  $self->capture($args{capture});
208 }
209
210 =head2 C<< new [ do => $what E<verbar> type => $type ], capture => $captures >>
211
212 Constructs a new L<Regexp::Wildcard> object.
213
214 C<do> lists all features that should be enabled when converting wildcards to regexps.
215 Refer to L</do> for details on what can be passed in C<$what>.
216
217 The C<type> specifies a predefined set of C<do> features to use.
218 See L</type> for details on which types are valid.
219 The C<do> option overrides C<type>.
220
221 C<capture> lists which atoms should be capturing.
222 Refer to L</capture> for more details.
223
224 =head2 C<< do [ $what E<verbar> set => $c1, add => $c2, rem => $c3 ] >>
225
226 Specifies the list of metacharacters to convert or to prevent for escaping.
227 They fit into six classes :
228
229 =over 4
230
231 =item *
232
233 C<'jokers'> converts C<?> to C<.> and C<*> to C<.*> ;
234
235     'a**\\*b??\\?c' ==> 'a.*\\*b..\\?c'
236
237 =item *
238
239 C<'sql'> converts C<_> to C<.> and C<%> to C<.*> ;
240
241     'a%%\\%b__\\_c' ==> 'a.*\\%b..\\_c'
242
243 =item *
244
245 C<'commas'> converts all C<,> to C<|> and puts the complete resulting regular expression inside C<(?: ... )> ;
246
247     'a,b{c,d},e' ==> '(?:a|b\\{c|d\\}|e)'
248
249 =item *
250
251 C<'brackets'> converts all matching C<{ ... ,  ... }> brackets to C<(?: ... | ... )> alternations.
252 If some brackets are unbalanced, it tries to substitute as many of them as possible, and then escape the remaining unmatched C<{> and C<}>.
253 Commas outside of any bracket-delimited block are also escaped ;
254
255     'a,b{c,d},e'    ==> 'a\\,b(?:c|d)\\,e'
256     '{a\\{b,c}d,e}' ==> '(?:a\\{b|c)d\\,e\\}'
257     '{a{b,c\\}d,e}' ==> '\\{a\\{b\\,c\\}d\\,e\\}'
258
259 =item *
260
261 C<'groups'> keeps the parenthesis C<( ... )> of the original string without escaping them.
262 Currently, no check is done to ensure that the parenthesis are matching.
263
264     'a(b(c))d\\(\\)' ==> (no change)
265
266 =item *
267
268 C<'anchors'> prevents the I<beginning-of-line> C<^> and I<end-of-line> C<$> anchors to be escaped.
269 Since C<[...]> character class are currently escaped, a C<^> will always be interpreted as I<beginning-of-line>.
270
271     'a^b$c' ==> (no change)
272
273 =back
274
275 Each C<$c> can be any of :
276
277 =over 4
278
279 =item *
280
281 A hash reference, with wanted metacharacter group names (described above) as keys and booleans as values ;
282
283 =item *
284
285 An array reference containing the list of wanted metacharacter classes ;
286
287 =item *
288
289 A plain scalar, when only one group is required.
290
291 =back
292
293 When C<set> is present, the classes given as its value replace the current object options.
294 Then the C<add> classes are added, and the C<rem> classes removed.
295
296 Passing a sole scalar C<$what> is equivalent as passing C<< set => $what >>.
297 No argument means C<< set => [ ] >>.
298
299     $rw->do(set => 'jokers');           # Only translate jokers.
300     $rw->do('jokers');                  # Same.
301     $rw->do(add => [ qw/sql commas/ ]); # Translate also SQL and commas.
302     $rw->do(rem => 'jokers');           # Specifying both 'sql' and 'jokers' is useless.
303     $rw->do();                          # Translate nothing.
304
305 The C<do> method returns the L<Regexp::Wildcards> object.
306
307 =head2 C<type $type>
308
309 Notifies to convert the metacharacters that corresponds to the predefined type C<$type>.
310 C<$type> can be any of :
311
312 =over 4
313
314 =item *
315
316 C<'jokers'>, C<'sql'>, C<'commas'>, C<'brackets'>
317
318 Singleton types that enable the corresponding C<do> classes.
319
320 =item *
321
322 C<'unix'>
323
324 Covers typical Unix shell globbing features (effectively C<'jokers'> and C<'brackets'>).
325
326 =item *
327
328 C<$^O> values for common Unix systems
329
330 Wrap to C<'unix'> (see L<perlport> for the list).
331
332 =item *
333
334 C<undef>
335
336 Defaults to C<'unix'>.
337
338 =item *
339
340 C<'win32'>
341
342 Covers typical Windows shell globbing features (effectively C<'jokers'> and C<'commas'>).
343
344 =item *
345
346 C<'dos'>, C<'os2'>, C<'MSWin32'>, C<'cygwin'>
347
348 Wrap to C<'win32'>.
349
350 =back
351
352 In particular, you can usually pass C<$^O> as the C<$type> and get the corresponding shell behaviour.
353
354     $rw->type('win32'); # Set type to win32.
355     $rw->type($^O);     # Set type to unix on Unices and win32 on Windows
356     $rw->type();        # Set type to unix.
357
358 The C<type> method returns the L<Regexp::Wildcards> object.
359
360 =head2 C<< capture [ $captures E<verbar> set => $c1, add => $c2, rem => $c3 ] >>
361
362 Specifies the list of atoms to capture.
363 This method works like L</do>, except that the classes are different :
364
365 =over 4
366
367 =item *
368
369 C<'single'> will capture all unescaped I<"exactly one"> metacharacters, i.e. C<?> for wildcards or C<_> for SQL ;
370
371     'a???b\\??' ==> 'a(.)(.)(.)b\\?(.)'
372     'a___b\\__' ==> 'a(.)(.)(.)b\\_(.)'
373
374 =item *
375
376 C<'any'> will capture all unescaped I<"any"> metacharacters, i.e. C<*> for wildcards or C<%> for SQL ;
377
378     'a***b\\**' ==> 'a(.*)b\\*(.*)'
379     'a%%%b\\%%' ==> 'a(.*)b\\%(.*)'
380
381 =item *
382
383 C<'greedy'>, when used in conjunction with C<'any'>, will make the C<'any'> captures greedy (by default they are not) ;
384
385     'a***b\\**' ==> 'a(.*?)b\\*(.*?)'
386     'a%%%b\\%%' ==> 'a(.*?)b\\%(.*?)'
387
388 =item *
389
390 C<'brackets'> will capture matching C<{ ... , ... }> alternations.
391
392     'a{b\\},\\{c}' ==> 'a(b\\}|\\{c)'
393
394 =back
395
396     $rw->capture(set => 'single');           # Only capture "exactly one" metacharacters.
397     $rw->capture('single');                  # Same.
398     $rw->capture(add => [ qw/any greedy/ ]); # Also greedily capture "any" metacharacters.
399     $rw->capture(rem => 'greedy');           # No more greed please.
400     $rw->capture();                          # Capture nothing.
401
402 =head2 C<convert $wc [ , $type ]>
403
404 Converts the wildcard expression C<$wc> into a regular expression according to the options stored into the L<Regexp::Wildcards> object, or to C<$type> if it's supplied.
405 It successively escapes all unprotected regexp special characters that doesn't hold any meaning for wildcards, then replace C<'jokers'> or C<'sql'> and C<'commas'> or C<'brackets'> (depending on the L</do> or L</type> options), all of this by applying the C<'capture'> rules specified in the constructor or by L</capture>.
406
407 =cut
408
409 sub convert {
410  my ($self, $wc, $type) = @_;
411  _check_self $self;
412  my $config = (defined $type) ? $self->_type($type) : $self;
413  return unless defined $wc;
414  my $do = $config->{do};
415  my $e  = $config->{escape};
416  $wc =~ s/(?<!\\)((?:\\\\)*[^\w\s\\$e])/\\$1/g;
417  if ($do->{jokers}) {
418   $wc = $self->_jokers($wc);
419  } elsif ($do->{sql}) {
420   $wc = $self->_sql($wc);
421  }
422  if ($do->{brackets}) {
423   $wc = $self->_bracketed($wc);
424  } elsif ($do->{commas}) {
425   if ($wc =~ /(?<!\\)(?:\\\\)*,/) { # win32 allows comma-separated lists
426    $wc = $self->{'c_brackets'} . $self->_commas($wc) . ')';
427   }
428  }
429  return $wc;
430 }
431
432 =head1 EXPORT
433
434 An object module shouldn't export any function, and so does this one.
435
436 =head1 DEPENDENCIES
437
438 L<Carp> (core module since perl 5), L<Text::Balanced> (since 5.7.3).
439
440 =head1 CAVEATS
441
442 This module does not implement the strange behaviours of Windows shell that result from the special handling of the three last characters (for the file extension).
443 For example, Windows XP shell matches C<*a> like C<.*a>, C<*a?> like C<.*a.?>, C<*a??> like C<.*a.{0,2}> and so on.
444
445 =head1 SEE ALSO
446
447 L<Text::Glob>.
448
449 =head1 AUTHOR
450
451 Vincent Pit, C<< <perl at profvince.com> >>, L<http://www.profvince.com>.
452
453 You can contact me by mail or on C<irc.perl.org> (vincent).
454
455 =head1 BUGS
456
457 Please report any bugs or feature requests to C<bug-regexp-wildcards at rt.cpan.org>, or through the web interface at L<http://rt.cpan.org/NoAuth/ReportBug.html?Queue=Regexp-Wildcards>. I will be notified, and then you'll automatically be notified of progress on your bug as I make changes.
458
459 =head1 SUPPORT
460
461 You can find documentation for this module with the perldoc command.
462
463     perldoc Regexp::Wildcards
464
465 Tests code coverage report is available at L<http://www.profvince.com/perl/cover/Regexp-Wildcards>.
466
467 =head1 COPYRIGHT & LICENSE
468
469 Copyright 2007-2008 Vincent Pit, all rights reserved.
470
471 This program is free software; you can redistribute it and/or modify it
472 under the same terms as Perl itself.
473
474 =cut
475
476 sub _extract ($) { extract_bracketed $_[0], '{',  qr/.*?(?<!\\)(?:\\\\)*(?={)/ }
477
478 sub _jokers {
479  my $self = shift;
480  local $_ = $_[0];
481  # escape an odd number of \ that doesn't protect a regexp/wildcard special char
482  s/(?<!\\)((?:\\\\)*\\(?:[\w\s]|$))/\\$1/g;
483  # substitute ? preceded by an even number of \
484  my $s = $self->{c_single};
485  s/(?<!\\)((?:\\\\)*)\?/$1$s/g;
486  # substitute * preceded by an even number of \
487  $s = $self->{c_any};
488  s/(?<!\\)((?:\\\\)*)\*+/$1$s/g;
489  return $_;
490 }
491
492 sub _sql {
493  my $self = shift;
494  local $_ = $_[0];
495  # escape an odd number of \ that doesn't protect a regexp/wildcard special char
496  s/(?<!\\)((?:\\\\)*\\(?:[^\W_]|\s|$))/\\$1/g;
497  # substitute _ preceded by an even number of \
498  my $s = $self->{c_single};
499  s/(?<!\\)((?:\\\\)*)_/$1$s/g;
500  # substitute % preceded by an even number of \
501  $s = $self->{c_any};
502  s/(?<!\\)((?:\\\\)*)%+/$1$s/g;
503  return $_;
504 }
505
506 sub _commas {
507  local $_ = $_[1];
508  # substitute , preceded by an even number of \
509  s/(?<!\\)((?:\\\\)*),/$1|/g;
510  return $_;
511 }
512
513 sub _brackets {
514  my ($self, $rest) = @_;
515  substr $rest, 0, 1, '';
516  chop $rest;
517  my ($re, $bracket, $prefix) = ('');
518  while (do { ($bracket, $rest, $prefix) = _extract $rest; $bracket }) {
519   $re .= $self->_commas($prefix) . $self->_brackets($bracket);
520  }
521  $re .= $self->_commas($rest);
522  return $self->{c_brackets} . $re . ')';
523 }
524
525 sub _bracketed {
526  my ($self, $rest) = @_;
527  my ($re, $bracket, $prefix) = ('');
528  while (do { ($bracket, $rest, $prefix) = _extract $rest; $bracket }) {
529   $re .= $prefix . $self->_brackets($bracket);
530  }
531  $re .= $rest;
532  $re =~ s/(?<!\\)((?:\\\\)*[\{\},])/\\$1/g;
533  return $re;
534 }
535
536 1; # End of Regexp::Wildcards