]> git.vpit.fr Git - perl/modules/re-engine-Hooks.git/blob - src/5015005/regcomp.c
Really rename comp_* and exec_* to comp_node and exec_node
[perl/modules/re-engine-Hooks.git] / src / 5015005 / regcomp.c
1 /*    regcomp.c
2  */
3
4 /*
5  * 'A fair jaw-cracker dwarf-language must be.'            --Samwise Gamgee
6  *
7  *     [p.285 of _The Lord of the Rings_, II/iii: "The Ring Goes South"]
8  */
9
10 /* This file contains functions for compiling a regular expression.  See
11  * also regexec.c which funnily enough, contains functions for executing
12  * a regular expression.
13  *
14  * This file is also copied at build time to ext/re/re_comp.c, where
15  * it's built with -DPERL_EXT_RE_BUILD -DPERL_EXT_RE_DEBUG -DPERL_EXT.
16  * This causes the main functions to be compiled under new names and with
17  * debugging support added, which makes "use re 'debug'" work.
18  */
19
20 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
21  * confused with the original package (see point 3 below).  Thanks, Henry!
22  */
23
24 /* Additional note: this code is very heavily munged from Henry's version
25  * in places.  In some spots I've traded clarity for efficiency, so don't
26  * blame Henry for some of the lack of readability.
27  */
28
29 /* The names of the functions have been changed from regcomp and
30  * regexec to pregcomp and pregexec in order to avoid conflicts
31  * with the POSIX routines of the same names.
32 */
33
34 #ifdef PERL_EXT_RE_BUILD
35 #include "re_top.h"
36 #endif
37
38 /*
39  * pregcomp and pregexec -- regsub and regerror are not used in perl
40  *
41  *      Copyright (c) 1986 by University of Toronto.
42  *      Written by Henry Spencer.  Not derived from licensed software.
43  *
44  *      Permission is granted to anyone to use this software for any
45  *      purpose on any computer system, and to redistribute it freely,
46  *      subject to the following restrictions:
47  *
48  *      1. The author is not responsible for the consequences of use of
49  *              this software, no matter how awful, even if they arise
50  *              from defects in it.
51  *
52  *      2. The origin of this software must not be misrepresented, either
53  *              by explicit claim or by omission.
54  *
55  *      3. Altered versions must be plainly marked as such, and must not
56  *              be misrepresented as being the original software.
57  *
58  *
59  ****    Alterations to Henry's code are...
60  ****
61  ****    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
62  ****    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008
63  ****    by Larry Wall and others
64  ****
65  ****    You may distribute under the terms of either the GNU General Public
66  ****    License or the Artistic License, as specified in the README file.
67
68  *
69  * Beware that some of this code is subtly aware of the way operator
70  * precedence is structured in regular expressions.  Serious changes in
71  * regular-expression syntax might require a total rethink.
72  */
73 #include "EXTERN.h"
74 #define PERL_IN_REGCOMP_C
75 #include "perl.h"
76
77 #ifndef PERL_IN_XSUB_RE
78 #include "re_defs.h"
79 #endif
80
81 #define REG_COMP_C
82 #ifdef PERL_IN_XSUB_RE
83 #  include "re_comp.h"
84 #else
85 #  include "regcomp.h"
86 #endif
87
88 #include "dquote_static.c"
89
90 #ifdef op
91 #undef op
92 #endif /* op */
93
94 #ifdef MSDOS
95 #  if defined(BUGGY_MSC6)
96  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
97 #    pragma optimize("a",off)
98  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
99 #    pragma optimize("w",on )
100 #  endif /* BUGGY_MSC6 */
101 #endif /* MSDOS */
102
103 #ifndef STATIC
104 #define STATIC  static
105 #endif
106
107 typedef struct RExC_state_t {
108     U32         flags;                  /* are we folding, multilining? */
109     char        *precomp;               /* uncompiled string. */
110     REGEXP      *rx_sv;                 /* The SV that is the regexp. */
111     regexp      *rx;                    /* perl core regexp structure */
112     regexp_internal     *rxi;           /* internal data for regexp object pprivate field */        
113     char        *start;                 /* Start of input for compile */
114     char        *end;                   /* End of input for compile */
115     char        *parse;                 /* Input-scan pointer. */
116     I32         whilem_seen;            /* number of WHILEM in this expr */
117     regnode     *emit_start;            /* Start of emitted-code area */
118     regnode     *emit_bound;            /* First regnode outside of the allocated space */
119     regnode     *emit;                  /* Code-emit pointer; &regdummy = don't = compiling */
120     I32         naughty;                /* How bad is this pattern? */
121     I32         sawback;                /* Did we see \1, ...? */
122     U32         seen;
123     I32         size;                   /* Code size. */
124     I32         npar;                   /* Capture buffer count, (OPEN). */
125     I32         cpar;                   /* Capture buffer count, (CLOSE). */
126     I32         nestroot;               /* root parens we are in - used by accept */
127     I32         extralen;
128     I32         seen_zerolen;
129     I32         seen_evals;
130     regnode     **open_parens;          /* pointers to open parens */
131     regnode     **close_parens;         /* pointers to close parens */
132     regnode     *opend;                 /* END node in program */
133     I32         utf8;           /* whether the pattern is utf8 or not */
134     I32         orig_utf8;      /* whether the pattern was originally in utf8 */
135                                 /* XXX use this for future optimisation of case
136                                  * where pattern must be upgraded to utf8. */
137     I32         uni_semantics;  /* If a d charset modifier should use unicode
138                                    rules, even if the pattern is not in
139                                    utf8 */
140     HV          *paren_names;           /* Paren names */
141     
142     regnode     **recurse;              /* Recurse regops */
143     I32         recurse_count;          /* Number of recurse regops */
144     I32         in_lookbehind;
145     I32         contains_locale;
146     I32         override_recoding;
147 #if ADD_TO_REGEXEC
148     char        *starttry;              /* -Dr: where regtry was called. */
149 #define RExC_starttry   (pRExC_state->starttry)
150 #endif
151 #ifdef DEBUGGING
152     const char  *lastparse;
153     I32         lastnum;
154     AV          *paren_name_list;       /* idx -> name */
155 #define RExC_lastparse  (pRExC_state->lastparse)
156 #define RExC_lastnum    (pRExC_state->lastnum)
157 #define RExC_paren_name_list    (pRExC_state->paren_name_list)
158 #endif
159 } RExC_state_t;
160
161 #define RExC_flags      (pRExC_state->flags)
162 #define RExC_precomp    (pRExC_state->precomp)
163 #define RExC_rx_sv      (pRExC_state->rx_sv)
164 #define RExC_rx         (pRExC_state->rx)
165 #define RExC_rxi        (pRExC_state->rxi)
166 #define RExC_start      (pRExC_state->start)
167 #define RExC_end        (pRExC_state->end)
168 #define RExC_parse      (pRExC_state->parse)
169 #define RExC_whilem_seen        (pRExC_state->whilem_seen)
170 #ifdef RE_TRACK_PATTERN_OFFSETS
171 #define RExC_offsets    (pRExC_state->rxi->u.offsets) /* I am not like the others */
172 #endif
173 #define RExC_emit       (pRExC_state->emit)
174 #define RExC_emit_start (pRExC_state->emit_start)
175 #define RExC_emit_bound (pRExC_state->emit_bound)
176 #define RExC_naughty    (pRExC_state->naughty)
177 #define RExC_sawback    (pRExC_state->sawback)
178 #define RExC_seen       (pRExC_state->seen)
179 #define RExC_size       (pRExC_state->size)
180 #define RExC_npar       (pRExC_state->npar)
181 #define RExC_nestroot   (pRExC_state->nestroot)
182 #define RExC_extralen   (pRExC_state->extralen)
183 #define RExC_seen_zerolen       (pRExC_state->seen_zerolen)
184 #define RExC_seen_evals (pRExC_state->seen_evals)
185 #define RExC_utf8       (pRExC_state->utf8)
186 #define RExC_uni_semantics      (pRExC_state->uni_semantics)
187 #define RExC_orig_utf8  (pRExC_state->orig_utf8)
188 #define RExC_open_parens        (pRExC_state->open_parens)
189 #define RExC_close_parens       (pRExC_state->close_parens)
190 #define RExC_opend      (pRExC_state->opend)
191 #define RExC_paren_names        (pRExC_state->paren_names)
192 #define RExC_recurse    (pRExC_state->recurse)
193 #define RExC_recurse_count      (pRExC_state->recurse_count)
194 #define RExC_in_lookbehind      (pRExC_state->in_lookbehind)
195 #define RExC_contains_locale    (pRExC_state->contains_locale)
196 #define RExC_override_recoding  (pRExC_state->override_recoding)
197
198
199 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
200 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
201         ((*s) == '{' && regcurly(s)))
202
203 #ifdef SPSTART
204 #undef SPSTART          /* dratted cpp namespace... */
205 #endif
206 /*
207  * Flags to be passed up and down.
208  */
209 #define WORST           0       /* Worst case. */
210 #define HASWIDTH        0x01    /* Known to match non-null strings. */
211
212 /* Simple enough to be STAR/PLUS operand, in an EXACT node must be a single
213  * character, and if utf8, must be invariant.  Note that this is not the same thing as REGNODE_SIMPLE */
214 #define SIMPLE          0x02
215 #define SPSTART         0x04    /* Starts with * or +. */
216 #define TRYAGAIN        0x08    /* Weeded out a declaration. */
217 #define POSTPONED       0x10    /* (?1),(?&name), (??{...}) or similar */
218
219 #define REG_NODE_NUM(x) ((x) ? (int)((x)-RExC_emit_start) : -1)
220
221 /* whether trie related optimizations are enabled */
222 #if PERL_ENABLE_EXTENDED_TRIE_OPTIMISATION
223 #define TRIE_STUDY_OPT
224 #define FULL_TRIE_STUDY
225 #define TRIE_STCLASS
226 #endif
227
228
229
230 #define PBYTE(u8str,paren) ((U8*)(u8str))[(paren) >> 3]
231 #define PBITVAL(paren) (1 << ((paren) & 7))
232 #define PAREN_TEST(u8str,paren) ( PBYTE(u8str,paren) & PBITVAL(paren))
233 #define PAREN_SET(u8str,paren) PBYTE(u8str,paren) |= PBITVAL(paren)
234 #define PAREN_UNSET(u8str,paren) PBYTE(u8str,paren) &= (~PBITVAL(paren))
235
236 /* If not already in utf8, do a longjmp back to the beginning */
237 #define UTF8_LONGJMP 42 /* Choose a value not likely to ever conflict */
238 #define REQUIRE_UTF8    STMT_START {                                       \
239                                      if (! UTF) JMPENV_JUMP(UTF8_LONGJMP); \
240                         } STMT_END
241
242 /* About scan_data_t.
243
244   During optimisation we recurse through the regexp program performing
245   various inplace (keyhole style) optimisations. In addition study_chunk
246   and scan_commit populate this data structure with information about
247   what strings MUST appear in the pattern. We look for the longest 
248   string that must appear at a fixed location, and we look for the
249   longest string that may appear at a floating location. So for instance
250   in the pattern:
251   
252     /FOO[xX]A.*B[xX]BAR/
253     
254   Both 'FOO' and 'A' are fixed strings. Both 'B' and 'BAR' are floating
255   strings (because they follow a .* construct). study_chunk will identify
256   both FOO and BAR as being the longest fixed and floating strings respectively.
257   
258   The strings can be composites, for instance
259   
260      /(f)(o)(o)/
261      
262   will result in a composite fixed substring 'foo'.
263   
264   For each string some basic information is maintained:
265   
266   - offset or min_offset
267     This is the position the string must appear at, or not before.
268     It also implicitly (when combined with minlenp) tells us how many
269     characters must match before the string we are searching for.
270     Likewise when combined with minlenp and the length of the string it
271     tells us how many characters must appear after the string we have 
272     found.
273   
274   - max_offset
275     Only used for floating strings. This is the rightmost point that
276     the string can appear at. If set to I32 max it indicates that the
277     string can occur infinitely far to the right.
278   
279   - minlenp
280     A pointer to the minimum length of the pattern that the string 
281     was found inside. This is important as in the case of positive 
282     lookahead or positive lookbehind we can have multiple patterns 
283     involved. Consider
284     
285     /(?=FOO).*F/
286     
287     The minimum length of the pattern overall is 3, the minimum length
288     of the lookahead part is 3, but the minimum length of the part that
289     will actually match is 1. So 'FOO's minimum length is 3, but the 
290     minimum length for the F is 1. This is important as the minimum length
291     is used to determine offsets in front of and behind the string being 
292     looked for.  Since strings can be composites this is the length of the
293     pattern at the time it was committed with a scan_commit. Note that
294     the length is calculated by study_chunk, so that the minimum lengths
295     are not known until the full pattern has been compiled, thus the 
296     pointer to the value.
297   
298   - lookbehind
299   
300     In the case of lookbehind the string being searched for can be
301     offset past the start point of the final matching string. 
302     If this value was just blithely removed from the min_offset it would
303     invalidate some of the calculations for how many chars must match
304     before or after (as they are derived from min_offset and minlen and
305     the length of the string being searched for). 
306     When the final pattern is compiled and the data is moved from the
307     scan_data_t structure into the regexp structure the information
308     about lookbehind is factored in, with the information that would 
309     have been lost precalculated in the end_shift field for the 
310     associated string.
311
312   The fields pos_min and pos_delta are used to store the minimum offset
313   and the delta to the maximum offset at the current point in the pattern.    
314
315 */
316
317 typedef struct scan_data_t {
318     /*I32 len_min;      unused */
319     /*I32 len_delta;    unused */
320     I32 pos_min;
321     I32 pos_delta;
322     SV *last_found;
323     I32 last_end;           /* min value, <0 unless valid. */
324     I32 last_start_min;
325     I32 last_start_max;
326     SV **longest;           /* Either &l_fixed, or &l_float. */
327     SV *longest_fixed;      /* longest fixed string found in pattern */
328     I32 offset_fixed;       /* offset where it starts */
329     I32 *minlen_fixed;      /* pointer to the minlen relevant to the string */
330     I32 lookbehind_fixed;   /* is the position of the string modfied by LB */
331     SV *longest_float;      /* longest floating string found in pattern */
332     I32 offset_float_min;   /* earliest point in string it can appear */
333     I32 offset_float_max;   /* latest point in string it can appear */
334     I32 *minlen_float;      /* pointer to the minlen relevant to the string */
335     I32 lookbehind_float;   /* is the position of the string modified by LB */
336     I32 flags;
337     I32 whilem_c;
338     I32 *last_closep;
339     struct regnode_charclass_class *start_class;
340 } scan_data_t;
341
342 /*
343  * Forward declarations for pregcomp()'s friends.
344  */
345
346 static const scan_data_t zero_scan_data =
347   { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ,0};
348
349 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
350 #define SF_BEFORE_SEOL          0x0001
351 #define SF_BEFORE_MEOL          0x0002
352 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
353 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
354
355 #ifdef NO_UNARY_PLUS
356 #  define SF_FIX_SHIFT_EOL      (0+2)
357 #  define SF_FL_SHIFT_EOL               (0+4)
358 #else
359 #  define SF_FIX_SHIFT_EOL      (+2)
360 #  define SF_FL_SHIFT_EOL               (+4)
361 #endif
362
363 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
364 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
365
366 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
367 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
368 #define SF_IS_INF               0x0040
369 #define SF_HAS_PAR              0x0080
370 #define SF_IN_PAR               0x0100
371 #define SF_HAS_EVAL             0x0200
372 #define SCF_DO_SUBSTR           0x0400
373 #define SCF_DO_STCLASS_AND      0x0800
374 #define SCF_DO_STCLASS_OR       0x1000
375 #define SCF_DO_STCLASS          (SCF_DO_STCLASS_AND|SCF_DO_STCLASS_OR)
376 #define SCF_WHILEM_VISITED_POS  0x2000
377
378 #define SCF_TRIE_RESTUDY        0x4000 /* Do restudy? */
379 #define SCF_SEEN_ACCEPT         0x8000 
380
381 #define UTF cBOOL(RExC_utf8)
382 #define LOC (get_regex_charset(RExC_flags) == REGEX_LOCALE_CHARSET)
383 #define UNI_SEMANTICS (get_regex_charset(RExC_flags) == REGEX_UNICODE_CHARSET)
384 #define DEPENDS_SEMANTICS (get_regex_charset(RExC_flags) == REGEX_DEPENDS_CHARSET)
385 #define AT_LEAST_UNI_SEMANTICS (get_regex_charset(RExC_flags) >= REGEX_UNICODE_CHARSET)
386 #define ASCII_RESTRICTED (get_regex_charset(RExC_flags) == REGEX_ASCII_RESTRICTED_CHARSET)
387 #define MORE_ASCII_RESTRICTED (get_regex_charset(RExC_flags) == REGEX_ASCII_MORE_RESTRICTED_CHARSET)
388 #define AT_LEAST_ASCII_RESTRICTED (get_regex_charset(RExC_flags) >= REGEX_ASCII_RESTRICTED_CHARSET)
389
390 #define FOLD cBOOL(RExC_flags & RXf_PMf_FOLD)
391
392 #define OOB_UNICODE             12345678
393 #define OOB_NAMEDCLASS          -1
394
395 #define CHR_SVLEN(sv) (UTF ? sv_len_utf8(sv) : SvCUR(sv))
396 #define CHR_DIST(a,b) (UTF ? utf8_distance(a,b) : a - b)
397
398
399 /* length of regex to show in messages that don't mark a position within */
400 #define RegexLengthToShowInErrorMessages 127
401
402 /*
403  * If MARKER[12] are adjusted, be sure to adjust the constants at the top
404  * of t/op/regmesg.t, the tests in t/op/re_tests, and those in
405  * op/pragma/warn/regcomp.
406  */
407 #define MARKER1 "<-- HERE"    /* marker as it appears in the description */
408 #define MARKER2 " <-- HERE "  /* marker as it appears within the regex */
409
410 #define REPORT_LOCATION " in regex; marked by " MARKER1 " in m/%.*s" MARKER2 "%s/"
411
412 /*
413  * Calls SAVEDESTRUCTOR_X if needed, then calls Perl_croak with the given
414  * arg. Show regex, up to a maximum length. If it's too long, chop and add
415  * "...".
416  */
417 #define _FAIL(code) STMT_START {                                        \
418     const char *ellipses = "";                                          \
419     IV len = RExC_end - RExC_precomp;                                   \
420                                                                         \
421     if (!SIZE_ONLY)                                                     \
422         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);                   \
423     if (len > RegexLengthToShowInErrorMessages) {                       \
424         /* chop 10 shorter than the max, to ensure meaning of "..." */  \
425         len = RegexLengthToShowInErrorMessages - 10;                    \
426         ellipses = "...";                                               \
427     }                                                                   \
428     code;                                                               \
429 } STMT_END
430
431 #define FAIL(msg) _FAIL(                            \
432     Perl_croak(aTHX_ "%s in regex m/%.*s%s/",       \
433             msg, (int)len, RExC_precomp, ellipses))
434
435 #define FAIL2(msg,arg) _FAIL(                       \
436     Perl_croak(aTHX_ msg " in regex m/%.*s%s/",     \
437             arg, (int)len, RExC_precomp, ellipses))
438
439 /*
440  * Simple_vFAIL -- like FAIL, but marks the current location in the scan
441  */
442 #define Simple_vFAIL(m) STMT_START {                                    \
443     const IV offset = RExC_parse - RExC_precomp;                        \
444     Perl_croak(aTHX_ "%s" REPORT_LOCATION,                              \
445             m, (int)offset, RExC_precomp, RExC_precomp + offset);       \
446 } STMT_END
447
448 /*
449  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL()
450  */
451 #define vFAIL(m) STMT_START {                           \
452     if (!SIZE_ONLY)                                     \
453         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
454     Simple_vFAIL(m);                                    \
455 } STMT_END
456
457 /*
458  * Like Simple_vFAIL(), but accepts two arguments.
459  */
460 #define Simple_vFAIL2(m,a1) STMT_START {                        \
461     const IV offset = RExC_parse - RExC_precomp;                        \
462     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1,                   \
463             (int)offset, RExC_precomp, RExC_precomp + offset);  \
464 } STMT_END
465
466 /*
467  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL2().
468  */
469 #define vFAIL2(m,a1) STMT_START {                       \
470     if (!SIZE_ONLY)                                     \
471         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
472     Simple_vFAIL2(m, a1);                               \
473 } STMT_END
474
475
476 /*
477  * Like Simple_vFAIL(), but accepts three arguments.
478  */
479 #define Simple_vFAIL3(m, a1, a2) STMT_START {                   \
480     const IV offset = RExC_parse - RExC_precomp;                \
481     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1, a2,               \
482             (int)offset, RExC_precomp, RExC_precomp + offset);  \
483 } STMT_END
484
485 /*
486  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL3().
487  */
488 #define vFAIL3(m,a1,a2) STMT_START {                    \
489     if (!SIZE_ONLY)                                     \
490         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
491     Simple_vFAIL3(m, a1, a2);                           \
492 } STMT_END
493
494 /*
495  * Like Simple_vFAIL(), but accepts four arguments.
496  */
497 #define Simple_vFAIL4(m, a1, a2, a3) STMT_START {               \
498     const IV offset = RExC_parse - RExC_precomp;                \
499     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1, a2, a3,           \
500             (int)offset, RExC_precomp, RExC_precomp + offset);  \
501 } STMT_END
502
503 #define ckWARNreg(loc,m) STMT_START {                                   \
504     const IV offset = loc - RExC_precomp;                               \
505     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
506             (int)offset, RExC_precomp, RExC_precomp + offset);          \
507 } STMT_END
508
509 #define ckWARNregdep(loc,m) STMT_START {                                \
510     const IV offset = loc - RExC_precomp;                               \
511     Perl_ck_warner_d(aTHX_ packWARN2(WARN_DEPRECATED, WARN_REGEXP),     \
512             m REPORT_LOCATION,                                          \
513             (int)offset, RExC_precomp, RExC_precomp + offset);          \
514 } STMT_END
515
516 #define ckWARN2regdep(loc,m, a1) STMT_START {                           \
517     const IV offset = loc - RExC_precomp;                               \
518     Perl_ck_warner_d(aTHX_ packWARN2(WARN_DEPRECATED, WARN_REGEXP),     \
519             m REPORT_LOCATION,                                          \
520             a1, (int)offset, RExC_precomp, RExC_precomp + offset);      \
521 } STMT_END
522
523 #define ckWARN2reg(loc, m, a1) STMT_START {                             \
524     const IV offset = loc - RExC_precomp;                               \
525     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
526             a1, (int)offset, RExC_precomp, RExC_precomp + offset);      \
527 } STMT_END
528
529 #define vWARN3(loc, m, a1, a2) STMT_START {                             \
530     const IV offset = loc - RExC_precomp;                               \
531     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
532             a1, a2, (int)offset, RExC_precomp, RExC_precomp + offset);  \
533 } STMT_END
534
535 #define ckWARN3reg(loc, m, a1, a2) STMT_START {                         \
536     const IV offset = loc - RExC_precomp;                               \
537     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
538             a1, a2, (int)offset, RExC_precomp, RExC_precomp + offset);  \
539 } STMT_END
540
541 #define vWARN4(loc, m, a1, a2, a3) STMT_START {                         \
542     const IV offset = loc - RExC_precomp;                               \
543     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
544             a1, a2, a3, (int)offset, RExC_precomp, RExC_precomp + offset); \
545 } STMT_END
546
547 #define ckWARN4reg(loc, m, a1, a2, a3) STMT_START {                     \
548     const IV offset = loc - RExC_precomp;                               \
549     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
550             a1, a2, a3, (int)offset, RExC_precomp, RExC_precomp + offset); \
551 } STMT_END
552
553 #define vWARN5(loc, m, a1, a2, a3, a4) STMT_START {                     \
554     const IV offset = loc - RExC_precomp;                               \
555     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
556             a1, a2, a3, a4, (int)offset, RExC_precomp, RExC_precomp + offset); \
557 } STMT_END
558
559
560 /* Allow for side effects in s */
561 #define REGC(c,s) STMT_START {                  \
562     if (!SIZE_ONLY) *(s) = (c); else (void)(s); \
563 } STMT_END
564
565 /* Macros for recording node offsets.   20001227 mjd@plover.com 
566  * Nodes are numbered 1, 2, 3, 4.  Node #n's position is recorded in
567  * element 2*n-1 of the array.  Element #2n holds the byte length node #n.
568  * Element 0 holds the number n.
569  * Position is 1 indexed.
570  */
571 #ifndef RE_TRACK_PATTERN_OFFSETS
572 #define Set_Node_Offset_To_R(node,byte)
573 #define Set_Node_Offset(node,byte)
574 #define Set_Cur_Node_Offset
575 #define Set_Node_Length_To_R(node,len)
576 #define Set_Node_Length(node,len)
577 #define Set_Node_Cur_Length(node)
578 #define Node_Offset(n) 
579 #define Node_Length(n) 
580 #define Set_Node_Offset_Length(node,offset,len)
581 #define ProgLen(ri) ri->u.proglen
582 #define SetProgLen(ri,x) ri->u.proglen = x
583 #else
584 #define ProgLen(ri) ri->u.offsets[0]
585 #define SetProgLen(ri,x) ri->u.offsets[0] = x
586 #define Set_Node_Offset_To_R(node,byte) STMT_START {                    \
587     if (! SIZE_ONLY) {                                                  \
588         MJD_OFFSET_DEBUG(("** (%d) offset of node %d is %d.\n",         \
589                     __LINE__, (int)(node), (int)(byte)));               \
590         if((node) < 0) {                                                \
591             Perl_croak(aTHX_ "value of node is %d in Offset macro", (int)(node)); \
592         } else {                                                        \
593             RExC_offsets[2*(node)-1] = (byte);                          \
594         }                                                               \
595     }                                                                   \
596 } STMT_END
597
598 #define Set_Node_Offset(node,byte) \
599     Set_Node_Offset_To_R((node)-RExC_emit_start, (byte)-RExC_start)
600 #define Set_Cur_Node_Offset Set_Node_Offset(RExC_emit, RExC_parse)
601
602 #define Set_Node_Length_To_R(node,len) STMT_START {                     \
603     if (! SIZE_ONLY) {                                                  \
604         MJD_OFFSET_DEBUG(("** (%d) size of node %d is %d.\n",           \
605                 __LINE__, (int)(node), (int)(len)));                    \
606         if((node) < 0) {                                                \
607             Perl_croak(aTHX_ "value of node is %d in Length macro", (int)(node)); \
608         } else {                                                        \
609             RExC_offsets[2*(node)] = (len);                             \
610         }                                                               \
611     }                                                                   \
612 } STMT_END
613
614 #define Set_Node_Length(node,len) \
615     Set_Node_Length_To_R((node)-RExC_emit_start, len)
616 #define Set_Cur_Node_Length(len) Set_Node_Length(RExC_emit, len)
617 #define Set_Node_Cur_Length(node) \
618     Set_Node_Length(node, RExC_parse - parse_start)
619
620 /* Get offsets and lengths */
621 #define Node_Offset(n) (RExC_offsets[2*((n)-RExC_emit_start)-1])
622 #define Node_Length(n) (RExC_offsets[2*((n)-RExC_emit_start)])
623
624 #define Set_Node_Offset_Length(node,offset,len) STMT_START {    \
625     Set_Node_Offset_To_R((node)-RExC_emit_start, (offset));     \
626     Set_Node_Length_To_R((node)-RExC_emit_start, (len));        \
627 } STMT_END
628 #endif
629
630 #if PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS
631 #define EXPERIMENTAL_INPLACESCAN
632 #endif /*PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS*/
633
634 #define DEBUG_STUDYDATA(str,data,depth)                              \
635 DEBUG_OPTIMISE_MORE_r(if(data){                                      \
636     PerlIO_printf(Perl_debug_log,                                    \
637         "%*s" str "Pos:%"IVdf"/%"IVdf                                \
638         " Flags: 0x%"UVXf" Whilem_c: %"IVdf" Lcp: %"IVdf" %s",       \
639         (int)(depth)*2, "",                                          \
640         (IV)((data)->pos_min),                                       \
641         (IV)((data)->pos_delta),                                     \
642         (UV)((data)->flags),                                         \
643         (IV)((data)->whilem_c),                                      \
644         (IV)((data)->last_closep ? *((data)->last_closep) : -1),     \
645         is_inf ? "INF " : ""                                         \
646     );                                                               \
647     if ((data)->last_found)                                          \
648         PerlIO_printf(Perl_debug_log,                                \
649             "Last:'%s' %"IVdf":%"IVdf"/%"IVdf" %sFixed:'%s' @ %"IVdf \
650             " %sFloat: '%s' @ %"IVdf"/%"IVdf"",                      \
651             SvPVX_const((data)->last_found),                         \
652             (IV)((data)->last_end),                                  \
653             (IV)((data)->last_start_min),                            \
654             (IV)((data)->last_start_max),                            \
655             ((data)->longest &&                                      \
656              (data)->longest==&((data)->longest_fixed)) ? "*" : "",  \
657             SvPVX_const((data)->longest_fixed),                      \
658             (IV)((data)->offset_fixed),                              \
659             ((data)->longest &&                                      \
660              (data)->longest==&((data)->longest_float)) ? "*" : "",  \
661             SvPVX_const((data)->longest_float),                      \
662             (IV)((data)->offset_float_min),                          \
663             (IV)((data)->offset_float_max)                           \
664         );                                                           \
665     PerlIO_printf(Perl_debug_log,"\n");                              \
666 });
667
668 static void clear_re(pTHX_ void *r);
669
670 /* Mark that we cannot extend a found fixed substring at this point.
671    Update the longest found anchored substring and the longest found
672    floating substrings if needed. */
673
674 STATIC void
675 S_scan_commit(pTHX_ const RExC_state_t *pRExC_state, scan_data_t *data, I32 *minlenp, int is_inf)
676 {
677     const STRLEN l = CHR_SVLEN(data->last_found);
678     const STRLEN old_l = CHR_SVLEN(*data->longest);
679     GET_RE_DEBUG_FLAGS_DECL;
680
681     PERL_ARGS_ASSERT_SCAN_COMMIT;
682
683     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
684         SvSetMagicSV(*data->longest, data->last_found);
685         if (*data->longest == data->longest_fixed) {
686             data->offset_fixed = l ? data->last_start_min : data->pos_min;
687             if (data->flags & SF_BEFORE_EOL)
688                 data->flags
689                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
690             else
691                 data->flags &= ~SF_FIX_BEFORE_EOL;
692             data->minlen_fixed=minlenp; 
693             data->lookbehind_fixed=0;
694         }
695         else { /* *data->longest == data->longest_float */
696             data->offset_float_min = l ? data->last_start_min : data->pos_min;
697             data->offset_float_max = (l
698                                       ? data->last_start_max
699                                       : data->pos_min + data->pos_delta);
700             if (is_inf || (U32)data->offset_float_max > (U32)I32_MAX)
701                 data->offset_float_max = I32_MAX;
702             if (data->flags & SF_BEFORE_EOL)
703                 data->flags
704                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
705             else
706                 data->flags &= ~SF_FL_BEFORE_EOL;
707             data->minlen_float=minlenp;
708             data->lookbehind_float=0;
709         }
710     }
711     SvCUR_set(data->last_found, 0);
712     {
713         SV * const sv = data->last_found;
714         if (SvUTF8(sv) && SvMAGICAL(sv)) {
715             MAGIC * const mg = mg_find(sv, PERL_MAGIC_utf8);
716             if (mg)
717                 mg->mg_len = 0;
718         }
719     }
720     data->last_end = -1;
721     data->flags &= ~SF_BEFORE_EOL;
722     DEBUG_STUDYDATA("commit: ",data,0);
723 }
724
725 /* Can match anything (initialization) */
726 STATIC void
727 S_cl_anything(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl)
728 {
729     PERL_ARGS_ASSERT_CL_ANYTHING;
730
731     ANYOF_BITMAP_SETALL(cl);
732     cl->flags = ANYOF_CLASS|ANYOF_EOS|ANYOF_UNICODE_ALL
733                 |ANYOF_LOC_NONBITMAP_FOLD|ANYOF_NON_UTF8_LATIN1_ALL;
734
735     /* If any portion of the regex is to operate under locale rules,
736      * initialization includes it.  The reason this isn't done for all regexes
737      * is that the optimizer was written under the assumption that locale was
738      * all-or-nothing.  Given the complexity and lack of documentation in the
739      * optimizer, and that there are inadequate test cases for locale, so many
740      * parts of it may not work properly, it is safest to avoid locale unless
741      * necessary. */
742     if (RExC_contains_locale) {
743         ANYOF_CLASS_SETALL(cl);     /* /l uses class */
744         cl->flags |= ANYOF_LOCALE;
745     }
746     else {
747         ANYOF_CLASS_ZERO(cl);       /* Only /l uses class now */
748     }
749 }
750
751 /* Can match anything (initialization) */
752 STATIC int
753 S_cl_is_anything(const struct regnode_charclass_class *cl)
754 {
755     int value;
756
757     PERL_ARGS_ASSERT_CL_IS_ANYTHING;
758
759     for (value = 0; value <= ANYOF_MAX; value += 2)
760         if (ANYOF_CLASS_TEST(cl, value) && ANYOF_CLASS_TEST(cl, value + 1))
761             return 1;
762     if (!(cl->flags & ANYOF_UNICODE_ALL))
763         return 0;
764     if (!ANYOF_BITMAP_TESTALLSET((const void*)cl))
765         return 0;
766     return 1;
767 }
768
769 /* Can match anything (initialization) */
770 STATIC void
771 S_cl_init(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl)
772 {
773     PERL_ARGS_ASSERT_CL_INIT;
774
775     Zero(cl, 1, struct regnode_charclass_class);
776     cl->type = ANYOF;
777     cl_anything(pRExC_state, cl);
778     ARG_SET(cl, ANYOF_NONBITMAP_EMPTY);
779 }
780
781 /* These two functions currently do the exact same thing */
782 #define cl_init_zero            S_cl_init
783
784 /* 'AND' a given class with another one.  Can create false positives.  'cl'
785  * should not be inverted.  'and_with->flags & ANYOF_CLASS' should be 0 if
786  * 'and_with' is a regnode_charclass instead of a regnode_charclass_class. */
787 STATIC void
788 S_cl_and(struct regnode_charclass_class *cl,
789         const struct regnode_charclass_class *and_with)
790 {
791     PERL_ARGS_ASSERT_CL_AND;
792
793     assert(and_with->type == ANYOF);
794
795     /* I (khw) am not sure all these restrictions are necessary XXX */
796     if (!(ANYOF_CLASS_TEST_ANY_SET(and_with))
797         && !(ANYOF_CLASS_TEST_ANY_SET(cl))
798         && (and_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
799         && !(and_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
800         && !(cl->flags & ANYOF_LOC_NONBITMAP_FOLD)) {
801         int i;
802
803         if (and_with->flags & ANYOF_INVERT)
804             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
805                 cl->bitmap[i] &= ~and_with->bitmap[i];
806         else
807             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
808                 cl->bitmap[i] &= and_with->bitmap[i];
809     } /* XXXX: logic is complicated otherwise, leave it along for a moment. */
810
811     if (and_with->flags & ANYOF_INVERT) {
812
813         /* Here, the and'ed node is inverted.  Get the AND of the flags that
814          * aren't affected by the inversion.  Those that are affected are
815          * handled individually below */
816         U8 affected_flags = cl->flags & ~INVERSION_UNAFFECTED_FLAGS;
817         cl->flags &= (and_with->flags & INVERSION_UNAFFECTED_FLAGS);
818         cl->flags |= affected_flags;
819
820         /* We currently don't know how to deal with things that aren't in the
821          * bitmap, but we know that the intersection is no greater than what
822          * is already in cl, so let there be false positives that get sorted
823          * out after the synthetic start class succeeds, and the node is
824          * matched for real. */
825
826         /* The inversion of these two flags indicate that the resulting
827          * intersection doesn't have them */
828         if (and_with->flags & ANYOF_UNICODE_ALL) {
829             cl->flags &= ~ANYOF_UNICODE_ALL;
830         }
831         if (and_with->flags & ANYOF_NON_UTF8_LATIN1_ALL) {
832             cl->flags &= ~ANYOF_NON_UTF8_LATIN1_ALL;
833         }
834     }
835     else {   /* and'd node is not inverted */
836         U8 outside_bitmap_but_not_utf8; /* Temp variable */
837
838         if (! ANYOF_NONBITMAP(and_with)) {
839
840             /* Here 'and_with' doesn't match anything outside the bitmap
841              * (except possibly ANYOF_UNICODE_ALL), which means the
842              * intersection can't either, except for ANYOF_UNICODE_ALL, in
843              * which case we don't know what the intersection is, but it's no
844              * greater than what cl already has, so can just leave it alone,
845              * with possible false positives */
846             if (! (and_with->flags & ANYOF_UNICODE_ALL)) {
847                 ARG_SET(cl, ANYOF_NONBITMAP_EMPTY);
848                 cl->flags &= ~ANYOF_NONBITMAP_NON_UTF8;
849             }
850         }
851         else if (! ANYOF_NONBITMAP(cl)) {
852
853             /* Here, 'and_with' does match something outside the bitmap, and cl
854              * doesn't have a list of things to match outside the bitmap.  If
855              * cl can match all code points above 255, the intersection will
856              * be those above-255 code points that 'and_with' matches.  If cl
857              * can't match all Unicode code points, it means that it can't
858              * match anything outside the bitmap (since the 'if' that got us
859              * into this block tested for that), so we leave the bitmap empty.
860              */
861             if (cl->flags & ANYOF_UNICODE_ALL) {
862                 ARG_SET(cl, ARG(and_with));
863
864                 /* and_with's ARG may match things that don't require UTF8.
865                  * And now cl's will too, in spite of this being an 'and'.  See
866                  * the comments below about the kludge */
867                 cl->flags |= and_with->flags & ANYOF_NONBITMAP_NON_UTF8;
868             }
869         }
870         else {
871             /* Here, both 'and_with' and cl match something outside the
872              * bitmap.  Currently we do not do the intersection, so just match
873              * whatever cl had at the beginning.  */
874         }
875
876
877         /* Take the intersection of the two sets of flags.  However, the
878          * ANYOF_NONBITMAP_NON_UTF8 flag is treated as an 'or'.  This is a
879          * kludge around the fact that this flag is not treated like the others
880          * which are initialized in cl_anything().  The way the optimizer works
881          * is that the synthetic start class (SSC) is initialized to match
882          * anything, and then the first time a real node is encountered, its
883          * values are AND'd with the SSC's with the result being the values of
884          * the real node.  However, there are paths through the optimizer where
885          * the AND never gets called, so those initialized bits are set
886          * inappropriately, which is not usually a big deal, as they just cause
887          * false positives in the SSC, which will just mean a probably
888          * imperceptible slow down in execution.  However this bit has a
889          * higher false positive consequence in that it can cause utf8.pm,
890          * utf8_heavy.pl ... to be loaded when not necessary, which is a much
891          * bigger slowdown and also causes significant extra memory to be used.
892          * In order to prevent this, the code now takes a different tack.  The
893          * bit isn't set unless some part of the regular expression needs it,
894          * but once set it won't get cleared.  This means that these extra
895          * modules won't get loaded unless there was some path through the
896          * pattern that would have required them anyway, and  so any false
897          * positives that occur by not ANDing them out when they could be
898          * aren't as severe as they would be if we treated this bit like all
899          * the others */
900         outside_bitmap_but_not_utf8 = (cl->flags | and_with->flags)
901                                       & ANYOF_NONBITMAP_NON_UTF8;
902         cl->flags &= and_with->flags;
903         cl->flags |= outside_bitmap_but_not_utf8;
904     }
905 }
906
907 /* 'OR' a given class with another one.  Can create false positives.  'cl'
908  * should not be inverted.  'or_with->flags & ANYOF_CLASS' should be 0 if
909  * 'or_with' is a regnode_charclass instead of a regnode_charclass_class. */
910 STATIC void
911 S_cl_or(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl, const struct regnode_charclass_class *or_with)
912 {
913     PERL_ARGS_ASSERT_CL_OR;
914
915     if (or_with->flags & ANYOF_INVERT) {
916
917         /* Here, the or'd node is to be inverted.  This means we take the
918          * complement of everything not in the bitmap, but currently we don't
919          * know what that is, so give up and match anything */
920         if (ANYOF_NONBITMAP(or_with)) {
921             cl_anything(pRExC_state, cl);
922         }
923         /* We do not use
924          * (B1 | CL1) | (!B2 & !CL2) = (B1 | !B2 & !CL2) | (CL1 | (!B2 & !CL2))
925          *   <= (B1 | !B2) | (CL1 | !CL2)
926          * which is wasteful if CL2 is small, but we ignore CL2:
927          *   (B1 | CL1) | (!B2 & !CL2) <= (B1 | CL1) | !B2 = (B1 | !B2) | CL1
928          * XXXX Can we handle case-fold?  Unclear:
929          *   (OK1(i) | OK1(i')) | !(OK1(i) | OK1(i')) =
930          *   (OK1(i) | OK1(i')) | (!OK1(i) & !OK1(i'))
931          */
932         else if ( (or_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
933              && !(or_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
934              && !(cl->flags & ANYOF_LOC_NONBITMAP_FOLD) ) {
935             int i;
936
937             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
938                 cl->bitmap[i] |= ~or_with->bitmap[i];
939         } /* XXXX: logic is complicated otherwise */
940         else {
941             cl_anything(pRExC_state, cl);
942         }
943
944         /* And, we can just take the union of the flags that aren't affected
945          * by the inversion */
946         cl->flags |= or_with->flags & INVERSION_UNAFFECTED_FLAGS;
947
948         /* For the remaining flags:
949             ANYOF_UNICODE_ALL and inverted means to not match anything above
950                     255, which means that the union with cl should just be
951                     what cl has in it, so can ignore this flag
952             ANYOF_NON_UTF8_LATIN1_ALL and inverted means if not utf8 and ord
953                     is 127-255 to match them, but then invert that, so the
954                     union with cl should just be what cl has in it, so can
955                     ignore this flag
956          */
957     } else {    /* 'or_with' is not inverted */
958         /* (B1 | CL1) | (B2 | CL2) = (B1 | B2) | (CL1 | CL2)) */
959         if ( (or_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
960              && (!(or_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
961                  || (cl->flags & ANYOF_LOC_NONBITMAP_FOLD)) ) {
962             int i;
963
964             /* OR char bitmap and class bitmap separately */
965             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
966                 cl->bitmap[i] |= or_with->bitmap[i];
967             if (ANYOF_CLASS_TEST_ANY_SET(or_with)) {
968                 for (i = 0; i < ANYOF_CLASSBITMAP_SIZE; i++)
969                     cl->classflags[i] |= or_with->classflags[i];
970                 cl->flags |= ANYOF_CLASS;
971             }
972         }
973         else { /* XXXX: logic is complicated, leave it along for a moment. */
974             cl_anything(pRExC_state, cl);
975         }
976
977         if (ANYOF_NONBITMAP(or_with)) {
978
979             /* Use the added node's outside-the-bit-map match if there isn't a
980              * conflict.  If there is a conflict (both nodes match something
981              * outside the bitmap, but what they match outside is not the same
982              * pointer, and hence not easily compared until XXX we extend
983              * inversion lists this far), give up and allow the start class to
984              * match everything outside the bitmap.  If that stuff is all above
985              * 255, can just set UNICODE_ALL, otherwise caould be anything. */
986             if (! ANYOF_NONBITMAP(cl)) {
987                 ARG_SET(cl, ARG(or_with));
988             }
989             else if (ARG(cl) != ARG(or_with)) {
990
991                 if ((or_with->flags & ANYOF_NONBITMAP_NON_UTF8)) {
992                     cl_anything(pRExC_state, cl);
993                 }
994                 else {
995                     cl->flags |= ANYOF_UNICODE_ALL;
996                 }
997             }
998         }
999
1000         /* Take the union */
1001         cl->flags |= or_with->flags;
1002     }
1003 }
1004
1005 #define TRIE_LIST_ITEM(state,idx) (trie->states[state].trans.list)[ idx ]
1006 #define TRIE_LIST_CUR(state)  ( TRIE_LIST_ITEM( state, 0 ).forid )
1007 #define TRIE_LIST_LEN(state) ( TRIE_LIST_ITEM( state, 0 ).newstate )
1008 #define TRIE_LIST_USED(idx)  ( trie->states[state].trans.list ? (TRIE_LIST_CUR( idx ) - 1) : 0 )
1009
1010
1011 #ifdef DEBUGGING
1012 /*
1013    dump_trie(trie,widecharmap,revcharmap)
1014    dump_trie_interim_list(trie,widecharmap,revcharmap,next_alloc)
1015    dump_trie_interim_table(trie,widecharmap,revcharmap,next_alloc)
1016
1017    These routines dump out a trie in a somewhat readable format.
1018    The _interim_ variants are used for debugging the interim
1019    tables that are used to generate the final compressed
1020    representation which is what dump_trie expects.
1021
1022    Part of the reason for their existence is to provide a form
1023    of documentation as to how the different representations function.
1024
1025 */
1026
1027 /*
1028   Dumps the final compressed table form of the trie to Perl_debug_log.
1029   Used for debugging make_trie().
1030 */
1031
1032 STATIC void
1033 S_dump_trie(pTHX_ const struct _reg_trie_data *trie, HV *widecharmap,
1034             AV *revcharmap, U32 depth)
1035 {
1036     U32 state;
1037     SV *sv=sv_newmortal();
1038     int colwidth= widecharmap ? 6 : 4;
1039     U16 word;
1040     GET_RE_DEBUG_FLAGS_DECL;
1041
1042     PERL_ARGS_ASSERT_DUMP_TRIE;
1043
1044     PerlIO_printf( Perl_debug_log, "%*sChar : %-6s%-6s%-4s ",
1045         (int)depth * 2 + 2,"",
1046         "Match","Base","Ofs" );
1047
1048     for( state = 0 ; state < trie->uniquecharcount ; state++ ) {
1049         SV ** const tmp = av_fetch( revcharmap, state, 0);
1050         if ( tmp ) {
1051             PerlIO_printf( Perl_debug_log, "%*s", 
1052                 colwidth,
1053                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1054                             PL_colors[0], PL_colors[1],
1055                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1056                             PERL_PV_ESCAPE_FIRSTCHAR 
1057                 ) 
1058             );
1059         }
1060     }
1061     PerlIO_printf( Perl_debug_log, "\n%*sState|-----------------------",
1062         (int)depth * 2 + 2,"");
1063
1064     for( state = 0 ; state < trie->uniquecharcount ; state++ )
1065         PerlIO_printf( Perl_debug_log, "%.*s", colwidth, "--------");
1066     PerlIO_printf( Perl_debug_log, "\n");
1067
1068     for( state = 1 ; state < trie->statecount ; state++ ) {
1069         const U32 base = trie->states[ state ].trans.base;
1070
1071         PerlIO_printf( Perl_debug_log, "%*s#%4"UVXf"|", (int)depth * 2 + 2,"", (UV)state);
1072
1073         if ( trie->states[ state ].wordnum ) {
1074             PerlIO_printf( Perl_debug_log, " W%4X", trie->states[ state ].wordnum );
1075         } else {
1076             PerlIO_printf( Perl_debug_log, "%6s", "" );
1077         }
1078
1079         PerlIO_printf( Perl_debug_log, " @%4"UVXf" ", (UV)base );
1080
1081         if ( base ) {
1082             U32 ofs = 0;
1083
1084             while( ( base + ofs  < trie->uniquecharcount ) ||
1085                    ( base + ofs - trie->uniquecharcount < trie->lasttrans
1086                      && trie->trans[ base + ofs - trie->uniquecharcount ].check != state))
1087                     ofs++;
1088
1089             PerlIO_printf( Perl_debug_log, "+%2"UVXf"[ ", (UV)ofs);
1090
1091             for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
1092                 if ( ( base + ofs >= trie->uniquecharcount ) &&
1093                      ( base + ofs - trie->uniquecharcount < trie->lasttrans ) &&
1094                      trie->trans[ base + ofs - trie->uniquecharcount ].check == state )
1095                 {
1096                    PerlIO_printf( Perl_debug_log, "%*"UVXf,
1097                     colwidth,
1098                     (UV)trie->trans[ base + ofs - trie->uniquecharcount ].next );
1099                 } else {
1100                     PerlIO_printf( Perl_debug_log, "%*s",colwidth,"   ." );
1101                 }
1102             }
1103
1104             PerlIO_printf( Perl_debug_log, "]");
1105
1106         }
1107         PerlIO_printf( Perl_debug_log, "\n" );
1108     }
1109     PerlIO_printf(Perl_debug_log, "%*sword_info N:(prev,len)=", (int)depth*2, "");
1110     for (word=1; word <= trie->wordcount; word++) {
1111         PerlIO_printf(Perl_debug_log, " %d:(%d,%d)",
1112             (int)word, (int)(trie->wordinfo[word].prev),
1113             (int)(trie->wordinfo[word].len));
1114     }
1115     PerlIO_printf(Perl_debug_log, "\n" );
1116 }    
1117 /*
1118   Dumps a fully constructed but uncompressed trie in list form.
1119   List tries normally only are used for construction when the number of 
1120   possible chars (trie->uniquecharcount) is very high.
1121   Used for debugging make_trie().
1122 */
1123 STATIC void
1124 S_dump_trie_interim_list(pTHX_ const struct _reg_trie_data *trie,
1125                          HV *widecharmap, AV *revcharmap, U32 next_alloc,
1126                          U32 depth)
1127 {
1128     U32 state;
1129     SV *sv=sv_newmortal();
1130     int colwidth= widecharmap ? 6 : 4;
1131     GET_RE_DEBUG_FLAGS_DECL;
1132
1133     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_LIST;
1134
1135     /* print out the table precompression.  */
1136     PerlIO_printf( Perl_debug_log, "%*sState :Word | Transition Data\n%*s%s",
1137         (int)depth * 2 + 2,"", (int)depth * 2 + 2,"",
1138         "------:-----+-----------------\n" );
1139     
1140     for( state=1 ; state < next_alloc ; state ++ ) {
1141         U16 charid;
1142     
1143         PerlIO_printf( Perl_debug_log, "%*s %4"UVXf" :",
1144             (int)depth * 2 + 2,"", (UV)state  );
1145         if ( ! trie->states[ state ].wordnum ) {
1146             PerlIO_printf( Perl_debug_log, "%5s| ","");
1147         } else {
1148             PerlIO_printf( Perl_debug_log, "W%4x| ",
1149                 trie->states[ state ].wordnum
1150             );
1151         }
1152         for( charid = 1 ; charid <= TRIE_LIST_USED( state ) ; charid++ ) {
1153             SV ** const tmp = av_fetch( revcharmap, TRIE_LIST_ITEM(state,charid).forid, 0);
1154             if ( tmp ) {
1155                 PerlIO_printf( Perl_debug_log, "%*s:%3X=%4"UVXf" | ",
1156                     colwidth,
1157                     pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1158                             PL_colors[0], PL_colors[1],
1159                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1160                             PERL_PV_ESCAPE_FIRSTCHAR 
1161                     ) ,
1162                     TRIE_LIST_ITEM(state,charid).forid,
1163                     (UV)TRIE_LIST_ITEM(state,charid).newstate
1164                 );
1165                 if (!(charid % 10)) 
1166                     PerlIO_printf(Perl_debug_log, "\n%*s| ",
1167                         (int)((depth * 2) + 14), "");
1168             }
1169         }
1170         PerlIO_printf( Perl_debug_log, "\n");
1171     }
1172 }    
1173
1174 /*
1175   Dumps a fully constructed but uncompressed trie in table form.
1176   This is the normal DFA style state transition table, with a few 
1177   twists to facilitate compression later. 
1178   Used for debugging make_trie().
1179 */
1180 STATIC void
1181 S_dump_trie_interim_table(pTHX_ const struct _reg_trie_data *trie,
1182                           HV *widecharmap, AV *revcharmap, U32 next_alloc,
1183                           U32 depth)
1184 {
1185     U32 state;
1186     U16 charid;
1187     SV *sv=sv_newmortal();
1188     int colwidth= widecharmap ? 6 : 4;
1189     GET_RE_DEBUG_FLAGS_DECL;
1190
1191     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_TABLE;
1192     
1193     /*
1194        print out the table precompression so that we can do a visual check
1195        that they are identical.
1196      */
1197     
1198     PerlIO_printf( Perl_debug_log, "%*sChar : ",(int)depth * 2 + 2,"" );
1199
1200     for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
1201         SV ** const tmp = av_fetch( revcharmap, charid, 0);
1202         if ( tmp ) {
1203             PerlIO_printf( Perl_debug_log, "%*s", 
1204                 colwidth,
1205                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1206                             PL_colors[0], PL_colors[1],
1207                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1208                             PERL_PV_ESCAPE_FIRSTCHAR 
1209                 ) 
1210             );
1211         }
1212     }
1213
1214     PerlIO_printf( Perl_debug_log, "\n%*sState+-",(int)depth * 2 + 2,"" );
1215
1216     for( charid=0 ; charid < trie->uniquecharcount ; charid++ ) {
1217         PerlIO_printf( Perl_debug_log, "%.*s", colwidth,"--------");
1218     }
1219
1220     PerlIO_printf( Perl_debug_log, "\n" );
1221
1222     for( state=1 ; state < next_alloc ; state += trie->uniquecharcount ) {
1223
1224         PerlIO_printf( Perl_debug_log, "%*s%4"UVXf" : ", 
1225             (int)depth * 2 + 2,"",
1226             (UV)TRIE_NODENUM( state ) );
1227
1228         for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
1229             UV v=(UV)SAFE_TRIE_NODENUM( trie->trans[ state + charid ].next );
1230             if (v)
1231                 PerlIO_printf( Perl_debug_log, "%*"UVXf, colwidth, v );
1232             else
1233                 PerlIO_printf( Perl_debug_log, "%*s", colwidth, "." );
1234         }
1235         if ( ! trie->states[ TRIE_NODENUM( state ) ].wordnum ) {
1236             PerlIO_printf( Perl_debug_log, " (%4"UVXf")\n", (UV)trie->trans[ state ].check );
1237         } else {
1238             PerlIO_printf( Perl_debug_log, " (%4"UVXf") W%4X\n", (UV)trie->trans[ state ].check,
1239             trie->states[ TRIE_NODENUM( state ) ].wordnum );
1240         }
1241     }
1242 }
1243
1244 #endif
1245
1246
1247 /* make_trie(startbranch,first,last,tail,word_count,flags,depth)
1248   startbranch: the first branch in the whole branch sequence
1249   first      : start branch of sequence of branch-exact nodes.
1250                May be the same as startbranch
1251   last       : Thing following the last branch.
1252                May be the same as tail.
1253   tail       : item following the branch sequence
1254   count      : words in the sequence
1255   flags      : currently the OP() type we will be building one of /EXACT(|F|Fl)/
1256   depth      : indent depth
1257
1258 Inplace optimizes a sequence of 2 or more Branch-Exact nodes into a TRIE node.
1259
1260 A trie is an N'ary tree where the branches are determined by digital
1261 decomposition of the key. IE, at the root node you look up the 1st character and
1262 follow that branch repeat until you find the end of the branches. Nodes can be
1263 marked as "accepting" meaning they represent a complete word. Eg:
1264
1265   /he|she|his|hers/
1266
1267 would convert into the following structure. Numbers represent states, letters
1268 following numbers represent valid transitions on the letter from that state, if
1269 the number is in square brackets it represents an accepting state, otherwise it
1270 will be in parenthesis.
1271
1272       +-h->+-e->[3]-+-r->(8)-+-s->[9]
1273       |    |
1274       |   (2)
1275       |    |
1276      (1)   +-i->(6)-+-s->[7]
1277       |
1278       +-s->(3)-+-h->(4)-+-e->[5]
1279
1280       Accept Word Mapping: 3=>1 (he),5=>2 (she), 7=>3 (his), 9=>4 (hers)
1281
1282 This shows that when matching against the string 'hers' we will begin at state 1
1283 read 'h' and move to state 2, read 'e' and move to state 3 which is accepting,
1284 then read 'r' and go to state 8 followed by 's' which takes us to state 9 which
1285 is also accepting. Thus we know that we can match both 'he' and 'hers' with a
1286 single traverse. We store a mapping from accepting to state to which word was
1287 matched, and then when we have multiple possibilities we try to complete the
1288 rest of the regex in the order in which they occured in the alternation.
1289
1290 The only prior NFA like behaviour that would be changed by the TRIE support is
1291 the silent ignoring of duplicate alternations which are of the form:
1292
1293  / (DUPE|DUPE) X? (?{ ... }) Y /x
1294
1295 Thus EVAL blocks following a trie may be called a different number of times with
1296 and without the optimisation. With the optimisations dupes will be silently
1297 ignored. This inconsistent behaviour of EVAL type nodes is well established as
1298 the following demonstrates:
1299
1300  'words'=~/(word|word|word)(?{ print $1 })[xyz]/
1301
1302 which prints out 'word' three times, but
1303
1304  'words'=~/(word|word|word)(?{ print $1 })S/
1305
1306 which doesnt print it out at all. This is due to other optimisations kicking in.
1307
1308 Example of what happens on a structural level:
1309
1310 The regexp /(ac|ad|ab)+/ will produce the following debug output:
1311
1312    1: CURLYM[1] {1,32767}(18)
1313    5:   BRANCH(8)
1314    6:     EXACT <ac>(16)
1315    8:   BRANCH(11)
1316    9:     EXACT <ad>(16)
1317   11:   BRANCH(14)
1318   12:     EXACT <ab>(16)
1319   16:   SUCCEED(0)
1320   17:   NOTHING(18)
1321   18: END(0)
1322
1323 This would be optimizable with startbranch=5, first=5, last=16, tail=16
1324 and should turn into:
1325
1326    1: CURLYM[1] {1,32767}(18)
1327    5:   TRIE(16)
1328         [Words:3 Chars Stored:6 Unique Chars:4 States:5 NCP:1]
1329           <ac>
1330           <ad>
1331           <ab>
1332   16:   SUCCEED(0)
1333   17:   NOTHING(18)
1334   18: END(0)
1335
1336 Cases where tail != last would be like /(?foo|bar)baz/:
1337
1338    1: BRANCH(4)
1339    2:   EXACT <foo>(8)
1340    4: BRANCH(7)
1341    5:   EXACT <bar>(8)
1342    7: TAIL(8)
1343    8: EXACT <baz>(10)
1344   10: END(0)
1345
1346 which would be optimizable with startbranch=1, first=1, last=7, tail=8
1347 and would end up looking like:
1348
1349     1: TRIE(8)
1350       [Words:2 Chars Stored:6 Unique Chars:5 States:7 NCP:1]
1351         <foo>
1352         <bar>
1353    7: TAIL(8)
1354    8: EXACT <baz>(10)
1355   10: END(0)
1356
1357     d = uvuni_to_utf8_flags(d, uv, 0);
1358
1359 is the recommended Unicode-aware way of saying
1360
1361     *(d++) = uv;
1362 */
1363
1364 #define TRIE_STORE_REVCHAR                                                 \
1365     STMT_START {                                                           \
1366         if (UTF) {                                                         \
1367             SV *zlopp = newSV(2);                                          \
1368             unsigned char *flrbbbbb = (unsigned char *) SvPVX(zlopp);      \
1369             unsigned const char *const kapow = uvuni_to_utf8(flrbbbbb, uvc & 0xFF); \
1370             SvCUR_set(zlopp, kapow - flrbbbbb);                            \
1371             SvPOK_on(zlopp);                                               \
1372             SvUTF8_on(zlopp);                                              \
1373             av_push(revcharmap, zlopp);                                    \
1374         } else {                                                           \
1375             char ooooff = (char)uvc;                                               \
1376             av_push(revcharmap, newSVpvn(&ooooff, 1));                     \
1377         }                                                                  \
1378         } STMT_END
1379
1380 #define TRIE_READ_CHAR STMT_START {                                           \
1381     wordlen++;                                                                \
1382     if ( UTF ) {                                                              \
1383         if ( folder ) {                                                       \
1384             if ( foldlen > 0 ) {                                              \
1385                uvc = utf8n_to_uvuni( scan, UTF8_MAXLEN, &len, uniflags );     \
1386                foldlen -= len;                                                \
1387                scan += len;                                                   \
1388                len = 0;                                                       \
1389             } else {                                                          \
1390                 len = UTF8SKIP(uc);\
1391                 uvc = to_utf8_fold( uc, foldbuf, &foldlen);                   \
1392                 foldlen -= UNISKIP( uvc );                                    \
1393                 scan = foldbuf + UNISKIP( uvc );                              \
1394             }                                                                 \
1395         } else {                                                              \
1396             uvc = utf8n_to_uvuni( (const U8*)uc, UTF8_MAXLEN, &len, uniflags);\
1397         }                                                                     \
1398     } else {                                                                  \
1399         uvc = (U32)*uc;                                                       \
1400         len = 1;                                                              \
1401     }                                                                         \
1402 } STMT_END
1403
1404
1405
1406 #define TRIE_LIST_PUSH(state,fid,ns) STMT_START {               \
1407     if ( TRIE_LIST_CUR( state ) >=TRIE_LIST_LEN( state ) ) {    \
1408         U32 ging = TRIE_LIST_LEN( state ) *= 2;                 \
1409         Renew( trie->states[ state ].trans.list, ging, reg_trie_trans_le ); \
1410     }                                                           \
1411     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).forid = fid;     \
1412     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).newstate = ns;   \
1413     TRIE_LIST_CUR( state )++;                                   \
1414 } STMT_END
1415
1416 #define TRIE_LIST_NEW(state) STMT_START {                       \
1417     Newxz( trie->states[ state ].trans.list,               \
1418         4, reg_trie_trans_le );                                 \
1419      TRIE_LIST_CUR( state ) = 1;                                \
1420      TRIE_LIST_LEN( state ) = 4;                                \
1421 } STMT_END
1422
1423 #define TRIE_HANDLE_WORD(state) STMT_START {                    \
1424     U16 dupe= trie->states[ state ].wordnum;                    \
1425     regnode * const noper_next = regnext( noper );              \
1426                                                                 \
1427     DEBUG_r({                                                   \
1428         /* store the word for dumping */                        \
1429         SV* tmp;                                                \
1430         if (OP(noper) != NOTHING)                               \
1431             tmp = newSVpvn_utf8(STRING(noper), STR_LEN(noper), UTF);    \
1432         else                                                    \
1433             tmp = newSVpvn_utf8( "", 0, UTF );                  \
1434         av_push( trie_words, tmp );                             \
1435     });                                                         \
1436                                                                 \
1437     curword++;                                                  \
1438     trie->wordinfo[curword].prev   = 0;                         \
1439     trie->wordinfo[curword].len    = wordlen;                   \
1440     trie->wordinfo[curword].accept = state;                     \
1441                                                                 \
1442     if ( noper_next < tail ) {                                  \
1443         if (!trie->jump)                                        \
1444             trie->jump = (U16 *) PerlMemShared_calloc( word_count + 1, sizeof(U16) ); \
1445         trie->jump[curword] = (U16)(noper_next - convert);      \
1446         if (!jumper)                                            \
1447             jumper = noper_next;                                \
1448         if (!nextbranch)                                        \
1449             nextbranch= regnext(cur);                           \
1450     }                                                           \
1451                                                                 \
1452     if ( dupe ) {                                               \
1453         /* It's a dupe. Pre-insert into the wordinfo[].prev   */\
1454         /* chain, so that when the bits of chain are later    */\
1455         /* linked together, the dups appear in the chain      */\
1456         trie->wordinfo[curword].prev = trie->wordinfo[dupe].prev; \
1457         trie->wordinfo[dupe].prev = curword;                    \
1458     } else {                                                    \
1459         /* we haven't inserted this word yet.                */ \
1460         trie->states[ state ].wordnum = curword;                \
1461     }                                                           \
1462 } STMT_END
1463
1464
1465 #define TRIE_TRANS_STATE(state,base,ucharcount,charid,special)          \
1466      ( ( base + charid >=  ucharcount                                   \
1467          && base + charid < ubound                                      \
1468          && state == trie->trans[ base - ucharcount + charid ].check    \
1469          && trie->trans[ base - ucharcount + charid ].next )            \
1470            ? trie->trans[ base - ucharcount + charid ].next             \
1471            : ( state==1 ? special : 0 )                                 \
1472       )
1473
1474 #define MADE_TRIE       1
1475 #define MADE_JUMP_TRIE  2
1476 #define MADE_EXACT_TRIE 4
1477
1478 STATIC I32
1479 S_make_trie(pTHX_ RExC_state_t *pRExC_state, regnode *startbranch, regnode *first, regnode *last, regnode *tail, U32 word_count, U32 flags, U32 depth)
1480 {
1481     dVAR;
1482     /* first pass, loop through and scan words */
1483     reg_trie_data *trie;
1484     HV *widecharmap = NULL;
1485     AV *revcharmap = newAV();
1486     regnode *cur;
1487     const U32 uniflags = UTF8_ALLOW_DEFAULT;
1488     STRLEN len = 0;
1489     UV uvc = 0;
1490     U16 curword = 0;
1491     U32 next_alloc = 0;
1492     regnode *jumper = NULL;
1493     regnode *nextbranch = NULL;
1494     regnode *convert = NULL;
1495     U32 *prev_states; /* temp array mapping each state to previous one */
1496     /* we just use folder as a flag in utf8 */
1497     const U8 * folder = NULL;
1498
1499 #ifdef DEBUGGING
1500     const U32 data_slot = add_data( pRExC_state, 4, "tuuu" );
1501     AV *trie_words = NULL;
1502     /* along with revcharmap, this only used during construction but both are
1503      * useful during debugging so we store them in the struct when debugging.
1504      */
1505 #else
1506     const U32 data_slot = add_data( pRExC_state, 2, "tu" );
1507     STRLEN trie_charcount=0;
1508 #endif
1509     SV *re_trie_maxbuff;
1510     GET_RE_DEBUG_FLAGS_DECL;
1511
1512     PERL_ARGS_ASSERT_MAKE_TRIE;
1513 #ifndef DEBUGGING
1514     PERL_UNUSED_ARG(depth);
1515 #endif
1516
1517     switch (flags) {
1518         case EXACTFA:
1519         case EXACTFU: folder = PL_fold_latin1; break;
1520         case EXACTF:  folder = PL_fold; break;
1521         case EXACTFL: folder = PL_fold_locale; break;
1522     }
1523
1524     trie = (reg_trie_data *) PerlMemShared_calloc( 1, sizeof(reg_trie_data) );
1525     trie->refcount = 1;
1526     trie->startstate = 1;
1527     trie->wordcount = word_count;
1528     RExC_rxi->data->data[ data_slot ] = (void*)trie;
1529     trie->charmap = (U16 *) PerlMemShared_calloc( 256, sizeof(U16) );
1530     if (!(UTF && folder))
1531         trie->bitmap = (char *) PerlMemShared_calloc( ANYOF_BITMAP_SIZE, 1 );
1532     trie->wordinfo = (reg_trie_wordinfo *) PerlMemShared_calloc(
1533                        trie->wordcount+1, sizeof(reg_trie_wordinfo));
1534
1535     DEBUG_r({
1536         trie_words = newAV();
1537     });
1538
1539     re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, 1);
1540     if (!SvIOK(re_trie_maxbuff)) {
1541         sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
1542     }
1543     DEBUG_OPTIMISE_r({
1544                 PerlIO_printf( Perl_debug_log,
1545                   "%*smake_trie start==%d, first==%d, last==%d, tail==%d depth=%d\n",
1546                   (int)depth * 2 + 2, "", 
1547                   REG_NODE_NUM(startbranch),REG_NODE_NUM(first), 
1548                   REG_NODE_NUM(last), REG_NODE_NUM(tail),
1549                   (int)depth);
1550     });
1551    
1552    /* Find the node we are going to overwrite */
1553     if ( first == startbranch && OP( last ) != BRANCH ) {
1554         /* whole branch chain */
1555         convert = first;
1556     } else {
1557         /* branch sub-chain */
1558         convert = NEXTOPER( first );
1559     }
1560         
1561     /*  -- First loop and Setup --
1562
1563        We first traverse the branches and scan each word to determine if it
1564        contains widechars, and how many unique chars there are, this is
1565        important as we have to build a table with at least as many columns as we
1566        have unique chars.
1567
1568        We use an array of integers to represent the character codes 0..255
1569        (trie->charmap) and we use a an HV* to store Unicode characters. We use the
1570        native representation of the character value as the key and IV's for the
1571        coded index.
1572
1573        *TODO* If we keep track of how many times each character is used we can
1574        remap the columns so that the table compression later on is more
1575        efficient in terms of memory by ensuring the most common value is in the
1576        middle and the least common are on the outside.  IMO this would be better
1577        than a most to least common mapping as theres a decent chance the most
1578        common letter will share a node with the least common, meaning the node
1579        will not be compressible. With a middle is most common approach the worst
1580        case is when we have the least common nodes twice.
1581
1582      */
1583
1584     for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1585         regnode * const noper = NEXTOPER( cur );
1586         const U8 *uc = (U8*)STRING( noper );
1587         const U8 * const e  = uc + STR_LEN( noper );
1588         STRLEN foldlen = 0;
1589         U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1590         const U8 *scan = (U8*)NULL;
1591         U32 wordlen      = 0;         /* required init */
1592         STRLEN chars = 0;
1593         bool set_bit = trie->bitmap ? 1 : 0; /*store the first char in the bitmap?*/
1594
1595         if (OP(noper) == NOTHING) {
1596             trie->minlen= 0;
1597             continue;
1598         }
1599         if ( set_bit ) /* bitmap only alloced when !(UTF&&Folding) */
1600             TRIE_BITMAP_SET(trie,*uc); /* store the raw first byte
1601                                           regardless of encoding */
1602
1603         for ( ; uc < e ; uc += len ) {
1604             TRIE_CHARCOUNT(trie)++;
1605             TRIE_READ_CHAR;
1606             chars++;
1607             if ( uvc < 256 ) {
1608                 if ( !trie->charmap[ uvc ] ) {
1609                     trie->charmap[ uvc ]=( ++trie->uniquecharcount );
1610                     if ( folder )
1611                         trie->charmap[ folder[ uvc ] ] = trie->charmap[ uvc ];
1612                     TRIE_STORE_REVCHAR;
1613                 }
1614                 if ( set_bit ) {
1615                     /* store the codepoint in the bitmap, and its folded
1616                      * equivalent. */
1617                     TRIE_BITMAP_SET(trie,uvc);
1618
1619                     /* store the folded codepoint */
1620                     if ( folder ) TRIE_BITMAP_SET(trie,folder[ uvc ]);
1621
1622                     if ( !UTF ) {
1623                         /* store first byte of utf8 representation of
1624                            variant codepoints */
1625                         if (! UNI_IS_INVARIANT(uvc)) {
1626                             TRIE_BITMAP_SET(trie, UTF8_TWO_BYTE_HI(uvc));
1627                         }
1628                     }
1629                     set_bit = 0; /* We've done our bit :-) */
1630                 }
1631             } else {
1632                 SV** svpp;
1633                 if ( !widecharmap )
1634                     widecharmap = newHV();
1635
1636                 svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 1 );
1637
1638                 if ( !svpp )
1639                     Perl_croak( aTHX_ "error creating/fetching widecharmap entry for 0x%"UVXf, uvc );
1640
1641                 if ( !SvTRUE( *svpp ) ) {
1642                     sv_setiv( *svpp, ++trie->uniquecharcount );
1643                     TRIE_STORE_REVCHAR;
1644                 }
1645             }
1646         }
1647         if( cur == first ) {
1648             trie->minlen=chars;
1649             trie->maxlen=chars;
1650         } else if (chars < trie->minlen) {
1651             trie->minlen=chars;
1652         } else if (chars > trie->maxlen) {
1653             trie->maxlen=chars;
1654         }
1655
1656     } /* end first pass */
1657     DEBUG_TRIE_COMPILE_r(
1658         PerlIO_printf( Perl_debug_log, "%*sTRIE(%s): W:%d C:%d Uq:%d Min:%d Max:%d\n",
1659                 (int)depth * 2 + 2,"",
1660                 ( widecharmap ? "UTF8" : "NATIVE" ), (int)word_count,
1661                 (int)TRIE_CHARCOUNT(trie), trie->uniquecharcount,
1662                 (int)trie->minlen, (int)trie->maxlen )
1663     );
1664
1665     /*
1666         We now know what we are dealing with in terms of unique chars and
1667         string sizes so we can calculate how much memory a naive
1668         representation using a flat table  will take. If it's over a reasonable
1669         limit (as specified by ${^RE_TRIE_MAXBUF}) we use a more memory
1670         conservative but potentially much slower representation using an array
1671         of lists.
1672
1673         At the end we convert both representations into the same compressed
1674         form that will be used in regexec.c for matching with. The latter
1675         is a form that cannot be used to construct with but has memory
1676         properties similar to the list form and access properties similar
1677         to the table form making it both suitable for fast searches and
1678         small enough that its feasable to store for the duration of a program.
1679
1680         See the comment in the code where the compressed table is produced
1681         inplace from the flat tabe representation for an explanation of how
1682         the compression works.
1683
1684     */
1685
1686
1687     Newx(prev_states, TRIE_CHARCOUNT(trie) + 2, U32);
1688     prev_states[1] = 0;
1689
1690     if ( (IV)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount + 1) > SvIV(re_trie_maxbuff) ) {
1691         /*
1692             Second Pass -- Array Of Lists Representation
1693
1694             Each state will be represented by a list of charid:state records
1695             (reg_trie_trans_le) the first such element holds the CUR and LEN
1696             points of the allocated array. (See defines above).
1697
1698             We build the initial structure using the lists, and then convert
1699             it into the compressed table form which allows faster lookups
1700             (but cant be modified once converted).
1701         */
1702
1703         STRLEN transcount = 1;
1704
1705         DEBUG_TRIE_COMPILE_MORE_r( PerlIO_printf( Perl_debug_log, 
1706             "%*sCompiling trie using list compiler\n",
1707             (int)depth * 2 + 2, ""));
1708         
1709         trie->states = (reg_trie_state *)
1710             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
1711                                   sizeof(reg_trie_state) );
1712         TRIE_LIST_NEW(1);
1713         next_alloc = 2;
1714
1715         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1716
1717             regnode * const noper = NEXTOPER( cur );
1718             U8 *uc           = (U8*)STRING( noper );
1719             const U8 * const e = uc + STR_LEN( noper );
1720             U32 state        = 1;         /* required init */
1721             U16 charid       = 0;         /* sanity init */
1722             U8 *scan         = (U8*)NULL; /* sanity init */
1723             STRLEN foldlen   = 0;         /* required init */
1724             U32 wordlen      = 0;         /* required init */
1725             U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1726
1727             if (OP(noper) != NOTHING) {
1728                 for ( ; uc < e ; uc += len ) {
1729
1730                     TRIE_READ_CHAR;
1731
1732                     if ( uvc < 256 ) {
1733                         charid = trie->charmap[ uvc ];
1734                     } else {
1735                         SV** const svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 0);
1736                         if ( !svpp ) {
1737                             charid = 0;
1738                         } else {
1739                             charid=(U16)SvIV( *svpp );
1740                         }
1741                     }
1742                     /* charid is now 0 if we dont know the char read, or nonzero if we do */
1743                     if ( charid ) {
1744
1745                         U16 check;
1746                         U32 newstate = 0;
1747
1748                         charid--;
1749                         if ( !trie->states[ state ].trans.list ) {
1750                             TRIE_LIST_NEW( state );
1751                         }
1752                         for ( check = 1; check <= TRIE_LIST_USED( state ); check++ ) {
1753                             if ( TRIE_LIST_ITEM( state, check ).forid == charid ) {
1754                                 newstate = TRIE_LIST_ITEM( state, check ).newstate;
1755                                 break;
1756                             }
1757                         }
1758                         if ( ! newstate ) {
1759                             newstate = next_alloc++;
1760                             prev_states[newstate] = state;
1761                             TRIE_LIST_PUSH( state, charid, newstate );
1762                             transcount++;
1763                         }
1764                         state = newstate;
1765                     } else {
1766                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %"IVdf, uvc );
1767                     }
1768                 }
1769             }
1770             TRIE_HANDLE_WORD(state);
1771
1772         } /* end second pass */
1773
1774         /* next alloc is the NEXT state to be allocated */
1775         trie->statecount = next_alloc; 
1776         trie->states = (reg_trie_state *)
1777             PerlMemShared_realloc( trie->states,
1778                                    next_alloc
1779                                    * sizeof(reg_trie_state) );
1780
1781         /* and now dump it out before we compress it */
1782         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_list(trie, widecharmap,
1783                                                          revcharmap, next_alloc,
1784                                                          depth+1)
1785         );
1786
1787         trie->trans = (reg_trie_trans *)
1788             PerlMemShared_calloc( transcount, sizeof(reg_trie_trans) );
1789         {
1790             U32 state;
1791             U32 tp = 0;
1792             U32 zp = 0;
1793
1794
1795             for( state=1 ; state < next_alloc ; state ++ ) {
1796                 U32 base=0;
1797
1798                 /*
1799                 DEBUG_TRIE_COMPILE_MORE_r(
1800                     PerlIO_printf( Perl_debug_log, "tp: %d zp: %d ",tp,zp)
1801                 );
1802                 */
1803
1804                 if (trie->states[state].trans.list) {
1805                     U16 minid=TRIE_LIST_ITEM( state, 1).forid;
1806                     U16 maxid=minid;
1807                     U16 idx;
1808
1809                     for( idx = 2 ; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
1810                         const U16 forid = TRIE_LIST_ITEM( state, idx).forid;
1811                         if ( forid < minid ) {
1812                             minid=forid;
1813                         } else if ( forid > maxid ) {
1814                             maxid=forid;
1815                         }
1816                     }
1817                     if ( transcount < tp + maxid - minid + 1) {
1818                         transcount *= 2;
1819                         trie->trans = (reg_trie_trans *)
1820                             PerlMemShared_realloc( trie->trans,
1821                                                      transcount
1822                                                      * sizeof(reg_trie_trans) );
1823                         Zero( trie->trans + (transcount / 2), transcount / 2 , reg_trie_trans );
1824                     }
1825                     base = trie->uniquecharcount + tp - minid;
1826                     if ( maxid == minid ) {
1827                         U32 set = 0;
1828                         for ( ; zp < tp ; zp++ ) {
1829                             if ( ! trie->trans[ zp ].next ) {
1830                                 base = trie->uniquecharcount + zp - minid;
1831                                 trie->trans[ zp ].next = TRIE_LIST_ITEM( state, 1).newstate;
1832                                 trie->trans[ zp ].check = state;
1833                                 set = 1;
1834                                 break;
1835                             }
1836                         }
1837                         if ( !set ) {
1838                             trie->trans[ tp ].next = TRIE_LIST_ITEM( state, 1).newstate;
1839                             trie->trans[ tp ].check = state;
1840                             tp++;
1841                             zp = tp;
1842                         }
1843                     } else {
1844                         for ( idx=1; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
1845                             const U32 tid = base -  trie->uniquecharcount + TRIE_LIST_ITEM( state, idx ).forid;
1846                             trie->trans[ tid ].next = TRIE_LIST_ITEM( state, idx ).newstate;
1847                             trie->trans[ tid ].check = state;
1848                         }
1849                         tp += ( maxid - minid + 1 );
1850                     }
1851                     Safefree(trie->states[ state ].trans.list);
1852                 }
1853                 /*
1854                 DEBUG_TRIE_COMPILE_MORE_r(
1855                     PerlIO_printf( Perl_debug_log, " base: %d\n",base);
1856                 );
1857                 */
1858                 trie->states[ state ].trans.base=base;
1859             }
1860             trie->lasttrans = tp + 1;
1861         }
1862     } else {
1863         /*
1864            Second Pass -- Flat Table Representation.
1865
1866            we dont use the 0 slot of either trans[] or states[] so we add 1 to each.
1867            We know that we will need Charcount+1 trans at most to store the data
1868            (one row per char at worst case) So we preallocate both structures
1869            assuming worst case.
1870
1871            We then construct the trie using only the .next slots of the entry
1872            structs.
1873
1874            We use the .check field of the first entry of the node temporarily to
1875            make compression both faster and easier by keeping track of how many non
1876            zero fields are in the node.
1877
1878            Since trans are numbered from 1 any 0 pointer in the table is a FAIL
1879            transition.
1880
1881            There are two terms at use here: state as a TRIE_NODEIDX() which is a
1882            number representing the first entry of the node, and state as a
1883            TRIE_NODENUM() which is the trans number. state 1 is TRIE_NODEIDX(1) and
1884            TRIE_NODENUM(1), state 2 is TRIE_NODEIDX(2) and TRIE_NODENUM(3) if there
1885            are 2 entrys per node. eg:
1886
1887              A B       A B
1888           1. 2 4    1. 3 7
1889           2. 0 3    3. 0 5
1890           3. 0 0    5. 0 0
1891           4. 0 0    7. 0 0
1892
1893            The table is internally in the right hand, idx form. However as we also
1894            have to deal with the states array which is indexed by nodenum we have to
1895            use TRIE_NODENUM() to convert.
1896
1897         */
1898         DEBUG_TRIE_COMPILE_MORE_r( PerlIO_printf( Perl_debug_log, 
1899             "%*sCompiling trie using table compiler\n",
1900             (int)depth * 2 + 2, ""));
1901
1902         trie->trans = (reg_trie_trans *)
1903             PerlMemShared_calloc( ( TRIE_CHARCOUNT(trie) + 1 )
1904                                   * trie->uniquecharcount + 1,
1905                                   sizeof(reg_trie_trans) );
1906         trie->states = (reg_trie_state *)
1907             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
1908                                   sizeof(reg_trie_state) );
1909         next_alloc = trie->uniquecharcount + 1;
1910
1911
1912         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1913
1914             regnode * const noper   = NEXTOPER( cur );
1915             const U8 *uc     = (U8*)STRING( noper );
1916             const U8 * const e = uc + STR_LEN( noper );
1917
1918             U32 state        = 1;         /* required init */
1919
1920             U16 charid       = 0;         /* sanity init */
1921             U32 accept_state = 0;         /* sanity init */
1922             U8 *scan         = (U8*)NULL; /* sanity init */
1923
1924             STRLEN foldlen   = 0;         /* required init */
1925             U32 wordlen      = 0;         /* required init */
1926             U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1927
1928             if ( OP(noper) != NOTHING ) {
1929                 for ( ; uc < e ; uc += len ) {
1930
1931                     TRIE_READ_CHAR;
1932
1933                     if ( uvc < 256 ) {
1934                         charid = trie->charmap[ uvc ];
1935                     } else {
1936                         SV* const * const svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 0);
1937                         charid = svpp ? (U16)SvIV(*svpp) : 0;
1938                     }
1939                     if ( charid ) {
1940                         charid--;
1941                         if ( !trie->trans[ state + charid ].next ) {
1942                             trie->trans[ state + charid ].next = next_alloc;
1943                             trie->trans[ state ].check++;
1944                             prev_states[TRIE_NODENUM(next_alloc)]
1945                                     = TRIE_NODENUM(state);
1946                             next_alloc += trie->uniquecharcount;
1947                         }
1948                         state = trie->trans[ state + charid ].next;
1949                     } else {
1950                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %"IVdf, uvc );
1951                     }
1952                     /* charid is now 0 if we dont know the char read, or nonzero if we do */
1953                 }
1954             }
1955             accept_state = TRIE_NODENUM( state );
1956             TRIE_HANDLE_WORD(accept_state);
1957
1958         } /* end second pass */
1959
1960         /* and now dump it out before we compress it */
1961         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_table(trie, widecharmap,
1962                                                           revcharmap,
1963                                                           next_alloc, depth+1));
1964
1965         {
1966         /*
1967            * Inplace compress the table.*
1968
1969            For sparse data sets the table constructed by the trie algorithm will
1970            be mostly 0/FAIL transitions or to put it another way mostly empty.
1971            (Note that leaf nodes will not contain any transitions.)
1972
1973            This algorithm compresses the tables by eliminating most such
1974            transitions, at the cost of a modest bit of extra work during lookup:
1975
1976            - Each states[] entry contains a .base field which indicates the
1977            index in the state[] array wheres its transition data is stored.
1978
1979            - If .base is 0 there are no valid transitions from that node.
1980
1981            - If .base is nonzero then charid is added to it to find an entry in
1982            the trans array.
1983
1984            -If trans[states[state].base+charid].check!=state then the
1985            transition is taken to be a 0/Fail transition. Thus if there are fail
1986            transitions at the front of the node then the .base offset will point
1987            somewhere inside the previous nodes data (or maybe even into a node
1988            even earlier), but the .check field determines if the transition is
1989            valid.
1990
1991            XXX - wrong maybe?
1992            The following process inplace converts the table to the compressed
1993            table: We first do not compress the root node 1,and mark all its
1994            .check pointers as 1 and set its .base pointer as 1 as well. This
1995            allows us to do a DFA construction from the compressed table later,
1996            and ensures that any .base pointers we calculate later are greater
1997            than 0.
1998
1999            - We set 'pos' to indicate the first entry of the second node.
2000
2001            - We then iterate over the columns of the node, finding the first and
2002            last used entry at l and m. We then copy l..m into pos..(pos+m-l),
2003            and set the .check pointers accordingly, and advance pos
2004            appropriately and repreat for the next node. Note that when we copy
2005            the next pointers we have to convert them from the original
2006            NODEIDX form to NODENUM form as the former is not valid post
2007            compression.
2008
2009            - If a node has no transitions used we mark its base as 0 and do not
2010            advance the pos pointer.
2011
2012            - If a node only has one transition we use a second pointer into the
2013            structure to fill in allocated fail transitions from other states.
2014            This pointer is independent of the main pointer and scans forward
2015            looking for null transitions that are allocated to a state. When it
2016            finds one it writes the single transition into the "hole".  If the
2017            pointer doesnt find one the single transition is appended as normal.
2018
2019            - Once compressed we can Renew/realloc the structures to release the
2020            excess space.
2021
2022            See "Table-Compression Methods" in sec 3.9 of the Red Dragon,
2023            specifically Fig 3.47 and the associated pseudocode.
2024
2025            demq
2026         */
2027         const U32 laststate = TRIE_NODENUM( next_alloc );
2028         U32 state, charid;
2029         U32 pos = 0, zp=0;
2030         trie->statecount = laststate;
2031
2032         for ( state = 1 ; state < laststate ; state++ ) {
2033             U8 flag = 0;
2034             const U32 stateidx = TRIE_NODEIDX( state );
2035             const U32 o_used = trie->trans[ stateidx ].check;
2036             U32 used = trie->trans[ stateidx ].check;
2037             trie->trans[ stateidx ].check = 0;
2038
2039             for ( charid = 0 ; used && charid < trie->uniquecharcount ; charid++ ) {
2040                 if ( flag || trie->trans[ stateidx + charid ].next ) {
2041                     if ( trie->trans[ stateidx + charid ].next ) {
2042                         if (o_used == 1) {
2043                             for ( ; zp < pos ; zp++ ) {
2044                                 if ( ! trie->trans[ zp ].next ) {
2045                                     break;
2046                                 }
2047                             }
2048                             trie->states[ state ].trans.base = zp + trie->uniquecharcount - charid ;
2049                             trie->trans[ zp ].next = SAFE_TRIE_NODENUM( trie->trans[ stateidx + charid ].next );
2050                             trie->trans[ zp ].check = state;
2051                             if ( ++zp > pos ) pos = zp;
2052                             break;
2053                         }
2054                         used--;
2055                     }
2056                     if ( !flag ) {
2057                         flag = 1;
2058                         trie->states[ state ].trans.base = pos + trie->uniquecharcount - charid ;
2059                     }
2060                     trie->trans[ pos ].next = SAFE_TRIE_NODENUM( trie->trans[ stateidx + charid ].next );
2061                     trie->trans[ pos ].check = state;
2062                     pos++;
2063                 }
2064             }
2065         }
2066         trie->lasttrans = pos + 1;
2067         trie->states = (reg_trie_state *)
2068             PerlMemShared_realloc( trie->states, laststate
2069                                    * sizeof(reg_trie_state) );
2070         DEBUG_TRIE_COMPILE_MORE_r(
2071                 PerlIO_printf( Perl_debug_log,
2072                     "%*sAlloc: %d Orig: %"IVdf" elements, Final:%"IVdf". Savings of %%%5.2f\n",
2073                     (int)depth * 2 + 2,"",
2074                     (int)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount + 1 ),
2075                     (IV)next_alloc,
2076                     (IV)pos,
2077                     ( ( next_alloc - pos ) * 100 ) / (double)next_alloc );
2078             );
2079
2080         } /* end table compress */
2081     }
2082     DEBUG_TRIE_COMPILE_MORE_r(
2083             PerlIO_printf(Perl_debug_log, "%*sStatecount:%"UVxf" Lasttrans:%"UVxf"\n",
2084                 (int)depth * 2 + 2, "",
2085                 (UV)trie->statecount,
2086                 (UV)trie->lasttrans)
2087     );
2088     /* resize the trans array to remove unused space */
2089     trie->trans = (reg_trie_trans *)
2090         PerlMemShared_realloc( trie->trans, trie->lasttrans
2091                                * sizeof(reg_trie_trans) );
2092
2093     {   /* Modify the program and insert the new TRIE node */ 
2094         U8 nodetype =(U8)(flags & 0xFF);
2095         char *str=NULL;
2096         
2097 #ifdef DEBUGGING
2098         regnode *optimize = NULL;
2099 #ifdef RE_TRACK_PATTERN_OFFSETS
2100
2101         U32 mjd_offset = 0;
2102         U32 mjd_nodelen = 0;
2103 #endif /* RE_TRACK_PATTERN_OFFSETS */
2104 #endif /* DEBUGGING */
2105         /*
2106            This means we convert either the first branch or the first Exact,
2107            depending on whether the thing following (in 'last') is a branch
2108            or not and whther first is the startbranch (ie is it a sub part of
2109            the alternation or is it the whole thing.)
2110            Assuming its a sub part we convert the EXACT otherwise we convert
2111            the whole branch sequence, including the first.
2112          */
2113         /* Find the node we are going to overwrite */
2114         if ( first != startbranch || OP( last ) == BRANCH ) {
2115             /* branch sub-chain */
2116             NEXT_OFF( first ) = (U16)(last - first);
2117 #ifdef RE_TRACK_PATTERN_OFFSETS
2118             DEBUG_r({
2119                 mjd_offset= Node_Offset((convert));
2120                 mjd_nodelen= Node_Length((convert));
2121             });
2122 #endif
2123             /* whole branch chain */
2124         }
2125 #ifdef RE_TRACK_PATTERN_OFFSETS
2126         else {
2127             DEBUG_r({
2128                 const  regnode *nop = NEXTOPER( convert );
2129                 mjd_offset= Node_Offset((nop));
2130                 mjd_nodelen= Node_Length((nop));
2131             });
2132         }
2133         DEBUG_OPTIMISE_r(
2134             PerlIO_printf(Perl_debug_log, "%*sMJD offset:%"UVuf" MJD length:%"UVuf"\n",
2135                 (int)depth * 2 + 2, "",
2136                 (UV)mjd_offset, (UV)mjd_nodelen)
2137         );
2138 #endif
2139         /* But first we check to see if there is a common prefix we can 
2140            split out as an EXACT and put in front of the TRIE node.  */
2141         trie->startstate= 1;
2142         if ( trie->bitmap && !widecharmap && !trie->jump  ) {
2143             U32 state;
2144             for ( state = 1 ; state < trie->statecount-1 ; state++ ) {
2145                 U32 ofs = 0;
2146                 I32 idx = -1;
2147                 U32 count = 0;
2148                 const U32 base = trie->states[ state ].trans.base;
2149
2150                 if ( trie->states[state].wordnum )
2151                         count = 1;
2152
2153                 for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
2154                     if ( ( base + ofs >= trie->uniquecharcount ) &&
2155                          ( base + ofs - trie->uniquecharcount < trie->lasttrans ) &&
2156                          trie->trans[ base + ofs - trie->uniquecharcount ].check == state )
2157                     {
2158                         if ( ++count > 1 ) {
2159                             SV **tmp = av_fetch( revcharmap, ofs, 0);
2160                             const U8 *ch = (U8*)SvPV_nolen_const( *tmp );
2161                             if ( state == 1 ) break;
2162                             if ( count == 2 ) {
2163                                 Zero(trie->bitmap, ANYOF_BITMAP_SIZE, char);
2164                                 DEBUG_OPTIMISE_r(
2165                                     PerlIO_printf(Perl_debug_log,
2166                                         "%*sNew Start State=%"UVuf" Class: [",
2167                                         (int)depth * 2 + 2, "",
2168                                         (UV)state));
2169                                 if (idx >= 0) {
2170                                     SV ** const tmp = av_fetch( revcharmap, idx, 0);
2171                                     const U8 * const ch = (U8*)SvPV_nolen_const( *tmp );
2172
2173                                     TRIE_BITMAP_SET(trie,*ch);
2174                                     if ( folder )
2175                                         TRIE_BITMAP_SET(trie, folder[ *ch ]);
2176                                     DEBUG_OPTIMISE_r(
2177                                         PerlIO_printf(Perl_debug_log, "%s", (char*)ch)
2178                                     );
2179                                 }
2180                             }
2181                             TRIE_BITMAP_SET(trie,*ch);
2182                             if ( folder )
2183                                 TRIE_BITMAP_SET(trie,folder[ *ch ]);
2184                             DEBUG_OPTIMISE_r(PerlIO_printf( Perl_debug_log,"%s", ch));
2185                         }
2186                         idx = ofs;
2187                     }
2188                 }
2189                 if ( count == 1 ) {
2190                     SV **tmp = av_fetch( revcharmap, idx, 0);
2191                     STRLEN len;
2192                     char *ch = SvPV( *tmp, len );
2193                     DEBUG_OPTIMISE_r({
2194                         SV *sv=sv_newmortal();
2195                         PerlIO_printf( Perl_debug_log,
2196                             "%*sPrefix State: %"UVuf" Idx:%"UVuf" Char='%s'\n",
2197                             (int)depth * 2 + 2, "",
2198                             (UV)state, (UV)idx, 
2199                             pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), 6, 
2200                                 PL_colors[0], PL_colors[1],
2201                                 (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
2202                                 PERL_PV_ESCAPE_FIRSTCHAR 
2203                             )
2204                         );
2205                     });
2206                     if ( state==1 ) {
2207                         OP( convert ) = nodetype;
2208                         str=STRING(convert);
2209                         STR_LEN(convert)=0;
2210                     }
2211                     STR_LEN(convert) += len;
2212                     while (len--)
2213                         *str++ = *ch++;
2214                 } else {
2215 #ifdef DEBUGGING            
2216                     if (state>1)
2217                         DEBUG_OPTIMISE_r(PerlIO_printf( Perl_debug_log,"]\n"));
2218 #endif
2219                     break;
2220                 }
2221             }
2222             trie->prefixlen = (state-1);
2223             if (str) {
2224                 regnode *n = convert+NODE_SZ_STR(convert);
2225                 NEXT_OFF(convert) = NODE_SZ_STR(convert);
2226                 trie->startstate = state;
2227                 trie->minlen -= (state - 1);
2228                 trie->maxlen -= (state - 1);
2229 #ifdef DEBUGGING
2230                /* At least the UNICOS C compiler choked on this
2231                 * being argument to DEBUG_r(), so let's just have
2232                 * it right here. */
2233                if (
2234 #ifdef PERL_EXT_RE_BUILD
2235                    1
2236 #else
2237                    DEBUG_r_TEST
2238 #endif
2239                    ) {
2240                    regnode *fix = convert;
2241                    U32 word = trie->wordcount;
2242                    mjd_nodelen++;
2243                    Set_Node_Offset_Length(convert, mjd_offset, state - 1);
2244                    while( ++fix < n ) {
2245                        Set_Node_Offset_Length(fix, 0, 0);
2246                    }
2247                    while (word--) {
2248                        SV ** const tmp = av_fetch( trie_words, word, 0 );
2249                        if (tmp) {
2250                            if ( STR_LEN(convert) <= SvCUR(*tmp) )
2251                                sv_chop(*tmp, SvPV_nolen(*tmp) + STR_LEN(convert));
2252                            else
2253                                sv_chop(*tmp, SvPV_nolen(*tmp) + SvCUR(*tmp));
2254                        }
2255                    }
2256                }
2257 #endif
2258                 if (trie->maxlen) {
2259                     convert = n;
2260                 } else {
2261                     NEXT_OFF(convert) = (U16)(tail - convert);
2262                     DEBUG_r(optimize= n);
2263                 }
2264             }
2265         }
2266         if (!jumper) 
2267             jumper = last; 
2268         if ( trie->maxlen ) {
2269             NEXT_OFF( convert ) = (U16)(tail - convert);
2270             ARG_SET( convert, data_slot );
2271             /* Store the offset to the first unabsorbed branch in 
2272                jump[0], which is otherwise unused by the jump logic. 
2273                We use this when dumping a trie and during optimisation. */
2274             if (trie->jump) 
2275                 trie->jump[0] = (U16)(nextbranch - convert);
2276             
2277             /* If the start state is not accepting (meaning there is no empty string/NOTHING)
2278              *   and there is a bitmap
2279              *   and the first "jump target" node we found leaves enough room
2280              * then convert the TRIE node into a TRIEC node, with the bitmap
2281              * embedded inline in the opcode - this is hypothetically faster.
2282              */
2283             if ( !trie->states[trie->startstate].wordnum
2284                  && trie->bitmap
2285                  && ( (char *)jumper - (char *)convert) >= (int)sizeof(struct regnode_charclass) )
2286             {
2287                 OP( convert ) = TRIEC;
2288                 Copy(trie->bitmap, ((struct regnode_charclass *)convert)->bitmap, ANYOF_BITMAP_SIZE, char);
2289                 PerlMemShared_free(trie->bitmap);
2290                 trie->bitmap= NULL;
2291             } else 
2292                 OP( convert ) = TRIE;
2293
2294             /* store the type in the flags */
2295             convert->flags = nodetype;
2296             DEBUG_r({
2297             optimize = convert 
2298                       + NODE_STEP_REGNODE 
2299                       + regarglen[ OP( convert ) ];
2300             });
2301             /* XXX We really should free up the resource in trie now, 
2302                    as we won't use them - (which resources?) dmq */
2303         }
2304         /* needed for dumping*/
2305         DEBUG_r(if (optimize) {
2306             regnode *opt = convert;
2307
2308             while ( ++opt < optimize) {
2309                 Set_Node_Offset_Length(opt,0,0);
2310             }
2311             /* 
2312                 Try to clean up some of the debris left after the 
2313                 optimisation.
2314              */
2315             while( optimize < jumper ) {
2316                 mjd_nodelen += Node_Length((optimize));
2317                 OP( optimize ) = OPTIMIZED;
2318                 Set_Node_Offset_Length(optimize,0,0);
2319                 optimize++;
2320             }
2321             Set_Node_Offset_Length(convert,mjd_offset,mjd_nodelen);
2322         });
2323     } /* end node insert */
2324     REH_CALL_COMP_NODE_HOOK(pRExC_state->rx, convert);
2325
2326     /*  Finish populating the prev field of the wordinfo array.  Walk back
2327      *  from each accept state until we find another accept state, and if
2328      *  so, point the first word's .prev field at the second word. If the
2329      *  second already has a .prev field set, stop now. This will be the
2330      *  case either if we've already processed that word's accept state,
2331      *  or that state had multiple words, and the overspill words were
2332      *  already linked up earlier.
2333      */
2334     {
2335         U16 word;
2336         U32 state;
2337         U16 prev;
2338
2339         for (word=1; word <= trie->wordcount; word++) {
2340             prev = 0;
2341             if (trie->wordinfo[word].prev)
2342                 continue;
2343             state = trie->wordinfo[word].accept;
2344             while (state) {
2345                 state = prev_states[state];
2346                 if (!state)
2347                     break;
2348                 prev = trie->states[state].wordnum;
2349                 if (prev)
2350                     break;
2351             }
2352             trie->wordinfo[word].prev = prev;
2353         }
2354         Safefree(prev_states);
2355     }
2356
2357
2358     /* and now dump out the compressed format */
2359     DEBUG_TRIE_COMPILE_r(dump_trie(trie, widecharmap, revcharmap, depth+1));
2360
2361     RExC_rxi->data->data[ data_slot + 1 ] = (void*)widecharmap;
2362 #ifdef DEBUGGING
2363     RExC_rxi->data->data[ data_slot + TRIE_WORDS_OFFSET ] = (void*)trie_words;
2364     RExC_rxi->data->data[ data_slot + 3 ] = (void*)revcharmap;
2365 #else
2366     SvREFCNT_dec(revcharmap);
2367 #endif
2368     return trie->jump 
2369            ? MADE_JUMP_TRIE 
2370            : trie->startstate>1 
2371              ? MADE_EXACT_TRIE 
2372              : MADE_TRIE;
2373 }
2374
2375 STATIC void
2376 S_make_trie_failtable(pTHX_ RExC_state_t *pRExC_state, regnode *source,  regnode *stclass, U32 depth)
2377 {
2378 /* The Trie is constructed and compressed now so we can build a fail array if it's needed
2379
2380    This is basically the Aho-Corasick algorithm. Its from exercise 3.31 and 3.32 in the
2381    "Red Dragon" -- Compilers, principles, techniques, and tools. Aho, Sethi, Ullman 1985/88
2382    ISBN 0-201-10088-6
2383
2384    We find the fail state for each state in the trie, this state is the longest proper
2385    suffix of the current state's 'word' that is also a proper prefix of another word in our
2386    trie. State 1 represents the word '' and is thus the default fail state. This allows
2387    the DFA not to have to restart after its tried and failed a word at a given point, it
2388    simply continues as though it had been matching the other word in the first place.
2389    Consider
2390       'abcdgu'=~/abcdefg|cdgu/
2391    When we get to 'd' we are still matching the first word, we would encounter 'g' which would
2392    fail, which would bring us to the state representing 'd' in the second word where we would
2393    try 'g' and succeed, proceeding to match 'cdgu'.
2394  */
2395  /* add a fail transition */
2396     const U32 trie_offset = ARG(source);
2397     reg_trie_data *trie=(reg_trie_data *)RExC_rxi->data->data[trie_offset];
2398     U32 *q;
2399     const U32 ucharcount = trie->uniquecharcount;
2400     const U32 numstates = trie->statecount;
2401     const U32 ubound = trie->lasttrans + ucharcount;
2402     U32 q_read = 0;
2403     U32 q_write = 0;
2404     U32 charid;
2405     U32 base = trie->states[ 1 ].trans.base;
2406     U32 *fail;
2407     reg_ac_data *aho;
2408     const U32 data_slot = add_data( pRExC_state, 1, "T" );
2409     GET_RE_DEBUG_FLAGS_DECL;
2410
2411     PERL_ARGS_ASSERT_MAKE_TRIE_FAILTABLE;
2412 #ifndef DEBUGGING
2413     PERL_UNUSED_ARG(depth);
2414 #endif
2415
2416
2417     ARG_SET( stclass, data_slot );
2418     aho = (reg_ac_data *) PerlMemShared_calloc( 1, sizeof(reg_ac_data) );
2419     RExC_rxi->data->data[ data_slot ] = (void*)aho;
2420     aho->trie=trie_offset;
2421     aho->states=(reg_trie_state *)PerlMemShared_malloc( numstates * sizeof(reg_trie_state) );
2422     Copy( trie->states, aho->states, numstates, reg_trie_state );
2423     Newxz( q, numstates, U32);
2424     aho->fail = (U32 *) PerlMemShared_calloc( numstates, sizeof(U32) );
2425     aho->refcount = 1;
2426     fail = aho->fail;
2427     /* initialize fail[0..1] to be 1 so that we always have
2428        a valid final fail state */
2429     fail[ 0 ] = fail[ 1 ] = 1;
2430
2431     for ( charid = 0; charid < ucharcount ; charid++ ) {
2432         const U32 newstate = TRIE_TRANS_STATE( 1, base, ucharcount, charid, 0 );
2433         if ( newstate ) {
2434             q[ q_write ] = newstate;
2435             /* set to point at the root */
2436             fail[ q[ q_write++ ] ]=1;
2437         }
2438     }
2439     while ( q_read < q_write) {
2440         const U32 cur = q[ q_read++ % numstates ];
2441         base = trie->states[ cur ].trans.base;
2442
2443         for ( charid = 0 ; charid < ucharcount ; charid++ ) {
2444             const U32 ch_state = TRIE_TRANS_STATE( cur, base, ucharcount, charid, 1 );
2445             if (ch_state) {
2446                 U32 fail_state = cur;
2447                 U32 fail_base;
2448                 do {
2449                     fail_state = fail[ fail_state ];
2450                     fail_base = aho->states[ fail_state ].trans.base;
2451                 } while ( !TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 ) );
2452
2453                 fail_state = TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 );
2454                 fail[ ch_state ] = fail_state;
2455                 if ( !aho->states[ ch_state ].wordnum && aho->states[ fail_state ].wordnum )
2456                 {
2457                         aho->states[ ch_state ].wordnum =  aho->states[ fail_state ].wordnum;
2458                 }
2459                 q[ q_write++ % numstates] = ch_state;
2460             }
2461         }
2462     }
2463     /* restore fail[0..1] to 0 so that we "fall out" of the AC loop
2464        when we fail in state 1, this allows us to use the
2465        charclass scan to find a valid start char. This is based on the principle
2466        that theres a good chance the string being searched contains lots of stuff
2467        that cant be a start char.
2468      */
2469     fail[ 0 ] = fail[ 1 ] = 0;
2470     DEBUG_TRIE_COMPILE_r({
2471         PerlIO_printf(Perl_debug_log,
2472                       "%*sStclass Failtable (%"UVuf" states): 0", 
2473                       (int)(depth * 2), "", (UV)numstates
2474         );
2475         for( q_read=1; q_read<numstates; q_read++ ) {
2476             PerlIO_printf(Perl_debug_log, ", %"UVuf, (UV)fail[q_read]);
2477         }
2478         PerlIO_printf(Perl_debug_log, "\n");
2479     });
2480     Safefree(q);
2481     /*RExC_seen |= REG_SEEN_TRIEDFA;*/
2482 }
2483
2484
2485 /*
2486  * There are strange code-generation bugs caused on sparc64 by gcc-2.95.2.
2487  * These need to be revisited when a newer toolchain becomes available.
2488  */
2489 #if defined(__sparc64__) && defined(__GNUC__)
2490 #   if __GNUC__ < 2 || (__GNUC__ == 2 && __GNUC_MINOR__ < 96)
2491 #       undef  SPARC64_GCC_WORKAROUND
2492 #       define SPARC64_GCC_WORKAROUND 1
2493 #   endif
2494 #endif
2495
2496 #define DEBUG_PEEP(str,scan,depth) \
2497     DEBUG_OPTIMISE_r({if (scan){ \
2498        SV * const mysv=sv_newmortal(); \
2499        regnode *Next = regnext(scan); \
2500        regprop(RExC_rx, mysv, scan); \
2501        PerlIO_printf(Perl_debug_log, "%*s" str ">%3d: %s (%d)\n", \
2502        (int)depth*2, "", REG_NODE_NUM(scan), SvPV_nolen_const(mysv),\
2503        Next ? (REG_NODE_NUM(Next)) : 0 ); \
2504    }});
2505
2506
2507
2508
2509
2510 #define JOIN_EXACT(scan,min,flags) \
2511     if (PL_regkind[OP(scan)] == EXACT) \
2512         join_exact(pRExC_state,(scan),(min),(flags),NULL,depth+1)
2513
2514 STATIC U32
2515 S_join_exact(pTHX_ RExC_state_t *pRExC_state, regnode *scan, I32 *min, U32 flags,regnode *val, U32 depth) {
2516     /* Merge several consecutive EXACTish nodes into one. */
2517     regnode *n = regnext(scan);
2518     U32 stringok = 1;
2519     regnode *next = scan + NODE_SZ_STR(scan);
2520     U32 merged = 0;
2521     U32 stopnow = 0;
2522 #ifdef DEBUGGING
2523     regnode *stop = scan;
2524     GET_RE_DEBUG_FLAGS_DECL;
2525 #else
2526     PERL_UNUSED_ARG(depth);
2527 #endif
2528
2529     PERL_ARGS_ASSERT_JOIN_EXACT;
2530 #ifndef EXPERIMENTAL_INPLACESCAN
2531     PERL_UNUSED_ARG(flags);
2532     PERL_UNUSED_ARG(val);
2533 #endif
2534     DEBUG_PEEP("join",scan,depth);
2535     
2536     /* Skip NOTHING, merge EXACT*. */
2537     while (n &&
2538            ( PL_regkind[OP(n)] == NOTHING ||
2539              (stringok && (OP(n) == OP(scan))))
2540            && NEXT_OFF(n)
2541            && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
2542         
2543         if (OP(n) == TAIL || n > next)
2544             stringok = 0;
2545         if (PL_regkind[OP(n)] == NOTHING) {
2546             DEBUG_PEEP("skip:",n,depth);
2547             NEXT_OFF(scan) += NEXT_OFF(n);
2548             next = n + NODE_STEP_REGNODE;
2549 #ifdef DEBUGGING
2550             if (stringok)
2551                 stop = n;
2552 #endif
2553             n = regnext(n);
2554         }
2555         else if (stringok) {
2556             const unsigned int oldl = STR_LEN(scan);
2557             regnode * const nnext = regnext(n);
2558             
2559             DEBUG_PEEP("merg",n,depth);
2560             
2561             merged++;
2562             if (oldl + STR_LEN(n) > U8_MAX)
2563                 break;
2564             NEXT_OFF(scan) += NEXT_OFF(n);
2565             STR_LEN(scan) += STR_LEN(n);
2566             next = n + NODE_SZ_STR(n);
2567             /* Now we can overwrite *n : */
2568             Move(STRING(n), STRING(scan) + oldl, STR_LEN(n), char);
2569 #ifdef DEBUGGING
2570             stop = next - 1;
2571 #endif
2572             n = nnext;
2573             if (stopnow) break;
2574         }
2575
2576 #ifdef EXPERIMENTAL_INPLACESCAN
2577         if (flags && !NEXT_OFF(n)) {
2578             DEBUG_PEEP("atch", val, depth);
2579             if (reg_off_by_arg[OP(n)]) {
2580                 ARG_SET(n, val - n);
2581             }
2582             else {
2583                 NEXT_OFF(n) = val - n;
2584             }
2585             stopnow = 1;
2586         }
2587 #endif
2588     }
2589 #define GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS   0x0390
2590 #define IOTA_D_T        GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS
2591 #define GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS     0x03B0
2592 #define UPSILON_D_T     GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS
2593
2594     if (UTF
2595         && ( OP(scan) == EXACTF || OP(scan) == EXACTFU || OP(scan) == EXACTFA)
2596         && ( STR_LEN(scan) >= 6 ) )
2597     {
2598     /*
2599     Two problematic code points in Unicode casefolding of EXACT nodes:
2600     
2601     U+0390 - GREEK SMALL LETTER IOTA WITH DIALYTIKA AND TONOS
2602     U+03B0 - GREEK SMALL LETTER UPSILON WITH DIALYTIKA AND TONOS
2603     
2604     which casefold to
2605     
2606     Unicode                      UTF-8
2607     
2608     U+03B9 U+0308 U+0301         0xCE 0xB9 0xCC 0x88 0xCC 0x81
2609     U+03C5 U+0308 U+0301         0xCF 0x85 0xCC 0x88 0xCC 0x81
2610     
2611     This means that in case-insensitive matching (or "loose matching",
2612     as Unicode calls it), an EXACTF of length six (the UTF-8 encoded byte
2613     length of the above casefolded versions) can match a target string
2614     of length two (the byte length of UTF-8 encoded U+0390 or U+03B0).
2615     This would rather mess up the minimum length computation.
2616     
2617     What we'll do is to look for the tail four bytes, and then peek
2618     at the preceding two bytes to see whether we need to decrease
2619     the minimum length by four (six minus two).
2620     
2621     Thanks to the design of UTF-8, there cannot be false matches:
2622     A sequence of valid UTF-8 bytes cannot be a subsequence of
2623     another valid sequence of UTF-8 bytes.
2624     
2625     */
2626          char * const s0 = STRING(scan), *s, *t;
2627          char * const s1 = s0 + STR_LEN(scan) - 1;
2628          char * const s2 = s1 - 4;
2629 #ifdef EBCDIC /* RD tunifold greek 0390 and 03B0 */
2630          const char t0[] = "\xaf\x49\xaf\x42";
2631 #else
2632          const char t0[] = "\xcc\x88\xcc\x81";
2633 #endif
2634          const char * const t1 = t0 + 3;
2635     
2636          for (s = s0 + 2;
2637               s < s2 && (t = ninstr(s, s1, t0, t1));
2638               s = t + 4) {
2639 #ifdef EBCDIC
2640               if (((U8)t[-1] == 0x68 && (U8)t[-2] == 0xB4) ||
2641                   ((U8)t[-1] == 0x46 && (U8)t[-2] == 0xB5))
2642 #else
2643               if (((U8)t[-1] == 0xB9 && (U8)t[-2] == 0xCE) ||
2644                   ((U8)t[-1] == 0x85 && (U8)t[-2] == 0xCF))
2645 #endif
2646                    *min -= 4;
2647          }
2648     }
2649     
2650 #ifdef DEBUGGING
2651     /* Allow dumping but overwriting the collection of skipped
2652      * ops and/or strings with fake optimized ops */
2653     n = scan + NODE_SZ_STR(scan);
2654     while (n <= stop) {
2655         OP(n) = OPTIMIZED;
2656         FLAGS(n) = 0;
2657         NEXT_OFF(n) = 0;
2658         n++;
2659     }
2660 #endif
2661     DEBUG_OPTIMISE_r(if (merged){DEBUG_PEEP("finl",scan,depth)});
2662     return stopnow;
2663 }
2664
2665 /* REx optimizer.  Converts nodes into quicker variants "in place".
2666    Finds fixed substrings.  */
2667
2668 /* Stops at toplevel WHILEM as well as at "last". At end *scanp is set
2669    to the position after last scanned or to NULL. */
2670
2671 #define INIT_AND_WITHP \
2672     assert(!and_withp); \
2673     Newx(and_withp,1,struct regnode_charclass_class); \
2674     SAVEFREEPV(and_withp)
2675
2676 /* this is a chain of data about sub patterns we are processing that
2677    need to be handled separately/specially in study_chunk. Its so
2678    we can simulate recursion without losing state.  */
2679 struct scan_frame;
2680 typedef struct scan_frame {
2681     regnode *last;  /* last node to process in this frame */
2682     regnode *next;  /* next node to process when last is reached */
2683     struct scan_frame *prev; /*previous frame*/
2684     I32 stop; /* what stopparen do we use */
2685 } scan_frame;
2686
2687
2688 #define SCAN_COMMIT(s, data, m) scan_commit(s, data, m, is_inf)
2689
2690 #define CASE_SYNST_FNC(nAmE)                                       \
2691 case nAmE:                                                         \
2692     if (flags & SCF_DO_STCLASS_AND) {                              \
2693             for (value = 0; value < 256; value++)                  \
2694                 if (!is_ ## nAmE ## _cp(value))                       \
2695                     ANYOF_BITMAP_CLEAR(data->start_class, value);  \
2696     }                                                              \
2697     else {                                                         \
2698             for (value = 0; value < 256; value++)                  \
2699                 if (is_ ## nAmE ## _cp(value))                        \
2700                     ANYOF_BITMAP_SET(data->start_class, value);    \
2701     }                                                              \
2702     break;                                                         \
2703 case N ## nAmE:                                                    \
2704     if (flags & SCF_DO_STCLASS_AND) {                              \
2705             for (value = 0; value < 256; value++)                   \
2706                 if (is_ ## nAmE ## _cp(value))                         \
2707                     ANYOF_BITMAP_CLEAR(data->start_class, value);   \
2708     }                                                               \
2709     else {                                                          \
2710             for (value = 0; value < 256; value++)                   \
2711                 if (!is_ ## nAmE ## _cp(value))                        \
2712                     ANYOF_BITMAP_SET(data->start_class, value);     \
2713     }                                                               \
2714     break
2715
2716
2717
2718 STATIC I32
2719 S_study_chunk(pTHX_ RExC_state_t *pRExC_state, regnode **scanp,
2720                         I32 *minlenp, I32 *deltap,
2721                         regnode *last,
2722                         scan_data_t *data,
2723                         I32 stopparen,
2724                         U8* recursed,
2725                         struct regnode_charclass_class *and_withp,
2726                         U32 flags, U32 depth)
2727                         /* scanp: Start here (read-write). */
2728                         /* deltap: Write maxlen-minlen here. */
2729                         /* last: Stop before this one. */
2730                         /* data: string data about the pattern */
2731                         /* stopparen: treat close N as END */
2732                         /* recursed: which subroutines have we recursed into */
2733                         /* and_withp: Valid if flags & SCF_DO_STCLASS_OR */
2734 {
2735     dVAR;
2736     I32 min = 0, pars = 0, code;
2737     regnode *scan = *scanp, *next;
2738     I32 delta = 0;
2739     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
2740     int is_inf_internal = 0;            /* The studied chunk is infinite */
2741     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
2742     scan_data_t data_fake;
2743     SV *re_trie_maxbuff = NULL;
2744     regnode *first_non_open = scan;
2745     I32 stopmin = I32_MAX;
2746     scan_frame *frame = NULL;
2747     GET_RE_DEBUG_FLAGS_DECL;
2748
2749     PERL_ARGS_ASSERT_STUDY_CHUNK;
2750
2751 #ifdef DEBUGGING
2752     StructCopy(&zero_scan_data, &data_fake, scan_data_t);
2753 #endif
2754
2755     if ( depth == 0 ) {
2756         while (first_non_open && OP(first_non_open) == OPEN)
2757             first_non_open=regnext(first_non_open);
2758     }
2759
2760
2761   fake_study_recurse:
2762     while ( scan && OP(scan) != END && scan < last ){
2763         /* Peephole optimizer: */
2764         DEBUG_STUDYDATA("Peep:", data,depth);
2765         DEBUG_PEEP("Peep",scan,depth);
2766         JOIN_EXACT(scan,&min,0);
2767
2768         /* Follow the next-chain of the current node and optimize
2769            away all the NOTHINGs from it.  */
2770         if (OP(scan) != CURLYX) {
2771             const int max = (reg_off_by_arg[OP(scan)]
2772                        ? I32_MAX
2773                        /* I32 may be smaller than U16 on CRAYs! */
2774                        : (I32_MAX < U16_MAX ? I32_MAX : U16_MAX));
2775             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
2776             int noff;
2777             regnode *n = scan;
2778         
2779             /* Skip NOTHING and LONGJMP. */
2780             while ((n = regnext(n))
2781                    && ((PL_regkind[OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
2782                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
2783                    && off + noff < max)
2784                 off += noff;
2785             if (reg_off_by_arg[OP(scan)])
2786                 ARG(scan) = off;
2787             else
2788                 NEXT_OFF(scan) = off;
2789         }
2790
2791
2792
2793         /* The principal pseudo-switch.  Cannot be a switch, since we
2794            look into several different things.  */
2795         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
2796                    || OP(scan) == IFTHEN) {
2797             next = regnext(scan);
2798             code = OP(scan);
2799             /* demq: the op(next)==code check is to see if we have "branch-branch" AFAICT */
2800         
2801             if (OP(next) == code || code == IFTHEN) {
2802                 /* NOTE - There is similar code to this block below for handling
2803                    TRIE nodes on a re-study.  If you change stuff here check there
2804                    too. */
2805                 I32 max1 = 0, min1 = I32_MAX, num = 0;
2806                 struct regnode_charclass_class accum;
2807                 regnode * const startbranch=scan;
2808                 
2809                 if (flags & SCF_DO_SUBSTR)
2810                     SCAN_COMMIT(pRExC_state, data, minlenp); /* Cannot merge strings after this. */
2811                 if (flags & SCF_DO_STCLASS)
2812                     cl_init_zero(pRExC_state, &accum);
2813
2814                 while (OP(scan) == code) {
2815                     I32 deltanext, minnext, f = 0, fake;
2816                     struct regnode_charclass_class this_class;
2817
2818                     num++;
2819                     data_fake.flags = 0;
2820                     if (data) {
2821                         data_fake.whilem_c = data->whilem_c;
2822                         data_fake.last_closep = data->last_closep;
2823                     }
2824                     else
2825                         data_fake.last_closep = &fake;
2826
2827                     data_fake.pos_delta = delta;
2828                     next = regnext(scan);
2829                     scan = NEXTOPER(scan);
2830                     if (code != BRANCH)
2831                         scan = NEXTOPER(scan);
2832                     if (flags & SCF_DO_STCLASS) {
2833                         cl_init(pRExC_state, &this_class);
2834                         data_fake.start_class = &this_class;
2835                         f = SCF_DO_STCLASS_AND;
2836                     }
2837                     if (flags & SCF_WHILEM_VISITED_POS)
2838                         f |= SCF_WHILEM_VISITED_POS;
2839
2840                     /* we suppose the run is continuous, last=next...*/
2841                     minnext = study_chunk(pRExC_state, &scan, minlenp, &deltanext,
2842                                           next, &data_fake,
2843                                           stopparen, recursed, NULL, f,depth+1);
2844                     if (min1 > minnext)
2845                         min1 = minnext;
2846                     if (max1 < minnext + deltanext)
2847                         max1 = minnext + deltanext;
2848                     if (deltanext == I32_MAX)
2849                         is_inf = is_inf_internal = 1;
2850                     scan = next;
2851                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
2852                         pars++;
2853                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
2854                         if ( stopmin > minnext) 
2855                             stopmin = min + min1;
2856                         flags &= ~SCF_DO_SUBSTR;
2857                         if (data)
2858                             data->flags |= SCF_SEEN_ACCEPT;
2859                     }
2860                     if (data) {
2861                         if (data_fake.flags & SF_HAS_EVAL)
2862                             data->flags |= SF_HAS_EVAL;
2863                         data->whilem_c = data_fake.whilem_c;
2864                     }
2865                     if (flags & SCF_DO_STCLASS)
2866                         cl_or(pRExC_state, &accum, &this_class);
2867                 }
2868                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
2869                     min1 = 0;
2870                 if (flags & SCF_DO_SUBSTR) {
2871                     data->pos_min += min1;
2872                     data->pos_delta += max1 - min1;
2873                     if (max1 != min1 || is_inf)
2874                         data->longest = &(data->longest_float);
2875                 }
2876                 min += min1;
2877                 delta += max1 - min1;
2878                 if (flags & SCF_DO_STCLASS_OR) {
2879                     cl_or(pRExC_state, data->start_class, &accum);
2880                     if (min1) {
2881                         cl_and(data->start_class, and_withp);
2882                         flags &= ~SCF_DO_STCLASS;
2883                     }
2884                 }
2885                 else if (flags & SCF_DO_STCLASS_AND) {
2886                     if (min1) {
2887                         cl_and(data->start_class, &accum);
2888                         flags &= ~SCF_DO_STCLASS;
2889                     }
2890                     else {
2891                         /* Switch to OR mode: cache the old value of
2892                          * data->start_class */
2893                         INIT_AND_WITHP;
2894                         StructCopy(data->start_class, and_withp,
2895                                    struct regnode_charclass_class);
2896                         flags &= ~SCF_DO_STCLASS_AND;
2897                         StructCopy(&accum, data->start_class,
2898                                    struct regnode_charclass_class);
2899                         flags |= SCF_DO_STCLASS_OR;
2900                         data->start_class->flags |= ANYOF_EOS;
2901                     }
2902                 }
2903
2904                 if (PERL_ENABLE_TRIE_OPTIMISATION && OP( startbranch ) == BRANCH ) {
2905                 /* demq.
2906
2907                    Assuming this was/is a branch we are dealing with: 'scan' now
2908                    points at the item that follows the branch sequence, whatever
2909                    it is. We now start at the beginning of the sequence and look
2910                    for subsequences of
2911
2912                    BRANCH->EXACT=>x1
2913                    BRANCH->EXACT=>x2
2914                    tail
2915
2916                    which would be constructed from a pattern like /A|LIST|OF|WORDS/
2917
2918                    If we can find such a subsequence we need to turn the first
2919                    element into a trie and then add the subsequent branch exact
2920                    strings to the trie.
2921
2922                    We have two cases
2923
2924                      1. patterns where the whole set of branches can be converted. 
2925
2926                      2. patterns where only a subset can be converted.
2927
2928                    In case 1 we can replace the whole set with a single regop
2929                    for the trie. In case 2 we need to keep the start and end
2930                    branches so
2931
2932                      'BRANCH EXACT; BRANCH EXACT; BRANCH X'
2933                      becomes BRANCH TRIE; BRANCH X;
2934
2935                   There is an additional case, that being where there is a 
2936                   common prefix, which gets split out into an EXACT like node
2937                   preceding the TRIE node.
2938
2939                   If x(1..n)==tail then we can do a simple trie, if not we make
2940                   a "jump" trie, such that when we match the appropriate word
2941                   we "jump" to the appropriate tail node. Essentially we turn
2942                   a nested if into a case structure of sorts.
2943
2944                 */
2945                 
2946                     int made=0;
2947                     if (!re_trie_maxbuff) {
2948                         re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, 1);
2949                         if (!SvIOK(re_trie_maxbuff))
2950                             sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
2951                     }
2952                     if ( SvIV(re_trie_maxbuff)>=0  ) {
2953                         regnode *cur;
2954                         regnode *first = (regnode *)NULL;
2955                         regnode *last = (regnode *)NULL;
2956                         regnode *tail = scan;
2957                         U8 optype = 0;
2958                         U32 count=0;
2959
2960 #ifdef DEBUGGING
2961                         SV * const mysv = sv_newmortal();       /* for dumping */
2962 #endif
2963                         /* var tail is used because there may be a TAIL
2964                            regop in the way. Ie, the exacts will point to the
2965                            thing following the TAIL, but the last branch will
2966                            point at the TAIL. So we advance tail. If we
2967                            have nested (?:) we may have to move through several
2968                            tails.
2969                          */
2970
2971                         while ( OP( tail ) == TAIL ) {
2972                             /* this is the TAIL generated by (?:) */
2973                             tail = regnext( tail );
2974                         }
2975
2976                         
2977                         DEBUG_OPTIMISE_r({
2978                             regprop(RExC_rx, mysv, tail );
2979                             PerlIO_printf( Perl_debug_log, "%*s%s%s\n",
2980                                 (int)depth * 2 + 2, "", 
2981                                 "Looking for TRIE'able sequences. Tail node is: ", 
2982                                 SvPV_nolen_const( mysv )
2983                             );
2984                         });
2985                         
2986                         /*
2987
2988                            step through the branches, cur represents each
2989                            branch, noper is the first thing to be matched
2990                            as part of that branch and noper_next is the
2991                            regnext() of that node. if noper is an EXACT
2992                            and noper_next is the same as scan (our current
2993                            position in the regex) then the EXACT branch is
2994                            a possible optimization target. Once we have
2995                            two or more consecutive such branches we can
2996                            create a trie of the EXACT's contents and stich
2997                            it in place. If the sequence represents all of
2998                            the branches we eliminate the whole thing and
2999                            replace it with a single TRIE. If it is a
3000                            subsequence then we need to stitch it in. This
3001                            means the first branch has to remain, and needs
3002                            to be repointed at the item on the branch chain
3003                            following the last branch optimized. This could
3004                            be either a BRANCH, in which case the
3005                            subsequence is internal, or it could be the
3006                            item following the branch sequence in which
3007                            case the subsequence is at the end.
3008
3009                         */
3010
3011                         /* dont use tail as the end marker for this traverse */
3012                         for ( cur = startbranch ; cur != scan ; cur = regnext( cur ) ) {
3013                             regnode * const noper = NEXTOPER( cur );
3014 #if defined(DEBUGGING) || defined(NOJUMPTRIE)
3015                             regnode * const noper_next = regnext( noper );
3016 #endif
3017
3018                             DEBUG_OPTIMISE_r({
3019                                 regprop(RExC_rx, mysv, cur);
3020                                 PerlIO_printf( Perl_debug_log, "%*s- %s (%d)",
3021                                    (int)depth * 2 + 2,"", SvPV_nolen_const( mysv ), REG_NODE_NUM(cur) );
3022
3023                                 regprop(RExC_rx, mysv, noper);
3024                                 PerlIO_printf( Perl_debug_log, " -> %s",
3025                                     SvPV_nolen_const(mysv));
3026
3027                                 if ( noper_next ) {
3028                                   regprop(RExC_rx, mysv, noper_next );
3029                                   PerlIO_printf( Perl_debug_log,"\t=> %s\t",
3030                                     SvPV_nolen_const(mysv));
3031                                 }
3032                                 PerlIO_printf( Perl_debug_log, "(First==%d,Last==%d,Cur==%d)\n",
3033                                    REG_NODE_NUM(first), REG_NODE_NUM(last), REG_NODE_NUM(cur) );
3034                             });
3035                             if ( (((first && optype!=NOTHING) ? OP( noper ) == optype
3036                                          : PL_regkind[ OP( noper ) ] == EXACT )
3037                                   || OP(noper) == NOTHING )
3038 #ifdef NOJUMPTRIE
3039                                   && noper_next == tail
3040 #endif
3041                                   && count < U16_MAX)
3042                             {
3043                                 count++;
3044                                 if ( !first || optype == NOTHING ) {
3045                                     if (!first) first = cur;
3046                                     optype = OP( noper );
3047                                 } else {
3048                                     last = cur;
3049                                 }
3050                             } else {
3051 /* 
3052     Currently the trie logic handles case insensitive matching properly only
3053     when the pattern is UTF-8 and the node is EXACTFU (thus forcing unicode
3054     semantics).
3055
3056     If/when this is fixed the following define can be swapped
3057     in below to fully enable trie logic.
3058
3059 #define TRIE_TYPE_IS_SAFE 1
3060
3061 */
3062 #define TRIE_TYPE_IS_SAFE ((UTF && optype == EXACTFU) || optype==EXACT)
3063
3064                                 if ( last && TRIE_TYPE_IS_SAFE ) {
3065                                     make_trie( pRExC_state, 
3066                                             startbranch, first, cur, tail, count, 
3067                                             optype, depth+1 );
3068                                 }
3069                                 if ( PL_regkind[ OP( noper ) ] == EXACT
3070 #ifdef NOJUMPTRIE
3071                                      && noper_next == tail
3072 #endif
3073                                 ){
3074                                     count = 1;
3075                                     first = cur;
3076                                     optype = OP( noper );
3077                                 } else {
3078                                     count = 0;
3079                                     first = NULL;
3080                                     optype = 0;
3081                                 }
3082                                 last = NULL;
3083                             }
3084                         }
3085                         DEBUG_OPTIMISE_r({
3086                             regprop(RExC_rx, mysv, cur);
3087                             PerlIO_printf( Perl_debug_log,
3088                               "%*s- %s (%d) <SCAN FINISHED>\n", (int)depth * 2 + 2,
3089                               "", SvPV_nolen_const( mysv ),REG_NODE_NUM(cur));
3090
3091                         });
3092                         
3093                         if ( last && TRIE_TYPE_IS_SAFE ) {
3094                             made= make_trie( pRExC_state, startbranch, first, scan, tail, count, optype, depth+1 );
3095 #ifdef TRIE_STUDY_OPT   
3096                             if ( ((made == MADE_EXACT_TRIE && 
3097                                  startbranch == first) 
3098                                  || ( first_non_open == first )) && 
3099                                  depth==0 ) {
3100                                 flags |= SCF_TRIE_RESTUDY;
3101                                 if ( startbranch == first 
3102                                      && scan == tail ) 
3103                                 {
3104                                     RExC_seen &=~REG_TOP_LEVEL_BRANCHES;
3105                                 }
3106                             }
3107 #endif
3108                         }
3109                     }
3110                     
3111                 } /* do trie */
3112                 
3113             }
3114             else if ( code == BRANCHJ ) {  /* single branch is optimized. */
3115                 scan = NEXTOPER(NEXTOPER(scan));
3116             } else                      /* single branch is optimized. */
3117                 scan = NEXTOPER(scan);
3118             continue;
3119         } else if (OP(scan) == SUSPEND || OP(scan) == GOSUB || OP(scan) == GOSTART) {
3120             scan_frame *newframe = NULL;
3121             I32 paren;
3122             regnode *start;
3123             regnode *end;
3124
3125             if (OP(scan) != SUSPEND) {
3126             /* set the pointer */
3127                 if (OP(scan) == GOSUB) {
3128                     paren = ARG(scan);
3129                     RExC_recurse[ARG2L(scan)] = scan;
3130                     start = RExC_open_parens[paren-1];
3131                     end   = RExC_close_parens[paren-1];
3132                 } else {
3133                     paren = 0;
3134                     start = RExC_rxi->program + 1;
3135                     end   = RExC_opend;
3136                 }
3137                 if (!recursed) {
3138                     Newxz(recursed, (((RExC_npar)>>3) +1), U8);
3139                     SAVEFREEPV(recursed);
3140                 }
3141                 if (!PAREN_TEST(recursed,paren+1)) {
3142                     PAREN_SET(recursed,paren+1);
3143                     Newx(newframe,1,scan_frame);
3144                 } else {
3145                     if (flags & SCF_DO_SUBSTR) {
3146                         SCAN_COMMIT(pRExC_state,data,minlenp);
3147                         data->longest = &(data->longest_float);
3148                     }
3149                     is_inf = is_inf_internal = 1;
3150                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
3151                         cl_anything(pRExC_state, data->start_class);
3152                     flags &= ~SCF_DO_STCLASS;
3153                 }
3154             } else {
3155                 Newx(newframe,1,scan_frame);
3156                 paren = stopparen;
3157                 start = scan+2;
3158                 end = regnext(scan);
3159             }
3160             if (newframe) {
3161                 assert(start);
3162                 assert(end);
3163                 SAVEFREEPV(newframe);
3164                 newframe->next = regnext(scan);
3165                 newframe->last = last;
3166                 newframe->stop = stopparen;
3167                 newframe->prev = frame;
3168
3169                 frame = newframe;
3170                 scan =  start;
3171                 stopparen = paren;
3172                 last = end;
3173
3174                 continue;
3175             }
3176         }
3177         else if (OP(scan) == EXACT) {
3178             I32 l = STR_LEN(scan);
3179             UV uc;
3180             if (UTF) {
3181                 const U8 * const s = (U8*)STRING(scan);
3182                 l = utf8_length(s, s + l);
3183                 uc = utf8_to_uvchr(s, NULL);
3184             } else {
3185                 uc = *((U8*)STRING(scan));
3186             }
3187             min += l;
3188             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
3189                 /* The code below prefers earlier match for fixed
3190                    offset, later match for variable offset.  */
3191                 if (data->last_end == -1) { /* Update the start info. */
3192                     data->last_start_min = data->pos_min;
3193                     data->last_start_max = is_inf
3194                         ? I32_MAX : data->pos_min + data->pos_delta;
3195                 }
3196                 sv_catpvn(data->last_found, STRING(scan), STR_LEN(scan));
3197                 if (UTF)
3198                     SvUTF8_on(data->last_found);
3199                 {
3200                     SV * const sv = data->last_found;
3201                     MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
3202                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
3203                     if (mg && mg->mg_len >= 0)
3204                         mg->mg_len += utf8_length((U8*)STRING(scan),
3205                                                   (U8*)STRING(scan)+STR_LEN(scan));
3206                 }
3207                 data->last_end = data->pos_min + l;
3208                 data->pos_min += l; /* As in the first entry. */
3209                 data->flags &= ~SF_BEFORE_EOL;
3210             }
3211             if (flags & SCF_DO_STCLASS_AND) {
3212                 /* Check whether it is compatible with what we know already! */
3213                 int compat = 1;
3214
3215
3216                 /* If compatible, we or it in below.  It is compatible if is
3217                  * in the bitmp and either 1) its bit or its fold is set, or 2)
3218                  * it's for a locale.  Even if there isn't unicode semantics
3219                  * here, at runtime there may be because of matching against a
3220                  * utf8 string, so accept a possible false positive for
3221                  * latin1-range folds */
3222                 if (uc >= 0x100 ||
3223                     (!(data->start_class->flags & (ANYOF_CLASS | ANYOF_LOCALE))
3224                     && !ANYOF_BITMAP_TEST(data->start_class, uc)
3225                     && (!(data->start_class->flags & ANYOF_LOC_NONBITMAP_FOLD)
3226                         || !ANYOF_BITMAP_TEST(data->start_class, PL_fold_latin1[uc])))
3227                     )
3228                 {
3229                     compat = 0;
3230                 }
3231                 ANYOF_CLASS_ZERO(data->start_class);
3232                 ANYOF_BITMAP_ZERO(data->start_class);
3233                 if (compat)
3234                     ANYOF_BITMAP_SET(data->start_class, uc);
3235                 else if (uc >= 0x100) {
3236                     int i;
3237
3238                     /* Some Unicode code points fold to the Latin1 range; as
3239                      * XXX temporary code, instead of figuring out if this is
3240                      * one, just assume it is and set all the start class bits
3241                      * that could be some such above 255 code point's fold
3242                      * which will generate fals positives.  As the code
3243                      * elsewhere that does compute the fold settles down, it
3244                      * can be extracted out and re-used here */
3245                     for (i = 0; i < 256; i++){
3246                         if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(i)) {
3247                             ANYOF_BITMAP_SET(data->start_class, i);
3248                         }
3249                     }
3250                 }
3251                 data->start_class->flags &= ~ANYOF_EOS;
3252                 if (uc < 0x100)
3253                   data->start_class->flags &= ~ANYOF_UNICODE_ALL;
3254             }
3255             else if (flags & SCF_DO_STCLASS_OR) {
3256                 /* false positive possible if the class is case-folded */
3257                 if (uc < 0x100)
3258                     ANYOF_BITMAP_SET(data->start_class, uc);
3259                 else
3260                     data->start_class->flags |= ANYOF_UNICODE_ALL;
3261                 data->start_class->flags &= ~ANYOF_EOS;
3262                 cl_and(data->start_class, and_withp);
3263             }
3264             flags &= ~SCF_DO_STCLASS;
3265         }
3266         else if (PL_regkind[OP(scan)] == EXACT) { /* But OP != EXACT! */
3267             I32 l = STR_LEN(scan);
3268             UV uc = *((U8*)STRING(scan));
3269
3270             /* Search for fixed substrings supports EXACT only. */
3271             if (flags & SCF_DO_SUBSTR) {
3272                 assert(data);
3273                 SCAN_COMMIT(pRExC_state, data, minlenp);
3274             }
3275             if (UTF) {
3276                 const U8 * const s = (U8 *)STRING(scan);
3277                 l = utf8_length(s, s + l);
3278                 uc = utf8_to_uvchr(s, NULL);
3279             }
3280             min += l;
3281             if (flags & SCF_DO_SUBSTR)
3282                 data->pos_min += l;
3283             if (flags & SCF_DO_STCLASS_AND) {
3284                 /* Check whether it is compatible with what we know already! */
3285                 int compat = 1;
3286                 if (uc >= 0x100 ||
3287                  (!(data->start_class->flags & (ANYOF_CLASS | ANYOF_LOCALE))
3288                   && !ANYOF_BITMAP_TEST(data->start_class, uc)
3289                   && !ANYOF_BITMAP_TEST(data->start_class, PL_fold_latin1[uc])))
3290                 {
3291                     compat = 0;
3292                 }
3293                 ANYOF_CLASS_ZERO(data->start_class);
3294                 ANYOF_BITMAP_ZERO(data->start_class);
3295                 if (compat) {
3296                     ANYOF_BITMAP_SET(data->start_class, uc);
3297                     data->start_class->flags &= ~ANYOF_EOS;
3298                     data->start_class->flags |= ANYOF_LOC_NONBITMAP_FOLD;
3299                     if (OP(scan) == EXACTFL) {
3300                         /* XXX This set is probably no longer necessary, and
3301                          * probably wrong as LOCALE now is on in the initial
3302                          * state */
3303                         data->start_class->flags |= ANYOF_LOCALE;
3304                     }
3305                     else {
3306
3307                         /* Also set the other member of the fold pair.  In case
3308                          * that unicode semantics is called for at runtime, use
3309                          * the full latin1 fold.  (Can't do this for locale,
3310                          * because not known until runtime */
3311                         ANYOF_BITMAP_SET(data->start_class, PL_fold_latin1[uc]);
3312                     }
3313                 }
3314                 else if (uc >= 0x100) {
3315                     int i;
3316                     for (i = 0; i < 256; i++){
3317                         if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(i)) {
3318                             ANYOF_BITMAP_SET(data->start_class, i);
3319                         }
3320                     }
3321                 }
3322             }
3323             else if (flags & SCF_DO_STCLASS_OR) {
3324                 if (data->start_class->flags & ANYOF_LOC_NONBITMAP_FOLD) {
3325                     /* false positive possible if the class is case-folded.
3326                        Assume that the locale settings are the same... */
3327                     if (uc < 0x100) {
3328                         ANYOF_BITMAP_SET(data->start_class, uc);
3329                         if (OP(scan) != EXACTFL) {
3330
3331                             /* And set the other member of the fold pair, but
3332                              * can't do that in locale because not known until
3333                              * run-time */
3334                             ANYOF_BITMAP_SET(data->start_class,
3335                                              PL_fold_latin1[uc]);
3336                         }
3337                     }
3338                     data->start_class->flags &= ~ANYOF_EOS;
3339                 }
3340                 cl_and(data->start_class, and_withp);
3341             }
3342             flags &= ~SCF_DO_STCLASS;
3343         }
3344         else if (REGNODE_VARIES(OP(scan))) {
3345             I32 mincount, maxcount, minnext, deltanext, fl = 0;
3346             I32 f = flags, pos_before = 0;
3347             regnode * const oscan = scan;
3348             struct regnode_charclass_class this_class;
3349             struct regnode_charclass_class *oclass = NULL;
3350             I32 next_is_eval = 0;
3351
3352             switch (PL_regkind[OP(scan)]) {
3353             case WHILEM:                /* End of (?:...)* . */
3354                 scan = NEXTOPER(scan);
3355                 goto finish;
3356             case PLUS:
3357                 if (flags & (SCF_DO_SUBSTR | SCF_DO_STCLASS)) {
3358                     next = NEXTOPER(scan);
3359                     if (OP(next) == EXACT || (flags & SCF_DO_STCLASS)) {
3360                         mincount = 1;
3361                         maxcount = REG_INFTY;
3362                         next = regnext(scan);
3363                         scan = NEXTOPER(scan);
3364                         goto do_curly;
3365                     }
3366                 }
3367                 if (flags & SCF_DO_SUBSTR)
3368                     data->pos_min++;
3369                 min++;
3370                 /* Fall through. */
3371             case STAR:
3372                 if (flags & SCF_DO_STCLASS) {
3373                     mincount = 0;
3374                     maxcount = REG_INFTY;
3375                     next = regnext(scan);
3376                     scan = NEXTOPER(scan);
3377                     goto do_curly;
3378                 }
3379                 is_inf = is_inf_internal = 1;
3380                 scan = regnext(scan);
3381                 if (flags & SCF_DO_SUBSTR) {
3382                     SCAN_COMMIT(pRExC_state, data, minlenp); /* Cannot extend fixed substrings */
3383                     data->longest = &(data->longest_float);
3384                 }
3385                 goto optimize_curly_tail;
3386             case CURLY:
3387                 if (stopparen>0 && (OP(scan)==CURLYN || OP(scan)==CURLYM)
3388                     && (scan->flags == stopparen))
3389                 {
3390                     mincount = 1;
3391                     maxcount = 1;
3392                 } else {
3393                     mincount = ARG1(scan);
3394                     maxcount = ARG2(scan);
3395                 }
3396                 next = regnext(scan);
3397                 if (OP(scan) == CURLYX) {
3398                     I32 lp = (data ? *(data->last_closep) : 0);
3399                     scan->flags = ((lp <= (I32)U8_MAX) ? (U8)lp : U8_MAX);
3400                 }
3401                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
3402                 next_is_eval = (OP(scan) == EVAL);
3403               do_curly:
3404                 if (flags & SCF_DO_SUBSTR) {
3405                     if (mincount == 0) SCAN_COMMIT(pRExC_state,data,minlenp); /* Cannot extend fixed substrings */
3406                     pos_before = data->pos_min;
3407                 }
3408                 if (data) {
3409                     fl = data->flags;
3410                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
3411                     if (is_inf)
3412                         data->flags |= SF_IS_INF;
3413                 }
3414                 if (flags & SCF_DO_STCLASS) {
3415                     cl_init(pRExC_state, &this_class);
3416                     oclass = data->start_class;
3417                     data->start_class = &this_class;
3418                     f |= SCF_DO_STCLASS_AND;
3419                     f &= ~SCF_DO_STCLASS_OR;
3420                 }
3421                 /* Exclude from super-linear cache processing any {n,m}
3422                    regops for which the combination of input pos and regex
3423                    pos is not enough information to determine if a match
3424                    will be possible.
3425
3426                    For example, in the regex /foo(bar\s*){4,8}baz/ with the
3427                    regex pos at the \s*, the prospects for a match depend not
3428                    only on the input position but also on how many (bar\s*)
3429                    repeats into the {4,8} we are. */
3430                if ((mincount > 1) || (maxcount > 1 && maxcount != REG_INFTY))
3431                     f &= ~SCF_WHILEM_VISITED_POS;
3432
3433                 /* This will finish on WHILEM, setting scan, or on NULL: */
3434                 minnext = study_chunk(pRExC_state, &scan, minlenp, &deltanext, 
3435                                       last, data, stopparen, recursed, NULL,
3436                                       (mincount == 0
3437                                         ? (f & ~SCF_DO_SUBSTR) : f),depth+1);
3438
3439                 if (flags & SCF_DO_STCLASS)
3440                     data->start_class = oclass;
3441                 if (mincount == 0 || minnext == 0) {
3442                     if (flags & SCF_DO_STCLASS_OR) {
3443                         cl_or(pRExC_state, data->start_class, &this_class);
3444                     }
3445                     else if (flags & SCF_DO_STCLASS_AND) {
3446                         /* Switch to OR mode: cache the old value of
3447                          * data->start_class */
3448                         INIT_AND_WITHP;
3449                         StructCopy(data->start_class, and_withp,
3450                                    struct regnode_charclass_class);
3451                         flags &= ~SCF_DO_STCLASS_AND;
3452                         StructCopy(&this_class, data->start_class,
3453                                    struct regnode_charclass_class);
3454                         flags |= SCF_DO_STCLASS_OR;
3455                         data->start_class->flags |= ANYOF_EOS;
3456                     }
3457                 } else {                /* Non-zero len */
3458                     if (flags & SCF_DO_STCLASS_OR) {
3459                         cl_or(pRExC_state, data->start_class, &this_class);
3460                         cl_and(data->start_class, and_withp);
3461                     }
3462                     else if (flags & SCF_DO_STCLASS_AND)
3463                         cl_and(data->start_class, &this_class);
3464                     flags &= ~SCF_DO_STCLASS;
3465                 }
3466                 if (!scan)              /* It was not CURLYX, but CURLY. */
3467                     scan = next;
3468                 if ( /* ? quantifier ok, except for (?{ ... }) */
3469                     (next_is_eval || !(mincount == 0 && maxcount == 1))
3470                     && (minnext == 0) && (deltanext == 0)
3471                     && data && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
3472                     && maxcount <= REG_INFTY/3) /* Complement check for big count */
3473                 {
3474                     ckWARNreg(RExC_parse,
3475                               "Quantifier unexpected on zero-length expression");
3476                 }
3477
3478                 min += minnext * mincount;
3479                 is_inf_internal |= ((maxcount == REG_INFTY
3480                                      && (minnext + deltanext) > 0)
3481                                     || deltanext == I32_MAX);
3482                 is_inf |= is_inf_internal;
3483                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
3484
3485                 /* Try powerful optimization CURLYX => CURLYN. */
3486                 if (  OP(oscan) == CURLYX && data
3487                       && data->flags & SF_IN_PAR
3488                       && !(data->flags & SF_HAS_EVAL)
3489                       && !deltanext && minnext == 1 ) {
3490                     /* Try to optimize to CURLYN.  */
3491                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
3492                     regnode * const nxt1 = nxt;
3493 #ifdef DEBUGGING
3494                     regnode *nxt2;
3495 #endif
3496
3497                     /* Skip open. */
3498                     nxt = regnext(nxt);
3499                     if (!REGNODE_SIMPLE(OP(nxt))
3500                         && !(PL_regkind[OP(nxt)] == EXACT
3501                              && STR_LEN(nxt) == 1))
3502                         goto nogo;
3503 #ifdef DEBUGGING
3504                     nxt2 = nxt;
3505 #endif
3506                     nxt = regnext(nxt);
3507                     if (OP(nxt) != CLOSE)
3508                         goto nogo;
3509                     if (RExC_open_parens) {
3510                         RExC_open_parens[ARG(nxt1)-1]=oscan; /*open->CURLYM*/
3511                         RExC_close_parens[ARG(nxt1)-1]=nxt+2; /*close->while*/
3512                     }
3513                     /* Now we know that nxt2 is the only contents: */
3514                     oscan->flags = (U8)ARG(nxt);
3515                     OP(oscan) = CURLYN;
3516                     OP(nxt1) = NOTHING; /* was OPEN. */
3517
3518 #ifdef DEBUGGING
3519                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
3520                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistency. */
3521                     NEXT_OFF(nxt2) = 0; /* just for consistency with CURLY. */
3522                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
3523                     OP(nxt + 1) = OPTIMIZED; /* was count. */
3524                     NEXT_OFF(nxt+ 1) = 0; /* just for consistency. */
3525 #endif
3526                 }
3527               nogo:
3528
3529                 /* Try optimization CURLYX => CURLYM. */
3530                 if (  OP(oscan) == CURLYX && data
3531                       && !(data->flags & SF_HAS_PAR)
3532                       && !(data->flags & SF_HAS_EVAL)
3533                       && !deltanext     /* atom is fixed width */
3534                       && minnext != 0   /* CURLYM can't handle zero width */
3535                 ) {
3536                     /* XXXX How to optimize if data == 0? */
3537                     /* Optimize to a simpler form.  */
3538                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
3539                     regnode *nxt2;
3540
3541                     OP(oscan) = CURLYM;
3542                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
3543                             && (OP(nxt2) != WHILEM))
3544                         nxt = nxt2;
3545                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
3546                     /* Need to optimize away parenths. */
3547                     if ((data->flags & SF_IN_PAR) && OP(nxt) == CLOSE) {
3548                         /* Set the parenth number.  */
3549                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
3550
3551                         oscan->flags = (U8)ARG(nxt);
3552                         if (RExC_open_parens) {
3553                             RExC_open_parens[ARG(nxt1)-1]=oscan; /*open->CURLYM*/
3554                             RExC_close_parens[ARG(nxt1)-1]=nxt2+1; /*close->NOTHING*/
3555                         }
3556                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
3557                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
3558
3559 #ifdef DEBUGGING
3560                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
3561                         OP(nxt + 1) = OPTIMIZED; /* was count. */
3562                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistency. */
3563                         NEXT_OFF(nxt + 1) = 0; /* just for consistency. */
3564 #endif
3565 #if 0
3566                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
3567                             regnode *nnxt = regnext(nxt1);
3568                             if (nnxt == nxt) {
3569                                 if (reg_off_by_arg[OP(nxt1)])
3570                                     ARG_SET(nxt1, nxt2 - nxt1);
3571                                 else if (nxt2 - nxt1 < U16_MAX)
3572                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
3573                                 else
3574                                     OP(nxt) = NOTHING;  /* Cannot beautify */
3575                             }
3576                             nxt1 = nnxt;
3577                         }
3578 #endif
3579                         /* Optimize again: */
3580                         study_chunk(pRExC_state, &nxt1, minlenp, &deltanext, nxt,
3581                                     NULL, stopparen, recursed, NULL, 0,depth+1);
3582                     }
3583                     else
3584                         oscan->flags = 0;
3585                 }
3586                 else if ((OP(oscan) == CURLYX)
3587                          && (flags & SCF_WHILEM_VISITED_POS)
3588                          /* See the comment on a similar expression above.
3589                             However, this time it's not a subexpression
3590                             we care about, but the expression itself. */
3591                          && (maxcount == REG_INFTY)
3592                          && data && ++data->whilem_c < 16) {
3593                     /* This stays as CURLYX, we can put the count/of pair. */
3594                     /* Find WHILEM (as in regexec.c) */
3595                     regnode *nxt = oscan + NEXT_OFF(oscan);
3596
3597                     if (OP(PREVOPER(nxt)) == NOTHING) /* LONGJMP */
3598                         nxt += ARG(nxt);
3599                     PREVOPER(nxt)->flags = (U8)(data->whilem_c
3600                         | (RExC_whilem_seen << 4)); /* On WHILEM */
3601                 }
3602                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
3603                     pars++;
3604                 if (flags & SCF_DO_SUBSTR) {
3605                     SV *last_str = NULL;
3606                     int counted = mincount != 0;
3607
3608                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
3609 #if defined(SPARC64_GCC_WORKAROUND)
3610                         I32 b = 0;
3611                         STRLEN l = 0;
3612                         const char *s = NULL;
3613                         I32 old = 0;
3614
3615                         if (pos_before >= data->last_start_min)
3616                             b = pos_before;
3617                         else
3618                             b = data->last_start_min;
3619
3620                         l = 0;
3621                         s = SvPV_const(data->last_found, l);
3622                         old = b - data->last_start_min;
3623
3624 #else
3625                         I32 b = pos_before >= data->last_start_min
3626                             ? pos_before : data->last_start_min;
3627                         STRLEN l;
3628                         const char * const s = SvPV_const(data->last_found, l);
3629                         I32 old = b - data->last_start_min;
3630 #endif
3631
3632                         if (UTF)
3633                             old = utf8_hop((U8*)s, old) - (U8*)s;
3634                         l -= old;
3635                         /* Get the added string: */
3636                         last_str = newSVpvn_utf8(s  + old, l, UTF);
3637                         if (deltanext == 0 && pos_before == b) {
3638                             /* What was added is a constant string */
3639                             if (mincount > 1) {
3640                                 SvGROW(last_str, (mincount * l) + 1);
3641                                 repeatcpy(SvPVX(last_str) + l,
3642                                           SvPVX_const(last_str), l, mincount - 1);
3643                                 SvCUR_set(last_str, SvCUR(last_str) * mincount);
3644                                 /* Add additional parts. */
3645                                 SvCUR_set(data->last_found,
3646                                           SvCUR(data->last_found) - l);
3647                                 sv_catsv(data->last_found, last_str);
3648                                 {
3649                                     SV * sv = data->last_found;
3650                                     MAGIC *mg =
3651                                         SvUTF8(sv) && SvMAGICAL(sv) ?
3652                                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
3653                                     if (mg && mg->mg_len >= 0)
3654                                         mg->mg_len += CHR_SVLEN(last_str) - l;
3655                                 }
3656                                 data->last_end += l * (mincount - 1);
3657                             }
3658                         } else {
3659                             /* start offset must point into the last copy */
3660                             data->last_start_min += minnext * (mincount - 1);
3661                             data->last_start_max += is_inf ? I32_MAX
3662                                 : (maxcount - 1) * (minnext + data->pos_delta);
3663                         }
3664                     }
3665                     /* It is counted once already... */
3666                     data->pos_min += minnext * (mincount - counted);
3667                     data->pos_delta += - counted * deltanext +
3668                         (minnext + deltanext) * maxcount - minnext * mincount;
3669                     if (mincount != maxcount) {
3670                          /* Cannot extend fixed substrings found inside
3671                             the group.  */
3672                         SCAN_COMMIT(pRExC_state,data,minlenp);
3673                         if (mincount && last_str) {
3674                             SV * const sv = data->last_found;
3675                             MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
3676                                 mg_find(sv, PERL_MAGIC_utf8) : NULL;
3677
3678                             if (mg)
3679                                 mg->mg_len = -1;
3680                             sv_setsv(sv, last_str);
3681                             data->last_end = data->pos_min;
3682                             data->last_start_min =
3683                                 data->pos_min - CHR_SVLEN(last_str);
3684                             data->last_start_max = is_inf
3685                                 ? I32_MAX
3686                                 : data->pos_min + data->pos_delta
3687                                 - CHR_SVLEN(last_str);
3688                         }
3689                         data->longest = &(data->longest_float);
3690                     }
3691                     SvREFCNT_dec(last_str);
3692                 }
3693                 if (data && (fl & SF_HAS_EVAL))
3694                     data->flags |= SF_HAS_EVAL;
3695               optimize_curly_tail:
3696                 if (OP(oscan) != CURLYX) {
3697                     while (PL_regkind[OP(next = regnext(oscan))] == NOTHING
3698                            && NEXT_OFF(next))
3699                         NEXT_OFF(oscan) += NEXT_OFF(next);
3700                 }
3701                 continue;
3702             default:                    /* REF, ANYOFV, and CLUMP only? */
3703                 if (flags & SCF_DO_SUBSTR) {
3704                     SCAN_COMMIT(pRExC_state,data,minlenp);      /* Cannot expect anything... */
3705                     data->longest = &(data->longest_float);
3706                 }
3707                 is_inf = is_inf_internal = 1;
3708                 if (flags & SCF_DO_STCLASS_OR)
3709                     cl_anything(pRExC_state, data->start_class);
3710                 flags &= ~SCF_DO_STCLASS;
3711                 break;
3712             }
3713         }
3714         else if (OP(scan) == LNBREAK) {
3715             if (flags & SCF_DO_STCLASS) {
3716                 int value = 0;
3717                 data->start_class->flags &= ~ANYOF_EOS; /* No match on empty */
3718                 if (flags & SCF_DO_STCLASS_AND) {
3719                     for (value = 0; value < 256; value++)
3720                         if (!is_VERTWS_cp(value))
3721                             ANYOF_BITMAP_CLEAR(data->start_class, value);
3722                 }
3723                 else {
3724                     for (value = 0; value < 256; value++)
3725                         if (is_VERTWS_cp(value))
3726                             ANYOF_BITMAP_SET(data->start_class, value);
3727                 }
3728                 if (flags & SCF_DO_STCLASS_OR)
3729                     cl_and(data->start_class, and_withp);
3730                 flags &= ~SCF_DO_STCLASS;
3731             }
3732             min += 1;
3733             delta += 1;
3734             if (flags & SCF_DO_SUBSTR) {
3735                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
3736                 data->pos_min += 1;
3737                 data->pos_delta += 1;
3738                 data->longest = &(data->longest_float);
3739             }
3740         }
3741         else if (OP(scan) == FOLDCHAR) {
3742             int d = ARG(scan) == LATIN_SMALL_LETTER_SHARP_S ? 1 : 2;
3743             flags &= ~SCF_DO_STCLASS;
3744             min += 1;
3745             delta += d;
3746             if (flags & SCF_DO_SUBSTR) {
3747                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
3748                 data->pos_min += 1;
3749                 data->pos_delta += d;
3750                 data->longest = &(data->longest_float);
3751             }
3752         }
3753         else if (REGNODE_SIMPLE(OP(scan))) {
3754             int value = 0;
3755
3756             if (flags & SCF_DO_SUBSTR) {
3757                 SCAN_COMMIT(pRExC_state,data,minlenp);
3758                 data->pos_min++;
3759             }
3760             min++;
3761             if (flags & SCF_DO_STCLASS) {
3762                 data->start_class->flags &= ~ANYOF_EOS; /* No match on empty */
3763
3764                 /* Some of the logic below assumes that switching
3765                    locale on will only add false positives. */
3766                 switch (PL_regkind[OP(scan)]) {
3767                 case SANY:
3768                 default:
3769                   do_default:
3770                     /* Perl_croak(aTHX_ "panic: unexpected simple REx opcode %d", OP(scan)); */
3771                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
3772                         cl_anything(pRExC_state, data->start_class);
3773                     break;
3774                 case REG_ANY:
3775                     if (OP(scan) == SANY)
3776                         goto do_default;
3777                     if (flags & SCF_DO_STCLASS_OR) { /* Everything but \n */
3778                         value = (ANYOF_BITMAP_TEST(data->start_class,'\n')
3779                                  || ANYOF_CLASS_TEST_ANY_SET(data->start_class));
3780                         cl_anything(pRExC_state, data->start_class);
3781                     }
3782                     if (flags & SCF_DO_STCLASS_AND || !value)
3783                         ANYOF_BITMAP_CLEAR(data->start_class,'\n');
3784                     break;
3785                 case ANYOF:
3786                     if (flags & SCF_DO_STCLASS_AND)
3787                         cl_and(data->start_class,
3788                                (struct regnode_charclass_class*)scan);
3789                     else
3790                         cl_or(pRExC_state, data->start_class,
3791                               (struct regnode_charclass_class*)scan);
3792                     break;
3793                 case ALNUM:
3794                     if (flags & SCF_DO_STCLASS_AND) {
3795                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3796                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NALNUM);
3797                             if (OP(scan) == ALNUMU) {
3798                                 for (value = 0; value < 256; value++) {
3799                                     if (!isWORDCHAR_L1(value)) {
3800                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3801                                     }
3802                                 }
3803                             } else {
3804                                 for (value = 0; value < 256; value++) {
3805                                     if (!isALNUM(value)) {
3806                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3807                                     }
3808                                 }
3809                             }
3810                         }
3811                     }
3812                     else {
3813                         if (data->start_class->flags & ANYOF_LOCALE)
3814                             ANYOF_CLASS_SET(data->start_class,ANYOF_ALNUM);
3815
3816                         /* Even if under locale, set the bits for non-locale
3817                          * in case it isn't a true locale-node.  This will
3818                          * create false positives if it truly is locale */
3819                         if (OP(scan) == ALNUMU) {
3820                             for (value = 0; value < 256; value++) {
3821                                 if (isWORDCHAR_L1(value)) {
3822                                     ANYOF_BITMAP_SET(data->start_class, value);
3823                                 }
3824                             }
3825                         } else {
3826                             for (value = 0; value < 256; value++) {
3827                                 if (isALNUM(value)) {
3828                                     ANYOF_BITMAP_SET(data->start_class, value);
3829                                 }
3830                             }
3831                         }
3832                     }
3833                     break;
3834                 case NALNUM:
3835                     if (flags & SCF_DO_STCLASS_AND) {
3836                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3837                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_ALNUM);
3838                             if (OP(scan) == NALNUMU) {
3839                                 for (value = 0; value < 256; value++) {
3840                                     if (isWORDCHAR_L1(value)) {
3841                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3842                                     }
3843                                 }
3844                             } else {
3845                                 for (value = 0; value < 256; value++) {
3846                                     if (isALNUM(value)) {
3847                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3848                                     }
3849                                 }
3850                             }
3851                         }
3852                     }
3853                     else {
3854                         if (data->start_class->flags & ANYOF_LOCALE)
3855                             ANYOF_CLASS_SET(data->start_class,ANYOF_NALNUM);
3856
3857                         /* Even if under locale, set the bits for non-locale in
3858                          * case it isn't a true locale-node.  This will create
3859                          * false positives if it truly is locale */
3860                         if (OP(scan) == NALNUMU) {
3861                             for (value = 0; value < 256; value++) {
3862                                 if (! isWORDCHAR_L1(value)) {
3863                                     ANYOF_BITMAP_SET(data->start_class, value);
3864                                 }
3865                             }
3866                         } else {
3867                             for (value = 0; value < 256; value++) {
3868                                 if (! isALNUM(value)) {
3869                                     ANYOF_BITMAP_SET(data->start_class, value);
3870                                 }
3871                             }
3872                         }
3873                     }
3874                     break;
3875                 case SPACE:
3876                     if (flags & SCF_DO_STCLASS_AND) {
3877                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3878                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NSPACE);
3879                             if (OP(scan) == SPACEU) {
3880                                 for (value = 0; value < 256; value++) {
3881                                     if (!isSPACE_L1(value)) {
3882                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3883                                     }
3884                                 }
3885                             } else {
3886                                 for (value = 0; value < 256; value++) {
3887                                     if (!isSPACE(value)) {
3888                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3889                                     }
3890                                 }
3891                             }
3892                         }
3893                     }
3894                     else {
3895                         if (data->start_class->flags & ANYOF_LOCALE) {
3896                             ANYOF_CLASS_SET(data->start_class,ANYOF_SPACE);
3897                         }
3898                         if (OP(scan) == SPACEU) {
3899                             for (value = 0; value < 256; value++) {
3900                                 if (isSPACE_L1(value)) {
3901                                     ANYOF_BITMAP_SET(data->start_class, value);
3902                                 }
3903                             }
3904                         } else {
3905                             for (value = 0; value < 256; value++) {
3906                                 if (isSPACE(value)) {
3907                                     ANYOF_BITMAP_SET(data->start_class, value);
3908                                 }
3909                             }
3910                         }
3911                     }
3912                     break;
3913                 case NSPACE:
3914                     if (flags & SCF_DO_STCLASS_AND) {
3915                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3916                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_SPACE);
3917                             if (OP(scan) == NSPACEU) {
3918                                 for (value = 0; value < 256; value++) {
3919                                     if (isSPACE_L1(value)) {
3920                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3921                                     }
3922                                 }
3923                             } else {
3924                                 for (value = 0; value < 256; value++) {
3925                                     if (isSPACE(value)) {
3926                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3927                                     }
3928                                 }
3929                             }
3930                         }
3931                     }
3932                     else {
3933                         if (data->start_class->flags & ANYOF_LOCALE)
3934                             ANYOF_CLASS_SET(data->start_class,ANYOF_NSPACE);
3935                         if (OP(scan) == NSPACEU) {
3936                             for (value = 0; value < 256; value++) {
3937                                 if (!isSPACE_L1(value)) {
3938                                     ANYOF_BITMAP_SET(data->start_class, value);
3939                                 }
3940                             }
3941                         }
3942                         else {
3943                             for (value = 0; value < 256; value++) {
3944                                 if (!isSPACE(value)) {
3945                                     ANYOF_BITMAP_SET(data->start_class, value);
3946                                 }
3947                             }
3948                         }
3949                     }
3950                     break;
3951                 case DIGIT:
3952                     if (flags & SCF_DO_STCLASS_AND) {
3953                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3954                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NDIGIT);
3955                             for (value = 0; value < 256; value++)
3956                                 if (!isDIGIT(value))
3957                                     ANYOF_BITMAP_CLEAR(data->start_class, value);
3958                         }
3959                     }
3960                     else {
3961                         if (data->start_class->flags & ANYOF_LOCALE)
3962                             ANYOF_CLASS_SET(data->start_class,ANYOF_DIGIT);
3963                         for (value = 0; value < 256; value++)
3964                             if (isDIGIT(value))
3965                                 ANYOF_BITMAP_SET(data->start_class, value);
3966                     }
3967                     break;
3968                 case NDIGIT:
3969                     if (flags & SCF_DO_STCLASS_AND) {
3970                         if (!(data->start_class->flags & ANYOF_LOCALE))
3971                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_DIGIT);
3972                         for (value = 0; value < 256; value++)
3973                             if (isDIGIT(value))
3974                                 ANYOF_BITMAP_CLEAR(data->start_class, value);
3975                     }
3976                     else {
3977                         if (data->start_class->flags & ANYOF_LOCALE)
3978                             ANYOF_CLASS_SET(data->start_class,ANYOF_NDIGIT);
3979                         for (value = 0; value < 256; value++)
3980                             if (!isDIGIT(value))
3981                                 ANYOF_BITMAP_SET(data->start_class, value);
3982                     }
3983                     break;
3984                 CASE_SYNST_FNC(VERTWS);
3985                 CASE_SYNST_FNC(HORIZWS);
3986                 
3987                 }
3988                 if (flags & SCF_DO_STCLASS_OR)
3989                     cl_and(data->start_class, and_withp);
3990                 flags &= ~SCF_DO_STCLASS;
3991             }
3992         }
3993         else if (PL_regkind[OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
3994             data->flags |= (OP(scan) == MEOL
3995                             ? SF_BEFORE_MEOL
3996                             : SF_BEFORE_SEOL);
3997         }
3998         else if (  PL_regkind[OP(scan)] == BRANCHJ
3999                  /* Lookbehind, or need to calculate parens/evals/stclass: */
4000                    && (scan->flags || data || (flags & SCF_DO_STCLASS))
4001                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
4002             if ( !PERL_ENABLE_POSITIVE_ASSERTION_STUDY 
4003                 || OP(scan) == UNLESSM )
4004             {
4005                 /* Negative Lookahead/lookbehind
4006                    In this case we can't do fixed string optimisation.
4007                 */
4008
4009                 I32 deltanext, minnext, fake = 0;
4010                 regnode *nscan;
4011                 struct regnode_charclass_class intrnl;
4012                 int f = 0;
4013
4014                 data_fake.flags = 0;
4015                 if (data) {
4016                     data_fake.whilem_c = data->whilem_c;
4017                     data_fake.last_closep = data->last_closep;
4018                 }
4019                 else
4020                     data_fake.last_closep = &fake;
4021                 data_fake.pos_delta = delta;
4022                 if ( flags & SCF_DO_STCLASS && !scan->flags
4023                      && OP(scan) == IFMATCH ) { /* Lookahead */
4024                     cl_init(pRExC_state, &intrnl);
4025                     data_fake.start_class = &intrnl;
4026                     f |= SCF_DO_STCLASS_AND;
4027                 }
4028                 if (flags & SCF_WHILEM_VISITED_POS)
4029                     f |= SCF_WHILEM_VISITED_POS;
4030                 next = regnext(scan);
4031                 nscan = NEXTOPER(NEXTOPER(scan));
4032                 minnext = study_chunk(pRExC_state, &nscan, minlenp, &deltanext, 
4033                     last, &data_fake, stopparen, recursed, NULL, f, depth+1);
4034                 if (scan->flags) {
4035                     if (deltanext) {
4036                         FAIL("Variable length lookbehind not implemented");
4037                     }
4038                     else if (minnext > (I32)U8_MAX) {
4039                         FAIL2("Lookbehind longer than %"UVuf" not implemented", (UV)U8_MAX);
4040                     }
4041                     scan->flags = (U8)minnext;
4042                 }
4043                 if (data) {
4044                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4045                         pars++;
4046                     if (data_fake.flags & SF_HAS_EVAL)
4047                         data->flags |= SF_HAS_EVAL;
4048                     data->whilem_c = data_fake.whilem_c;
4049                 }
4050                 if (f & SCF_DO_STCLASS_AND) {
4051                     if (flags & SCF_DO_STCLASS_OR) {
4052                         /* OR before, AND after: ideally we would recurse with
4053                          * data_fake to get the AND applied by study of the
4054                          * remainder of the pattern, and then derecurse;
4055                          * *** HACK *** for now just treat as "no information".
4056                          * See [perl #56690].
4057                          */
4058                         cl_init(pRExC_state, data->start_class);
4059                     }  else {
4060                         /* AND before and after: combine and continue */
4061                         const int was = (data->start_class->flags & ANYOF_EOS);
4062
4063                         cl_and(data->start_class, &intrnl);
4064                         if (was)
4065                             data->start_class->flags |= ANYOF_EOS;
4066                     }
4067                 }
4068             }
4069 #if PERL_ENABLE_POSITIVE_ASSERTION_STUDY
4070             else {
4071                 /* Positive Lookahead/lookbehind
4072                    In this case we can do fixed string optimisation,
4073                    but we must be careful about it. Note in the case of
4074                    lookbehind the positions will be offset by the minimum
4075                    length of the pattern, something we won't know about
4076                    until after the recurse.
4077                 */
4078                 I32 deltanext, fake = 0;
4079                 regnode *nscan;
4080                 struct regnode_charclass_class intrnl;
4081                 int f = 0;
4082                 /* We use SAVEFREEPV so that when the full compile 
4083                     is finished perl will clean up the allocated 
4084                     minlens when it's all done. This way we don't
4085                     have to worry about freeing them when we know
4086                     they wont be used, which would be a pain.
4087                  */
4088                 I32 *minnextp;
4089                 Newx( minnextp, 1, I32 );
4090                 SAVEFREEPV(minnextp);
4091
4092                 if (data) {
4093                     StructCopy(data, &data_fake, scan_data_t);
4094                     if ((flags & SCF_DO_SUBSTR) && data->last_found) {
4095                         f |= SCF_DO_SUBSTR;
4096                         if (scan->flags) 
4097                             SCAN_COMMIT(pRExC_state, &data_fake,minlenp);
4098                         data_fake.last_found=newSVsv(data->last_found);
4099                     }
4100                 }
4101                 else
4102                     data_fake.last_closep = &fake;
4103                 data_fake.flags = 0;
4104                 data_fake.pos_delta = delta;
4105                 if (is_inf)
4106                     data_fake.flags |= SF_IS_INF;
4107                 if ( flags & SCF_DO_STCLASS && !scan->flags
4108                      && OP(scan) == IFMATCH ) { /* Lookahead */
4109                     cl_init(pRExC_state, &intrnl);
4110                     data_fake.start_class = &intrnl;
4111                     f |= SCF_DO_STCLASS_AND;
4112                 }
4113                 if (flags & SCF_WHILEM_VISITED_POS)
4114                     f |= SCF_WHILEM_VISITED_POS;
4115                 next = regnext(scan);
4116                 nscan = NEXTOPER(NEXTOPER(scan));
4117
4118                 *minnextp = study_chunk(pRExC_state, &nscan, minnextp, &deltanext, 
4119                     last, &data_fake, stopparen, recursed, NULL, f,depth+1);
4120                 if (scan->flags) {
4121                     if (deltanext) {
4122                         FAIL("Variable length lookbehind not implemented");
4123                     }
4124                     else if (*minnextp > (I32)U8_MAX) {
4125                         FAIL2("Lookbehind longer than %"UVuf" not implemented", (UV)U8_MAX);
4126                     }
4127                     scan->flags = (U8)*minnextp;
4128                 }
4129
4130                 *minnextp += min;
4131
4132                 if (f & SCF_DO_STCLASS_AND) {
4133                     const int was = (data->start_class->flags & ANYOF_EOS);
4134
4135                     cl_and(data->start_class, &intrnl);
4136                     if (was)
4137                         data->start_class->flags |= ANYOF_EOS;
4138                 }
4139                 if (data) {
4140                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4141                         pars++;
4142                     if (data_fake.flags & SF_HAS_EVAL)
4143                         data->flags |= SF_HAS_EVAL;
4144                     data->whilem_c = data_fake.whilem_c;
4145                     if ((flags & SCF_DO_SUBSTR) && data_fake.last_found) {
4146                         if (RExC_rx->minlen<*minnextp)
4147                             RExC_rx->minlen=*minnextp;
4148                         SCAN_COMMIT(pRExC_state, &data_fake, minnextp);
4149                         SvREFCNT_dec(data_fake.last_found);
4150                         
4151                         if ( data_fake.minlen_fixed != minlenp ) 
4152                         {
4153                             data->offset_fixed= data_fake.offset_fixed;
4154                             data->minlen_fixed= data_fake.minlen_fixed;
4155                             data->lookbehind_fixed+= scan->flags;
4156                         }
4157                         if ( data_fake.minlen_float != minlenp )
4158                         {
4159                             data->minlen_float= data_fake.minlen_float;
4160                             data->offset_float_min=data_fake.offset_float_min;
4161                             data->offset_float_max=data_fake.offset_float_max;
4162                             data->lookbehind_float+= scan->flags;
4163                         }
4164                     }
4165                 }
4166
4167
4168             }
4169 #endif
4170         }
4171         else if (OP(scan) == OPEN) {
4172             if (stopparen != (I32)ARG(scan))
4173                 pars++;
4174         }
4175         else if (OP(scan) == CLOSE) {
4176             if (stopparen == (I32)ARG(scan)) {
4177                 break;
4178             }
4179             if ((I32)ARG(scan) == is_par) {
4180                 next = regnext(scan);
4181
4182                 if ( next && (OP(next) != WHILEM) && next < last)
4183                     is_par = 0;         /* Disable optimization */
4184             }
4185             if (data)
4186                 *(data->last_closep) = ARG(scan);
4187         }
4188         else if (OP(scan) == EVAL) {
4189                 if (data)
4190                     data->flags |= SF_HAS_EVAL;
4191         }
4192         else if ( PL_regkind[OP(scan)] == ENDLIKE ) {
4193             if (flags & SCF_DO_SUBSTR) {
4194                 SCAN_COMMIT(pRExC_state,data,minlenp);
4195                 flags &= ~SCF_DO_SUBSTR;
4196             }
4197             if (data && OP(scan)==ACCEPT) {
4198                 data->flags |= SCF_SEEN_ACCEPT;
4199                 if (stopmin > min)
4200                     stopmin = min;
4201             }
4202         }
4203         else if (OP(scan) == LOGICAL && scan->flags == 2) /* Embedded follows */
4204         {
4205                 if (flags & SCF_DO_SUBSTR) {
4206                     SCAN_COMMIT(pRExC_state,data,minlenp);
4207                     data->longest = &(data->longest_float);
4208                 }
4209                 is_inf = is_inf_internal = 1;
4210                 if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
4211                     cl_anything(pRExC_state, data->start_class);
4212                 flags &= ~SCF_DO_STCLASS;
4213         }
4214         else if (OP(scan) == GPOS) {
4215             if (!(RExC_rx->extflags & RXf_GPOS_FLOAT) &&
4216                 !(delta || is_inf || (data && data->pos_delta))) 
4217             {
4218                 if (!(RExC_rx->extflags & RXf_ANCH) && (flags & SCF_DO_SUBSTR))
4219                     RExC_rx->extflags |= RXf_ANCH_GPOS;
4220                 if (RExC_rx->gofs < (U32)min)
4221                     RExC_rx->gofs = min;
4222             } else {
4223                 RExC_rx->extflags |= RXf_GPOS_FLOAT;
4224                 RExC_rx->gofs = 0;
4225             }       
4226         }
4227 #ifdef TRIE_STUDY_OPT
4228 #ifdef FULL_TRIE_STUDY
4229         else if (PL_regkind[OP(scan)] == TRIE) {
4230             /* NOTE - There is similar code to this block above for handling
4231                BRANCH nodes on the initial study.  If you change stuff here
4232                check there too. */
4233             regnode *trie_node= scan;
4234             regnode *tail= regnext(scan);
4235             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
4236             I32 max1 = 0, min1 = I32_MAX;
4237             struct regnode_charclass_class accum;
4238
4239             if (flags & SCF_DO_SUBSTR) /* XXXX Add !SUSPEND? */
4240                 SCAN_COMMIT(pRExC_state, data,minlenp); /* Cannot merge strings after this. */
4241             if (flags & SCF_DO_STCLASS)
4242                 cl_init_zero(pRExC_state, &accum);
4243                 
4244             if (!trie->jump) {
4245                 min1= trie->minlen;
4246                 max1= trie->maxlen;
4247             } else {
4248                 const regnode *nextbranch= NULL;
4249                 U32 word;
4250                 
4251                 for ( word=1 ; word <= trie->wordcount ; word++) 
4252                 {
4253                     I32 deltanext=0, minnext=0, f = 0, fake;
4254                     struct regnode_charclass_class this_class;
4255                     
4256                     data_fake.flags = 0;
4257                     if (data) {
4258                         data_fake.whilem_c = data->whilem_c;
4259                         data_fake.last_closep = data->last_closep;
4260                     }
4261                     else
4262                         data_fake.last_closep = &fake;
4263                     data_fake.pos_delta = delta;
4264                     if (flags & SCF_DO_STCLASS) {
4265                         cl_init(pRExC_state, &this_class);
4266                         data_fake.start_class = &this_class;
4267                         f = SCF_DO_STCLASS_AND;
4268                     }
4269                     if (flags & SCF_WHILEM_VISITED_POS)
4270                         f |= SCF_WHILEM_VISITED_POS;
4271     
4272                     if (trie->jump[word]) {
4273                         if (!nextbranch)
4274                             nextbranch = trie_node + trie->jump[0];
4275                         scan= trie_node + trie->jump[word];
4276                         /* We go from the jump point to the branch that follows
4277                            it. Note this means we need the vestigal unused branches
4278                            even though they arent otherwise used.
4279                          */
4280                         minnext = study_chunk(pRExC_state, &scan, minlenp, 
4281                             &deltanext, (regnode *)nextbranch, &data_fake, 
4282                             stopparen, recursed, NULL, f,depth+1);
4283                     }
4284                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
4285                         nextbranch= regnext((regnode*)nextbranch);
4286                     
4287                     if (min1 > (I32)(minnext + trie->minlen))
4288                         min1 = minnext + trie->minlen;
4289                     if (max1 < (I32)(minnext + deltanext + trie->maxlen))
4290                         max1 = minnext + deltanext + trie->maxlen;
4291                     if (deltanext == I32_MAX)
4292                         is_inf = is_inf_internal = 1;
4293                     
4294                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4295                         pars++;
4296                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
4297                         if ( stopmin > min + min1) 
4298                             stopmin = min + min1;
4299                         flags &= ~SCF_DO_SUBSTR;
4300                         if (data)
4301                             data->flags |= SCF_SEEN_ACCEPT;
4302                     }
4303                     if (data) {
4304                         if (data_fake.flags & SF_HAS_EVAL)
4305                             data->flags |= SF_HAS_EVAL;
4306                         data->whilem_c = data_fake.whilem_c;
4307                     }
4308                     if (flags & SCF_DO_STCLASS)
4309                         cl_or(pRExC_state, &accum, &this_class);
4310                 }
4311             }
4312             if (flags & SCF_DO_SUBSTR) {
4313                 data->pos_min += min1;
4314                 data->pos_delta += max1 - min1;
4315                 if (max1 != min1 || is_inf)
4316                     data->longest = &(data->longest_float);
4317             }
4318             min += min1;
4319             delta += max1 - min1;
4320             if (flags & SCF_DO_STCLASS_OR) {
4321                 cl_or(pRExC_state, data->start_class, &accum);
4322                 if (min1) {
4323                     cl_and(data->start_class, and_withp);
4324                     flags &= ~SCF_DO_STCLASS;
4325                 }
4326             }
4327             else if (flags & SCF_DO_STCLASS_AND) {
4328                 if (min1) {
4329                     cl_and(data->start_class, &accum);
4330                     flags &= ~SCF_DO_STCLASS;
4331                 }
4332                 else {
4333                     /* Switch to OR mode: cache the old value of
4334                      * data->start_class */
4335                     INIT_AND_WITHP;
4336                     StructCopy(data->start_class, and_withp,
4337                                struct regnode_charclass_class);
4338                     flags &= ~SCF_DO_STCLASS_AND;
4339                     StructCopy(&accum, data->start_class,
4340                                struct regnode_charclass_class);
4341                     flags |= SCF_DO_STCLASS_OR;
4342                     data->start_class->flags |= ANYOF_EOS;
4343                 }
4344             }
4345             scan= tail;
4346             continue;
4347         }
4348 #else
4349         else if (PL_regkind[OP(scan)] == TRIE) {
4350             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
4351             U8*bang=NULL;
4352             
4353             min += trie->minlen;
4354             delta += (trie->maxlen - trie->minlen);
4355             flags &= ~SCF_DO_STCLASS; /* xxx */
4356             if (flags & SCF_DO_SUBSTR) {
4357                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
4358                 data->pos_min += trie->minlen;
4359                 data->pos_delta += (trie->maxlen - trie->minlen);
4360                 if (trie->maxlen != trie->minlen)
4361                     data->longest = &(data->longest_float);
4362             }
4363             if (trie->jump) /* no more substrings -- for now /grr*/
4364                 flags &= ~SCF_DO_SUBSTR; 
4365         }
4366 #endif /* old or new */
4367 #endif /* TRIE_STUDY_OPT */     
4368
4369         /* Else: zero-length, ignore. */
4370         scan = regnext(scan);
4371     }
4372     if (frame) {
4373         last = frame->last;
4374         scan = frame->next;
4375         stopparen = frame->stop;
4376         frame = frame->prev;
4377         goto fake_study_recurse;
4378     }
4379
4380   finish:
4381     assert(!frame);
4382     DEBUG_STUDYDATA("pre-fin:",data,depth);
4383
4384     *scanp = scan;
4385     *deltap = is_inf_internal ? I32_MAX : delta;
4386     if (flags & SCF_DO_SUBSTR && is_inf)
4387         data->pos_delta = I32_MAX - data->pos_min;
4388     if (is_par > (I32)U8_MAX)
4389         is_par = 0;
4390     if (is_par && pars==1 && data) {
4391         data->flags |= SF_IN_PAR;
4392         data->flags &= ~SF_HAS_PAR;
4393     }
4394     else if (pars && data) {
4395         data->flags |= SF_HAS_PAR;
4396         data->flags &= ~SF_IN_PAR;
4397     }
4398     if (flags & SCF_DO_STCLASS_OR)
4399         cl_and(data->start_class, and_withp);
4400     if (flags & SCF_TRIE_RESTUDY)
4401         data->flags |=  SCF_TRIE_RESTUDY;
4402     
4403     DEBUG_STUDYDATA("post-fin:",data,depth);
4404     
4405     return min < stopmin ? min : stopmin;
4406 }
4407
4408 STATIC U32
4409 S_add_data(RExC_state_t *pRExC_state, U32 n, const char *s)
4410 {
4411     U32 count = RExC_rxi->data ? RExC_rxi->data->count : 0;
4412
4413     PERL_ARGS_ASSERT_ADD_DATA;
4414
4415     Renewc(RExC_rxi->data,
4416            sizeof(*RExC_rxi->data) + sizeof(void*) * (count + n - 1),
4417            char, struct reg_data);
4418     if(count)
4419         Renew(RExC_rxi->data->what, count + n, U8);
4420     else
4421         Newx(RExC_rxi->data->what, n, U8);
4422     RExC_rxi->data->count = count + n;
4423     Copy(s, RExC_rxi->data->what + count, n, U8);
4424     return count;
4425 }
4426
4427 /*XXX: todo make this not included in a non debugging perl */
4428 #ifndef PERL_IN_XSUB_RE
4429 void
4430 Perl_reginitcolors(pTHX)
4431 {
4432     dVAR;
4433     const char * const s = PerlEnv_getenv("PERL_RE_COLORS");
4434     if (s) {
4435         char *t = savepv(s);
4436         int i = 0;
4437         PL_colors[0] = t;
4438         while (++i < 6) {
4439             t = strchr(t, '\t');
4440             if (t) {
4441                 *t = '\0';
4442                 PL_colors[i] = ++t;
4443             }
4444             else
4445                 PL_colors[i] = t = (char *)"";
4446         }
4447     } else {
4448         int i = 0;
4449         while (i < 6)
4450             PL_colors[i++] = (char *)"";
4451     }
4452     PL_colorset = 1;
4453 }
4454 #endif
4455
4456
4457 #ifdef TRIE_STUDY_OPT
4458 #define CHECK_RESTUDY_GOTO                                  \
4459         if (                                                \
4460               (data.flags & SCF_TRIE_RESTUDY)               \
4461               && ! restudied++                              \
4462         )     goto reStudy
4463 #else
4464 #define CHECK_RESTUDY_GOTO
4465 #endif        
4466
4467 /*
4468  - pregcomp - compile a regular expression into internal code
4469  *
4470  * We can't allocate space until we know how big the compiled form will be,
4471  * but we can't compile it (and thus know how big it is) until we've got a
4472  * place to put the code.  So we cheat:  we compile it twice, once with code
4473  * generation turned off and size counting turned on, and once "for real".
4474  * This also means that we don't allocate space until we are sure that the
4475  * thing really will compile successfully, and we never have to move the
4476  * code and thus invalidate pointers into it.  (Note that it has to be in
4477  * one piece because free() must be able to free it all.) [NB: not true in perl]
4478  *
4479  * Beware that the optimization-preparation code in here knows about some
4480  * of the structure of the compiled regexp.  [I'll say.]
4481  */
4482
4483
4484
4485 #ifndef PERL_IN_XSUB_RE
4486 #define RE_ENGINE_PTR &PL_core_reg_engine
4487 #else
4488 extern const struct regexp_engine my_reg_engine;
4489 #define RE_ENGINE_PTR &my_reg_engine
4490 #endif
4491
4492 #ifndef PERL_IN_XSUB_RE 
4493 REGEXP *
4494 Perl_pregcomp(pTHX_ SV * const pattern, const U32 flags)
4495 {
4496     dVAR;
4497     HV * const table = GvHV(PL_hintgv);
4498
4499     PERL_ARGS_ASSERT_PREGCOMP;
4500
4501     /* Dispatch a request to compile a regexp to correct 
4502        regexp engine. */
4503     if (table) {
4504         SV **ptr= hv_fetchs(table, "regcomp", FALSE);
4505         GET_RE_DEBUG_FLAGS_DECL;
4506         if (ptr && SvIOK(*ptr) && SvIV(*ptr)) {
4507             const regexp_engine *eng=INT2PTR(regexp_engine*,SvIV(*ptr));
4508             DEBUG_COMPILE_r({
4509                 PerlIO_printf(Perl_debug_log, "Using engine %"UVxf"\n",
4510                     SvIV(*ptr));
4511             });            
4512             return CALLREGCOMP_ENG(eng, pattern, flags);
4513         } 
4514     }
4515     return Perl_re_compile(aTHX_ pattern, flags);
4516 }
4517 #endif
4518
4519 REGEXP *
4520 Perl_re_compile(pTHX_ SV * const pattern, U32 orig_pm_flags)
4521 {
4522     dVAR;
4523     REGEXP *rx;
4524     struct regexp *r;
4525     register regexp_internal *ri;
4526     STRLEN plen;
4527     char* VOL exp;
4528     char* xend;
4529     regnode *scan;
4530     I32 flags;
4531     I32 minlen = 0;
4532     U32 pm_flags;
4533
4534     /* these are all flags - maybe they should be turned
4535      * into a single int with different bit masks */
4536     I32 sawlookahead = 0;
4537     I32 sawplus = 0;
4538     I32 sawopen = 0;
4539     bool used_setjump = FALSE;
4540     regex_charset initial_charset = get_regex_charset(orig_pm_flags);
4541
4542     U8 jump_ret = 0;
4543     dJMPENV;
4544     scan_data_t data;
4545     RExC_state_t RExC_state;
4546     RExC_state_t * const pRExC_state = &RExC_state;
4547 #ifdef TRIE_STUDY_OPT    
4548     int restudied;
4549     RExC_state_t copyRExC_state;
4550 #endif    
4551     GET_RE_DEBUG_FLAGS_DECL;
4552
4553     PERL_ARGS_ASSERT_RE_COMPILE;
4554
4555     DEBUG_r(if (!PL_colorset) reginitcolors());
4556
4557     exp = SvPV(pattern, plen);
4558
4559     if (plen == 0) { /* ignore the utf8ness if the pattern is 0 length */
4560         RExC_utf8 = RExC_orig_utf8 = 0;
4561     }
4562     else {
4563         RExC_utf8 = RExC_orig_utf8 = SvUTF8(pattern);
4564     }
4565     RExC_uni_semantics = 0;
4566     RExC_contains_locale = 0;
4567
4568     /****************** LONG JUMP TARGET HERE***********************/
4569     /* Longjmp back to here if have to switch in midstream to utf8 */
4570     if (! RExC_orig_utf8) {
4571         JMPENV_PUSH(jump_ret);
4572         used_setjump = TRUE;
4573     }
4574
4575     if (jump_ret == 0) {    /* First time through */
4576         xend = exp + plen;
4577
4578         DEBUG_COMPILE_r({
4579             SV *dsv= sv_newmortal();
4580             RE_PV_QUOTED_DECL(s, RExC_utf8,
4581                 dsv, exp, plen, 60);
4582             PerlIO_printf(Perl_debug_log, "%sCompiling REx%s %s\n",
4583                            PL_colors[4],PL_colors[5],s);
4584         });
4585     }
4586     else {  /* longjumped back */
4587         STRLEN len = plen;
4588
4589         /* If the cause for the longjmp was other than changing to utf8, pop
4590          * our own setjmp, and longjmp to the correct handler */
4591         if (jump_ret != UTF8_LONGJMP) {
4592             JMPENV_POP;
4593             JMPENV_JUMP(jump_ret);
4594         }
4595
4596         GET_RE_DEBUG_FLAGS;
4597
4598         /* It's possible to write a regexp in ascii that represents Unicode
4599         codepoints outside of the byte range, such as via \x{100}. If we
4600         detect such a sequence we have to convert the entire pattern to utf8
4601         and then recompile, as our sizing calculation will have been based
4602         on 1 byte == 1 character, but we will need to use utf8 to encode
4603         at least some part of the pattern, and therefore must convert the whole
4604         thing.
4605         -- dmq */
4606         DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log,
4607             "UTF8 mismatch! Converting to utf8 for resizing and compile\n"));
4608         exp = (char*)Perl_bytes_to_utf8(aTHX_
4609                                         (U8*)SvPV_nomg(pattern, plen),
4610                                         &len);
4611         xend = exp + len;
4612         RExC_orig_utf8 = RExC_utf8 = 1;
4613         SAVEFREEPV(exp);
4614     }
4615
4616 #ifdef TRIE_STUDY_OPT
4617     restudied = 0;
4618 #endif
4619
4620     pm_flags = orig_pm_flags;
4621
4622     if (initial_charset == REGEX_LOCALE_CHARSET) {
4623         RExC_contains_locale = 1;
4624     }
4625     else if (RExC_utf8 && initial_charset == REGEX_DEPENDS_CHARSET) {
4626
4627         /* Set to use unicode semantics if the pattern is in utf8 and has the
4628          * 'depends' charset specified, as it means unicode when utf8  */
4629         set_regex_charset(&pm_flags, REGEX_UNICODE_CHARSET);
4630     }
4631
4632     RExC_precomp = exp;
4633     RExC_flags = pm_flags;
4634     RExC_sawback = 0;
4635
4636     RExC_seen = 0;
4637     RExC_in_lookbehind = 0;
4638     RExC_seen_zerolen = *exp == '^' ? -1 : 0;
4639     RExC_seen_evals = 0;
4640     RExC_extralen = 0;
4641     RExC_override_recoding = 0;
4642
4643     /* First pass: determine size, legality. */
4644     RExC_parse = exp;
4645     RExC_start = exp;
4646     RExC_end = xend;
4647     RExC_naughty = 0;
4648     RExC_npar = 1;
4649     RExC_nestroot = 0;
4650     RExC_size = 0L;
4651     RExC_emit = &PL_regdummy;
4652     RExC_whilem_seen = 0;
4653     RExC_open_parens = NULL;
4654     RExC_close_parens = NULL;
4655     RExC_opend = NULL;
4656     RExC_paren_names = NULL;
4657 #ifdef DEBUGGING
4658     RExC_paren_name_list = NULL;
4659 #endif
4660     RExC_recurse = NULL;
4661     RExC_recurse_count = 0;
4662
4663 #if 0 /* REGC() is (currently) a NOP at the first pass.
4664        * Clever compilers notice this and complain. --jhi */
4665     REGC((U8)REG_MAGIC, (char*)RExC_emit);
4666 #endif
4667     DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log, "Starting first pass (sizing)\n"));
4668     if (reg(pRExC_state, 0, &flags,1) == NULL) {
4669         RExC_precomp = NULL;
4670         return(NULL);
4671     }
4672
4673     /* Here, finished first pass.  Get rid of any added setjmp */
4674     if (used_setjump) {
4675         JMPENV_POP;
4676     }
4677
4678     DEBUG_PARSE_r({
4679         PerlIO_printf(Perl_debug_log, 
4680             "Required size %"IVdf" nodes\n"
4681             "Starting second pass (creation)\n", 
4682             (IV)RExC_size);
4683         RExC_lastnum=0; 
4684         RExC_lastparse=NULL; 
4685     });
4686
4687     /* The first pass could have found things that force Unicode semantics */
4688     if ((RExC_utf8 || RExC_uni_semantics)
4689          && get_regex_charset(pm_flags) == REGEX_DEPENDS_CHARSET)
4690     {
4691         set_regex_charset(&pm_flags, REGEX_UNICODE_CHARSET);
4692     }
4693
4694     /* Small enough for pointer-storage convention?
4695        If extralen==0, this means that we will not need long jumps. */
4696     if (RExC_size >= 0x10000L && RExC_extralen)
4697         RExC_size += RExC_extralen;
4698     else
4699         RExC_extralen = 0;
4700     if (RExC_whilem_seen > 15)
4701         RExC_whilem_seen = 15;
4702
4703     /* Allocate space and zero-initialize. Note, the two step process 
4704        of zeroing when in debug mode, thus anything assigned has to 
4705        happen after that */
4706     rx = (REGEXP*) newSV_type(SVt_REGEXP);
4707     r = (struct regexp*)SvANY(rx);
4708     Newxc(ri, sizeof(regexp_internal) + (unsigned)RExC_size * sizeof(regnode),
4709          char, regexp_internal);
4710     if ( r == NULL || ri == NULL )
4711         FAIL("Regexp out of space");
4712 #ifdef DEBUGGING
4713     /* avoid reading uninitialized memory in DEBUGGING code in study_chunk() */
4714     Zero(ri, sizeof(regexp_internal) + (unsigned)RExC_size * sizeof(regnode), char);
4715 #else 
4716     /* bulk initialize base fields with 0. */
4717     Zero(ri, sizeof(regexp_internal), char);        
4718 #endif
4719
4720     /* non-zero initialization begins here */
4721     RXi_SET( r, ri );
4722     r->engine= RE_ENGINE_PTR;
4723     r->extflags = pm_flags;
4724     {
4725         bool has_p     = ((r->extflags & RXf_PMf_KEEPCOPY) == RXf_PMf_KEEPCOPY);
4726         bool has_charset = (get_regex_charset(r->extflags) != REGEX_DEPENDS_CHARSET);
4727
4728         /* The caret is output if there are any defaults: if not all the STD
4729          * flags are set, or if no character set specifier is needed */
4730         bool has_default =
4731                     (((r->extflags & RXf_PMf_STD_PMMOD) != RXf_PMf_STD_PMMOD)
4732                     || ! has_charset);
4733         bool has_runon = ((RExC_seen & REG_SEEN_RUN_ON_COMMENT)==REG_SEEN_RUN_ON_COMMENT);
4734         U16 reganch = (U16)((r->extflags & RXf_PMf_STD_PMMOD)
4735                             >> RXf_PMf_STD_PMMOD_SHIFT);
4736         const char *fptr = STD_PAT_MODS;        /*"msix"*/
4737         char *p;
4738         /* Allocate for the worst case, which is all the std flags are turned
4739          * on.  If more precision is desired, we could do a population count of
4740          * the flags set.  This could be done with a small lookup table, or by
4741          * shifting, masking and adding, or even, when available, assembly
4742          * language for a machine-language population count.
4743          * We never output a minus, as all those are defaults, so are
4744          * covered by the caret */
4745         const STRLEN wraplen = plen + has_p + has_runon
4746             + has_default       /* If needs a caret */
4747
4748                 /* If needs a character set specifier */
4749             + ((has_charset) ? MAX_CHARSET_NAME_LENGTH : 0)
4750             + (sizeof(STD_PAT_MODS) - 1)
4751             + (sizeof("(?:)") - 1);
4752
4753         p = sv_grow(MUTABLE_SV(rx), wraplen + 1); /* +1 for the ending NUL */
4754         SvPOK_on(rx);
4755         SvFLAGS(rx) |= SvUTF8(pattern);
4756         *p++='('; *p++='?';
4757
4758         /* If a default, cover it using the caret */
4759         if (has_default) {
4760             *p++= DEFAULT_PAT_MOD;
4761         }
4762         if (has_charset) {
4763             STRLEN len;
4764             const char* const name = get_regex_charset_name(r->extflags, &len);
4765             Copy(name, p, len, char);
4766             p += len;
4767         }
4768         if (has_p)
4769             *p++ = KEEPCOPY_PAT_MOD; /*'p'*/
4770         {
4771             char ch;
4772             while((ch = *fptr++)) {
4773                 if(reganch & 1)
4774                     *p++ = ch;
4775                 reganch >>= 1;
4776             }
4777         }
4778
4779         *p++ = ':';
4780         Copy(RExC_precomp, p, plen, char);
4781         assert ((RX_WRAPPED(rx) - p) < 16);
4782         r->pre_prefix = p - RX_WRAPPED(rx);
4783         p += plen;
4784         if (has_runon)
4785             *p++ = '\n';
4786         *p++ = ')';
4787         *p = 0;
4788         SvCUR_set(rx, p - SvPVX_const(rx));
4789     }
4790
4791     r->intflags = 0;
4792     r->nparens = RExC_npar - 1; /* set early to validate backrefs */
4793     
4794     if (RExC_seen & REG_SEEN_RECURSE) {
4795         Newxz(RExC_open_parens, RExC_npar,regnode *);
4796         SAVEFREEPV(RExC_open_parens);
4797         Newxz(RExC_close_parens,RExC_npar,regnode *);
4798         SAVEFREEPV(RExC_close_parens);
4799     }
4800
4801     /* Useful during FAIL. */
4802 #ifdef RE_TRACK_PATTERN_OFFSETS
4803     Newxz(ri->u.offsets, 2*RExC_size+1, U32); /* MJD 20001228 */
4804     DEBUG_OFFSETS_r(PerlIO_printf(Perl_debug_log,
4805                           "%s %"UVuf" bytes for offset annotations.\n",
4806                           ri->u.offsets ? "Got" : "Couldn't get",
4807                           (UV)((2*RExC_size+1) * sizeof(U32))));
4808 #endif
4809     SetProgLen(ri,RExC_size);
4810     RExC_rx_sv = rx;
4811     RExC_rx = r;
4812     RExC_rxi = ri;
4813     REH_CALL_COMP_BEGIN_HOOK(pRExC_state->rx);
4814
4815     /* Second pass: emit code. */
4816     RExC_flags = pm_flags;      /* don't let top level (?i) bleed */
4817     RExC_parse = exp;
4818     RExC_end = xend;
4819     RExC_naughty = 0;
4820     RExC_npar = 1;
4821     RExC_emit_start = ri->program;
4822     RExC_emit = ri->program;
4823     RExC_emit_bound = ri->program + RExC_size + 1;
4824
4825     /* Store the count of eval-groups for security checks: */
4826     RExC_rx->seen_evals = RExC_seen_evals;
4827     REGC((U8)REG_MAGIC, (char*) RExC_emit++);
4828     if (reg(pRExC_state, 0, &flags,1) == NULL) {
4829         ReREFCNT_dec(rx);   
4830         return(NULL);
4831     }
4832     /* XXXX To minimize changes to RE engine we always allocate
4833        3-units-long substrs field. */
4834     Newx(r->substrs, 1, struct reg_substr_data);
4835     if (RExC_recurse_count) {
4836         Newxz(RExC_recurse,RExC_recurse_count,regnode *);
4837         SAVEFREEPV(RExC_recurse);
4838     }
4839
4840 reStudy:
4841     r->minlen = minlen = sawlookahead = sawplus = sawopen = 0;
4842     Zero(r->substrs, 1, struct reg_substr_data);
4843
4844 #ifdef TRIE_STUDY_OPT
4845     if (!restudied) {
4846         StructCopy(&zero_scan_data, &data, scan_data_t);
4847         copyRExC_state = RExC_state;
4848     } else {
4849         U32 seen=RExC_seen;
4850         DEBUG_OPTIMISE_r(PerlIO_printf(Perl_debug_log,"Restudying\n"));
4851         
4852         RExC_state = copyRExC_state;
4853         if (seen & REG_TOP_LEVEL_BRANCHES) 
4854             RExC_seen |= REG_TOP_LEVEL_BRANCHES;
4855         else
4856             RExC_seen &= ~REG_TOP_LEVEL_BRANCHES;
4857         if (data.last_found) {
4858             SvREFCNT_dec(data.longest_fixed);
4859             SvREFCNT_dec(data.longest_float);
4860             SvREFCNT_dec(data.last_found);
4861         }
4862         StructCopy(&zero_scan_data, &data, scan_data_t);
4863     }
4864 #else
4865     StructCopy(&zero_scan_data, &data, scan_data_t);
4866 #endif    
4867
4868     /* Dig out information for optimizations. */
4869     r->extflags = RExC_flags; /* was pm_op */
4870     /*dmq: removed as part of de-PMOP: pm->op_pmflags = RExC_flags; */
4871  
4872     if (UTF)
4873         SvUTF8_on(rx);  /* Unicode in it? */
4874     ri->regstclass = NULL;
4875     if (RExC_naughty >= 10)     /* Probably an expensive pattern. */
4876         r->intflags |= PREGf_NAUGHTY;
4877     scan = ri->program + 1;             /* First BRANCH. */
4878
4879     /* testing for BRANCH here tells us whether there is "must appear"
4880        data in the pattern. If there is then we can use it for optimisations */
4881     if (!(RExC_seen & REG_TOP_LEVEL_BRANCHES)) { /*  Only one top-level choice. */
4882         I32 fake;
4883         STRLEN longest_float_length, longest_fixed_length;
4884         struct regnode_charclass_class ch_class; /* pointed to by data */
4885         int stclass_flag;
4886         I32 last_close = 0; /* pointed to by data */
4887         regnode *first= scan;
4888         regnode *first_next= regnext(first);
4889         /*
4890          * Skip introductions and multiplicators >= 1
4891          * so that we can extract the 'meat' of the pattern that must 
4892          * match in the large if() sequence following.
4893          * NOTE that EXACT is NOT covered here, as it is normally
4894          * picked up by the optimiser separately. 
4895          *
4896          * This is unfortunate as the optimiser isnt handling lookahead
4897          * properly currently.
4898          *
4899          */
4900         while ((OP(first) == OPEN && (sawopen = 1)) ||
4901                /* An OR of *one* alternative - should not happen now. */
4902             (OP(first) == BRANCH && OP(first_next) != BRANCH) ||
4903             /* for now we can't handle lookbehind IFMATCH*/
4904             (OP(first) == IFMATCH && !first->flags && (sawlookahead = 1)) ||
4905             (OP(first) == PLUS) ||
4906             (OP(first) == MINMOD) ||
4907                /* An {n,m} with n>0 */
4908             (PL_regkind[OP(first)] == CURLY && ARG1(first) > 0) ||
4909             (OP(first) == NOTHING && PL_regkind[OP(first_next)] != END ))
4910         {
4911                 /* 
4912                  * the only op that could be a regnode is PLUS, all the rest
4913                  * will be regnode_1 or regnode_2.
4914                  *
4915                  */
4916                 if (OP(first) == PLUS)
4917                     sawplus = 1;
4918                 else
4919                     first += regarglen[OP(first)];
4920                 
4921                 first = NEXTOPER(first);
4922                 first_next= regnext(first);
4923         }
4924
4925         /* Starting-point info. */
4926       again:
4927         DEBUG_PEEP("first:",first,0);
4928         /* Ignore EXACT as we deal with it later. */
4929         if (PL_regkind[OP(first)] == EXACT) {
4930             if (OP(first) == EXACT)
4931                 NOOP;   /* Empty, get anchored substr later. */
4932             else
4933                 ri->regstclass = first;
4934         }
4935 #ifdef TRIE_STCLASS     
4936         else if (PL_regkind[OP(first)] == TRIE &&
4937                 ((reg_trie_data *)ri->data->data[ ARG(first) ])->minlen>0) 
4938         {
4939             regnode *trie_op;
4940             /* this can happen only on restudy */
4941             if ( OP(first) == TRIE ) {
4942                 struct regnode_1 *trieop = (struct regnode_1 *)
4943                     PerlMemShared_calloc(1, sizeof(struct regnode_1));
4944                 StructCopy(first,trieop,struct regnode_1);
4945                 trie_op=(regnode *)trieop;
4946             } else {
4947                 struct regnode_charclass *trieop = (struct regnode_charclass *)
4948                     PerlMemShared_calloc(1, sizeof(struct regnode_charclass));
4949                 StructCopy(first,trieop,struct regnode_charclass);
4950                 trie_op=(regnode *)trieop;
4951             }
4952             OP(trie_op)+=2;
4953             make_trie_failtable(pRExC_state, (regnode *)first, trie_op, 0);
4954             ri->regstclass = trie_op;
4955         }
4956 #endif  
4957         else if (REGNODE_SIMPLE(OP(first)))
4958             ri->regstclass = first;
4959         else if (PL_regkind[OP(first)] == BOUND ||
4960                  PL_regkind[OP(first)] == NBOUND)
4961             ri->regstclass = first;
4962         else if (PL_regkind[OP(first)] == BOL) {
4963             r->extflags |= (OP(first) == MBOL
4964                            ? RXf_ANCH_MBOL
4965                            : (OP(first) == SBOL
4966                               ? RXf_ANCH_SBOL
4967                               : RXf_ANCH_BOL));
4968             first = NEXTOPER(first);
4969             goto again;
4970         }
4971         else if (OP(first) == GPOS) {
4972             r->extflags |= RXf_ANCH_GPOS;
4973             first = NEXTOPER(first);
4974             goto again;
4975         }
4976         else if ((!sawopen || !RExC_sawback) &&
4977             (OP(first) == STAR &&
4978             PL_regkind[OP(NEXTOPER(first))] == REG_ANY) &&
4979             !(r->extflags & RXf_ANCH) && !(RExC_seen & REG_SEEN_EVAL))
4980         {
4981             /* turn .* into ^.* with an implied $*=1 */
4982             const int type =
4983                 (OP(NEXTOPER(first)) == REG_ANY)
4984                     ? RXf_ANCH_MBOL
4985                     : RXf_ANCH_SBOL;
4986             r->extflags |= type;
4987             r->intflags |= PREGf_IMPLICIT;
4988             first = NEXTOPER(first);
4989             goto again;
4990         }
4991         if (sawplus && !sawlookahead && (!sawopen || !RExC_sawback)
4992             && !(RExC_seen & REG_SEEN_EVAL)) /* May examine pos and $& */
4993             /* x+ must match at the 1st pos of run of x's */
4994             r->intflags |= PREGf_SKIP;
4995
4996         /* Scan is after the zeroth branch, first is atomic matcher. */
4997 #ifdef TRIE_STUDY_OPT
4998         DEBUG_PARSE_r(
4999             if (!restudied)
5000                 PerlIO_printf(Perl_debug_log, "first at %"IVdf"\n",
5001                               (IV)(first - scan + 1))
5002         );
5003 #else
5004         DEBUG_PARSE_r(
5005             PerlIO_printf(Perl_debug_log, "first at %"IVdf"\n",
5006                 (IV)(first - scan + 1))
5007         );
5008 #endif
5009
5010
5011         /*
5012         * If there's something expensive in the r.e., find the
5013         * longest literal string that must appear and make it the
5014         * regmust.  Resolve ties in favor of later strings, since
5015         * the regstart check works with the beginning of the r.e.
5016         * and avoiding duplication strengthens checking.  Not a
5017         * strong reason, but sufficient in the absence of others.
5018         * [Now we resolve ties in favor of the earlier string if
5019         * it happens that c_offset_min has been invalidated, since the
5020         * earlier string may buy us something the later one won't.]
5021         */
5022         
5023         data.longest_fixed = newSVpvs("");
5024         data.longest_float = newSVpvs("");
5025         data.last_found = newSVpvs("");
5026         data.longest = &(data.longest_fixed);
5027         first = scan;
5028         if (!ri->regstclass) {
5029             cl_init(pRExC_state, &ch_class);
5030             data.start_class = &ch_class;
5031             stclass_flag = SCF_DO_STCLASS_AND;
5032         } else                          /* XXXX Check for BOUND? */
5033             stclass_flag = 0;
5034         data.last_closep = &last_close;
5035         
5036         minlen = study_chunk(pRExC_state, &first, &minlen, &fake, scan + RExC_size, /* Up to end */
5037             &data, -1, NULL, NULL,
5038             SCF_DO_SUBSTR | SCF_WHILEM_VISITED_POS | stclass_flag,0);
5039
5040         
5041         CHECK_RESTUDY_GOTO;
5042
5043
5044         if ( RExC_npar == 1 && data.longest == &(data.longest_fixed)
5045              && data.last_start_min == 0 && data.last_end > 0
5046              && !RExC_seen_zerolen
5047              && !(RExC_seen & REG_SEEN_VERBARG)
5048              && (!(RExC_seen & REG_SEEN_GPOS) || (r->extflags & RXf_ANCH_GPOS)))
5049             r->extflags |= RXf_CHECK_ALL;
5050         scan_commit(pRExC_state, &data,&minlen,0);
5051         SvREFCNT_dec(data.last_found);
5052
5053         /* Note that code very similar to this but for anchored string 
5054            follows immediately below, changes may need to be made to both. 
5055            Be careful. 
5056          */
5057         longest_float_length = CHR_SVLEN(data.longest_float);
5058         if (longest_float_length
5059             || (data.flags & SF_FL_BEFORE_EOL
5060                 && (!(data.flags & SF_FL_BEFORE_MEOL)
5061                     || (RExC_flags & RXf_PMf_MULTILINE)))) 
5062         {
5063             I32 t,ml;
5064
5065             if (SvCUR(data.longest_fixed)  /* ok to leave SvCUR */
5066                 && data.offset_fixed == data.offset_float_min
5067                 && SvCUR(data.longest_fixed) == SvCUR(data.longest_float))
5068                     goto remove_float;          /* As in (a)+. */
5069
5070             /* copy the information about the longest float from the reg_scan_data
5071                over to the program. */
5072             if (SvUTF8(data.longest_float)) {
5073                 r->float_utf8 = data.longest_float;
5074                 r->float_substr = NULL;
5075             } else {
5076                 r->float_substr = data.longest_float;
5077                 r->float_utf8 = NULL;
5078             }
5079             /* float_end_shift is how many chars that must be matched that 
5080                follow this item. We calculate it ahead of time as once the
5081                lookbehind offset is added in we lose the ability to correctly
5082                calculate it.*/
5083             ml = data.minlen_float ? *(data.minlen_float) 
5084                                    : (I32)longest_float_length;
5085             r->float_end_shift = ml - data.offset_float_min
5086                 - longest_float_length + (SvTAIL(data.longest_float) != 0)
5087                 + data.lookbehind_float;
5088             r->float_min_offset = data.offset_float_min - data.lookbehind_float;
5089             r->float_max_offset = data.offset_float_max;
5090             if (data.offset_float_max < I32_MAX) /* Don't offset infinity */
5091                 r->float_max_offset -= data.lookbehind_float;
5092             
5093             t = (data.flags & SF_FL_BEFORE_EOL /* Can't have SEOL and MULTI */
5094                        && (!(data.flags & SF_FL_BEFORE_MEOL)
5095                            || (RExC_flags & RXf_PMf_MULTILINE)));
5096             fbm_compile(data.longest_float, t ? FBMcf_TAIL : 0);
5097         }
5098         else {
5099           remove_float:
5100             r->float_substr = r->float_utf8 = NULL;
5101             SvREFCNT_dec(data.longest_float);
5102             longest_float_length = 0;
5103         }
5104
5105         /* Note that code very similar to this but for floating string 
5106            is immediately above, changes may need to be made to both. 
5107            Be careful. 
5108          */
5109         longest_fixed_length = CHR_SVLEN(data.longest_fixed);
5110         if (longest_fixed_length
5111             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
5112                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
5113                     || (RExC_flags & RXf_PMf_MULTILINE)))) 
5114         {
5115             I32 t,ml;
5116
5117             /* copy the information about the longest fixed 
5118                from the reg_scan_data over to the program. */
5119             if (SvUTF8(data.longest_fixed)) {
5120                 r->anchored_utf8 = data.longest_fixed;
5121                 r->anchored_substr = NULL;
5122             } else {
5123                 r->anchored_substr = data.longest_fixed;
5124                 r->anchored_utf8 = NULL;
5125             }
5126             /* fixed_end_shift is how many chars that must be matched that 
5127                follow this item. We calculate it ahead of time as once the
5128                lookbehind offset is added in we lose the ability to correctly
5129                calculate it.*/
5130             ml = data.minlen_fixed ? *(data.minlen_fixed) 
5131                                    : (I32)longest_fixed_length;
5132             r->anchored_end_shift = ml - data.offset_fixed
5133                 - longest_fixed_length + (SvTAIL(data.longest_fixed) != 0)
5134                 + data.lookbehind_fixed;
5135             r->anchored_offset = data.offset_fixed - data.lookbehind_fixed;
5136
5137             t = (data.flags & SF_FIX_BEFORE_EOL /* Can't have SEOL and MULTI */
5138                  && (!(data.flags & SF_FIX_BEFORE_MEOL)
5139                      || (RExC_flags & RXf_PMf_MULTILINE)));
5140             fbm_compile(data.longest_fixed, t ? FBMcf_TAIL : 0);
5141         }
5142         else {
5143             r->anchored_substr = r->anchored_utf8 = NULL;
5144             SvREFCNT_dec(data.longest_fixed);
5145             longest_fixed_length = 0;
5146         }
5147         if (ri->regstclass
5148             && (OP(ri->regstclass) == REG_ANY || OP(ri->regstclass) == SANY))
5149             ri->regstclass = NULL;
5150
5151         if ((!(r->anchored_substr || r->anchored_utf8) || r->anchored_offset)
5152             && stclass_flag
5153             && !(data.start_class->flags & ANYOF_EOS)
5154             && !cl_is_anything(data.start_class))
5155         {
5156             const U32 n = add_data(pRExC_state, 1, "f");
5157             data.start_class->flags |= ANYOF_IS_SYNTHETIC;
5158
5159             Newx(RExC_rxi->data->data[n], 1,
5160                 struct regnode_charclass_class);
5161             StructCopy(data.start_class,
5162                        (struct regnode_charclass_class*)RExC_rxi->data->data[n],
5163                        struct regnode_charclass_class);
5164             ri->regstclass = (regnode*)RExC_rxi->data->data[n];
5165             r->intflags &= ~PREGf_SKIP; /* Used in find_byclass(). */
5166             DEBUG_COMPILE_r({ SV *sv = sv_newmortal();
5167                       regprop(r, sv, (regnode*)data.start_class);
5168                       PerlIO_printf(Perl_debug_log,
5169                                     "synthetic stclass \"%s\".\n",
5170                                     SvPVX_const(sv));});
5171         }
5172
5173         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
5174         if (longest_fixed_length > longest_float_length) {
5175             r->check_end_shift = r->anchored_end_shift;
5176             r->check_substr = r->anchored_substr;
5177             r->check_utf8 = r->anchored_utf8;
5178             r->check_offset_min = r->check_offset_max = r->anchored_offset;
5179             if (r->extflags & RXf_ANCH_SINGLE)
5180                 r->extflags |= RXf_NOSCAN;
5181         }
5182         else {
5183             r->check_end_shift = r->float_end_shift;
5184             r->check_substr = r->float_substr;
5185             r->check_utf8 = r->float_utf8;
5186             r->check_offset_min = r->float_min_offset;
5187             r->check_offset_max = r->float_max_offset;
5188         }
5189         /* XXXX Currently intuiting is not compatible with ANCH_GPOS.
5190            This should be changed ASAP!  */
5191         if ((r->check_substr || r->check_utf8) && !(r->extflags & RXf_ANCH_GPOS)) {
5192             r->extflags |= RXf_USE_INTUIT;
5193             if (SvTAIL(r->check_substr ? r->check_substr : r->check_utf8))
5194                 r->extflags |= RXf_INTUIT_TAIL;
5195         }
5196         /* XXX Unneeded? dmq (shouldn't as this is handled elsewhere)
5197         if ( (STRLEN)minlen < longest_float_length )
5198             minlen= longest_float_length;
5199         if ( (STRLEN)minlen < longest_fixed_length )
5200             minlen= longest_fixed_length;     
5201         */
5202     }
5203     else {
5204         /* Several toplevels. Best we can is to set minlen. */
5205         I32 fake;
5206         struct regnode_charclass_class ch_class;
5207         I32 last_close = 0;
5208         
5209         DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log, "\nMulti Top Level\n"));
5210
5211         scan = ri->program + 1;
5212         cl_init(pRExC_state, &ch_class);
5213         data.start_class = &ch_class;
5214         data.last_closep = &last_close;
5215
5216         
5217         minlen = study_chunk(pRExC_state, &scan, &minlen, &fake, scan + RExC_size,
5218             &data, -1, NULL, NULL, SCF_DO_STCLASS_AND|SCF_WHILEM_VISITED_POS,0);
5219         
5220         CHECK_RESTUDY_GOTO;
5221
5222         r->check_substr = r->check_utf8 = r->anchored_substr = r->anchored_utf8
5223                 = r->float_substr = r->float_utf8 = NULL;
5224
5225         if (!(data.start_class->flags & ANYOF_EOS)
5226             && !cl_is_anything(data.start_class))
5227         {
5228             const U32 n = add_data(pRExC_state, 1, "f");
5229             data.start_class->flags |= ANYOF_IS_SYNTHETIC;
5230
5231             Newx(RExC_rxi->data->data[n], 1,
5232                 struct regnode_charclass_class);
5233             StructCopy(data.start_class,
5234                        (struct regnode_charclass_class*)RExC_rxi->data->data[n],
5235                        struct regnode_charclass_class);
5236             ri->regstclass = (regnode*)RExC_rxi->data->data[n];
5237             r->intflags &= ~PREGf_SKIP; /* Used in find_byclass(). */
5238             DEBUG_COMPILE_r({ SV* sv = sv_newmortal();
5239                       regprop(r, sv, (regnode*)data.start_class);
5240                       PerlIO_printf(Perl_debug_log,
5241                                     "synthetic stclass \"%s\".\n",
5242                                     SvPVX_const(sv));});
5243         }
5244     }
5245
5246     /* Guard against an embedded (?=) or (?<=) with a longer minlen than
5247        the "real" pattern. */
5248     DEBUG_OPTIMISE_r({
5249         PerlIO_printf(Perl_debug_log,"minlen: %"IVdf" r->minlen:%"IVdf"\n",
5250                       (IV)minlen, (IV)r->minlen);
5251     });
5252     r->minlenret = minlen;
5253     if (r->minlen < minlen) 
5254         r->minlen = minlen;
5255     
5256     if (RExC_seen & REG_SEEN_GPOS)
5257         r->extflags |= RXf_GPOS_SEEN;
5258     if (RExC_seen & REG_SEEN_LOOKBEHIND)
5259         r->extflags |= RXf_LOOKBEHIND_SEEN;
5260     if (RExC_seen & REG_SEEN_EVAL)
5261         r->extflags |= RXf_EVAL_SEEN;
5262     if (RExC_seen & REG_SEEN_CANY)
5263         r->extflags |= RXf_CANY_SEEN;
5264     if (RExC_seen & REG_SEEN_VERBARG)
5265         r->intflags |= PREGf_VERBARG_SEEN;
5266     if (RExC_seen & REG_SEEN_CUTGROUP)
5267         r->intflags |= PREGf_CUTGROUP_SEEN;
5268     if (RExC_paren_names)
5269         RXp_PAREN_NAMES(r) = MUTABLE_HV(SvREFCNT_inc(RExC_paren_names));
5270     else
5271         RXp_PAREN_NAMES(r) = NULL;
5272
5273 #ifdef STUPID_PATTERN_CHECKS            
5274     if (RX_PRELEN(rx) == 0)
5275         r->extflags |= RXf_NULL;
5276     if (r->extflags & RXf_SPLIT && RX_PRELEN(rx) == 1 && RX_PRECOMP(rx)[0] == ' ')
5277         /* XXX: this should happen BEFORE we compile */
5278         r->extflags |= (RXf_SKIPWHITE|RXf_WHITE); 
5279     else if (RX_PRELEN(rx) == 3 && memEQ("\\s+", RX_PRECOMP(rx), 3))
5280         r->extflags |= RXf_WHITE;
5281     else if (RX_PRELEN(rx) == 1 && RXp_PRECOMP(rx)[0] == '^')
5282         r->extflags |= RXf_START_ONLY;
5283 #else
5284     if (r->extflags & RXf_SPLIT && RX_PRELEN(rx) == 1 && RX_PRECOMP(rx)[0] == ' ')
5285             /* XXX: this should happen BEFORE we compile */
5286             r->extflags |= (RXf_SKIPWHITE|RXf_WHITE); 
5287     else {
5288         regnode *first = ri->program + 1;
5289         U8 fop = OP(first);
5290
5291         if (PL_regkind[fop] == NOTHING && OP(NEXTOPER(first)) == END)
5292             r->extflags |= RXf_NULL;
5293         else if (PL_regkind[fop] == BOL && OP(NEXTOPER(first)) == END)
5294             r->extflags |= RXf_START_ONLY;
5295         else if (fop == PLUS && OP(NEXTOPER(first)) == SPACE
5296                              && OP(regnext(first)) == END)
5297             r->extflags |= RXf_WHITE;    
5298     }
5299 #endif
5300 #ifdef DEBUGGING
5301     if (RExC_paren_names) {
5302         ri->name_list_idx = add_data( pRExC_state, 1, "a" );
5303         ri->data->data[ri->name_list_idx] = (void*)SvREFCNT_inc(RExC_paren_name_list);
5304     } else
5305 #endif
5306         ri->name_list_idx = 0;
5307
5308     if (RExC_recurse_count) {
5309         for ( ; RExC_recurse_count ; RExC_recurse_count-- ) {
5310             const regnode *scan = RExC_recurse[RExC_recurse_count-1];
5311             ARG2L_SET( scan, RExC_open_parens[ARG(scan)-1] - scan );
5312         }
5313     }
5314     Newxz(r->offs, RExC_npar, regexp_paren_pair);
5315     /* assume we don't need to swap parens around before we match */
5316
5317     DEBUG_DUMP_r({
5318         PerlIO_printf(Perl_debug_log,"Final program:\n");
5319         regdump(r);
5320     });
5321 #ifdef RE_TRACK_PATTERN_OFFSETS
5322     DEBUG_OFFSETS_r(if (ri->u.offsets) {
5323         const U32 len = ri->u.offsets[0];
5324         U32 i;
5325         GET_RE_DEBUG_FLAGS_DECL;
5326         PerlIO_printf(Perl_debug_log, "Offsets: [%"UVuf"]\n\t", (UV)ri->u.offsets[0]);
5327         for (i = 1; i <= len; i++) {
5328             if (ri->u.offsets[i*2-1] || ri->u.offsets[i*2])
5329                 PerlIO_printf(Perl_debug_log, "%"UVuf":%"UVuf"[%"UVuf"] ",
5330                 (UV)i, (UV)ri->u.offsets[i*2-1], (UV)ri->u.offsets[i*2]);
5331             }
5332         PerlIO_printf(Perl_debug_log, "\n");
5333     });
5334 #endif
5335     return rx;
5336 }
5337
5338 #undef RE_ENGINE_PTR
5339
5340
5341 SV*
5342 Perl_reg_named_buff(pTHX_ REGEXP * const rx, SV * const key, SV * const value,
5343                     const U32 flags)
5344 {
5345     PERL_ARGS_ASSERT_REG_NAMED_BUFF;
5346
5347     PERL_UNUSED_ARG(value);
5348
5349     if (flags & RXapif_FETCH) {
5350         return reg_named_buff_fetch(rx, key, flags);
5351     } else if (flags & (RXapif_STORE | RXapif_DELETE | RXapif_CLEAR)) {
5352         Perl_croak_no_modify(aTHX);
5353         return NULL;
5354     } else if (flags & RXapif_EXISTS) {
5355         return reg_named_buff_exists(rx, key, flags)
5356             ? &PL_sv_yes
5357             : &PL_sv_no;
5358     } else if (flags & RXapif_REGNAMES) {
5359         return reg_named_buff_all(rx, flags);
5360     } else if (flags & (RXapif_SCALAR | RXapif_REGNAMES_COUNT)) {
5361         return reg_named_buff_scalar(rx, flags);
5362     } else {
5363         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff", (int)flags);
5364         return NULL;
5365     }
5366 }
5367
5368 SV*
5369 Perl_reg_named_buff_iter(pTHX_ REGEXP * const rx, const SV * const lastkey,
5370                          const U32 flags)
5371 {
5372     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ITER;
5373     PERL_UNUSED_ARG(lastkey);
5374
5375     if (flags & RXapif_FIRSTKEY)
5376         return reg_named_buff_firstkey(rx, flags);
5377     else if (flags & RXapif_NEXTKEY)
5378         return reg_named_buff_nextkey(rx, flags);
5379     else {
5380         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_iter", (int)flags);
5381         return NULL;
5382     }
5383 }
5384
5385 SV*
5386 Perl_reg_named_buff_fetch(pTHX_ REGEXP * const r, SV * const namesv,
5387                           const U32 flags)
5388 {
5389     AV *retarray = NULL;
5390     SV *ret;
5391     struct regexp *const rx = (struct regexp *)SvANY(r);
5392
5393     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FETCH;
5394
5395     if (flags & RXapif_ALL)
5396         retarray=newAV();
5397
5398     if (rx && RXp_PAREN_NAMES(rx)) {
5399         HE *he_str = hv_fetch_ent( RXp_PAREN_NAMES(rx), namesv, 0, 0 );
5400         if (he_str) {
5401             IV i;
5402             SV* sv_dat=HeVAL(he_str);
5403             I32 *nums=(I32*)SvPVX(sv_dat);
5404             for ( i=0; i<SvIVX(sv_dat); i++ ) {
5405                 if ((I32)(rx->nparens) >= nums[i]
5406                     && rx->offs[nums[i]].start != -1
5407                     && rx->offs[nums[i]].end != -1)
5408                 {
5409                     ret = newSVpvs("");
5410                     CALLREG_NUMBUF_FETCH(r,nums[i],ret);
5411                     if (!retarray)
5412                         return ret;
5413                 } else {
5414                     ret = newSVsv(&PL_sv_undef);
5415                 }
5416                 if (retarray)
5417                     av_push(retarray, ret);
5418             }
5419             if (retarray)
5420                 return newRV_noinc(MUTABLE_SV(retarray));
5421         }
5422     }
5423     return NULL;
5424 }
5425
5426 bool
5427 Perl_reg_named_buff_exists(pTHX_ REGEXP * const r, SV * const key,
5428                            const U32 flags)
5429 {
5430     struct regexp *const rx = (struct regexp *)SvANY(r);
5431
5432     PERL_ARGS_ASSERT_REG_NAMED_BUFF_EXISTS;
5433
5434     if (rx && RXp_PAREN_NAMES(rx)) {
5435         if (flags & RXapif_ALL) {
5436             return hv_exists_ent(RXp_PAREN_NAMES(rx), key, 0);
5437         } else {
5438             SV *sv = CALLREG_NAMED_BUFF_FETCH(r, key, flags);
5439             if (sv) {
5440                 SvREFCNT_dec(sv);
5441                 return TRUE;
5442             } else {
5443                 return FALSE;
5444             }
5445         }
5446     } else {
5447         return FALSE;
5448     }
5449 }
5450
5451 SV*
5452 Perl_reg_named_buff_firstkey(pTHX_ REGEXP * const r, const U32 flags)
5453 {
5454     struct regexp *const rx = (struct regexp *)SvANY(r);
5455
5456     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FIRSTKEY;
5457
5458     if ( rx && RXp_PAREN_NAMES(rx) ) {
5459         (void)hv_iterinit(RXp_PAREN_NAMES(rx));
5460
5461         return CALLREG_NAMED_BUFF_NEXTKEY(r, NULL, flags & ~RXapif_FIRSTKEY);
5462     } else {
5463         return FALSE;
5464     }
5465 }
5466
5467 SV*
5468 Perl_reg_named_buff_nextkey(pTHX_ REGEXP * const r, const U32 flags)
5469 {
5470     struct regexp *const rx = (struct regexp *)SvANY(r);
5471     GET_RE_DEBUG_FLAGS_DECL;
5472
5473     PERL_ARGS_ASSERT_REG_NAMED_BUFF_NEXTKEY;
5474
5475     if (rx && RXp_PAREN_NAMES(rx)) {
5476         HV *hv = RXp_PAREN_NAMES(rx);
5477         HE *temphe;
5478         while ( (temphe = hv_iternext_flags(hv,0)) ) {
5479             IV i;
5480             IV parno = 0;
5481             SV* sv_dat = HeVAL(temphe);
5482             I32 *nums = (I32*)SvPVX(sv_dat);
5483             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
5484                 if ((I32)(rx->lastparen) >= nums[i] &&
5485                     rx->offs[nums[i]].start != -1 &&
5486                     rx->offs[nums[i]].end != -1)
5487                 {
5488                     parno = nums[i];
5489                     break;
5490                 }
5491             }
5492             if (parno || flags & RXapif_ALL) {
5493                 return newSVhek(HeKEY_hek(temphe));
5494             }
5495         }
5496     }
5497     return NULL;
5498 }
5499
5500 SV*
5501 Perl_reg_named_buff_scalar(pTHX_ REGEXP * const r, const U32 flags)
5502 {
5503     SV *ret;
5504     AV *av;
5505     I32 length;
5506     struct regexp *const rx = (struct regexp *)SvANY(r);
5507
5508     PERL_ARGS_ASSERT_REG_NAMED_BUFF_SCALAR;
5509
5510     if (rx && RXp_PAREN_NAMES(rx)) {
5511         if (flags & (RXapif_ALL | RXapif_REGNAMES_COUNT)) {
5512             return newSViv(HvTOTALKEYS(RXp_PAREN_NAMES(rx)));
5513         } else if (flags & RXapif_ONE) {
5514             ret = CALLREG_NAMED_BUFF_ALL(r, (flags | RXapif_REGNAMES));
5515             av = MUTABLE_AV(SvRV(ret));
5516             length = av_len(av);
5517             SvREFCNT_dec(ret);
5518             return newSViv(length + 1);
5519         } else {
5520             Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_scalar", (int)flags);
5521             return NULL;
5522         }
5523     }
5524     return &PL_sv_undef;
5525 }
5526
5527 SV*
5528 Perl_reg_named_buff_all(pTHX_ REGEXP * const r, const U32 flags)
5529 {
5530     struct regexp *const rx = (struct regexp *)SvANY(r);
5531     AV *av = newAV();
5532
5533     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ALL;
5534
5535     if (rx && RXp_PAREN_NAMES(rx)) {
5536         HV *hv= RXp_PAREN_NAMES(rx);
5537         HE *temphe;
5538         (void)hv_iterinit(hv);
5539         while ( (temphe = hv_iternext_flags(hv,0)) ) {
5540             IV i;
5541             IV parno = 0;
5542             SV* sv_dat = HeVAL(temphe);
5543             I32 *nums = (I32*)SvPVX(sv_dat);
5544             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
5545                 if ((I32)(rx->lastparen) >= nums[i] &&
5546                     rx->offs[nums[i]].start != -1 &&
5547                     rx->offs[nums[i]].end != -1)
5548                 {
5549                     parno = nums[i];
5550                     break;
5551                 }
5552             }
5553             if (parno || flags & RXapif_ALL) {
5554                 av_push(av, newSVhek(HeKEY_hek(temphe)));
5555             }
5556         }
5557     }
5558
5559     return newRV_noinc(MUTABLE_SV(av));
5560 }
5561
5562 void
5563 Perl_reg_numbered_buff_fetch(pTHX_ REGEXP * const r, const I32 paren,
5564                              SV * const sv)
5565 {
5566     struct regexp *const rx = (struct regexp *)SvANY(r);
5567     char *s = NULL;
5568     I32 i = 0;
5569     I32 s1, t1;
5570
5571     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_FETCH;
5572         
5573     if (!rx->subbeg) {
5574         sv_setsv(sv,&PL_sv_undef);
5575         return;
5576     } 
5577     else               
5578     if (paren == RX_BUFF_IDX_PREMATCH && rx->offs[0].start != -1) {
5579         /* $` */
5580         i = rx->offs[0].start;
5581         s = rx->subbeg;
5582     }
5583     else 
5584     if (paren == RX_BUFF_IDX_POSTMATCH && rx->offs[0].end != -1) {
5585         /* $' */
5586         s = rx->subbeg + rx->offs[0].end;
5587         i = rx->sublen - rx->offs[0].end;
5588     } 
5589     else
5590     if ( 0 <= paren && paren <= (I32)rx->nparens &&
5591         (s1 = rx->offs[paren].start) != -1 &&
5592         (t1 = rx->offs[paren].end) != -1)
5593     {
5594         /* $& $1 ... */
5595         i = t1 - s1;
5596         s = rx->subbeg + s1;
5597     } else {
5598         sv_setsv(sv,&PL_sv_undef);
5599         return;
5600     }          
5601     assert(rx->sublen >= (s - rx->subbeg) + i );
5602     if (i >= 0) {
5603         const int oldtainted = PL_tainted;
5604         TAINT_NOT;
5605         sv_setpvn(sv, s, i);
5606         PL_tainted = oldtainted;
5607         if ( (rx->extflags & RXf_CANY_SEEN)
5608             ? (RXp_MATCH_UTF8(rx)
5609                         && (!i || is_utf8_string((U8*)s, i)))
5610             : (RXp_MATCH_UTF8(rx)) )
5611         {
5612             SvUTF8_on(sv);
5613         }
5614         else
5615             SvUTF8_off(sv);
5616         if (PL_tainting) {
5617             if (RXp_MATCH_TAINTED(rx)) {
5618                 if (SvTYPE(sv) >= SVt_PVMG) {
5619                     MAGIC* const mg = SvMAGIC(sv);
5620                     MAGIC* mgt;
5621                     PL_tainted = 1;
5622                     SvMAGIC_set(sv, mg->mg_moremagic);
5623                     SvTAINT(sv);
5624                     if ((mgt = SvMAGIC(sv))) {
5625                         mg->mg_moremagic = mgt;
5626                         SvMAGIC_set(sv, mg);
5627                     }
5628                 } else {
5629                     PL_tainted = 1;
5630                     SvTAINT(sv);
5631                 }
5632             } else 
5633                 SvTAINTED_off(sv);
5634         }
5635     } else {
5636         sv_setsv(sv,&PL_sv_undef);
5637         return;
5638     }
5639 }
5640
5641 void
5642 Perl_reg_numbered_buff_store(pTHX_ REGEXP * const rx, const I32 paren,
5643                                                          SV const * const value)
5644 {
5645     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_STORE;
5646
5647     PERL_UNUSED_ARG(rx);
5648     PERL_UNUSED_ARG(paren);
5649     PERL_UNUSED_ARG(value);
5650
5651     if (!PL_localizing)
5652         Perl_croak_no_modify(aTHX);
5653 }
5654
5655 I32
5656 Perl_reg_numbered_buff_length(pTHX_ REGEXP * const r, const SV * const sv,
5657                               const I32 paren)
5658 {
5659     struct regexp *const rx = (struct regexp *)SvANY(r);
5660     I32 i;
5661     I32 s1, t1;
5662
5663     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_LENGTH;
5664
5665     /* Some of this code was originally in C<Perl_magic_len> in F<mg.c> */
5666         switch (paren) {
5667       /* $` / ${^PREMATCH} */
5668       case RX_BUFF_IDX_PREMATCH:
5669         if (rx->offs[0].start != -1) {
5670                         i = rx->offs[0].start;
5671                         if (i > 0) {
5672                                 s1 = 0;
5673                                 t1 = i;
5674                                 goto getlen;
5675                         }
5676             }
5677         return 0;
5678       /* $' / ${^POSTMATCH} */
5679       case RX_BUFF_IDX_POSTMATCH:
5680             if (rx->offs[0].end != -1) {
5681                         i = rx->sublen - rx->offs[0].end;
5682                         if (i > 0) {
5683                                 s1 = rx->offs[0].end;
5684                                 t1 = rx->sublen;
5685                                 goto getlen;
5686                         }
5687             }
5688         return 0;
5689       /* $& / ${^MATCH}, $1, $2, ... */
5690       default:
5691             if (paren <= (I32)rx->nparens &&
5692             (s1 = rx->offs[paren].start) != -1 &&
5693             (t1 = rx->offs[paren].end) != -1)
5694             {
5695             i = t1 - s1;
5696             goto getlen;
5697         } else {
5698             if (ckWARN(WARN_UNINITIALIZED))
5699                 report_uninit((const SV *)sv);
5700             return 0;
5701         }
5702     }
5703   getlen:
5704     if (i > 0 && RXp_MATCH_UTF8(rx)) {
5705         const char * const s = rx->subbeg + s1;
5706         const U8 *ep;
5707         STRLEN el;
5708
5709         i = t1 - s1;
5710         if (is_utf8_string_loclen((U8*)s, i, &ep, &el))
5711                         i = el;
5712     }
5713     return i;
5714 }
5715
5716 SV*
5717 Perl_reg_qr_package(pTHX_ REGEXP * const rx)
5718 {
5719     PERL_ARGS_ASSERT_REG_QR_PACKAGE;
5720         PERL_UNUSED_ARG(rx);
5721         if (0)
5722             return NULL;
5723         else
5724             return newSVpvs("Regexp");
5725 }
5726
5727 /* Scans the name of a named buffer from the pattern.
5728  * If flags is REG_RSN_RETURN_NULL returns null.
5729  * If flags is REG_RSN_RETURN_NAME returns an SV* containing the name
5730  * If flags is REG_RSN_RETURN_DATA returns the data SV* corresponding
5731  * to the parsed name as looked up in the RExC_paren_names hash.
5732  * If there is an error throws a vFAIL().. type exception.
5733  */
5734
5735 #define REG_RSN_RETURN_NULL    0
5736 #define REG_RSN_RETURN_NAME    1
5737 #define REG_RSN_RETURN_DATA    2
5738
5739 STATIC SV*
5740 S_reg_scan_name(pTHX_ RExC_state_t *pRExC_state, U32 flags)
5741 {
5742     char *name_start = RExC_parse;
5743
5744     PERL_ARGS_ASSERT_REG_SCAN_NAME;
5745
5746     if (isIDFIRST_lazy_if(RExC_parse, UTF)) {
5747          /* skip IDFIRST by using do...while */
5748         if (UTF)
5749             do {
5750                 RExC_parse += UTF8SKIP(RExC_parse);
5751             } while (isALNUM_utf8((U8*)RExC_parse));
5752         else
5753             do {
5754                 RExC_parse++;
5755             } while (isALNUM(*RExC_parse));
5756     }
5757
5758     if ( flags ) {
5759         SV* sv_name
5760             = newSVpvn_flags(name_start, (int)(RExC_parse - name_start),
5761                              SVs_TEMP | (UTF ? SVf_UTF8 : 0));
5762         if ( flags == REG_RSN_RETURN_NAME)
5763             return sv_name;
5764         else if (flags==REG_RSN_RETURN_DATA) {
5765             HE *he_str = NULL;
5766             SV *sv_dat = NULL;
5767             if ( ! sv_name )      /* should not happen*/
5768                 Perl_croak(aTHX_ "panic: no svname in reg_scan_name");
5769             if (RExC_paren_names)
5770                 he_str = hv_fetch_ent( RExC_paren_names, sv_name, 0, 0 );
5771             if ( he_str )
5772                 sv_dat = HeVAL(he_str);
5773             if ( ! sv_dat )
5774                 vFAIL("Reference to nonexistent named group");
5775             return sv_dat;
5776         }
5777         else {
5778             Perl_croak(aTHX_ "panic: bad flag in reg_scan_name");
5779         }
5780         /* NOT REACHED */
5781     }
5782     return NULL;
5783 }
5784
5785 #define DEBUG_PARSE_MSG(funcname)     DEBUG_PARSE_r({           \
5786     int rem=(int)(RExC_end - RExC_parse);                       \
5787     int cut;                                                    \
5788     int num;                                                    \
5789     int iscut=0;                                                \
5790     if (rem>10) {                                               \
5791         rem=10;                                                 \
5792         iscut=1;                                                \
5793     }                                                           \
5794     cut=10-rem;                                                 \
5795     if (RExC_lastparse!=RExC_parse)                             \
5796         PerlIO_printf(Perl_debug_log," >%.*s%-*s",              \
5797             rem, RExC_parse,                                    \
5798             cut + 4,                                            \
5799             iscut ? "..." : "<"                                 \
5800         );                                                      \
5801     else                                                        \
5802         PerlIO_printf(Perl_debug_log,"%16s","");                \
5803                                                                 \
5804     if (SIZE_ONLY)                                              \
5805        num = RExC_size + 1;                                     \
5806     else                                                        \
5807        num=REG_NODE_NUM(RExC_emit);                             \
5808     if (RExC_lastnum!=num)                                      \
5809        PerlIO_printf(Perl_debug_log,"|%4d",num);                \
5810     else                                                        \
5811        PerlIO_printf(Perl_debug_log,"|%4s","");                 \
5812     PerlIO_printf(Perl_debug_log,"|%*s%-4s",                    \
5813         (int)((depth*2)), "",                                   \
5814         (funcname)                                              \
5815     );                                                          \
5816     RExC_lastnum=num;                                           \
5817     RExC_lastparse=RExC_parse;                                  \
5818 })
5819
5820
5821
5822 #define DEBUG_PARSE(funcname)     DEBUG_PARSE_r({           \
5823     DEBUG_PARSE_MSG((funcname));                            \
5824     PerlIO_printf(Perl_debug_log,"%4s","\n");               \
5825 })
5826 #define DEBUG_PARSE_FMT(funcname,fmt,args)     DEBUG_PARSE_r({           \
5827     DEBUG_PARSE_MSG((funcname));                            \
5828     PerlIO_printf(Perl_debug_log,fmt "\n",args);               \
5829 })
5830
5831 /* This section of code defines the inversion list object and its methods.  The
5832  * interfaces are highly subject to change, so as much as possible is static to
5833  * this file.  An inversion list is here implemented as a malloc'd C UV array
5834  * with some added info that is placed as UVs at the beginning in a header
5835  * portion.  An inversion list for Unicode is an array of code points, sorted
5836  * by ordinal number.  The zeroth element is the first code point in the list.
5837  * The 1th element is the first element beyond that not in the list.  In other
5838  * words, the first range is
5839  *  invlist[0]..(invlist[1]-1)
5840  * The other ranges follow.  Thus every element that is divisible by two marks
5841  * the beginning of a range that is in the list, and every element not
5842  * divisible by two marks the beginning of a range not in the list.  A single
5843  * element inversion list that contains the single code point N generally
5844  * consists of two elements
5845  *  invlist[0] == N
5846  *  invlist[1] == N+1
5847  * (The exception is when N is the highest representable value on the
5848  * machine, in which case the list containing just it would be a single
5849  * element, itself.  By extension, if the last range in the list extends to
5850  * infinity, then the first element of that range will be in the inversion list
5851  * at a position that is divisible by two, and is the final element in the
5852  * list.)
5853  * Taking the complement (inverting) an inversion list is quite simple, if the
5854  * first element is 0, remove it; otherwise add a 0 element at the beginning.
5855  * This implementation reserves an element at the beginning of each inversion list
5856  * to contain 0 when the list contains 0, and contains 1 otherwise.  The actual
5857  * beginning of the list is either that element if 0, or the next one if 1.
5858  *
5859  * More about inversion lists can be found in "Unicode Demystified"
5860  * Chapter 13 by Richard Gillam, published by Addison-Wesley.
5861  * More will be coming when functionality is added later.
5862  *
5863  * The inversion list data structure is currently implemented as an SV pointing
5864  * to an array of UVs that the SV thinks are bytes.  This allows us to have an
5865  * array of UV whose memory management is automatically handled by the existing
5866  * facilities for SV's.
5867  *
5868  * Some of the methods should always be private to the implementation, and some
5869  * should eventually be made public */
5870
5871 #define INVLIST_LEN_OFFSET 0    /* Number of elements in the inversion list */
5872 #define INVLIST_ITER_OFFSET 1   /* Current iteration position */
5873
5874 #define INVLIST_ZERO_OFFSET 2   /* 0 or 1; must be last element in header */
5875 /* The UV at position ZERO contains either 0 or 1.  If 0, the inversion list
5876  * contains the code point U+00000, and begins here.  If 1, the inversion list
5877  * doesn't contain U+0000, and it begins at the next UV in the array.
5878  * Inverting an inversion list consists of adding or removing the 0 at the
5879  * beginning of it.  By reserving a space for that 0, inversion can be made
5880  * very fast */
5881
5882 #define HEADER_LENGTH (INVLIST_ZERO_OFFSET + 1)
5883
5884 /* Internally things are UVs */
5885 #define TO_INTERNAL_SIZE(x) ((x + HEADER_LENGTH) * sizeof(UV))
5886 #define FROM_INTERNAL_SIZE(x) ((x / sizeof(UV)) - HEADER_LENGTH)
5887
5888 #define INVLIST_INITIAL_LEN 10
5889
5890 PERL_STATIC_INLINE UV*
5891 S__invlist_array_init(pTHX_ SV* const invlist, const bool will_have_0)
5892 {
5893     /* Returns a pointer to the first element in the inversion list's array.
5894      * This is called upon initialization of an inversion list.  Where the
5895      * array begins depends on whether the list has the code point U+0000
5896      * in it or not.  The other parameter tells it whether the code that
5897      * follows this call is about to put a 0 in the inversion list or not.
5898      * The first element is either the element with 0, if 0, or the next one,
5899      * if 1 */
5900
5901     UV* zero = get_invlist_zero_addr(invlist);
5902
5903     PERL_ARGS_ASSERT__INVLIST_ARRAY_INIT;
5904
5905     /* Must be empty */
5906     assert(! *get_invlist_len_addr(invlist));
5907
5908     /* 1^1 = 0; 1^0 = 1 */
5909     *zero = 1 ^ will_have_0;
5910     return zero + *zero;
5911 }
5912
5913 PERL_STATIC_INLINE UV*
5914 S_invlist_array(pTHX_ SV* const invlist)
5915 {
5916     /* Returns the pointer to the inversion list's array.  Every time the
5917      * length changes, this needs to be called in case malloc or realloc moved
5918      * it */
5919
5920     PERL_ARGS_ASSERT_INVLIST_ARRAY;
5921
5922     /* Must not be empty */
5923     assert(*get_invlist_len_addr(invlist));
5924     assert(*get_invlist_zero_addr(invlist) == 0
5925            || *get_invlist_zero_addr(invlist) == 1);
5926
5927     /* The array begins either at the element reserved for zero if the
5928      * list contains 0 (that element will be set to 0), or otherwise the next
5929      * element (in which case the reserved element will be set to 1). */
5930     return (UV *) (get_invlist_zero_addr(invlist)
5931                    + *get_invlist_zero_addr(invlist));
5932 }
5933
5934 PERL_STATIC_INLINE UV*
5935 S_get_invlist_len_addr(pTHX_ SV* invlist)
5936 {
5937     /* Return the address of the UV that contains the current number
5938      * of used elements in the inversion list */
5939
5940     PERL_ARGS_ASSERT_GET_INVLIST_LEN_ADDR;
5941
5942     return (UV *) (SvPVX(invlist) + (INVLIST_LEN_OFFSET * sizeof (UV)));
5943 }
5944
5945 PERL_STATIC_INLINE UV
5946 S_invlist_len(pTHX_ SV* const invlist)
5947 {
5948     /* Returns the current number of elements in the inversion list's array */
5949
5950     PERL_ARGS_ASSERT_INVLIST_LEN;
5951
5952     return *get_invlist_len_addr(invlist);
5953 }
5954
5955 PERL_STATIC_INLINE void
5956 S_invlist_set_len(pTHX_ SV* const invlist, const UV len)
5957 {
5958     /* Sets the current number of elements stored in the inversion list */
5959
5960     PERL_ARGS_ASSERT_INVLIST_SET_LEN;
5961
5962     *get_invlist_len_addr(invlist) = len;
5963
5964     assert(len <= SvLEN(invlist));
5965
5966     SvCUR_set(invlist, TO_INTERNAL_SIZE(len));
5967     /* If the list contains U+0000, that element is part of the header,
5968      * and should not be counted as part of the array.  It will contain
5969      * 0 in that case, and 1 otherwise.  So we could flop 0=>1, 1=>0 and
5970      * subtract:
5971      *  SvCUR_set(invlist,
5972      *            TO_INTERNAL_SIZE(len
5973      *                             - (*get_invlist_zero_addr(inv_list) ^ 1)));
5974      * But, this is only valid if len is not 0.  The consequences of not doing
5975      * this is that the memory allocation code may think that 1 more UV is
5976      * being used than actually is, and so might do an unnecessary grow.  That
5977      * seems worth not bothering to make this the precise amount.
5978      *
5979      * Note that when inverting, SvCUR shouldn't change */
5980 }
5981
5982 PERL_STATIC_INLINE UV
5983 S_invlist_max(pTHX_ SV* const invlist)
5984 {
5985     /* Returns the maximum number of elements storable in the inversion list's
5986      * array, without having to realloc() */
5987
5988     PERL_ARGS_ASSERT_INVLIST_MAX;
5989
5990     return FROM_INTERNAL_SIZE(SvLEN(invlist));
5991 }
5992
5993 PERL_STATIC_INLINE UV*
5994 S_get_invlist_zero_addr(pTHX_ SV* invlist)
5995 {
5996     /* Return the address of the UV that is reserved to hold 0 if the inversion
5997      * list contains 0.  This has to be the last element of the heading, as the
5998      * list proper starts with either it if 0, or the next element if not.
5999      * (But we force it to contain either 0 or 1) */
6000
6001     PERL_ARGS_ASSERT_GET_INVLIST_ZERO_ADDR;
6002
6003     return (UV *) (SvPVX(invlist) + (INVLIST_ZERO_OFFSET * sizeof (UV)));
6004 }
6005
6006 #ifndef PERL_IN_XSUB_RE
6007 SV*
6008 Perl__new_invlist(pTHX_ IV initial_size)
6009 {
6010
6011     /* Return a pointer to a newly constructed inversion list, with enough
6012      * space to store 'initial_size' elements.  If that number is negative, a
6013      * system default is used instead */
6014
6015     SV* new_list;
6016
6017     if (initial_size < 0) {
6018         initial_size = INVLIST_INITIAL_LEN;
6019     }
6020
6021     /* Allocate the initial space */
6022     new_list = newSV(TO_INTERNAL_SIZE(initial_size));
6023     invlist_set_len(new_list, 0);
6024
6025     /* Force iterinit() to be used to get iteration to work */
6026     *get_invlist_iter_addr(new_list) = UV_MAX;
6027
6028     /* This should force a segfault if a method doesn't initialize this
6029      * properly */
6030     *get_invlist_zero_addr(new_list) = UV_MAX;
6031
6032     return new_list;
6033 }
6034 #endif
6035
6036 STATIC void
6037 S_invlist_extend(pTHX_ SV* const invlist, const UV new_max)
6038 {
6039     /* Grow the maximum size of an inversion list */
6040
6041     PERL_ARGS_ASSERT_INVLIST_EXTEND;
6042
6043     SvGROW((SV *)invlist, TO_INTERNAL_SIZE(new_max));
6044 }
6045
6046 PERL_STATIC_INLINE void
6047 S_invlist_trim(pTHX_ SV* const invlist)
6048 {
6049     PERL_ARGS_ASSERT_INVLIST_TRIM;
6050
6051     /* Change the length of the inversion list to how many entries it currently
6052      * has */
6053
6054     SvPV_shrink_to_cur((SV *) invlist);
6055 }
6056
6057 /* An element is in an inversion list iff its index is even numbered: 0, 2, 4,
6058  * etc */
6059
6060 #define ELEMENT_IN_INVLIST_SET(i) (! ((i) & 1))
6061 #define PREV_ELEMENT_IN_INVLIST_SET(i) (! ELEMENT_IN_INVLIST_SET(i))
6062
6063 #ifndef PERL_IN_XSUB_RE
6064 void
6065 Perl__append_range_to_invlist(pTHX_ SV* const invlist, const UV start, const UV end)
6066 {
6067    /* Subject to change or removal.  Append the range from 'start' to 'end' at
6068     * the end of the inversion list.  The range must be above any existing
6069     * ones. */
6070
6071     UV* array;
6072     UV max = invlist_max(invlist);
6073     UV len = invlist_len(invlist);
6074
6075     PERL_ARGS_ASSERT__APPEND_RANGE_TO_INVLIST;
6076
6077     if (len == 0) { /* Empty lists must be initialized */
6078         array = _invlist_array_init(invlist, start == 0);
6079     }
6080     else {
6081         /* Here, the existing list is non-empty. The current max entry in the
6082          * list is generally the first value not in the set, except when the
6083          * set extends to the end of permissible values, in which case it is
6084          * the first entry in that final set, and so this call is an attempt to
6085          * append out-of-order */
6086
6087         UV final_element = len - 1;
6088         array = invlist_array(invlist);
6089         if (array[final_element] > start
6090             || ELEMENT_IN_INVLIST_SET(final_element))
6091         {
6092             Perl_croak(aTHX_ "panic: attempting to append to an inversion list, but wasn't at the end of the list");
6093         }
6094
6095         /* Here, it is a legal append.  If the new range begins with the first
6096          * value not in the set, it is extending the set, so the new first
6097          * value not in the set is one greater than the newly extended range.
6098          * */
6099         if (array[final_element] == start) {
6100             if (end != UV_MAX) {
6101                 array[final_element] = end + 1;
6102             }
6103             else {
6104                 /* But if the end is the maximum representable on the machine,
6105                  * just let the range that this would extend have no end */
6106                 invlist_set_len(invlist, len - 1);
6107             }
6108             return;
6109         }
6110     }
6111
6112     /* Here the new range doesn't extend any existing set.  Add it */
6113
6114     len += 2;   /* Includes an element each for the start and end of range */
6115
6116     /* If overflows the existing space, extend, which may cause the array to be
6117      * moved */
6118     if (max < len) {
6119         invlist_extend(invlist, len);
6120         invlist_set_len(invlist, len);  /* Have to set len here to avoid assert
6121                                            failure in invlist_array() */
6122         array = invlist_array(invlist);
6123     }
6124     else {
6125         invlist_set_len(invlist, len);
6126     }
6127
6128     /* The next item on the list starts the range, the one after that is
6129      * one past the new range.  */
6130     array[len - 2] = start;
6131     if (end != UV_MAX) {
6132         array[len - 1] = end + 1;
6133     }
6134     else {
6135         /* But if the end is the maximum representable on the machine, just let
6136          * the range have no end */
6137         invlist_set_len(invlist, len - 1);
6138     }
6139 }
6140
6141 void
6142 Perl__invlist_union(pTHX_ SV* const a, SV* const b, SV** output)
6143 {
6144     /* Take the union of two inversion lists and point 'result' to it.  If
6145      * 'result' on input points to one of the two lists, the reference count to
6146      * that list will be decremented.
6147      * The basis for this comes from "Unicode Demystified" Chapter 13 by
6148      * Richard Gillam, published by Addison-Wesley, and explained at some
6149      * length there.  The preface says to incorporate its examples into your
6150      * code at your own risk.
6151      *
6152      * The algorithm is like a merge sort.
6153      *
6154      * XXX A potential performance improvement is to keep track as we go along
6155      * if only one of the inputs contributes to the result, meaning the other
6156      * is a subset of that one.  In that case, we can skip the final copy and
6157      * return the larger of the input lists, but then outside code might need
6158      * to keep track of whether to free the input list or not */
6159
6160     UV* array_a;    /* a's array */
6161     UV* array_b;
6162     UV len_a;       /* length of a's array */
6163     UV len_b;
6164
6165     SV* u;                      /* the resulting union */
6166     UV* array_u;
6167     UV len_u;
6168
6169     UV i_a = 0;             /* current index into a's array */
6170     UV i_b = 0;
6171     UV i_u = 0;
6172
6173     /* running count, as explained in the algorithm source book; items are
6174      * stopped accumulating and are output when the count changes to/from 0.
6175      * The count is incremented when we start a range that's in the set, and
6176      * decremented when we start a range that's not in the set.  So its range
6177      * is 0 to 2.  Only when the count is zero is something not in the set.
6178      */
6179     UV count = 0;
6180
6181     PERL_ARGS_ASSERT__INVLIST_UNION;
6182
6183     /* If either one is empty, the union is the other one */
6184     len_a = invlist_len(a);
6185     if (len_a == 0) {
6186         if (output == &a) {
6187             SvREFCNT_dec(a);
6188         }
6189         else if (output != &b) {
6190             *output = invlist_clone(b);
6191         }
6192         /* else *output already = b; */
6193         return;
6194     }
6195     else if ((len_b = invlist_len(b)) == 0) {
6196         if (output == &b) {
6197             SvREFCNT_dec(b);
6198         }
6199         else if (output != &a) {
6200             *output = invlist_clone(a);
6201         }
6202         /* else *output already = a; */
6203         return;
6204     }
6205
6206     /* Here both lists exist and are non-empty */
6207     array_a = invlist_array(a);
6208     array_b = invlist_array(b);
6209
6210     /* Size the union for the worst case: that the sets are completely
6211      * disjoint */
6212     u = _new_invlist(len_a + len_b);
6213
6214     /* Will contain U+0000 if either component does */
6215     array_u = _invlist_array_init(u, (len_a > 0 && array_a[0] == 0)
6216                                       || (len_b > 0 && array_b[0] == 0));
6217
6218     /* Go through each list item by item, stopping when exhausted one of
6219      * them */
6220     while (i_a < len_a && i_b < len_b) {
6221         UV cp;      /* The element to potentially add to the union's array */
6222         bool cp_in_set;   /* is it in the the input list's set or not */
6223
6224         /* We need to take one or the other of the two inputs for the union.
6225          * Since we are merging two sorted lists, we take the smaller of the
6226          * next items.  In case of a tie, we take the one that is in its set
6227          * first.  If we took one not in the set first, it would decrement the
6228          * count, possibly to 0 which would cause it to be output as ending the
6229          * range, and the next time through we would take the same number, and
6230          * output it again as beginning the next range.  By doing it the
6231          * opposite way, there is no possibility that the count will be
6232          * momentarily decremented to 0, and thus the two adjoining ranges will
6233          * be seamlessly merged.  (In a tie and both are in the set or both not
6234          * in the set, it doesn't matter which we take first.) */
6235         if (array_a[i_a] < array_b[i_b]
6236             || (array_a[i_a] == array_b[i_b] && ELEMENT_IN_INVLIST_SET(i_a)))
6237         {
6238             cp_in_set = ELEMENT_IN_INVLIST_SET(i_a);
6239             cp= array_a[i_a++];
6240         }
6241         else {
6242             cp_in_set = ELEMENT_IN_INVLIST_SET(i_b);
6243             cp= array_b[i_b++];
6244         }
6245
6246         /* Here, have chosen which of the two inputs to look at.  Only output
6247          * if the running count changes to/from 0, which marks the
6248          * beginning/end of a range in that's in the set */
6249         if (cp_in_set) {
6250             if (count == 0) {
6251                 array_u[i_u++] = cp;
6252             }
6253             count++;
6254         }
6255         else {
6256             count--;
6257             if (count == 0) {
6258                 array_u[i_u++] = cp;
6259             }
6260         }
6261     }
6262
6263     /* Here, we are finished going through at least one of the lists, which
6264      * means there is something remaining in at most one.  We check if the list
6265      * that hasn't been exhausted is positioned such that we are in the middle
6266      * of a range in its set or not.  (i_a and i_b point to the element beyond
6267      * the one we care about.) If in the set, we decrement 'count'; if 0, there
6268      * is potentially more to output.
6269      * There are four cases:
6270      *  1) Both weren't in their sets, count is 0, and remains 0.  What's left
6271      *     in the union is entirely from the non-exhausted set.
6272      *  2) Both were in their sets, count is 2.  Nothing further should
6273      *     be output, as everything that remains will be in the exhausted
6274      *     list's set, hence in the union; decrementing to 1 but not 0 insures
6275      *     that
6276      *  3) the exhausted was in its set, non-exhausted isn't, count is 1.
6277      *     Nothing further should be output because the union includes
6278      *     everything from the exhausted set.  Not decrementing ensures that.
6279      *  4) the exhausted wasn't in its set, non-exhausted is, count is 1;
6280      *     decrementing to 0 insures that we look at the remainder of the
6281      *     non-exhausted set */
6282     if ((i_a != len_a && PREV_ELEMENT_IN_INVLIST_SET(i_a))
6283         || (i_b != len_b && PREV_ELEMENT_IN_INVLIST_SET(i_b)))
6284     {
6285         count--;
6286     }
6287
6288     /* The final length is what we've output so far, plus what else is about to
6289      * be output.  (If 'count' is non-zero, then the input list we exhausted
6290      * has everything remaining up to the machine's limit in its set, and hence
6291      * in the union, so there will be no further output. */
6292     len_u = i_u;
6293     if (count == 0) {
6294         /* At most one of the subexpressions will be non-zero */
6295         len_u += (len_a - i_a) + (len_b - i_b);
6296     }
6297
6298     /* Set result to final length, which can change the pointer to array_u, so
6299      * re-find it */
6300     if (len_u != invlist_len(u)) {
6301         invlist_set_len(u, len_u);
6302         invlist_trim(u);
6303         array_u = invlist_array(u);
6304     }
6305
6306     /* When 'count' is 0, the list that was exhausted (if one was shorter than
6307      * the other) ended with everything above it not in its set.  That means
6308      * that the remaining part of the union is precisely the same as the
6309      * non-exhausted list, so can just copy it unchanged.  (If both list were
6310      * exhausted at the same time, then the operations below will be both 0.)
6311      */
6312     if (count == 0) {
6313         IV copy_count; /* At most one will have a non-zero copy count */
6314         if ((copy_count = len_a - i_a) > 0) {
6315             Copy(array_a + i_a, array_u + i_u, copy_count, UV);
6316         }
6317         else if ((copy_count = len_b - i_b) > 0) {
6318             Copy(array_b + i_b, array_u + i_u, copy_count, UV);
6319         }
6320     }
6321
6322     /*  We may be removing a reference to one of the inputs */
6323     if (&a == output || &b == output) {
6324         SvREFCNT_dec(*output);
6325     }
6326
6327     *output = u;
6328     return;
6329 }
6330
6331 void
6332 Perl__invlist_intersection(pTHX_ SV* const a, SV* const b, SV** i)
6333 {
6334     /* Take the intersection of two inversion lists and point 'i' to it.  If
6335      * 'i' on input points to one of the two lists, the reference count to that
6336      * list will be decremented.
6337      * The basis for this comes from "Unicode Demystified" Chapter 13 by
6338      * Richard Gillam, published by Addison-Wesley, and explained at some
6339      * length there.  The preface says to incorporate its examples into your
6340      * code at your own risk.  In fact, it had bugs
6341      *
6342      * The algorithm is like a merge sort, and is essentially the same as the
6343      * union above
6344      */
6345
6346     UV* array_a;                /* a's array */
6347     UV* array_b;
6348     UV len_a;   /* length of a's array */
6349     UV len_b;
6350
6351     SV* r;                   /* the resulting intersection */
6352     UV* array_r;
6353     UV len_r;
6354
6355     UV i_a = 0;             /* current index into a's array */
6356     UV i_b = 0;
6357     UV i_r = 0;
6358
6359     /* running count, as explained in the algorithm source book; items are
6360      * stopped accumulating and are output when the count changes to/from 2.
6361      * The count is incremented when we start a range that's in the set, and
6362      * decremented when we start a range that's not in the set.  So its range
6363      * is 0 to 2.  Only when the count is 2 is something in the intersection.
6364      */
6365     UV count = 0;
6366
6367     PERL_ARGS_ASSERT__INVLIST_INTERSECTION;
6368
6369     /* If either one is empty, the intersection is null */
6370     len_a = invlist_len(a);
6371     if ((len_a == 0) || ((len_b = invlist_len(b)) == 0)) {
6372         *i = _new_invlist(0);
6373
6374         /* If the result is the same as one of the inputs, the input is being
6375          * overwritten */
6376         if (i == &a) {
6377             SvREFCNT_dec(a);
6378         }
6379         else if (i == &b) {
6380             SvREFCNT_dec(b);
6381         }
6382         return;
6383     }
6384
6385     /* Here both lists exist and are non-empty */
6386     array_a = invlist_array(a);
6387     array_b = invlist_array(b);
6388
6389     /* Size the intersection for the worst case: that the intersection ends up
6390      * fragmenting everything to be completely disjoint */
6391     r= _new_invlist(len_a + len_b);
6392
6393     /* Will contain U+0000 iff both components do */
6394     array_r = _invlist_array_init(r, len_a > 0 && array_a[0] == 0
6395                                      && len_b > 0 && array_b[0] == 0);
6396
6397     /* Go through each list item by item, stopping when exhausted one of
6398      * them */
6399     while (i_a < len_a && i_b < len_b) {
6400         UV cp;      /* The element to potentially add to the intersection's
6401                        array */
6402         bool cp_in_set; /* Is it in the input list's set or not */
6403
6404         /* We need to take one or the other of the two inputs for the
6405          * intersection.  Since we are merging two sorted lists, we take the
6406          * smaller of the next items.  In case of a tie, we take the one that
6407          * is not in its set first (a difference from the union algorithm).  If
6408          * we took one in the set first, it would increment the count, possibly
6409          * to 2 which would cause it to be output as starting a range in the
6410          * intersection, and the next time through we would take that same
6411          * number, and output it again as ending the set.  By doing it the
6412          * opposite of this, there is no possibility that the count will be
6413          * momentarily incremented to 2.  (In a tie and both are in the set or
6414          * both not in the set, it doesn't matter which we take first.) */
6415         if (array_a[i_a] < array_b[i_b]
6416             || (array_a[i_a] == array_b[i_b] && ! ELEMENT_IN_INVLIST_SET(i_a)))
6417         {
6418             cp_in_set = ELEMENT_IN_INVLIST_SET(i_a);
6419             cp= array_a[i_a++];
6420         }
6421         else {
6422             cp_in_set = ELEMENT_IN_INVLIST_SET(i_b);
6423             cp= array_b[i_b++];
6424         }
6425
6426         /* Here, have chosen which of the two inputs to look at.  Only output
6427          * if the running count changes to/from 2, which marks the
6428          * beginning/end of a range that's in the intersection */
6429         if (cp_in_set) {
6430             count++;
6431             if (count == 2) {
6432                 array_r[i_r++] = cp;
6433             }
6434         }
6435         else {
6436             if (count == 2) {
6437                 array_r[i_r++] = cp;
6438             }
6439             count--;
6440         }
6441     }
6442
6443     /* Here, we are finished going through at least one of the lists, which
6444      * means there is something remaining in at most one.  We check if the list
6445      * that has been exhausted is positioned such that we are in the middle
6446      * of a range in its set or not.  (i_a and i_b point to elements 1 beyond
6447      * the ones we care about.)  There are four cases:
6448      *  1) Both weren't in their sets, count is 0, and remains 0.  There's
6449      *     nothing left in the intersection.
6450      *  2) Both were in their sets, count is 2 and perhaps is incremented to
6451      *     above 2.  What should be output is exactly that which is in the
6452      *     non-exhausted set, as everything it has is also in the intersection
6453      *     set, and everything it doesn't have can't be in the intersection
6454      *  3) The exhausted was in its set, non-exhausted isn't, count is 1, and
6455      *     gets incremented to 2.  Like the previous case, the intersection is
6456      *     everything that remains in the non-exhausted set.
6457      *  4) the exhausted wasn't in its set, non-exhausted is, count is 1, and
6458      *     remains 1.  And the intersection has nothing more. */
6459     if ((i_a == len_a && PREV_ELEMENT_IN_INVLIST_SET(i_a))
6460         || (i_b == len_b && PREV_ELEMENT_IN_INVLIST_SET(i_b)))
6461     {
6462         count++;
6463     }
6464
6465     /* The final length is what we've output so far plus what else is in the
6466      * intersection.  At most one of the subexpressions below will be non-zero */
6467     len_r = i_r;
6468     if (count >= 2) {
6469         len_r += (len_a - i_a) + (len_b - i_b);
6470     }
6471
6472     /* Set result to final length, which can change the pointer to array_r, so
6473      * re-find it */
6474     if (len_r != invlist_len(r)) {
6475         invlist_set_len(r, len_r);
6476         invlist_trim(r);
6477         array_r = invlist_array(r);
6478     }
6479
6480     /* Finish outputting any remaining */
6481     if (count >= 2) { /* At most one will have a non-zero copy count */
6482         IV copy_count;
6483         if ((copy_count = len_a - i_a) > 0) {
6484             Copy(array_a + i_a, array_r + i_r, copy_count, UV);
6485         }
6486         else if ((copy_count = len_b - i_b) > 0) {
6487             Copy(array_b + i_b, array_r + i_r, copy_count, UV);
6488         }
6489     }
6490
6491     /*  We may be removing a reference to one of the inputs */
6492     if (&a == i || &b == i) {
6493         SvREFCNT_dec(*i);
6494     }
6495
6496     *i = r;
6497     return;
6498 }
6499
6500 #endif
6501
6502 STATIC SV*
6503 S_add_range_to_invlist(pTHX_ SV* invlist, const UV start, const UV end)
6504 {
6505     /* Add the range from 'start' to 'end' inclusive to the inversion list's
6506      * set.  A pointer to the inversion list is returned.  This may actually be
6507      * a new list, in which case the passed in one has been destroyed.  The
6508      * passed in inversion list can be NULL, in which case a new one is created
6509      * with just the one range in it */
6510
6511     SV* range_invlist;
6512     UV len;
6513
6514     if (invlist == NULL) {
6515         invlist = _new_invlist(2);
6516         len = 0;
6517     }
6518     else {
6519         len = invlist_len(invlist);
6520     }
6521
6522     /* If comes after the final entry, can just append it to the end */
6523     if (len == 0
6524         || start >= invlist_array(invlist)
6525                                     [invlist_len(invlist) - 1])
6526     {
6527         _append_range_to_invlist(invlist, start, end);
6528         return invlist;
6529     }
6530
6531     /* Here, can't just append things, create and return a new inversion list
6532      * which is the union of this range and the existing inversion list */
6533     range_invlist = _new_invlist(2);
6534     _append_range_to_invlist(range_invlist, start, end);
6535
6536     _invlist_union(invlist, range_invlist, &invlist);
6537
6538     /* The temporary can be freed */
6539     SvREFCNT_dec(range_invlist);
6540
6541     return invlist;
6542 }
6543
6544 PERL_STATIC_INLINE SV*
6545 S_add_cp_to_invlist(pTHX_ SV* invlist, const UV cp) {
6546     return add_range_to_invlist(invlist, cp, cp);
6547 }
6548
6549 #ifndef PERL_IN_XSUB_RE
6550 void
6551 Perl__invlist_invert(pTHX_ SV* const invlist)
6552 {
6553     /* Complement the input inversion list.  This adds a 0 if the list didn't
6554      * have a zero; removes it otherwise.  As described above, the data
6555      * structure is set up so that this is very efficient */
6556
6557     UV* len_pos = get_invlist_len_addr(invlist);
6558
6559     PERL_ARGS_ASSERT__INVLIST_INVERT;
6560
6561     /* The inverse of matching nothing is matching everything */
6562     if (*len_pos == 0) {
6563         _append_range_to_invlist(invlist, 0, UV_MAX);
6564         return;
6565     }
6566
6567     /* The exclusive or complents 0 to 1; and 1 to 0.  If the result is 1, the
6568      * zero element was a 0, so it is being removed, so the length decrements
6569      * by 1; and vice-versa.  SvCUR is unaffected */
6570     if (*get_invlist_zero_addr(invlist) ^= 1) {
6571         (*len_pos)--;
6572     }
6573     else {
6574         (*len_pos)++;
6575     }
6576 }
6577
6578 void
6579 Perl__invlist_invert_prop(pTHX_ SV* const invlist)
6580 {
6581     /* Complement the input inversion list (which must be a Unicode property,
6582      * all of which don't match above the Unicode maximum code point.)  And
6583      * Perl has chosen to not have the inversion match above that either.  This
6584      * adds a 0x110000 if the list didn't end with it, and removes it if it did
6585      */
6586
6587     UV len;
6588     UV* array;
6589
6590     PERL_ARGS_ASSERT__INVLIST_INVERT_PROP;
6591
6592     _invlist_invert(invlist);
6593
6594     len = invlist_len(invlist);
6595
6596     if (len != 0) { /* If empty do nothing */
6597         array = invlist_array(invlist);
6598         if (array[len - 1] != PERL_UNICODE_MAX + 1) {
6599             /* Add 0x110000.  First, grow if necessary */
6600             len++;
6601             if (invlist_max(invlist) < len) {
6602                 invlist_extend(invlist, len);
6603                 array = invlist_array(invlist);
6604             }
6605             invlist_set_len(invlist, len);
6606             array[len - 1] = PERL_UNICODE_MAX + 1;
6607         }
6608         else {  /* Remove the 0x110000 */
6609             invlist_set_len(invlist, len - 1);
6610         }
6611     }
6612
6613     return;
6614 }
6615 #endif
6616
6617 PERL_STATIC_INLINE SV*
6618 S_invlist_clone(pTHX_ SV* const invlist)
6619 {
6620
6621     /* Return a new inversion list that is a copy of the input one, which is
6622      * unchanged */
6623
6624     SV* new_invlist = _new_invlist(SvCUR(invlist));
6625
6626     PERL_ARGS_ASSERT_INVLIST_CLONE;
6627
6628     Copy(SvPVX(invlist), SvPVX(new_invlist), SvCUR(invlist), char);
6629     return new_invlist;
6630 }
6631
6632 #ifndef PERL_IN_XSUB_RE
6633 void
6634 Perl__invlist_subtract(pTHX_ SV* const a, SV* const b, SV** result)
6635 {
6636     /* Point result to an inversion list which consists of all elements in 'a'
6637      * that aren't also in 'b' */
6638
6639     PERL_ARGS_ASSERT__INVLIST_SUBTRACT;
6640
6641     /* Subtracting nothing retains the original */
6642     if (invlist_len(b) == 0) {
6643
6644         /* If the result is not to be the same variable as the original, create
6645          * a copy */
6646         if (result != &a) {
6647             *result = invlist_clone(a);
6648         }
6649     } else {
6650         SV *b_copy = invlist_clone(b);
6651         _invlist_invert(b_copy);        /* Everything not in 'b' */
6652         _invlist_intersection(a, b_copy, result);    /* Everything in 'a' not in
6653                                                        'b' */
6654         SvREFCNT_dec(b_copy);
6655     }
6656
6657     if (result == &b) {
6658         SvREFCNT_dec(b);
6659     }
6660
6661     return;
6662 }
6663 #endif
6664
6665 PERL_STATIC_INLINE UV*
6666 S_get_invlist_iter_addr(pTHX_ SV* invlist)
6667 {
6668     /* Return the address of the UV that contains the current iteration
6669      * position */
6670
6671     PERL_ARGS_ASSERT_GET_INVLIST_ITER_ADDR;
6672
6673     return (UV *) (SvPVX(invlist) + (INVLIST_ITER_OFFSET * sizeof (UV)));
6674 }
6675
6676 PERL_STATIC_INLINE void
6677 S_invlist_iterinit(pTHX_ SV* invlist)   /* Initialize iterator for invlist */
6678 {
6679     PERL_ARGS_ASSERT_INVLIST_ITERINIT;
6680
6681     *get_invlist_iter_addr(invlist) = 0;
6682 }
6683
6684 STATIC bool
6685 S_invlist_iternext(pTHX_ SV* invlist, UV* start, UV* end)
6686 {
6687     UV* pos = get_invlist_iter_addr(invlist);
6688     UV len = invlist_len(invlist);
6689     UV *array;
6690
6691     PERL_ARGS_ASSERT_INVLIST_ITERNEXT;
6692
6693     if (*pos >= len) {
6694         *pos = UV_MAX;  /* Force iternit() to be required next time */
6695         return FALSE;
6696     }
6697
6698     array = invlist_array(invlist);
6699
6700     *start = array[(*pos)++];
6701
6702     if (*pos >= len) {
6703         *end = UV_MAX;
6704     }
6705     else {
6706         *end = array[(*pos)++] - 1;
6707     }
6708
6709     return TRUE;
6710 }
6711
6712 #if 0
6713 void
6714 S_invlist_dump(pTHX_ SV* const invlist, const char * const header)
6715 {
6716     /* Dumps out the ranges in an inversion list.  The string 'header'
6717      * if present is output on a line before the first range */
6718
6719     UV start, end;
6720
6721     if (header && strlen(header)) {
6722         PerlIO_printf(Perl_debug_log, "%s\n", header);
6723     }
6724     invlist_iterinit(invlist);
6725     while (invlist_iternext(invlist, &start, &end)) {
6726         if (end == UV_MAX) {
6727             PerlIO_printf(Perl_debug_log, "0x%04"UVXf" .. INFINITY\n", start);
6728         }
6729         else {
6730             PerlIO_printf(Perl_debug_log, "0x%04"UVXf" .. 0x%04"UVXf"\n", start, end);
6731         }
6732     }
6733 }
6734 #endif
6735
6736 #undef HEADER_LENGTH
6737 #undef INVLIST_INITIAL_LENGTH
6738 #undef TO_INTERNAL_SIZE
6739 #undef FROM_INTERNAL_SIZE
6740 #undef INVLIST_LEN_OFFSET
6741 #undef INVLIST_ZERO_OFFSET
6742 #undef INVLIST_ITER_OFFSET
6743
6744 /* End of inversion list object */
6745
6746 /*
6747  - reg - regular expression, i.e. main body or parenthesized thing
6748  *
6749  * Caller must absorb opening parenthesis.
6750  *
6751  * Combining parenthesis handling with the base level of regular expression
6752  * is a trifle forced, but the need to tie the tails of the branches to what
6753  * follows makes it hard to avoid.
6754  */
6755 #define REGTAIL(x,y,z) regtail((x),(y),(z),depth+1)
6756 #ifdef DEBUGGING
6757 #define REGTAIL_STUDY(x,y,z) regtail_study((x),(y),(z),depth+1)
6758 #else
6759 #define REGTAIL_STUDY(x,y,z) regtail((x),(y),(z),depth+1)
6760 #endif
6761
6762 STATIC regnode *
6763 S_reg(pTHX_ RExC_state_t *pRExC_state, I32 paren, I32 *flagp,U32 depth)
6764     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
6765 {
6766     dVAR;
6767     register regnode *ret;              /* Will be the head of the group. */
6768     register regnode *br;
6769     register regnode *lastbr;
6770     register regnode *ender = NULL;
6771     register I32 parno = 0;
6772     I32 flags;
6773     U32 oregflags = RExC_flags;
6774     bool have_branch = 0;
6775     bool is_open = 0;
6776     I32 freeze_paren = 0;
6777     I32 after_freeze = 0;
6778
6779     /* for (?g), (?gc), and (?o) warnings; warning
6780        about (?c) will warn about (?g) -- japhy    */
6781
6782 #define WASTED_O  0x01
6783 #define WASTED_G  0x02
6784 #define WASTED_C  0x04
6785 #define WASTED_GC (0x02|0x04)
6786     I32 wastedflags = 0x00;
6787
6788     char * parse_start = RExC_parse; /* MJD */
6789     char * const oregcomp_parse = RExC_parse;
6790
6791     GET_RE_DEBUG_FLAGS_DECL;
6792
6793     PERL_ARGS_ASSERT_REG;
6794     DEBUG_PARSE("reg ");
6795
6796     *flagp = 0;                         /* Tentatively. */
6797
6798
6799     /* Make an OPEN node, if parenthesized. */
6800     if (paren) {
6801         if ( *RExC_parse == '*') { /* (*VERB:ARG) */
6802             char *start_verb = RExC_parse;
6803             STRLEN verb_len = 0;
6804             char *start_arg = NULL;
6805             unsigned char op = 0;
6806             int argok = 1;
6807             int internal_argval = 0; /* internal_argval is only useful if !argok */
6808             while ( *RExC_parse && *RExC_parse != ')' ) {
6809                 if ( *RExC_parse == ':' ) {
6810                     start_arg = RExC_parse + 1;
6811                     break;
6812                 }
6813                 RExC_parse++;
6814             }
6815             ++start_verb;
6816             verb_len = RExC_parse - start_verb;
6817             if ( start_arg ) {
6818                 RExC_parse++;
6819                 while ( *RExC_parse && *RExC_parse != ')' ) 
6820                     RExC_parse++;
6821                 if ( *RExC_parse != ')' ) 
6822                     vFAIL("Unterminated verb pattern argument");
6823                 if ( RExC_parse == start_arg )
6824                     start_arg = NULL;
6825             } else {
6826                 if ( *RExC_parse != ')' )
6827                     vFAIL("Unterminated verb pattern");
6828             }
6829             
6830             switch ( *start_verb ) {
6831             case 'A':  /* (*ACCEPT) */
6832                 if ( memEQs(start_verb,verb_len,"ACCEPT") ) {
6833                     op = ACCEPT;
6834                     internal_argval = RExC_nestroot;
6835                 }
6836                 break;
6837             case 'C':  /* (*COMMIT) */
6838                 if ( memEQs(start_verb,verb_len,"COMMIT") )
6839                     op = COMMIT;
6840                 break;
6841             case 'F':  /* (*FAIL) */
6842                 if ( verb_len==1 || memEQs(start_verb,verb_len,"FAIL") ) {
6843                     op = OPFAIL;
6844                     argok = 0;
6845                 }
6846                 break;
6847             case ':':  /* (*:NAME) */
6848             case 'M':  /* (*MARK:NAME) */
6849                 if ( verb_len==0 || memEQs(start_verb,verb_len,"MARK") ) {
6850                     op = MARKPOINT;
6851                     argok = -1;
6852                 }
6853                 break;
6854             case 'P':  /* (*PRUNE) */
6855                 if ( memEQs(start_verb,verb_len,"PRUNE") )
6856                     op = PRUNE;
6857                 break;
6858             case 'S':   /* (*SKIP) */  
6859                 if ( memEQs(start_verb,verb_len,"SKIP") ) 
6860                     op = SKIP;
6861                 break;
6862             case 'T':  /* (*THEN) */
6863                 /* [19:06] <TimToady> :: is then */
6864                 if ( memEQs(start_verb,verb_len,"THEN") ) {
6865                     op = CUTGROUP;
6866                     RExC_seen |= REG_SEEN_CUTGROUP;
6867                 }
6868                 break;
6869             }
6870             if ( ! op ) {
6871                 RExC_parse++;
6872                 vFAIL3("Unknown verb pattern '%.*s'",
6873                     verb_len, start_verb);
6874             }
6875             if ( argok ) {
6876                 if ( start_arg && internal_argval ) {
6877                     vFAIL3("Verb pattern '%.*s' may not have an argument",
6878                         verb_len, start_verb); 
6879                 } else if ( argok < 0 && !start_arg ) {
6880                     vFAIL3("Verb pattern '%.*s' has a mandatory argument",
6881                         verb_len, start_verb);    
6882                 } else {
6883                     ret = reganode(pRExC_state, op, internal_argval);
6884                     if ( ! internal_argval && ! SIZE_ONLY ) {
6885                         if (start_arg) {
6886                             SV *sv = newSVpvn( start_arg, RExC_parse - start_arg);
6887                             ARG(ret) = add_data( pRExC_state, 1, "S" );
6888                             RExC_rxi->data->data[ARG(ret)]=(void*)sv;
6889                             ret->flags = 0;
6890                         } else {
6891                             ret->flags = 1; 
6892                         }
6893                     }               
6894                 }
6895                 if (!internal_argval)
6896                     RExC_seen |= REG_SEEN_VERBARG;
6897             } else if ( start_arg ) {
6898                 vFAIL3("Verb pattern '%.*s' may not have an argument",
6899                         verb_len, start_verb);    
6900             } else {
6901                 ret = reg_node(pRExC_state, op);
6902             }
6903             nextchar(pRExC_state);
6904             return ret;
6905         } else 
6906         if (*RExC_parse == '?') { /* (?...) */
6907             bool is_logical = 0;
6908             const char * const seqstart = RExC_parse;
6909             bool has_use_defaults = FALSE;
6910
6911             RExC_parse++;
6912             paren = *RExC_parse++;
6913             ret = NULL;                 /* For look-ahead/behind. */
6914             switch (paren) {
6915
6916             case 'P':   /* (?P...) variants for those used to PCRE/Python */
6917                 paren = *RExC_parse++;
6918                 if ( paren == '<')         /* (?P<...>) named capture */
6919                     goto named_capture;
6920                 else if (paren == '>') {   /* (?P>name) named recursion */
6921                     goto named_recursion;
6922                 }
6923                 else if (paren == '=') {   /* (?P=...)  named backref */
6924                     /* this pretty much dupes the code for \k<NAME> in regatom(), if
6925                        you change this make sure you change that */
6926                     char* name_start = RExC_parse;
6927                     U32 num = 0;
6928                     SV *sv_dat = reg_scan_name(pRExC_state,
6929                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
6930                     if (RExC_parse == name_start || *RExC_parse != ')')
6931                         vFAIL2("Sequence %.3s... not terminated",parse_start);
6932
6933                     if (!SIZE_ONLY) {
6934                         num = add_data( pRExC_state, 1, "S" );
6935                         RExC_rxi->data->data[num]=(void*)sv_dat;
6936                         SvREFCNT_inc_simple_void(sv_dat);
6937                     }
6938                     RExC_sawback = 1;
6939                     ret = reganode(pRExC_state,
6940                                    ((! FOLD)
6941                                      ? NREF
6942                                      : (MORE_ASCII_RESTRICTED)
6943                                        ? NREFFA
6944                                        : (AT_LEAST_UNI_SEMANTICS)
6945                                          ? NREFFU
6946                                          : (LOC)
6947                                            ? NREFFL
6948                                            : NREFF),
6949                                     num);
6950                     *flagp |= HASWIDTH;
6951
6952                     Set_Node_Offset(ret, parse_start+1);
6953                     Set_Node_Cur_Length(ret); /* MJD */
6954
6955                     nextchar(pRExC_state);
6956                     return ret;
6957                 }
6958                 RExC_parse++;
6959                 vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
6960                 /*NOTREACHED*/
6961             case '<':           /* (?<...) */
6962                 if (*RExC_parse == '!')
6963                     paren = ',';
6964                 else if (*RExC_parse != '=') 
6965               named_capture:
6966                 {               /* (?<...>) */
6967                     char *name_start;
6968                     SV *svname;
6969                     paren= '>';
6970             case '\'':          /* (?'...') */
6971                     name_start= RExC_parse;
6972                     svname = reg_scan_name(pRExC_state,
6973                         SIZE_ONLY ?  /* reverse test from the others */
6974                         REG_RSN_RETURN_NAME : 
6975                         REG_RSN_RETURN_NULL);
6976                     if (RExC_parse == name_start) {
6977                         RExC_parse++;
6978                         vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
6979                         /*NOTREACHED*/
6980                     }
6981                     if (*RExC_parse != paren)
6982                         vFAIL2("Sequence (?%c... not terminated",
6983                             paren=='>' ? '<' : paren);
6984                     if (SIZE_ONLY) {
6985                         HE *he_str;
6986                         SV *sv_dat = NULL;
6987                         if (!svname) /* shouldn't happen */
6988                             Perl_croak(aTHX_
6989                                 "panic: reg_scan_name returned NULL");
6990                         if (!RExC_paren_names) {
6991                             RExC_paren_names= newHV();
6992                             sv_2mortal(MUTABLE_SV(RExC_paren_names));
6993 #ifdef DEBUGGING
6994                             RExC_paren_name_list= newAV();
6995                             sv_2mortal(MUTABLE_SV(RExC_paren_name_list));
6996 #endif
6997                         }
6998                         he_str = hv_fetch_ent( RExC_paren_names, svname, 1, 0 );
6999                         if ( he_str )
7000                             sv_dat = HeVAL(he_str);
7001                         if ( ! sv_dat ) {
7002                             /* croak baby croak */
7003                             Perl_croak(aTHX_
7004                                 "panic: paren_name hash element allocation failed");
7005                         } else if ( SvPOK(sv_dat) ) {
7006                             /* (?|...) can mean we have dupes so scan to check
7007                                its already been stored. Maybe a flag indicating
7008                                we are inside such a construct would be useful,
7009                                but the arrays are likely to be quite small, so
7010                                for now we punt -- dmq */
7011                             IV count = SvIV(sv_dat);
7012                             I32 *pv = (I32*)SvPVX(sv_dat);
7013                             IV i;
7014                             for ( i = 0 ; i < count ; i++ ) {
7015                                 if ( pv[i] == RExC_npar ) {
7016                                     count = 0;
7017                                     break;
7018                                 }
7019                             }
7020                             if ( count ) {
7021                                 pv = (I32*)SvGROW(sv_dat, SvCUR(sv_dat) + sizeof(I32)+1);
7022                                 SvCUR_set(sv_dat, SvCUR(sv_dat) + sizeof(I32));
7023                                 pv[count] = RExC_npar;
7024                                 SvIV_set(sv_dat, SvIVX(sv_dat) + 1);
7025                             }
7026                         } else {
7027                             (void)SvUPGRADE(sv_dat,SVt_PVNV);
7028                             sv_setpvn(sv_dat, (char *)&(RExC_npar), sizeof(I32));
7029                             SvIOK_on(sv_dat);
7030                             SvIV_set(sv_dat, 1);
7031                         }
7032 #ifdef DEBUGGING
7033                         /* Yes this does cause a memory leak in debugging Perls */
7034                         if (!av_store(RExC_paren_name_list, RExC_npar, SvREFCNT_inc(svname)))
7035                             SvREFCNT_dec(svname);
7036 #endif
7037
7038                         /*sv_dump(sv_dat);*/
7039                     }
7040                     nextchar(pRExC_state);
7041                     paren = 1;
7042                     goto capturing_parens;
7043                 }
7044                 RExC_seen |= REG_SEEN_LOOKBEHIND;
7045                 RExC_in_lookbehind++;
7046                 RExC_parse++;
7047             case '=':           /* (?=...) */
7048                 RExC_seen_zerolen++;
7049                 break;
7050             case '!':           /* (?!...) */
7051                 RExC_seen_zerolen++;
7052                 if (*RExC_parse == ')') {
7053                     ret=reg_node(pRExC_state, OPFAIL);
7054                     nextchar(pRExC_state);
7055                     return ret;
7056                 }
7057                 break;
7058             case '|':           /* (?|...) */
7059                 /* branch reset, behave like a (?:...) except that
7060                    buffers in alternations share the same numbers */
7061                 paren = ':'; 
7062                 after_freeze = freeze_paren = RExC_npar;
7063                 break;
7064             case ':':           /* (?:...) */
7065             case '>':           /* (?>...) */
7066                 break;
7067             case '$':           /* (?$...) */
7068             case '@':           /* (?@...) */
7069                 vFAIL2("Sequence (?%c...) not implemented", (int)paren);
7070                 break;
7071             case '#':           /* (?#...) */
7072                 while (*RExC_parse && *RExC_parse != ')')
7073                     RExC_parse++;
7074                 if (*RExC_parse != ')')
7075                     FAIL("Sequence (?#... not terminated");
7076                 nextchar(pRExC_state);
7077                 *flagp = TRYAGAIN;
7078                 return NULL;
7079             case '0' :           /* (?0) */
7080             case 'R' :           /* (?R) */
7081                 if (*RExC_parse != ')')
7082                     FAIL("Sequence (?R) not terminated");
7083                 ret = reg_node(pRExC_state, GOSTART);
7084                 *flagp |= POSTPONED;
7085                 nextchar(pRExC_state);
7086                 return ret;
7087                 /*notreached*/
7088             { /* named and numeric backreferences */
7089                 I32 num;
7090             case '&':            /* (?&NAME) */
7091                 parse_start = RExC_parse - 1;
7092               named_recursion:
7093                 {
7094                     SV *sv_dat = reg_scan_name(pRExC_state,
7095                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
7096                      num = sv_dat ? *((I32 *)SvPVX(sv_dat)) : 0;
7097                 }
7098                 goto gen_recurse_regop;
7099                 /* NOT REACHED */
7100             case '+':
7101                 if (!(RExC_parse[0] >= '1' && RExC_parse[0] <= '9')) {
7102                     RExC_parse++;
7103                     vFAIL("Illegal pattern");
7104                 }
7105                 goto parse_recursion;
7106                 /* NOT REACHED*/
7107             case '-': /* (?-1) */
7108                 if (!(RExC_parse[0] >= '1' && RExC_parse[0] <= '9')) {
7109                     RExC_parse--; /* rewind to let it be handled later */
7110                     goto parse_flags;
7111                 } 
7112                 /*FALLTHROUGH */
7113             case '1': case '2': case '3': case '4': /* (?1) */
7114             case '5': case '6': case '7': case '8': case '9':
7115                 RExC_parse--;
7116               parse_recursion:
7117                 num = atoi(RExC_parse);
7118                 parse_start = RExC_parse - 1; /* MJD */
7119                 if (*RExC_parse == '-')
7120                     RExC_parse++;
7121                 while (isDIGIT(*RExC_parse))
7122                         RExC_parse++;
7123                 if (*RExC_parse!=')') 
7124                     vFAIL("Expecting close bracket");
7125                         
7126               gen_recurse_regop:
7127                 if ( paren == '-' ) {
7128                     /*
7129                     Diagram of capture buffer numbering.
7130                     Top line is the normal capture buffer numbers
7131                     Bottom line is the negative indexing as from
7132                     the X (the (?-2))
7133
7134                     +   1 2    3 4 5 X          6 7
7135                        /(a(x)y)(a(b(c(?-2)d)e)f)(g(h))/
7136                     -   5 4    3 2 1 X          x x
7137
7138                     */
7139                     num = RExC_npar + num;
7140                     if (num < 1)  {
7141                         RExC_parse++;
7142                         vFAIL("Reference to nonexistent group");
7143                     }
7144                 } else if ( paren == '+' ) {
7145                     num = RExC_npar + num - 1;
7146                 }
7147
7148                 ret = reganode(pRExC_state, GOSUB, num);
7149                 if (!SIZE_ONLY) {
7150                     if (num > (I32)RExC_rx->nparens) {
7151                         RExC_parse++;
7152                         vFAIL("Reference to nonexistent group");
7153                     }
7154                     ARG2L_SET( ret, RExC_recurse_count++);
7155                     RExC_emit++;
7156                     DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
7157                         "Recurse #%"UVuf" to %"IVdf"\n", (UV)ARG(ret), (IV)ARG2L(ret)));
7158                 } else {
7159                     RExC_size++;
7160                 }
7161                 RExC_seen |= REG_SEEN_RECURSE;
7162                 Set_Node_Length(ret, 1 + regarglen[OP(ret)]); /* MJD */
7163                 Set_Node_Offset(ret, parse_start); /* MJD */
7164
7165                 *flagp |= POSTPONED;
7166                 nextchar(pRExC_state);
7167                 return ret;
7168             } /* named and numeric backreferences */
7169             /* NOT REACHED */
7170
7171             case '?':           /* (??...) */
7172                 is_logical = 1;
7173                 if (*RExC_parse != '{') {
7174                     RExC_parse++;
7175                     vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
7176                     /*NOTREACHED*/
7177                 }
7178                 *flagp |= POSTPONED;
7179                 paren = *RExC_parse++;
7180                 /* FALL THROUGH */
7181             case '{':           /* (?{...}) */
7182             {
7183                 I32 count = 1;
7184                 U32 n = 0;
7185                 char c;
7186                 char *s = RExC_parse;
7187
7188                 RExC_seen_zerolen++;
7189                 RExC_seen |= REG_SEEN_EVAL;
7190                 while (count && (c = *RExC_parse)) {
7191                     if (c == '\\') {
7192                         if (RExC_parse[1])
7193                             RExC_parse++;
7194                     }
7195                     else if (c == '{')
7196                         count++;
7197                     else if (c == '}')
7198                         count--;
7199                     RExC_parse++;
7200                 }
7201                 if (*RExC_parse != ')') {
7202                     RExC_parse = s;             
7203                     vFAIL("Sequence (?{...}) not terminated or not {}-balanced");
7204                 }
7205                 if (!SIZE_ONLY) {
7206                     PAD *pad;
7207                     OP_4tree *sop, *rop;
7208                     SV * const sv = newSVpvn(s, RExC_parse - 1 - s);
7209
7210                     ENTER;
7211                     Perl_save_re_context(aTHX);
7212                     rop = Perl_sv_compile_2op_is_broken(aTHX_ sv, &sop, "re", &pad);
7213                     sop->op_private |= OPpREFCOUNTED;
7214                     /* re_dup will OpREFCNT_inc */
7215                     OpREFCNT_set(sop, 1);
7216                     LEAVE;
7217
7218                     n = add_data(pRExC_state, 3, "nop");
7219                     RExC_rxi->data->data[n] = (void*)rop;
7220                     RExC_rxi->data->data[n+1] = (void*)sop;
7221                     RExC_rxi->data->data[n+2] = (void*)pad;
7222                     SvREFCNT_dec(sv);
7223                 }
7224                 else {                                          /* First pass */
7225                     if (PL_reginterp_cnt < ++RExC_seen_evals
7226                         && IN_PERL_RUNTIME)
7227                         /* No compiled RE interpolated, has runtime
7228                            components ===> unsafe.  */
7229                         FAIL("Eval-group not allowed at runtime, use re 'eval'");
7230                     if (PL_tainting && PL_tainted)
7231                         FAIL("Eval-group in insecure regular expression");
7232 #if PERL_VERSION > 8
7233                     if (IN_PERL_COMPILETIME)
7234                         PL_cv_has_eval = 1;
7235 #endif
7236                 }
7237
7238                 nextchar(pRExC_state);
7239                 if (is_logical) {
7240                     ret = reg_node(pRExC_state, LOGICAL);
7241                     if (!SIZE_ONLY)
7242                         ret->flags = 2;
7243                     REGTAIL(pRExC_state, ret, reganode(pRExC_state, EVAL, n));
7244                     /* deal with the length of this later - MJD */
7245                     return ret;
7246                 }
7247                 ret = reganode(pRExC_state, EVAL, n);
7248                 Set_Node_Length(ret, RExC_parse - parse_start + 1);
7249                 Set_Node_Offset(ret, parse_start);
7250                 return ret;
7251             }
7252             case '(':           /* (?(?{...})...) and (?(?=...)...) */
7253             {
7254                 int is_define= 0;
7255                 if (RExC_parse[0] == '?') {        /* (?(?...)) */
7256                     if (RExC_parse[1] == '=' || RExC_parse[1] == '!'
7257                         || RExC_parse[1] == '<'
7258                         || RExC_parse[1] == '{') { /* Lookahead or eval. */
7259                         I32 flag;
7260                         
7261                         ret = reg_node(pRExC_state, LOGICAL);
7262                         if (!SIZE_ONLY)
7263                             ret->flags = 1;
7264                         REGTAIL(pRExC_state, ret, reg(pRExC_state, 1, &flag,depth+1));
7265                         goto insert_if;
7266                     }
7267                 }
7268                 else if ( RExC_parse[0] == '<'     /* (?(<NAME>)...) */
7269                          || RExC_parse[0] == '\'' ) /* (?('NAME')...) */
7270                 {
7271                     char ch = RExC_parse[0] == '<' ? '>' : '\'';
7272                     char *name_start= RExC_parse++;
7273                     U32 num = 0;
7274                     SV *sv_dat=reg_scan_name(pRExC_state,
7275                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
7276                     if (RExC_parse == name_start || *RExC_parse != ch)
7277                         vFAIL2("Sequence (?(%c... not terminated",
7278                             (ch == '>' ? '<' : ch));
7279                     RExC_parse++;
7280                     if (!SIZE_ONLY) {
7281                         num = add_data( pRExC_state, 1, "S" );
7282                         RExC_rxi->data->data[num]=(void*)sv_dat;
7283                         SvREFCNT_inc_simple_void(sv_dat);
7284                     }
7285                     ret = reganode(pRExC_state,NGROUPP,num);
7286                     goto insert_if_check_paren;
7287                 }
7288                 else if (RExC_parse[0] == 'D' &&
7289                          RExC_parse[1] == 'E' &&
7290                          RExC_parse[2] == 'F' &&
7291                          RExC_parse[3] == 'I' &&
7292                          RExC_parse[4] == 'N' &&
7293                          RExC_parse[5] == 'E')
7294                 {
7295                     ret = reganode(pRExC_state,DEFINEP,0);
7296                     RExC_parse +=6 ;
7297                     is_define = 1;
7298                     goto insert_if_check_paren;
7299                 }
7300                 else if (RExC_parse[0] == 'R') {
7301                     RExC_parse++;
7302                     parno = 0;
7303                     if (RExC_parse[0] >= '1' && RExC_parse[0] <= '9' ) {
7304                         parno = atoi(RExC_parse++);
7305                         while (isDIGIT(*RExC_parse))
7306                             RExC_parse++;
7307                     } else if (RExC_parse[0] == '&') {
7308                         SV *sv_dat;
7309                         RExC_parse++;
7310                         sv_dat = reg_scan_name(pRExC_state,
7311                             SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
7312                         parno = sv_dat ? *((I32 *)SvPVX(sv_dat)) : 0;
7313                     }
7314                     ret = reganode(pRExC_state,INSUBP,parno); 
7315                     goto insert_if_check_paren;
7316                 }
7317                 else if (RExC_parse[0] >= '1' && RExC_parse[0] <= '9' ) {
7318                     /* (?(1)...) */
7319                     char c;
7320                     parno = atoi(RExC_parse++);
7321
7322                     while (isDIGIT(*RExC_parse))
7323                         RExC_parse++;
7324                     ret = reganode(pRExC_state, GROUPP, parno);
7325
7326                  insert_if_check_paren:
7327                     if ((c = *nextchar(pRExC_state)) != ')')
7328                         vFAIL("Switch condition not recognized");
7329                   insert_if:
7330                     REGTAIL(pRExC_state, ret, reganode(pRExC_state, IFTHEN, 0));
7331                     br = regbranch(pRExC_state, &flags, 1,depth+1);
7332                     if (br == NULL)
7333                         br = reganode(pRExC_state, LONGJMP, 0);
7334                     else
7335                         REGTAIL(pRExC_state, br, reganode(pRExC_state, LONGJMP, 0));
7336                     c = *nextchar(pRExC_state);
7337                     if (flags&HASWIDTH)
7338                         *flagp |= HASWIDTH;
7339                     if (c == '|') {
7340                         if (is_define) 
7341                             vFAIL("(?(DEFINE)....) does not allow branches");
7342                         lastbr = reganode(pRExC_state, IFTHEN, 0); /* Fake one for optimizer. */
7343                         regbranch(pRExC_state, &flags, 1,depth+1);
7344                         REGTAIL(pRExC_state, ret, lastbr);
7345                         if (flags&HASWIDTH)
7346                             *flagp |= HASWIDTH;
7347                         c = *nextchar(pRExC_state);
7348                     }
7349                     else
7350                         lastbr = NULL;
7351                     if (c != ')')
7352                         vFAIL("Switch (?(condition)... contains too many branches");
7353                     ender = reg_node(pRExC_state, TAIL);
7354                     REGTAIL(pRExC_state, br, ender);
7355                     if (lastbr) {
7356                         REGTAIL(pRExC_state, lastbr, ender);
7357                         REGTAIL(pRExC_state, NEXTOPER(NEXTOPER(lastbr)), ender);
7358                     }
7359                     else
7360                         REGTAIL(pRExC_state, ret, ender);
7361                     RExC_size++; /* XXX WHY do we need this?!!
7362                                     For large programs it seems to be required
7363                                     but I can't figure out why. -- dmq*/
7364                     return ret;
7365                 }
7366                 else {
7367                     vFAIL2("Unknown switch condition (?(%.2s", RExC_parse);
7368                 }
7369             }
7370             case 0:
7371                 RExC_parse--; /* for vFAIL to print correctly */
7372                 vFAIL("Sequence (? incomplete");
7373                 break;
7374             case DEFAULT_PAT_MOD:   /* Use default flags with the exceptions
7375                                        that follow */
7376                 has_use_defaults = TRUE;
7377                 STD_PMMOD_FLAGS_CLEAR(&RExC_flags);
7378                 set_regex_charset(&RExC_flags, (RExC_utf8 || RExC_uni_semantics)
7379                                                 ? REGEX_UNICODE_CHARSET
7380                                                 : REGEX_DEPENDS_CHARSET);
7381                 goto parse_flags;
7382             default:
7383                 --RExC_parse;
7384                 parse_flags:      /* (?i) */  
7385             {
7386                 U32 posflags = 0, negflags = 0;
7387                 U32 *flagsp = &posflags;
7388                 char has_charset_modifier = '\0';
7389                 regex_charset cs = (RExC_utf8 || RExC_uni_semantics)
7390                                     ? REGEX_UNICODE_CHARSET
7391                                     : REGEX_DEPENDS_CHARSET;
7392
7393                 while (*RExC_parse) {
7394                     /* && strchr("iogcmsx", *RExC_parse) */
7395                     /* (?g), (?gc) and (?o) are useless here
7396                        and must be globally applied -- japhy */
7397                     switch (*RExC_parse) {
7398                     CASE_STD_PMMOD_FLAGS_PARSE_SET(flagsp);
7399                     case LOCALE_PAT_MOD:
7400                         if (has_charset_modifier) {
7401                             goto excess_modifier;
7402                         }
7403                         else if (flagsp == &negflags) {
7404                             goto neg_modifier;
7405                         }
7406                         cs = REGEX_LOCALE_CHARSET;
7407                         has_charset_modifier = LOCALE_PAT_MOD;
7408                         RExC_contains_locale = 1;
7409                         break;
7410                     case UNICODE_PAT_MOD:
7411                         if (has_charset_modifier) {
7412                             goto excess_modifier;
7413                         }
7414                         else if (flagsp == &negflags) {
7415                             goto neg_modifier;
7416                         }
7417                         cs = REGEX_UNICODE_CHARSET;
7418                         has_charset_modifier = UNICODE_PAT_MOD;
7419                         break;
7420                     case ASCII_RESTRICT_PAT_MOD:
7421                         if (flagsp == &negflags) {
7422                             goto neg_modifier;
7423                         }
7424                         if (has_charset_modifier) {
7425                             if (cs != REGEX_ASCII_RESTRICTED_CHARSET) {
7426                                 goto excess_modifier;
7427                             }
7428                             /* Doubled modifier implies more restricted */
7429                             cs = REGEX_ASCII_MORE_RESTRICTED_CHARSET;
7430                         }
7431                         else {
7432                             cs = REGEX_ASCII_RESTRICTED_CHARSET;
7433                         }
7434                         has_charset_modifier = ASCII_RESTRICT_PAT_MOD;
7435                         break;
7436                     case DEPENDS_PAT_MOD:
7437                         if (has_use_defaults) {
7438                             goto fail_modifiers;
7439                         }
7440                         else if (flagsp == &negflags) {
7441                             goto neg_modifier;
7442                         }
7443                         else if (has_charset_modifier) {
7444                             goto excess_modifier;
7445                         }
7446
7447                         /* The dual charset means unicode semantics if the
7448                          * pattern (or target, not known until runtime) are
7449                          * utf8, or something in the pattern indicates unicode
7450                          * semantics */
7451                         cs = (RExC_utf8 || RExC_uni_semantics)
7452                              ? REGEX_UNICODE_CHARSET
7453                              : REGEX_DEPENDS_CHARSET;
7454                         has_charset_modifier = DEPENDS_PAT_MOD;
7455                         break;
7456                     excess_modifier:
7457                         RExC_parse++;
7458                         if (has_charset_modifier == ASCII_RESTRICT_PAT_MOD) {
7459                             vFAIL2("Regexp modifier \"%c\" may appear a maximum of twice", ASCII_RESTRICT_PAT_MOD);
7460                         }
7461                         else if (has_charset_modifier == *(RExC_parse - 1)) {
7462                             vFAIL2("Regexp modifier \"%c\" may not appear twice", *(RExC_parse - 1));
7463                         }
7464                         else {
7465                             vFAIL3("Regexp modifiers \"%c\" and \"%c\" are mutually exclusive", has_charset_modifier, *(RExC_parse - 1));
7466                         }
7467                         /*NOTREACHED*/
7468                     neg_modifier:
7469                         RExC_parse++;
7470                         vFAIL2("Regexp modifier \"%c\" may not appear after the \"-\"", *(RExC_parse - 1));
7471                         /*NOTREACHED*/
7472                     case ONCE_PAT_MOD: /* 'o' */
7473                     case GLOBAL_PAT_MOD: /* 'g' */
7474                         if (SIZE_ONLY && ckWARN(WARN_REGEXP)) {
7475                             const I32 wflagbit = *RExC_parse == 'o' ? WASTED_O : WASTED_G;
7476                             if (! (wastedflags & wflagbit) ) {
7477                                 wastedflags |= wflagbit;
7478                                 vWARN5(
7479                                     RExC_parse + 1,
7480                                     "Useless (%s%c) - %suse /%c modifier",
7481                                     flagsp == &negflags ? "?-" : "?",
7482                                     *RExC_parse,
7483                                     flagsp == &negflags ? "don't " : "",
7484                                     *RExC_parse
7485                                 );
7486                             }
7487                         }
7488                         break;
7489                         
7490                     case CONTINUE_PAT_MOD: /* 'c' */
7491                         if (SIZE_ONLY && ckWARN(WARN_REGEXP)) {
7492                             if (! (wastedflags & WASTED_C) ) {
7493                                 wastedflags |= WASTED_GC;
7494                                 vWARN3(
7495                                     RExC_parse + 1,
7496                                     "Useless (%sc) - %suse /gc modifier",
7497                                     flagsp == &negflags ? "?-" : "?",
7498                                     flagsp == &negflags ? "don't " : ""
7499                                 );
7500                             }
7501                         }
7502                         break;
7503                     case KEEPCOPY_PAT_MOD: /* 'p' */
7504                         if (flagsp == &negflags) {
7505                             if (SIZE_ONLY)
7506                                 ckWARNreg(RExC_parse + 1,"Useless use of (?-p)");
7507                         } else {
7508                             *flagsp |= RXf_PMf_KEEPCOPY;
7509                         }
7510                         break;
7511                     case '-':
7512                         /* A flag is a default iff it is following a minus, so
7513                          * if there is a minus, it means will be trying to
7514                          * re-specify a default which is an error */
7515                         if (has_use_defaults || flagsp == &negflags) {
7516             fail_modifiers:
7517                             RExC_parse++;
7518                             vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
7519                             /*NOTREACHED*/
7520                         }
7521                         flagsp = &negflags;
7522                         wastedflags = 0;  /* reset so (?g-c) warns twice */
7523                         break;
7524                     case ':':
7525                         paren = ':';
7526                         /*FALLTHROUGH*/
7527                     case ')':
7528                         RExC_flags |= posflags;
7529                         RExC_flags &= ~negflags;
7530                         set_regex_charset(&RExC_flags, cs);
7531                         if (paren != ':') {
7532                             oregflags |= posflags;
7533                             oregflags &= ~negflags;
7534                             set_regex_charset(&oregflags, cs);
7535                         }
7536                         nextchar(pRExC_state);
7537                         if (paren != ':') {
7538                             *flagp = TRYAGAIN;
7539                             return NULL;
7540                         } else {
7541                             ret = NULL;
7542                             goto parse_rest;
7543                         }
7544                         /*NOTREACHED*/
7545                     default:
7546                         RExC_parse++;
7547                         vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
7548                         /*NOTREACHED*/
7549                     }                           
7550                     ++RExC_parse;
7551                 }
7552             }} /* one for the default block, one for the switch */
7553         }
7554         else {                  /* (...) */
7555           capturing_parens:
7556             parno = RExC_npar;
7557             RExC_npar++;
7558             
7559             ret = reganode(pRExC_state, OPEN, parno);
7560             if (!SIZE_ONLY ){
7561                 if (!RExC_nestroot) 
7562                     RExC_nestroot = parno;
7563                 if (RExC_seen & REG_SEEN_RECURSE
7564                     && !RExC_open_parens[parno-1])
7565                 {
7566                     DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
7567                         "Setting open paren #%"IVdf" to %d\n", 
7568                         (IV)parno, REG_NODE_NUM(ret)));
7569                     RExC_open_parens[parno-1]= ret;
7570                 }
7571             }
7572             Set_Node_Length(ret, 1); /* MJD */
7573             Set_Node_Offset(ret, RExC_parse); /* MJD */
7574             is_open = 1;
7575         }
7576     }
7577     else                        /* ! paren */
7578         ret = NULL;
7579    
7580    parse_rest:
7581     /* Pick up the branches, linking them together. */
7582     parse_start = RExC_parse;   /* MJD */
7583     br = regbranch(pRExC_state, &flags, 1,depth+1);
7584
7585     /*     branch_len = (paren != 0); */
7586
7587     if (br == NULL)
7588         return(NULL);
7589     if (*RExC_parse == '|') {
7590         if (!SIZE_ONLY && RExC_extralen) {
7591             reginsert(pRExC_state, BRANCHJ, br, depth+1);
7592         }
7593         else {                  /* MJD */
7594             reginsert(pRExC_state, BRANCH, br, depth+1);
7595             Set_Node_Length(br, paren != 0);
7596             Set_Node_Offset_To_R(br-RExC_emit_start, parse_start-RExC_start);
7597         }
7598         have_branch = 1;
7599         if (SIZE_ONLY)
7600             RExC_extralen += 1;         /* For BRANCHJ-BRANCH. */
7601     }
7602     else if (paren == ':') {
7603         *flagp |= flags&SIMPLE;
7604     }
7605     if (is_open) {                              /* Starts with OPEN. */
7606         REGTAIL(pRExC_state, ret, br);          /* OPEN -> first. */
7607     }
7608     else if (paren != '?')              /* Not Conditional */
7609         ret = br;
7610     *flagp |= flags & (SPSTART | HASWIDTH | POSTPONED);
7611     lastbr = br;
7612     while (*RExC_parse == '|') {
7613         if (!SIZE_ONLY && RExC_extralen) {
7614             ender = reganode(pRExC_state, LONGJMP,0);
7615             REGTAIL(pRExC_state, NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
7616         }
7617         if (SIZE_ONLY)
7618             RExC_extralen += 2;         /* Account for LONGJMP. */
7619         nextchar(pRExC_state);
7620         if (freeze_paren) {
7621             if (RExC_npar > after_freeze)
7622                 after_freeze = RExC_npar;
7623             RExC_npar = freeze_paren;       
7624         }
7625         br = regbranch(pRExC_state, &flags, 0, depth+1);
7626
7627         if (br == NULL)
7628             return(NULL);
7629         REGTAIL(pRExC_state, lastbr, br);               /* BRANCH -> BRANCH. */
7630         lastbr = br;
7631         *flagp |= flags & (SPSTART | HASWIDTH | POSTPONED);
7632     }
7633
7634     if (have_branch || paren != ':') {
7635         /* Make a closing node, and hook it on the end. */
7636         switch (paren) {
7637         case ':':
7638             ender = reg_node(pRExC_state, TAIL);
7639             break;
7640         case 1:
7641             ender = reganode(pRExC_state, CLOSE, parno);
7642             if (!SIZE_ONLY && RExC_seen & REG_SEEN_RECURSE) {
7643                 DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
7644                         "Setting close paren #%"IVdf" to %d\n", 
7645                         (IV)parno, REG_NODE_NUM(ender)));
7646                 RExC_close_parens[parno-1]= ender;
7647                 if (RExC_nestroot == parno) 
7648                     RExC_nestroot = 0;
7649             }       
7650             Set_Node_Offset(ender,RExC_parse+1); /* MJD */
7651             Set_Node_Length(ender,1); /* MJD */
7652             break;
7653         case '<':
7654         case ',':
7655         case '=':
7656         case '!':
7657             *flagp &= ~HASWIDTH;
7658             /* FALL THROUGH */
7659         case '>':
7660             ender = reg_node(pRExC_state, SUCCEED);
7661             break;
7662         case 0:
7663             ender = reg_node(pRExC_state, END);
7664             if (!SIZE_ONLY) {
7665                 assert(!RExC_opend); /* there can only be one! */
7666                 RExC_opend = ender;
7667             }
7668             break;
7669         }
7670         REGTAIL(pRExC_state, lastbr, ender);
7671
7672         if (have_branch && !SIZE_ONLY) {
7673             if (depth==1)
7674                 RExC_seen |= REG_TOP_LEVEL_BRANCHES;
7675
7676             /* Hook the tails of the branches to the closing node. */
7677             for (br = ret; br; br = regnext(br)) {
7678                 const U8 op = PL_regkind[OP(br)];
7679                 if (op == BRANCH) {
7680                     REGTAIL_STUDY(pRExC_state, NEXTOPER(br), ender);
7681                 }
7682                 else if (op == BRANCHJ) {
7683                     REGTAIL_STUDY(pRExC_state, NEXTOPER(NEXTOPER(br)), ender);
7684                 }
7685             }
7686         }
7687     }
7688
7689     {
7690         const char *p;
7691         static const char parens[] = "=!<,>";
7692
7693         if (paren && (p = strchr(parens, paren))) {
7694             U8 node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
7695             int flag = (p - parens) > 1;
7696
7697             if (paren == '>')
7698                 node = SUSPEND, flag = 0;
7699             reginsert(pRExC_state, node,ret, depth+1);
7700             Set_Node_Cur_Length(ret);
7701             Set_Node_Offset(ret, parse_start + 1);
7702             ret->flags = flag;
7703             REGTAIL_STUDY(pRExC_state, ret, reg_node(pRExC_state, TAIL));
7704         }
7705     }
7706
7707     /* Check for proper termination. */
7708     if (paren) {
7709         RExC_flags = oregflags;
7710         if (RExC_parse >= RExC_end || *nextchar(pRExC_state) != ')') {
7711             RExC_parse = oregcomp_parse;
7712             vFAIL("Unmatched (");
7713         }
7714     }
7715     else if (!paren && RExC_parse < RExC_end) {
7716         if (*RExC_parse == ')') {
7717             RExC_parse++;
7718             vFAIL("Unmatched )");
7719         }
7720         else
7721             FAIL("Junk on end of regexp");      /* "Can't happen". */
7722         /* NOTREACHED */
7723     }
7724
7725     if (RExC_in_lookbehind) {
7726         RExC_in_lookbehind--;
7727     }
7728     if (after_freeze > RExC_npar)
7729         RExC_npar = after_freeze;
7730     return(ret);
7731 }
7732
7733 /*
7734  - regbranch - one alternative of an | operator
7735  *
7736  * Implements the concatenation operator.
7737  */
7738 STATIC regnode *
7739 S_regbranch(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, I32 first, U32 depth)
7740 {
7741     dVAR;
7742     register regnode *ret;
7743     register regnode *chain = NULL;
7744     register regnode *latest;
7745     I32 flags = 0, c = 0;
7746     GET_RE_DEBUG_FLAGS_DECL;
7747
7748     PERL_ARGS_ASSERT_REGBRANCH;
7749
7750     DEBUG_PARSE("brnc");
7751
7752     if (first)
7753         ret = NULL;
7754     else {
7755         if (!SIZE_ONLY && RExC_extralen)
7756             ret = reganode(pRExC_state, BRANCHJ,0);
7757         else {
7758             ret = reg_node(pRExC_state, BRANCH);
7759             Set_Node_Length(ret, 1);
7760         }
7761     }
7762         
7763     if (!first && SIZE_ONLY)
7764         RExC_extralen += 1;                     /* BRANCHJ */
7765
7766     *flagp = WORST;                     /* Tentatively. */
7767
7768     RExC_parse--;
7769     nextchar(pRExC_state);
7770     while (RExC_parse < RExC_end && *RExC_parse != '|' && *RExC_parse != ')') {
7771         flags &= ~TRYAGAIN;
7772         latest = regpiece(pRExC_state, &flags,depth+1);
7773         if (latest == NULL) {
7774             if (flags & TRYAGAIN)
7775                 continue;
7776             return(NULL);
7777         }
7778         else if (ret == NULL)
7779             ret = latest;
7780         *flagp |= flags&(HASWIDTH|POSTPONED);
7781         if (chain == NULL)      /* First piece. */
7782             *flagp |= flags&SPSTART;
7783         else {
7784             RExC_naughty++;
7785             REGTAIL(pRExC_state, chain, latest);
7786         }
7787         chain = latest;
7788         c++;
7789     }
7790     if (chain == NULL) {        /* Loop ran zero times. */
7791         chain = reg_node(pRExC_state, NOTHING);
7792         if (ret == NULL)
7793             ret = chain;
7794     }
7795     if (c == 1) {
7796         *flagp |= flags&SIMPLE;
7797     }
7798
7799     return ret;
7800 }
7801
7802 /*
7803  - regpiece - something followed by possible [*+?]
7804  *
7805  * Note that the branching code sequences used for ? and the general cases
7806  * of * and + are somewhat optimized:  they use the same NOTHING node as
7807  * both the endmarker for their branch list and the body of the last branch.
7808  * It might seem that this node could be dispensed with entirely, but the
7809  * endmarker role is not redundant.
7810  */
7811 STATIC regnode *
7812 S_regpiece(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
7813 {
7814     dVAR;
7815     register regnode *ret;
7816     register char op;
7817     register char *next;
7818     I32 flags;
7819     const char * const origparse = RExC_parse;
7820     I32 min;
7821     I32 max = REG_INFTY;
7822 #ifdef RE_TRACK_PATTERN_OFFSETS
7823     char *parse_start;
7824 #endif
7825     const char *maxpos = NULL;
7826     GET_RE_DEBUG_FLAGS_DECL;
7827
7828     PERL_ARGS_ASSERT_REGPIECE;
7829
7830     DEBUG_PARSE("piec");
7831
7832     ret = regatom(pRExC_state, &flags,depth+1);
7833     if (ret == NULL) {
7834         if (flags & TRYAGAIN)
7835             *flagp |= TRYAGAIN;
7836         return(NULL);
7837     }
7838
7839     op = *RExC_parse;
7840
7841     if (op == '{' && regcurly(RExC_parse)) {
7842         maxpos = NULL;
7843 #ifdef RE_TRACK_PATTERN_OFFSETS
7844         parse_start = RExC_parse; /* MJD */
7845 #endif
7846         next = RExC_parse + 1;
7847         while (isDIGIT(*next) || *next == ',') {
7848             if (*next == ',') {
7849                 if (maxpos)
7850                     break;
7851                 else
7852                     maxpos = next;
7853             }
7854             next++;
7855         }
7856         if (*next == '}') {             /* got one */
7857             if (!maxpos)
7858                 maxpos = next;
7859             RExC_parse++;
7860             min = atoi(RExC_parse);
7861             if (*maxpos == ',')
7862                 maxpos++;
7863             else
7864                 maxpos = RExC_parse;
7865             max = atoi(maxpos);
7866             if (!max && *maxpos != '0')
7867                 max = REG_INFTY;                /* meaning "infinity" */
7868             else if (max >= REG_INFTY)
7869                 vFAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
7870             RExC_parse = next;
7871             nextchar(pRExC_state);
7872
7873         do_curly:
7874             if ((flags&SIMPLE)) {
7875                 RExC_naughty += 2 + RExC_naughty / 2;
7876                 reginsert(pRExC_state, CURLY, ret, depth+1);
7877                 Set_Node_Offset(ret, parse_start+1); /* MJD */
7878                 Set_Node_Cur_Length(ret);
7879             }
7880             else {
7881                 regnode * const w = reg_node(pRExC_state, WHILEM);
7882
7883                 w->flags = 0;
7884                 REGTAIL(pRExC_state, ret, w);
7885                 if (!SIZE_ONLY && RExC_extralen) {
7886                     reginsert(pRExC_state, LONGJMP,ret, depth+1);
7887                     reginsert(pRExC_state, NOTHING,ret, depth+1);
7888                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
7889                 }
7890                 reginsert(pRExC_state, CURLYX,ret, depth+1);
7891                                 /* MJD hk */
7892                 Set_Node_Offset(ret, parse_start+1);
7893                 Set_Node_Length(ret,
7894                                 op == '{' ? (RExC_parse - parse_start) : 1);
7895
7896                 if (!SIZE_ONLY && RExC_extralen)
7897                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
7898                 REGTAIL(pRExC_state, ret, reg_node(pRExC_state, NOTHING));
7899                 if (SIZE_ONLY)
7900                     RExC_whilem_seen++, RExC_extralen += 3;
7901                 RExC_naughty += 4 + RExC_naughty;       /* compound interest */
7902             }
7903             ret->flags = 0;
7904
7905             if (min > 0)
7906                 *flagp = WORST;
7907             if (max > 0)
7908                 *flagp |= HASWIDTH;
7909             if (max < min)
7910                 vFAIL("Can't do {n,m} with n > m");
7911             if (!SIZE_ONLY) {
7912                 ARG1_SET(ret, (U16)min);
7913                 ARG2_SET(ret, (U16)max);
7914             }
7915
7916             goto nest_check;
7917         }
7918     }
7919
7920     if (!ISMULT1(op)) {
7921         *flagp = flags;
7922         return(ret);
7923     }
7924
7925 #if 0                           /* Now runtime fix should be reliable. */
7926
7927     /* if this is reinstated, don't forget to put this back into perldiag:
7928
7929             =item Regexp *+ operand could be empty at {#} in regex m/%s/
7930
7931            (F) The part of the regexp subject to either the * or + quantifier
7932            could match an empty string. The {#} shows in the regular
7933            expression about where the problem was discovered.
7934
7935     */
7936
7937     if (!(flags&HASWIDTH) && op != '?')
7938       vFAIL("Regexp *+ operand could be empty");
7939 #endif
7940
7941 #ifdef RE_TRACK_PATTERN_OFFSETS
7942     parse_start = RExC_parse;
7943 #endif
7944     nextchar(pRExC_state);
7945
7946     *flagp = (op != '+') ? (WORST|SPSTART|HASWIDTH) : (WORST|HASWIDTH);
7947
7948     if (op == '*' && (flags&SIMPLE)) {
7949         reginsert(pRExC_state, STAR, ret, depth+1);
7950         ret->flags = 0;
7951         RExC_naughty += 4;
7952     }
7953     else if (op == '*') {
7954         min = 0;
7955         goto do_curly;
7956     }
7957     else if (op == '+' && (flags&SIMPLE)) {
7958         reginsert(pRExC_state, PLUS, ret, depth+1);
7959         ret->flags = 0;
7960         RExC_naughty += 3;
7961     }
7962     else if (op == '+') {
7963         min = 1;
7964         goto do_curly;
7965     }
7966     else if (op == '?') {
7967         min = 0; max = 1;
7968         goto do_curly;
7969     }
7970   nest_check:
7971     if (!SIZE_ONLY && !(flags&(HASWIDTH|POSTPONED)) && max > REG_INFTY/3) {
7972         ckWARN3reg(RExC_parse,
7973                    "%.*s matches null string many times",
7974                    (int)(RExC_parse >= origparse ? RExC_parse - origparse : 0),
7975                    origparse);
7976     }
7977
7978     if (RExC_parse < RExC_end && *RExC_parse == '?') {
7979         nextchar(pRExC_state);
7980         reginsert(pRExC_state, MINMOD, ret, depth+1);
7981         REGTAIL(pRExC_state, ret, ret + NODE_STEP_REGNODE);
7982     }
7983 #ifndef REG_ALLOW_MINMOD_SUSPEND
7984     else
7985 #endif
7986     if (RExC_parse < RExC_end && *RExC_parse == '+') {
7987         regnode *ender;
7988         nextchar(pRExC_state);
7989         ender = reg_node(pRExC_state, SUCCEED);
7990         REGTAIL(pRExC_state, ret, ender);
7991         reginsert(pRExC_state, SUSPEND, ret, depth+1);
7992         ret->flags = 0;
7993         ender = reg_node(pRExC_state, TAIL);
7994         REGTAIL(pRExC_state, ret, ender);
7995         /*ret= ender;*/
7996     }
7997
7998     if (RExC_parse < RExC_end && ISMULT2(RExC_parse)) {
7999         RExC_parse++;
8000         vFAIL("Nested quantifiers");
8001     }
8002
8003     return(ret);
8004 }
8005
8006
8007 /* reg_namedseq(pRExC_state,UVp, UV depth)
8008    
8009    This is expected to be called by a parser routine that has 
8010    recognized '\N' and needs to handle the rest. RExC_parse is
8011    expected to point at the first char following the N at the time
8012    of the call.
8013
8014    The \N may be inside (indicated by valuep not being NULL) or outside a
8015    character class.
8016
8017    \N may begin either a named sequence, or if outside a character class, mean
8018    to match a non-newline.  For non single-quoted regexes, the tokenizer has
8019    attempted to decide which, and in the case of a named sequence converted it
8020    into one of the forms: \N{} (if the sequence is null), or \N{U+c1.c2...},
8021    where c1... are the characters in the sequence.  For single-quoted regexes,
8022    the tokenizer passes the \N sequence through unchanged; this code will not
8023    attempt to determine this nor expand those.  The net effect is that if the
8024    beginning of the passed-in pattern isn't '{U+' or there is no '}', it
8025    signals that this \N occurrence means to match a non-newline.
8026    
8027    Only the \N{U+...} form should occur in a character class, for the same
8028    reason that '.' inside a character class means to just match a period: it
8029    just doesn't make sense.
8030    
8031    If valuep is non-null then it is assumed that we are parsing inside 
8032    of a charclass definition and the first codepoint in the resolved
8033    string is returned via *valuep and the routine will return NULL. 
8034    In this mode if a multichar string is returned from the charnames 
8035    handler, a warning will be issued, and only the first char in the 
8036    sequence will be examined. If the string returned is zero length
8037    then the value of *valuep is undefined and NON-NULL will 
8038    be returned to indicate failure. (This will NOT be a valid pointer 
8039    to a regnode.)
8040    
8041    If valuep is null then it is assumed that we are parsing normal text and a
8042    new EXACT node is inserted into the program containing the resolved string,
8043    and a pointer to the new node is returned.  But if the string is zero length
8044    a NOTHING node is emitted instead.
8045
8046    On success RExC_parse is set to the char following the endbrace.
8047    Parsing failures will generate a fatal error via vFAIL(...)
8048  */
8049 STATIC regnode *
8050 S_reg_namedseq(pTHX_ RExC_state_t *pRExC_state, UV *valuep, I32 *flagp, U32 depth)
8051 {
8052     char * endbrace;    /* '}' following the name */
8053     regnode *ret = NULL;
8054     char* p;
8055
8056     GET_RE_DEBUG_FLAGS_DECL;
8057  
8058     PERL_ARGS_ASSERT_REG_NAMEDSEQ;
8059
8060     GET_RE_DEBUG_FLAGS;
8061
8062     /* The [^\n] meaning of \N ignores spaces and comments under the /x
8063      * modifier.  The other meaning does not */
8064     p = (RExC_flags & RXf_PMf_EXTENDED)
8065         ? regwhite( pRExC_state, RExC_parse )
8066         : RExC_parse;
8067    
8068     /* Disambiguate between \N meaning a named character versus \N meaning
8069      * [^\n].  The former is assumed when it can't be the latter. */
8070     if (*p != '{' || regcurly(p)) {
8071         RExC_parse = p;
8072         if (valuep) {
8073             /* no bare \N in a charclass */
8074             vFAIL("\\N in a character class must be a named character: \\N{...}");
8075         }
8076         nextchar(pRExC_state);
8077         ret = reg_node(pRExC_state, REG_ANY);
8078         *flagp |= HASWIDTH|SIMPLE;
8079         RExC_naughty++;
8080         RExC_parse--;
8081         Set_Node_Length(ret, 1); /* MJD */
8082         return ret;
8083     }
8084
8085     /* Here, we have decided it should be a named sequence */
8086
8087     /* The test above made sure that the next real character is a '{', but
8088      * under the /x modifier, it could be separated by space (or a comment and
8089      * \n) and this is not allowed (for consistency with \x{...} and the
8090      * tokenizer handling of \N{NAME}). */
8091     if (*RExC_parse != '{') {
8092         vFAIL("Missing braces on \\N{}");
8093     }
8094
8095     RExC_parse++;       /* Skip past the '{' */
8096
8097     if (! (endbrace = strchr(RExC_parse, '}')) /* no trailing brace */
8098         || ! (endbrace == RExC_parse            /* nothing between the {} */
8099               || (endbrace - RExC_parse >= 2    /* U+ (bad hex is checked below */
8100                   && strnEQ(RExC_parse, "U+", 2)))) /* for a better error msg) */
8101     {
8102         if (endbrace) RExC_parse = endbrace;    /* position msg's '<--HERE' */
8103         vFAIL("\\N{NAME} must be resolved by the lexer");
8104     }
8105
8106     if (endbrace == RExC_parse) {   /* empty: \N{} */
8107         if (! valuep) {
8108             RExC_parse = endbrace + 1;  
8109             return reg_node(pRExC_state,NOTHING);
8110         }
8111
8112         if (SIZE_ONLY) {
8113             ckWARNreg(RExC_parse,
8114                     "Ignoring zero length \\N{} in character class"
8115             );
8116             RExC_parse = endbrace + 1;  
8117         }
8118         *valuep = 0;
8119         return (regnode *) &RExC_parse; /* Invalid regnode pointer */
8120     }
8121
8122     REQUIRE_UTF8;       /* named sequences imply Unicode semantics */
8123     RExC_parse += 2;    /* Skip past the 'U+' */
8124
8125     if (valuep) {   /* In a bracketed char class */
8126         /* We only pay attention to the first char of 
8127         multichar strings being returned. I kinda wonder
8128         if this makes sense as it does change the behaviour
8129         from earlier versions, OTOH that behaviour was broken
8130         as well. XXX Solution is to recharacterize as
8131         [rest-of-class]|multi1|multi2... */
8132
8133         STRLEN length_of_hex;
8134         I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
8135             | PERL_SCAN_DISALLOW_PREFIX
8136             | (SIZE_ONLY ? PERL_SCAN_SILENT_ILLDIGIT : 0);
8137     
8138         char * endchar = RExC_parse + strcspn(RExC_parse, ".}");
8139         if (endchar < endbrace) {
8140             ckWARNreg(endchar, "Using just the first character returned by \\N{} in character class");
8141         }
8142
8143         length_of_hex = (STRLEN)(endchar - RExC_parse);
8144         *valuep = grok_hex(RExC_parse, &length_of_hex, &flags, NULL);
8145
8146         /* The tokenizer should have guaranteed validity, but it's possible to
8147          * bypass it by using single quoting, so check */
8148         if (length_of_hex == 0
8149             || length_of_hex != (STRLEN)(endchar - RExC_parse) )
8150         {
8151             RExC_parse += length_of_hex;        /* Includes all the valid */
8152             RExC_parse += (RExC_orig_utf8)      /* point to after 1st invalid */
8153                             ? UTF8SKIP(RExC_parse)
8154                             : 1;
8155             /* Guard against malformed utf8 */
8156             if (RExC_parse >= endchar) RExC_parse = endchar;
8157             vFAIL("Invalid hexadecimal number in \\N{U+...}");
8158         }    
8159
8160         RExC_parse = endbrace + 1;
8161         if (endchar == endbrace) return NULL;
8162
8163         ret = (regnode *) &RExC_parse;  /* Invalid regnode pointer */
8164     }
8165     else {      /* Not a char class */
8166
8167         /* What is done here is to convert this to a sub-pattern of the form
8168          * (?:\x{char1}\x{char2}...)
8169          * and then call reg recursively.  That way, it retains its atomicness,
8170          * while not having to worry about special handling that some code
8171          * points may have.  toke.c has converted the original Unicode values
8172          * to native, so that we can just pass on the hex values unchanged.  We
8173          * do have to set a flag to keep recoding from happening in the
8174          * recursion */
8175
8176         SV * substitute_parse = newSVpvn_flags("?:", 2, SVf_UTF8|SVs_TEMP);
8177         STRLEN len;
8178         char *endchar;      /* Points to '.' or '}' ending cur char in the input
8179                                stream */
8180         char *orig_end = RExC_end;
8181
8182         while (RExC_parse < endbrace) {
8183
8184             /* Code points are separated by dots.  If none, there is only one
8185              * code point, and is terminated by the brace */
8186             endchar = RExC_parse + strcspn(RExC_parse, ".}");
8187
8188             /* Convert to notation the rest of the code understands */
8189             sv_catpv(substitute_parse, "\\x{");
8190             sv_catpvn(substitute_parse, RExC_parse, endchar - RExC_parse);
8191             sv_catpv(substitute_parse, "}");
8192
8193             /* Point to the beginning of the next character in the sequence. */
8194             RExC_parse = endchar + 1;
8195         }
8196         sv_catpv(substitute_parse, ")");
8197
8198         RExC_parse = SvPV(substitute_parse, len);
8199
8200         /* Don't allow empty number */
8201         if (len < 8) {
8202             vFAIL("Invalid hexadecimal number in \\N{U+...}");
8203         }
8204         RExC_end = RExC_parse + len;
8205
8206         /* The values are Unicode, and therefore not subject to recoding */
8207         RExC_override_recoding = 1;
8208
8209         ret = reg(pRExC_state, 1, flagp, depth+1);
8210
8211         RExC_parse = endbrace;
8212         RExC_end = orig_end;
8213         RExC_override_recoding = 0;
8214
8215         nextchar(pRExC_state);
8216     }
8217
8218     return ret;
8219 }
8220
8221
8222 /*
8223  * reg_recode
8224  *
8225  * It returns the code point in utf8 for the value in *encp.
8226  *    value: a code value in the source encoding
8227  *    encp:  a pointer to an Encode object
8228  *
8229  * If the result from Encode is not a single character,
8230  * it returns U+FFFD (Replacement character) and sets *encp to NULL.
8231  */
8232 STATIC UV
8233 S_reg_recode(pTHX_ const char value, SV **encp)
8234 {
8235     STRLEN numlen = 1;
8236     SV * const sv = newSVpvn_flags(&value, numlen, SVs_TEMP);
8237     const char * const s = *encp ? sv_recode_to_utf8(sv, *encp) : SvPVX(sv);
8238     const STRLEN newlen = SvCUR(sv);
8239     UV uv = UNICODE_REPLACEMENT;
8240
8241     PERL_ARGS_ASSERT_REG_RECODE;
8242
8243     if (newlen)
8244         uv = SvUTF8(sv)
8245              ? utf8n_to_uvchr((U8*)s, newlen, &numlen, UTF8_ALLOW_DEFAULT)
8246              : *(U8*)s;
8247
8248     if (!newlen || numlen != newlen) {
8249         uv = UNICODE_REPLACEMENT;
8250         *encp = NULL;
8251     }
8252     return uv;
8253 }
8254
8255
8256 /*
8257  - regatom - the lowest level
8258
8259    Try to identify anything special at the start of the pattern. If there
8260    is, then handle it as required. This may involve generating a single regop,
8261    such as for an assertion; or it may involve recursing, such as to
8262    handle a () structure.
8263
8264    If the string doesn't start with something special then we gobble up
8265    as much literal text as we can.
8266
8267    Once we have been able to handle whatever type of thing started the
8268    sequence, we return.
8269
8270    Note: we have to be careful with escapes, as they can be both literal
8271    and special, and in the case of \10 and friends can either, depending
8272    on context. Specifically there are two separate switches for handling
8273    escape sequences, with the one for handling literal escapes requiring
8274    a dummy entry for all of the special escapes that are actually handled
8275    by the other.
8276 */
8277
8278 STATIC regnode *
8279 S_regatom(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
8280 {
8281     dVAR;
8282     register regnode *ret = NULL;
8283     I32 flags;
8284     char *parse_start = RExC_parse;
8285     U8 op;
8286     GET_RE_DEBUG_FLAGS_DECL;
8287     DEBUG_PARSE("atom");
8288     *flagp = WORST;             /* Tentatively. */
8289
8290     PERL_ARGS_ASSERT_REGATOM;
8291
8292 tryagain:
8293     switch ((U8)*RExC_parse) {
8294     case '^':
8295         RExC_seen_zerolen++;
8296         nextchar(pRExC_state);
8297         if (RExC_flags & RXf_PMf_MULTILINE)
8298             ret = reg_node(pRExC_state, MBOL);
8299         else if (RExC_flags & RXf_PMf_SINGLELINE)
8300             ret = reg_node(pRExC_state, SBOL);
8301         else
8302             ret = reg_node(pRExC_state, BOL);
8303         Set_Node_Length(ret, 1); /* MJD */
8304         break;
8305     case '$':
8306         nextchar(pRExC_state);
8307         if (*RExC_parse)
8308             RExC_seen_zerolen++;
8309         if (RExC_flags & RXf_PMf_MULTILINE)
8310             ret = reg_node(pRExC_state, MEOL);
8311         else if (RExC_flags & RXf_PMf_SINGLELINE)
8312             ret = reg_node(pRExC_state, SEOL);
8313         else
8314             ret = reg_node(pRExC_state, EOL);
8315         Set_Node_Length(ret, 1); /* MJD */
8316         break;
8317     case '.':
8318         nextchar(pRExC_state);
8319         if (RExC_flags & RXf_PMf_SINGLELINE)
8320             ret = reg_node(pRExC_state, SANY);
8321         else
8322             ret = reg_node(pRExC_state, REG_ANY);
8323         *flagp |= HASWIDTH|SIMPLE;
8324         RExC_naughty++;
8325         Set_Node_Length(ret, 1); /* MJD */
8326         break;
8327     case '[':
8328     {
8329         char * const oregcomp_parse = ++RExC_parse;
8330         ret = regclass(pRExC_state,depth+1);
8331         if (*RExC_parse != ']') {
8332             RExC_parse = oregcomp_parse;
8333             vFAIL("Unmatched [");
8334         }
8335         nextchar(pRExC_state);
8336         *flagp |= HASWIDTH|SIMPLE;
8337         Set_Node_Length(ret, RExC_parse - oregcomp_parse + 1); /* MJD */
8338         break;
8339     }
8340     case '(':
8341         nextchar(pRExC_state);
8342         ret = reg(pRExC_state, 1, &flags,depth+1);
8343         if (ret == NULL) {
8344                 if (flags & TRYAGAIN) {
8345                     if (RExC_parse == RExC_end) {
8346                          /* Make parent create an empty node if needed. */
8347                         *flagp |= TRYAGAIN;
8348                         return(NULL);
8349                     }
8350                     goto tryagain;
8351                 }
8352                 return(NULL);
8353         }
8354         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE|POSTPONED);
8355         break;
8356     case '|':
8357     case ')':
8358         if (flags & TRYAGAIN) {
8359             *flagp |= TRYAGAIN;
8360             return NULL;
8361         }
8362         vFAIL("Internal urp");
8363                                 /* Supposed to be caught earlier. */
8364         break;
8365     case '{':
8366         if (!regcurly(RExC_parse)) {
8367             RExC_parse++;
8368             goto defchar;
8369         }
8370         /* FALL THROUGH */
8371     case '?':
8372     case '+':
8373     case '*':
8374         RExC_parse++;
8375         vFAIL("Quantifier follows nothing");
8376         break;
8377     case '\\':
8378         /* Special Escapes
8379
8380            This switch handles escape sequences that resolve to some kind
8381            of special regop and not to literal text. Escape sequnces that
8382            resolve to literal text are handled below in the switch marked
8383            "Literal Escapes".
8384
8385            Every entry in this switch *must* have a corresponding entry
8386            in the literal escape switch. However, the opposite is not
8387            required, as the default for this switch is to jump to the
8388            literal text handling code.
8389         */
8390         switch ((U8)*++RExC_parse) {
8391         /* Special Escapes */
8392         case 'A':
8393             RExC_seen_zerolen++;
8394             ret = reg_node(pRExC_state, SBOL);
8395             *flagp |= SIMPLE;
8396             goto finish_meta_pat;
8397         case 'G':
8398             ret = reg_node(pRExC_state, GPOS);
8399             RExC_seen |= REG_SEEN_GPOS;
8400             *flagp |= SIMPLE;
8401             goto finish_meta_pat;
8402         case 'K':
8403             RExC_seen_zerolen++;
8404             ret = reg_node(pRExC_state, KEEPS);
8405             *flagp |= SIMPLE;
8406             /* XXX:dmq : disabling in-place substitution seems to
8407              * be necessary here to avoid cases of memory corruption, as
8408              * with: C<$_="x" x 80; s/x\K/y/> -- rgs
8409              */
8410             RExC_seen |= REG_SEEN_LOOKBEHIND;
8411             goto finish_meta_pat;
8412         case 'Z':
8413             ret = reg_node(pRExC_state, SEOL);
8414             *flagp |= SIMPLE;
8415             RExC_seen_zerolen++;                /* Do not optimize RE away */
8416             goto finish_meta_pat;
8417         case 'z':
8418             ret = reg_node(pRExC_state, EOS);
8419             *flagp |= SIMPLE;
8420             RExC_seen_zerolen++;                /* Do not optimize RE away */
8421             goto finish_meta_pat;
8422         case 'C':
8423             ret = reg_node(pRExC_state, CANY);
8424             RExC_seen |= REG_SEEN_CANY;
8425             *flagp |= HASWIDTH|SIMPLE;
8426             goto finish_meta_pat;
8427         case 'X':
8428             ret = reg_node(pRExC_state, CLUMP);
8429             *flagp |= HASWIDTH;
8430             goto finish_meta_pat;
8431         case 'w':
8432             switch (get_regex_charset(RExC_flags)) {
8433                 case REGEX_LOCALE_CHARSET:
8434                     op = ALNUML;
8435                     break;
8436                 case REGEX_UNICODE_CHARSET:
8437                     op = ALNUMU;
8438                     break;
8439                 case REGEX_ASCII_RESTRICTED_CHARSET:
8440                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8441                     op = ALNUMA;
8442                     break;
8443                 case REGEX_DEPENDS_CHARSET:
8444                     op = ALNUM;
8445                     break;
8446                 default:
8447                     goto bad_charset;
8448             }
8449             ret = reg_node(pRExC_state, op);
8450             *flagp |= HASWIDTH|SIMPLE;
8451             goto finish_meta_pat;
8452         case 'W':
8453             switch (get_regex_charset(RExC_flags)) {
8454                 case REGEX_LOCALE_CHARSET:
8455                     op = NALNUML;
8456                     break;
8457                 case REGEX_UNICODE_CHARSET:
8458                     op = NALNUMU;
8459                     break;
8460                 case REGEX_ASCII_RESTRICTED_CHARSET:
8461                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8462                     op = NALNUMA;
8463                     break;
8464                 case REGEX_DEPENDS_CHARSET:
8465                     op = NALNUM;
8466                     break;
8467                 default:
8468                     goto bad_charset;
8469             }
8470             ret = reg_node(pRExC_state, op);
8471             *flagp |= HASWIDTH|SIMPLE;
8472             goto finish_meta_pat;
8473         case 'b':
8474             RExC_seen_zerolen++;
8475             RExC_seen |= REG_SEEN_LOOKBEHIND;
8476             switch (get_regex_charset(RExC_flags)) {
8477                 case REGEX_LOCALE_CHARSET:
8478                     op = BOUNDL;
8479                     break;
8480                 case REGEX_UNICODE_CHARSET:
8481                     op = BOUNDU;
8482                     break;
8483                 case REGEX_ASCII_RESTRICTED_CHARSET:
8484                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8485                     op = BOUNDA;
8486                     break;
8487                 case REGEX_DEPENDS_CHARSET:
8488                     op = BOUND;
8489                     break;
8490                 default:
8491                     goto bad_charset;
8492             }
8493             ret = reg_node(pRExC_state, op);
8494             FLAGS(ret) = get_regex_charset(RExC_flags);
8495             *flagp |= SIMPLE;
8496             if (! SIZE_ONLY && (U8) *(RExC_parse + 1) == '{') {
8497                 ckWARNregdep(RExC_parse, "\"\\b{\" is deprecated; use \"\\b\\{\" instead");
8498             }
8499             goto finish_meta_pat;
8500         case 'B':
8501             RExC_seen_zerolen++;
8502             RExC_seen |= REG_SEEN_LOOKBEHIND;
8503             switch (get_regex_charset(RExC_flags)) {
8504                 case REGEX_LOCALE_CHARSET:
8505                     op = NBOUNDL;
8506                     break;
8507                 case REGEX_UNICODE_CHARSET:
8508                     op = NBOUNDU;
8509                     break;
8510                 case REGEX_ASCII_RESTRICTED_CHARSET:
8511                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8512                     op = NBOUNDA;
8513                     break;
8514                 case REGEX_DEPENDS_CHARSET:
8515                     op = NBOUND;
8516                     break;
8517                 default:
8518                     goto bad_charset;
8519             }
8520             ret = reg_node(pRExC_state, op);
8521             FLAGS(ret) = get_regex_charset(RExC_flags);
8522             *flagp |= SIMPLE;
8523             if (! SIZE_ONLY && (U8) *(RExC_parse + 1) == '{') {
8524                 ckWARNregdep(RExC_parse, "\"\\B{\" is deprecated; use \"\\B\\{\" instead");
8525             }
8526             goto finish_meta_pat;
8527         case 's':
8528             switch (get_regex_charset(RExC_flags)) {
8529                 case REGEX_LOCALE_CHARSET:
8530                     op = SPACEL;
8531                     break;
8532                 case REGEX_UNICODE_CHARSET:
8533                     op = SPACEU;
8534                     break;
8535                 case REGEX_ASCII_RESTRICTED_CHARSET:
8536                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8537                     op = SPACEA;
8538                     break;
8539                 case REGEX_DEPENDS_CHARSET:
8540                     op = SPACE;
8541                     break;
8542                 default:
8543                     goto bad_charset;
8544             }
8545             ret = reg_node(pRExC_state, op);
8546             *flagp |= HASWIDTH|SIMPLE;
8547             goto finish_meta_pat;
8548         case 'S':
8549             switch (get_regex_charset(RExC_flags)) {
8550                 case REGEX_LOCALE_CHARSET:
8551                     op = NSPACEL;
8552                     break;
8553                 case REGEX_UNICODE_CHARSET:
8554                     op = NSPACEU;
8555                     break;
8556                 case REGEX_ASCII_RESTRICTED_CHARSET:
8557                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8558                     op = NSPACEA;
8559                     break;
8560                 case REGEX_DEPENDS_CHARSET:
8561                     op = NSPACE;
8562                     break;
8563                 default:
8564                     goto bad_charset;
8565             }
8566             ret = reg_node(pRExC_state, op);
8567             *flagp |= HASWIDTH|SIMPLE;
8568             goto finish_meta_pat;
8569         case 'd':
8570             switch (get_regex_charset(RExC_flags)) {
8571                 case REGEX_LOCALE_CHARSET:
8572                     op = DIGITL;
8573                     break;
8574                 case REGEX_ASCII_RESTRICTED_CHARSET:
8575                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8576                     op = DIGITA;
8577                     break;
8578                 case REGEX_DEPENDS_CHARSET: /* No difference between these */
8579                 case REGEX_UNICODE_CHARSET:
8580                     op = DIGIT;
8581                     break;
8582                 default:
8583                     goto bad_charset;
8584             }
8585             ret = reg_node(pRExC_state, op);
8586             *flagp |= HASWIDTH|SIMPLE;
8587             goto finish_meta_pat;
8588         case 'D':
8589             switch (get_regex_charset(RExC_flags)) {
8590                 case REGEX_LOCALE_CHARSET:
8591                     op = NDIGITL;
8592                     break;
8593                 case REGEX_ASCII_RESTRICTED_CHARSET:
8594                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8595                     op = NDIGITA;
8596                     break;
8597                 case REGEX_DEPENDS_CHARSET: /* No difference between these */
8598                 case REGEX_UNICODE_CHARSET:
8599                     op = NDIGIT;
8600                     break;
8601                 default:
8602                     goto bad_charset;
8603             }
8604             ret = reg_node(pRExC_state, op);
8605             *flagp |= HASWIDTH|SIMPLE;
8606             goto finish_meta_pat;
8607         case 'R':
8608             ret = reg_node(pRExC_state, LNBREAK);
8609             *flagp |= HASWIDTH|SIMPLE;
8610             goto finish_meta_pat;
8611         case 'h':
8612             ret = reg_node(pRExC_state, HORIZWS);
8613             *flagp |= HASWIDTH|SIMPLE;
8614             goto finish_meta_pat;
8615         case 'H':
8616             ret = reg_node(pRExC_state, NHORIZWS);
8617             *flagp |= HASWIDTH|SIMPLE;
8618             goto finish_meta_pat;
8619         case 'v':
8620             ret = reg_node(pRExC_state, VERTWS);
8621             *flagp |= HASWIDTH|SIMPLE;
8622             goto finish_meta_pat;
8623         case 'V':
8624             ret = reg_node(pRExC_state, NVERTWS);
8625             *flagp |= HASWIDTH|SIMPLE;
8626          finish_meta_pat:           
8627             nextchar(pRExC_state);
8628             Set_Node_Length(ret, 2); /* MJD */
8629             break;          
8630         case 'p':
8631         case 'P':
8632             {   
8633                 char* const oldregxend = RExC_end;
8634 #ifdef DEBUGGING
8635                 char* parse_start = RExC_parse - 2;
8636 #endif
8637
8638                 if (RExC_parse[1] == '{') {
8639                   /* a lovely hack--pretend we saw [\pX] instead */
8640                     RExC_end = strchr(RExC_parse, '}');
8641                     if (!RExC_end) {
8642                         const U8 c = (U8)*RExC_parse;
8643                         RExC_parse += 2;
8644                         RExC_end = oldregxend;
8645                         vFAIL2("Missing right brace on \\%c{}", c);
8646                     }
8647                     RExC_end++;
8648                 }
8649                 else {
8650                     RExC_end = RExC_parse + 2;
8651                     if (RExC_end > oldregxend)
8652                         RExC_end = oldregxend;
8653                 }
8654                 RExC_parse--;
8655
8656                 ret = regclass(pRExC_state,depth+1);
8657
8658                 RExC_end = oldregxend;
8659                 RExC_parse--;
8660
8661                 Set_Node_Offset(ret, parse_start + 2);
8662                 Set_Node_Cur_Length(ret);
8663                 nextchar(pRExC_state);
8664                 *flagp |= HASWIDTH|SIMPLE;
8665             }
8666             break;
8667         case 'N': 
8668             /* Handle \N and \N{NAME} here and not below because it can be
8669             multicharacter. join_exact() will join them up later on. 
8670             Also this makes sure that things like /\N{BLAH}+/ and 
8671             \N{BLAH} being multi char Just Happen. dmq*/
8672             ++RExC_parse;
8673             ret= reg_namedseq(pRExC_state, NULL, flagp, depth);
8674             break;
8675         case 'k':    /* Handle \k<NAME> and \k'NAME' */
8676         parse_named_seq:
8677         {   
8678             char ch= RExC_parse[1];         
8679             if (ch != '<' && ch != '\'' && ch != '{') {
8680                 RExC_parse++;
8681                 vFAIL2("Sequence %.2s... not terminated",parse_start);
8682             } else {
8683                 /* this pretty much dupes the code for (?P=...) in reg(), if
8684                    you change this make sure you change that */
8685                 char* name_start = (RExC_parse += 2);
8686                 U32 num = 0;
8687                 SV *sv_dat = reg_scan_name(pRExC_state,
8688                     SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
8689                 ch= (ch == '<') ? '>' : (ch == '{') ? '}' : '\'';
8690                 if (RExC_parse == name_start || *RExC_parse != ch)
8691                     vFAIL2("Sequence %.3s... not terminated",parse_start);
8692
8693                 if (!SIZE_ONLY) {
8694                     num = add_data( pRExC_state, 1, "S" );
8695                     RExC_rxi->data->data[num]=(void*)sv_dat;
8696                     SvREFCNT_inc_simple_void(sv_dat);
8697                 }
8698
8699                 RExC_sawback = 1;
8700                 ret = reganode(pRExC_state,
8701                                ((! FOLD)
8702                                  ? NREF
8703                                  : (MORE_ASCII_RESTRICTED)
8704                                    ? NREFFA
8705                                    : (AT_LEAST_UNI_SEMANTICS)
8706                                      ? NREFFU
8707                                      : (LOC)
8708                                        ? NREFFL
8709                                        : NREFF),
8710                                 num);
8711                 *flagp |= HASWIDTH;
8712
8713                 /* override incorrect value set in reganode MJD */
8714                 Set_Node_Offset(ret, parse_start+1);
8715                 Set_Node_Cur_Length(ret); /* MJD */
8716                 nextchar(pRExC_state);
8717
8718             }
8719             break;
8720         }
8721         case 'g': 
8722         case '1': case '2': case '3': case '4':
8723         case '5': case '6': case '7': case '8': case '9':
8724             {
8725                 I32 num;
8726                 bool isg = *RExC_parse == 'g';
8727                 bool isrel = 0; 
8728                 bool hasbrace = 0;
8729                 if (isg) {
8730                     RExC_parse++;
8731                     if (*RExC_parse == '{') {
8732                         RExC_parse++;
8733                         hasbrace = 1;
8734                     }
8735                     if (*RExC_parse == '-') {
8736                         RExC_parse++;
8737                         isrel = 1;
8738                     }
8739                     if (hasbrace && !isDIGIT(*RExC_parse)) {
8740                         if (isrel) RExC_parse--;
8741                         RExC_parse -= 2;                            
8742                         goto parse_named_seq;
8743                 }   }
8744                 num = atoi(RExC_parse);
8745                 if (isg && num == 0)
8746                     vFAIL("Reference to invalid group 0");
8747                 if (isrel) {
8748                     num = RExC_npar - num;
8749                     if (num < 1)
8750                         vFAIL("Reference to nonexistent or unclosed group");
8751                 }
8752                 if (!isg && num > 9 && num >= RExC_npar)
8753                     goto defchar;
8754                 else {
8755                     char * const parse_start = RExC_parse - 1; /* MJD */
8756                     while (isDIGIT(*RExC_parse))
8757                         RExC_parse++;
8758                     if (parse_start == RExC_parse - 1) 
8759                         vFAIL("Unterminated \\g... pattern");
8760                     if (hasbrace) {
8761                         if (*RExC_parse != '}') 
8762                             vFAIL("Unterminated \\g{...} pattern");
8763                         RExC_parse++;
8764                     }    
8765                     if (!SIZE_ONLY) {
8766                         if (num > (I32)RExC_rx->nparens)
8767                             vFAIL("Reference to nonexistent group");
8768                     }
8769                     RExC_sawback = 1;
8770                     ret = reganode(pRExC_state,
8771                                    ((! FOLD)
8772                                      ? REF
8773                                      : (MORE_ASCII_RESTRICTED)
8774                                        ? REFFA
8775                                        : (AT_LEAST_UNI_SEMANTICS)
8776                                          ? REFFU
8777                                          : (LOC)
8778                                            ? REFFL
8779                                            : REFF),
8780                                     num);
8781                     *flagp |= HASWIDTH;
8782
8783                     /* override incorrect value set in reganode MJD */
8784                     Set_Node_Offset(ret, parse_start+1);
8785                     Set_Node_Cur_Length(ret); /* MJD */
8786                     RExC_parse--;
8787                     nextchar(pRExC_state);
8788                 }
8789             }
8790             break;
8791         case '\0':
8792             if (RExC_parse >= RExC_end)
8793                 FAIL("Trailing \\");
8794             /* FALL THROUGH */
8795         default:
8796             /* Do not generate "unrecognized" warnings here, we fall
8797                back into the quick-grab loop below */
8798             parse_start--;
8799             goto defchar;
8800         }
8801         break;
8802
8803     case '#':
8804         if (RExC_flags & RXf_PMf_EXTENDED) {
8805             if ( reg_skipcomment( pRExC_state ) )
8806                 goto tryagain;
8807         }
8808         /* FALL THROUGH */
8809
8810     default:
8811
8812             parse_start = RExC_parse - 1;
8813
8814             RExC_parse++;
8815
8816         defchar: {
8817             typedef enum {
8818                 generic_char = 0,
8819                 char_s,
8820                 upsilon_1,
8821                 upsilon_2,
8822                 iota_1,
8823                 iota_2,
8824             } char_state;
8825             char_state latest_char_state = generic_char;
8826             register STRLEN len;
8827             register UV ender;
8828             register char *p;
8829             char *s;
8830             STRLEN foldlen;
8831             U8 tmpbuf[UTF8_MAXBYTES_CASE+1], *foldbuf;
8832             regnode * orig_emit;
8833
8834             ender = 0;
8835             orig_emit = RExC_emit; /* Save the original output node position in
8836                                       case we need to output a different node
8837                                       type */
8838             ret = reg_node(pRExC_state,
8839                            (U8) ((! FOLD) ? EXACT
8840                                           : (LOC)
8841                                              ? EXACTFL
8842                                              : (MORE_ASCII_RESTRICTED)
8843                                                ? EXACTFA
8844                                                : (AT_LEAST_UNI_SEMANTICS)
8845                                                  ? EXACTFU
8846                                                  : EXACTF)
8847                     );
8848             s = STRING(ret);
8849             for (len = 0, p = RExC_parse - 1;
8850               len < 127 && p < RExC_end;
8851               len++)
8852             {
8853                 char * const oldp = p;
8854
8855                 if (RExC_flags & RXf_PMf_EXTENDED)
8856                     p = regwhite( pRExC_state, p );
8857                 switch ((U8)*p) {
8858                 case '^':
8859                 case '$':
8860                 case '.':
8861                 case '[':
8862                 case '(':
8863                 case ')':
8864                 case '|':
8865                     goto loopdone;
8866                 case '\\':
8867                     /* Literal Escapes Switch
8868
8869                        This switch is meant to handle escape sequences that
8870                        resolve to a literal character.
8871
8872                        Every escape sequence that represents something
8873                        else, like an assertion or a char class, is handled
8874                        in the switch marked 'Special Escapes' above in this
8875                        routine, but also has an entry here as anything that
8876                        isn't explicitly mentioned here will be treated as
8877                        an unescaped equivalent literal.
8878                     */
8879
8880                     switch ((U8)*++p) {
8881                     /* These are all the special escapes. */
8882                     case 'A':             /* Start assertion */
8883                     case 'b': case 'B':   /* Word-boundary assertion*/
8884                     case 'C':             /* Single char !DANGEROUS! */
8885                     case 'd': case 'D':   /* digit class */
8886                     case 'g': case 'G':   /* generic-backref, pos assertion */
8887                     case 'h': case 'H':   /* HORIZWS */
8888                     case 'k': case 'K':   /* named backref, keep marker */
8889                     case 'N':             /* named char sequence */
8890                     case 'p': case 'P':   /* Unicode property */
8891                               case 'R':   /* LNBREAK */
8892                     case 's': case 'S':   /* space class */
8893                     case 'v': case 'V':   /* VERTWS */
8894                     case 'w': case 'W':   /* word class */
8895                     case 'X':             /* eXtended Unicode "combining character sequence" */
8896                     case 'z': case 'Z':   /* End of line/string assertion */
8897                         --p;
8898                         goto loopdone;
8899
8900                     /* Anything after here is an escape that resolves to a
8901                        literal. (Except digits, which may or may not)
8902                      */
8903                     case 'n':
8904                         ender = '\n';
8905                         p++;
8906                         break;
8907                     case 'r':
8908                         ender = '\r';
8909                         p++;
8910                         break;
8911                     case 't':
8912                         ender = '\t';
8913                         p++;
8914                         break;
8915                     case 'f':
8916                         ender = '\f';
8917                         p++;
8918                         break;
8919                     case 'e':
8920                           ender = ASCII_TO_NATIVE('\033');
8921                         p++;
8922                         break;
8923                     case 'a':
8924                           ender = ASCII_TO_NATIVE('\007');
8925                         p++;
8926                         break;
8927                     case 'o':
8928                         {
8929                             STRLEN brace_len = len;
8930                             UV result;
8931                             const char* error_msg;
8932
8933                             bool valid = grok_bslash_o(p,
8934                                                        &result,
8935                                                        &brace_len,
8936                                                        &error_msg,
8937                                                        1);
8938                             p += brace_len;
8939                             if (! valid) {
8940                                 RExC_parse = p; /* going to die anyway; point
8941                                                    to exact spot of failure */
8942                                 vFAIL(error_msg);
8943                             }
8944                             else
8945                             {
8946                                 ender = result;
8947                             }
8948                             if (PL_encoding && ender < 0x100) {
8949                                 goto recode_encoding;
8950                             }
8951                             if (ender > 0xff) {
8952                                 REQUIRE_UTF8;
8953                             }
8954                             break;
8955                         }
8956                     case 'x':
8957                         if (*++p == '{') {
8958                             char* const e = strchr(p, '}');
8959         
8960                             if (!e) {
8961                                 RExC_parse = p + 1;
8962                                 vFAIL("Missing right brace on \\x{}");
8963                             }
8964                             else {
8965                                 I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
8966                                     | PERL_SCAN_DISALLOW_PREFIX;
8967                                 STRLEN numlen = e - p - 1;
8968                                 ender = grok_hex(p + 1, &numlen, &flags, NULL);
8969                                 if (ender > 0xff)
8970                                     REQUIRE_UTF8;
8971                                 p = e + 1;
8972                             }
8973                         }
8974                         else {
8975                             I32 flags = PERL_SCAN_DISALLOW_PREFIX;
8976                             STRLEN numlen = 2;
8977                             ender = grok_hex(p, &numlen, &flags, NULL);
8978                             p += numlen;
8979                         }
8980                         if (PL_encoding && ender < 0x100)
8981                             goto recode_encoding;
8982                         break;
8983                     case 'c':
8984                         p++;
8985                         ender = grok_bslash_c(*p++, UTF, SIZE_ONLY);
8986                         break;
8987                     case '0': case '1': case '2': case '3':case '4':
8988                     case '5': case '6': case '7': case '8':case '9':
8989                         if (*p == '0' ||
8990                             (isDIGIT(p[1]) && atoi(p) >= RExC_npar))
8991                         {
8992                             I32 flags = PERL_SCAN_SILENT_ILLDIGIT;
8993                             STRLEN numlen = 3;
8994                             ender = grok_oct(p, &numlen, &flags, NULL);
8995                             if (ender > 0xff) {
8996                                 REQUIRE_UTF8;
8997                             }
8998                             p += numlen;
8999                         }
9000                         else {
9001                             --p;
9002                             goto loopdone;
9003                         }
9004                         if (PL_encoding && ender < 0x100)
9005                             goto recode_encoding;
9006                         break;
9007                     recode_encoding:
9008                         if (! RExC_override_recoding) {
9009                             SV* enc = PL_encoding;
9010                             ender = reg_recode((const char)(U8)ender, &enc);
9011                             if (!enc && SIZE_ONLY)
9012                                 ckWARNreg(p, "Invalid escape in the specified encoding");
9013                             REQUIRE_UTF8;
9014                         }
9015                         break;
9016                     case '\0':
9017                         if (p >= RExC_end)
9018                             FAIL("Trailing \\");
9019                         /* FALL THROUGH */
9020                     default:
9021                         if (!SIZE_ONLY&& isALPHA(*p)) {
9022                             /* Include any { following the alpha to emphasize
9023                              * that it could be part of an escape at some point
9024                              * in the future */
9025                             int len = (*(p + 1) == '{') ? 2 : 1;
9026                             ckWARN3reg(p + len, "Unrecognized escape \\%.*s passed through", len, p);
9027                         }
9028                         goto normal_default;
9029                     }
9030                     break;
9031                 default:
9032                   normal_default:
9033                     if (UTF8_IS_START(*p) && UTF) {
9034                         STRLEN numlen;
9035                         ender = utf8n_to_uvchr((U8*)p, RExC_end - p,
9036                                                &numlen, UTF8_ALLOW_DEFAULT);
9037                         p += numlen;
9038                     }
9039                     else
9040                         ender = (U8) *p++;
9041                     break;
9042                 } /* End of switch on the literal */
9043
9044                 /* Certain characters are problematic because their folded
9045                  * length is so different from their original length that it
9046                  * isn't handleable by the optimizer.  They are therefore not
9047                  * placed in an EXACTish node; and are here handled specially.
9048                  * (Even if the optimizer handled LATIN_SMALL_LETTER_SHARP_S,
9049                  * putting it in a special node keeps regexec from having to
9050                  * deal with a non-utf8 multi-char fold */
9051                 if (FOLD
9052                     && (ender > 255 || (! MORE_ASCII_RESTRICTED && ! LOC)))
9053                 {
9054                     /* We look for either side of the fold.  For example \xDF
9055                      * folds to 'ss'.  We look for both the single character
9056                      * \xDF and the sequence 'ss'.  When we find something that
9057                      * could be one of those, we stop and flush whatever we
9058                      * have output so far into the EXACTish node that was being
9059                      * built.  Then restore the input pointer to what it was.
9060                      * regatom will return that EXACT node, and will be called
9061                      * again, positioned so the first character is the one in
9062                      * question, which we return in a different node type.
9063                      * The multi-char folds are a sequence, so the occurrence
9064                      * of the first character in that sequence doesn't
9065                      * necessarily mean that what follows is the rest of the
9066                      * sequence.  We keep track of that with a state machine,
9067                      * with the state being set to the latest character
9068                      * processed before the current one.  Most characters will
9069                      * set the state to 0, but if one occurs that is part of a
9070                      * potential tricky fold sequence, the state is set to that
9071                      * character, and the next loop iteration sees if the state
9072                      * should progress towards the final folded-from character,
9073                      * or if it was a false alarm.  If it turns out to be a
9074                      * false alarm, the character(s) will be output in a new
9075                      * EXACTish node, and join_exact() will later combine them.
9076                      * In the case of the 'ss' sequence, which is more common
9077                      * and more easily checked, some look-ahead is done to
9078                      * save time by ruling-out some false alarms */
9079                     switch (ender) {
9080                         default:
9081                             latest_char_state = generic_char;
9082                             break;
9083                         case 's':
9084                         case 'S':
9085                         case 0x17F: /* LATIN SMALL LETTER LONG S */
9086                              if (AT_LEAST_UNI_SEMANTICS) {
9087                                 if (latest_char_state == char_s) {  /* 'ss' */
9088                                     ender = LATIN_SMALL_LETTER_SHARP_S;
9089                                     goto do_tricky;
9090                                 }
9091                                 else if (p < RExC_end) {
9092
9093                                     /* Look-ahead at the next character.  If it
9094                                      * is also an s, we handle as a sharp s
9095                                      * tricky regnode.  */
9096                                     if (*p == 's' || *p == 'S') {
9097
9098                                         /* But first flush anything in the
9099                                          * EXACTish buffer */
9100                                         if (len != 0) {
9101                                             p = oldp;
9102                                             goto loopdone;
9103                                         }
9104                                         p++;    /* Account for swallowing this
9105                                                    's' up */
9106                                         ender = LATIN_SMALL_LETTER_SHARP_S;
9107                                         goto do_tricky;
9108                                     }
9109                                         /* Here, the next character is not a
9110                                          * literal 's', but still could
9111                                          * evaluate to one if part of a \o{},
9112                                          * \x or \OCTAL-DIGIT.  The minimum
9113                                          * length required for that is 4, eg
9114                                          * \x53 or \123 */
9115                                     else if (*p == '\\'
9116                                              && p < RExC_end - 4
9117                                              && (isDIGIT(*(p + 1))
9118                                                  || *(p + 1) == 'x'
9119                                                  || *(p + 1) == 'o' ))
9120                                     {
9121
9122                                         /* Here, it could be an 's', too much
9123                                          * bother to figure it out here.  Flush
9124                                          * the buffer if any; when come back
9125                                          * here, set the state so know that the
9126                                          * previous char was an 's' */
9127                                         if (len != 0) {
9128                                             latest_char_state = generic_char;
9129                                             p = oldp;
9130                                             goto loopdone;
9131                                         }
9132                                         latest_char_state = char_s;
9133                                         break;
9134                                     }
9135                                 }
9136                             }
9137
9138                             /* Here, can't be an 'ss' sequence, or at least not
9139                              * one that could fold to/from the sharp ss */
9140                             latest_char_state = generic_char;
9141                             break;
9142                         case 0x03C5:    /* First char in upsilon series */
9143                         case 0x03A5:    /* Also capital UPSILON, which folds to
9144                                            03C5, and hence exhibits the same
9145                                            problem */
9146                             if (p < RExC_end - 4) { /* Need >= 4 bytes left */
9147                                 latest_char_state = upsilon_1;
9148                                 if (len != 0) {
9149                                     p = oldp;
9150                                     goto loopdone;
9151                                 }
9152                             }
9153                             else {
9154                                 latest_char_state = generic_char;
9155                             }
9156                             break;
9157                         case 0x03B9:    /* First char in iota series */
9158                         case 0x0399:    /* Also capital IOTA */
9159                         case 0x1FBE:    /* GREEK PROSGEGRAMMENI folds to 3B9 */
9160                         case 0x0345:    /* COMBINING GREEK YPOGEGRAMMENI folds
9161                                            to 3B9 */
9162                             if (p < RExC_end - 4) {
9163                                 latest_char_state = iota_1;
9164                                 if (len != 0) {
9165                                     p = oldp;
9166                                     goto loopdone;
9167                                 }
9168                             }
9169                             else {
9170                                 latest_char_state = generic_char;
9171                             }
9172                             break;
9173                         case 0x0308:
9174                             if (latest_char_state == upsilon_1) {
9175                                 latest_char_state = upsilon_2;
9176                             }
9177                             else if (latest_char_state == iota_1) {
9178                                 latest_char_state = iota_2;
9179                             }
9180                             else {
9181                                 latest_char_state = generic_char;
9182                             }
9183                             break;
9184                         case 0x301:
9185                             if (latest_char_state == upsilon_2) {
9186                                 ender = GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS;
9187                                 goto do_tricky;
9188                             }
9189                             else if (latest_char_state == iota_2) {
9190                                 ender = GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS;
9191                                 goto do_tricky;
9192                             }
9193                             latest_char_state = generic_char;
9194                             break;
9195
9196                         /* These are the tricky fold characters.  Flush any
9197                          * buffer first. (When adding to this list, also should
9198                          * add them to fold_grind.t to make sure get tested) */
9199                         case GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS:
9200                         case GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS:
9201                         case LATIN_SMALL_LETTER_SHARP_S:
9202                         case LATIN_CAPITAL_LETTER_SHARP_S:
9203                         case 0x1FD3: /* GREEK SMALL LETTER IOTA WITH DIALYTIKA AND OXIA */
9204                         case 0x1FE3: /* GREEK SMALL LETTER UPSILON WITH DIALYTIKA AND OXIA */
9205                             if (len != 0) {
9206                                 p = oldp;
9207                                 goto loopdone;
9208                             }
9209                             /* FALL THROUGH */
9210                         do_tricky: {
9211                             char* const oldregxend = RExC_end;
9212                             U8 tmpbuf[UTF8_MAXBYTES+1];
9213
9214                             /* Here, we know we need to generate a special
9215                              * regnode, and 'ender' contains the tricky
9216                              * character.  What's done is to pretend it's in a
9217                              * [bracketed] class, and let the code that deals
9218                              * with those handle it, as that code has all the
9219                              * intelligence necessary.  First save the current
9220                              * parse state, get rid of the already allocated
9221                              * but empty EXACT node that the ANYOFV node will
9222                              * replace, and point the parse to a buffer which
9223                              * we fill with the character we want the regclass
9224                              * code to think is being parsed */
9225                             RExC_emit = orig_emit;
9226                             RExC_parse = (char *) tmpbuf;
9227                             if (UTF) {
9228                                 U8 *d = uvchr_to_utf8(tmpbuf, ender);
9229                                 *d = '\0';
9230                                 RExC_end = (char *) d;
9231                             }
9232                             else {  /* ender above 255 already excluded */
9233                                 tmpbuf[0] = (U8) ender;
9234                                 tmpbuf[1] = '\0';
9235                                 RExC_end = RExC_parse + 1;
9236                             }
9237
9238                             ret = regclass(pRExC_state,depth+1);
9239
9240                             /* Here, have parsed the buffer.  Reset the parse to
9241                              * the actual input, and return */
9242                             RExC_end = oldregxend;
9243                             RExC_parse = p - 1;
9244
9245                             Set_Node_Offset(ret, RExC_parse);
9246                             Set_Node_Cur_Length(ret);
9247                             nextchar(pRExC_state);
9248                             *flagp |= HASWIDTH|SIMPLE;
9249                             return ret;
9250                         }
9251                     }
9252                 }
9253
9254                 if ( RExC_flags & RXf_PMf_EXTENDED)
9255                     p = regwhite( pRExC_state, p );
9256                 if (UTF && FOLD) {
9257                     /* Prime the casefolded buffer.  Locale rules, which apply
9258                      * only to code points < 256, aren't known until execution,
9259                      * so for them, just output the original character using
9260                      * utf8 */
9261                     if (LOC && ender < 256) {
9262                         if (UNI_IS_INVARIANT(ender)) {
9263                             *tmpbuf = (U8) ender;
9264                             foldlen = 1;
9265                         } else {
9266                             *tmpbuf = UTF8_TWO_BYTE_HI(ender);
9267                             *(tmpbuf + 1) = UTF8_TWO_BYTE_LO(ender);
9268                             foldlen = 2;
9269                         }
9270                     }
9271                     else if (isASCII(ender)) {  /* Note: Here can't also be LOC
9272                                                  */
9273                         ender = toLOWER(ender);
9274                         *tmpbuf = (U8) ender;
9275                         foldlen = 1;
9276                     }
9277                     else if (! MORE_ASCII_RESTRICTED && ! LOC) {
9278
9279                         /* Locale and /aa require more selectivity about the
9280                          * fold, so are handled below.  Otherwise, here, just
9281                          * use the fold */
9282                         ender = toFOLD_uni(ender, tmpbuf, &foldlen);
9283                     }
9284                     else {
9285                         /* Under locale rules or /aa we are not to mix,
9286                          * respectively, ords < 256 or ASCII with non-.  So
9287                          * reject folds that mix them, using only the
9288                          * non-folded code point.  So do the fold to a
9289                          * temporary, and inspect each character in it. */
9290                         U8 trialbuf[UTF8_MAXBYTES_CASE+1];
9291                         U8* s = trialbuf;
9292                         UV tmpender = toFOLD_uni(ender, trialbuf, &foldlen);
9293                         U8* e = s + foldlen;
9294                         bool fold_ok = TRUE;
9295
9296                         while (s < e) {
9297                             if (isASCII(*s)
9298                                 || (LOC && (UTF8_IS_INVARIANT(*s)
9299                                            || UTF8_IS_DOWNGRADEABLE_START(*s))))
9300                             {
9301                                 fold_ok = FALSE;
9302                                 break;
9303                             }
9304                             s += UTF8SKIP(s);
9305                         }
9306                         if (fold_ok) {
9307                             Copy(trialbuf, tmpbuf, foldlen, U8);
9308                             ender = tmpender;
9309                         }
9310                         else {
9311                             uvuni_to_utf8(tmpbuf, ender);
9312                             foldlen = UNISKIP(ender);
9313                         }
9314                     }
9315                 }
9316                 if (p < RExC_end && ISMULT2(p)) { /* Back off on ?+*. */
9317                     if (len)
9318                         p = oldp;
9319                     else if (UTF) {
9320                          if (FOLD) {
9321                               /* Emit all the Unicode characters. */
9322                               STRLEN numlen;
9323                               for (foldbuf = tmpbuf;
9324                                    foldlen;
9325                                    foldlen -= numlen) {
9326                                    ender = utf8_to_uvchr(foldbuf, &numlen);
9327                                    if (numlen > 0) {
9328                                         const STRLEN unilen = reguni(pRExC_state, ender, s);
9329                                         s       += unilen;
9330                                         len     += unilen;
9331                                         /* In EBCDIC the numlen
9332                                          * and unilen can differ. */
9333                                         foldbuf += numlen;
9334                                         if (numlen >= foldlen)
9335                                              break;
9336                                    }
9337                                    else
9338                                         break; /* "Can't happen." */
9339                               }
9340                          }
9341                          else {
9342                               const STRLEN unilen = reguni(pRExC_state, ender, s);
9343                               if (unilen > 0) {
9344                                    s   += unilen;
9345                                    len += unilen;
9346                               }
9347                          }
9348                     }
9349                     else {
9350                         len++;
9351                         REGC((char)ender, s++);
9352                     }
9353                     break;
9354                 }
9355                 if (UTF) {
9356                      if (FOLD) {
9357                           /* Emit all the Unicode characters. */
9358                           STRLEN numlen;
9359                           for (foldbuf = tmpbuf;
9360                                foldlen;
9361                                foldlen -= numlen) {
9362                                ender = utf8_to_uvchr(foldbuf, &numlen);
9363                                if (numlen > 0) {
9364                                     const STRLEN unilen = reguni(pRExC_state, ender, s);
9365                                     len     += unilen;
9366                                     s       += unilen;
9367                                     /* In EBCDIC the numlen
9368                                      * and unilen can differ. */
9369                                     foldbuf += numlen;
9370                                     if (numlen >= foldlen)
9371                                          break;
9372                                }
9373                                else
9374                                     break;
9375                           }
9376                      }
9377                      else {
9378                           const STRLEN unilen = reguni(pRExC_state, ender, s);
9379                           if (unilen > 0) {
9380                                s   += unilen;
9381                                len += unilen;
9382                           }
9383                      }
9384                      len--;
9385                 }
9386                 else {
9387                     REGC((char)ender, s++);
9388                 }
9389             }
9390         loopdone:   /* Jumped to when encounters something that shouldn't be in
9391                        the node */
9392             RExC_parse = p - 1;
9393             Set_Node_Cur_Length(ret); /* MJD */
9394             nextchar(pRExC_state);
9395             {
9396                 /* len is STRLEN which is unsigned, need to copy to signed */
9397                 IV iv = len;
9398                 if (iv < 0)
9399                     vFAIL("Internal disaster");
9400             }
9401             if (len > 0)
9402                 *flagp |= HASWIDTH;
9403             if (len == 1 && UNI_IS_INVARIANT(ender))
9404                 *flagp |= SIMPLE;
9405                 
9406             if (SIZE_ONLY)
9407                 RExC_size += STR_SZ(len);
9408             else {
9409                 STR_LEN(ret) = len;
9410                 RExC_emit += STR_SZ(len);
9411             }
9412         }
9413         break;
9414     }
9415
9416     return(ret);
9417
9418 /* Jumped to when an unrecognized character set is encountered */
9419 bad_charset:
9420     Perl_croak(aTHX_ "panic: Unknown regex character set encoding: %u", get_regex_charset(RExC_flags));
9421     return(NULL);
9422 }
9423
9424 STATIC char *
9425 S_regwhite( RExC_state_t *pRExC_state, char *p )
9426 {
9427     const char *e = RExC_end;
9428
9429     PERL_ARGS_ASSERT_REGWHITE;
9430
9431     while (p < e) {
9432         if (isSPACE(*p))
9433             ++p;
9434         else if (*p == '#') {
9435             bool ended = 0;
9436             do {
9437                 if (*p++ == '\n') {
9438                     ended = 1;
9439                     break;
9440                 }
9441             } while (p < e);
9442             if (!ended)
9443                 RExC_seen |= REG_SEEN_RUN_ON_COMMENT;
9444         }
9445         else
9446             break;
9447     }
9448     return p;
9449 }
9450
9451 /* Parse POSIX character classes: [[:foo:]], [[=foo=]], [[.foo.]].
9452    Character classes ([:foo:]) can also be negated ([:^foo:]).
9453    Returns a named class id (ANYOF_XXX) if successful, -1 otherwise.
9454    Equivalence classes ([=foo=]) and composites ([.foo.]) are parsed,
9455    but trigger failures because they are currently unimplemented. */
9456
9457 #define POSIXCC_DONE(c)   ((c) == ':')
9458 #define POSIXCC_NOTYET(c) ((c) == '=' || (c) == '.')
9459 #define POSIXCC(c) (POSIXCC_DONE(c) || POSIXCC_NOTYET(c))
9460
9461 STATIC I32
9462 S_regpposixcc(pTHX_ RExC_state_t *pRExC_state, I32 value)
9463 {
9464     dVAR;
9465     I32 namedclass = OOB_NAMEDCLASS;
9466
9467     PERL_ARGS_ASSERT_REGPPOSIXCC;
9468
9469     if (value == '[' && RExC_parse + 1 < RExC_end &&
9470         /* I smell either [: or [= or [. -- POSIX has been here, right? */
9471         POSIXCC(UCHARAT(RExC_parse))) {
9472         const char c = UCHARAT(RExC_parse);
9473         char* const s = RExC_parse++;
9474         
9475         while (RExC_parse < RExC_end && UCHARAT(RExC_parse) != c)
9476             RExC_parse++;
9477         if (RExC_parse == RExC_end)
9478             /* Grandfather lone [:, [=, [. */
9479             RExC_parse = s;
9480         else {
9481             const char* const t = RExC_parse++; /* skip over the c */
9482             assert(*t == c);
9483
9484             if (UCHARAT(RExC_parse) == ']') {
9485                 const char *posixcc = s + 1;
9486                 RExC_parse++; /* skip over the ending ] */
9487
9488                 if (*s == ':') {
9489                     const I32 complement = *posixcc == '^' ? *posixcc++ : 0;
9490                     const I32 skip = t - posixcc;
9491
9492                     /* Initially switch on the length of the name.  */
9493                     switch (skip) {
9494                     case 4:
9495                         if (memEQ(posixcc, "word", 4)) /* this is not POSIX, this is the Perl \w */
9496                             namedclass = complement ? ANYOF_NALNUM : ANYOF_ALNUM;
9497                         break;
9498                     case 5:
9499                         /* Names all of length 5.  */
9500                         /* alnum alpha ascii blank cntrl digit graph lower
9501                            print punct space upper  */
9502                         /* Offset 4 gives the best switch position.  */
9503                         switch (posixcc[4]) {
9504                         case 'a':
9505                             if (memEQ(posixcc, "alph", 4)) /* alpha */
9506                                 namedclass = complement ? ANYOF_NALPHA : ANYOF_ALPHA;
9507                             break;
9508                         case 'e':
9509                             if (memEQ(posixcc, "spac", 4)) /* space */
9510                                 namedclass = complement ? ANYOF_NPSXSPC : ANYOF_PSXSPC;
9511                             break;
9512                         case 'h':
9513                             if (memEQ(posixcc, "grap", 4)) /* graph */
9514                                 namedclass = complement ? ANYOF_NGRAPH : ANYOF_GRAPH;
9515                             break;
9516                         case 'i':
9517                             if (memEQ(posixcc, "asci", 4)) /* ascii */
9518                                 namedclass = complement ? ANYOF_NASCII : ANYOF_ASCII;
9519                             break;
9520                         case 'k':
9521                             if (memEQ(posixcc, "blan", 4)) /* blank */
9522                                 namedclass = complement ? ANYOF_NBLANK : ANYOF_BLANK;
9523                             break;
9524                         case 'l':
9525                             if (memEQ(posixcc, "cntr", 4)) /* cntrl */
9526                                 namedclass = complement ? ANYOF_NCNTRL : ANYOF_CNTRL;
9527                             break;
9528                         case 'm':
9529                             if (memEQ(posixcc, "alnu", 4)) /* alnum */
9530                                 namedclass = complement ? ANYOF_NALNUMC : ANYOF_ALNUMC;
9531                             break;
9532                         case 'r':
9533                             if (memEQ(posixcc, "lowe", 4)) /* lower */
9534                                 namedclass = complement ? ANYOF_NLOWER : ANYOF_LOWER;
9535                             else if (memEQ(posixcc, "uppe", 4)) /* upper */
9536                                 namedclass = complement ? ANYOF_NUPPER : ANYOF_UPPER;
9537                             break;
9538                         case 't':
9539                             if (memEQ(posixcc, "digi", 4)) /* digit */
9540                                 namedclass = complement ? ANYOF_NDIGIT : ANYOF_DIGIT;
9541                             else if (memEQ(posixcc, "prin", 4)) /* print */
9542                                 namedclass = complement ? ANYOF_NPRINT : ANYOF_PRINT;
9543                             else if (memEQ(posixcc, "punc", 4)) /* punct */
9544                                 namedclass = complement ? ANYOF_NPUNCT : ANYOF_PUNCT;
9545                             break;
9546                         }
9547                         break;
9548                     case 6:
9549                         if (memEQ(posixcc, "xdigit", 6))
9550                             namedclass = complement ? ANYOF_NXDIGIT : ANYOF_XDIGIT;
9551                         break;
9552                     }
9553
9554                     if (namedclass == OOB_NAMEDCLASS)
9555                         Simple_vFAIL3("POSIX class [:%.*s:] unknown",
9556                                       t - s - 1, s + 1);
9557                     assert (posixcc[skip] == ':');
9558                     assert (posixcc[skip+1] == ']');
9559                 } else if (!SIZE_ONLY) {
9560                     /* [[=foo=]] and [[.foo.]] are still future. */
9561
9562                     /* adjust RExC_parse so the warning shows after
9563                        the class closes */
9564                     while (UCHARAT(RExC_parse) && UCHARAT(RExC_parse) != ']')
9565                         RExC_parse++;
9566                     Simple_vFAIL3("POSIX syntax [%c %c] is reserved for future extensions", c, c);
9567                 }
9568             } else {
9569                 /* Maternal grandfather:
9570                  * "[:" ending in ":" but not in ":]" */
9571                 RExC_parse = s;
9572             }
9573         }
9574     }
9575
9576     return namedclass;
9577 }
9578
9579 STATIC void
9580 S_checkposixcc(pTHX_ RExC_state_t *pRExC_state)
9581 {
9582     dVAR;
9583
9584     PERL_ARGS_ASSERT_CHECKPOSIXCC;
9585
9586     if (POSIXCC(UCHARAT(RExC_parse))) {
9587         const char *s = RExC_parse;
9588         const char  c = *s++;
9589
9590         while (isALNUM(*s))
9591             s++;
9592         if (*s && c == *s && s[1] == ']') {
9593             ckWARN3reg(s+2,
9594                        "POSIX syntax [%c %c] belongs inside character classes",
9595                        c, c);
9596
9597             /* [[=foo=]] and [[.foo.]] are still future. */
9598             if (POSIXCC_NOTYET(c)) {
9599                 /* adjust RExC_parse so the error shows after
9600                    the class closes */
9601                 while (UCHARAT(RExC_parse) && UCHARAT(RExC_parse++) != ']')
9602                     NOOP;
9603                 Simple_vFAIL3("POSIX syntax [%c %c] is reserved for future extensions", c, c);
9604             }
9605         }
9606     }
9607 }
9608
9609 /* No locale test, and always Unicode semantics, no ignore-case differences */
9610 #define _C_C_T_NOLOC_(NAME,TEST,WORD)                                          \
9611 ANYOF_##NAME:                                                                  \
9612         for (value = 0; value < 256; value++)                                  \
9613             if (TEST)                                                          \
9614             stored += set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9615     yesno = '+';                                                               \
9616     what = WORD;                                                               \
9617     break;                                                                     \
9618 case ANYOF_N##NAME:                                                            \
9619         for (value = 0; value < 256; value++)                                  \
9620             if (!TEST)                                                         \
9621             stored += set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9622     yesno = '!';                                                               \
9623     what = WORD;                                                               \
9624     break
9625
9626 /* Like the above, but there are differences if we are in uni-8-bit or not, so
9627  * there are two tests passed in, to use depending on that. There aren't any
9628  * cases where the label is different from the name, so no need for that
9629  * parameter.
9630  * Sets 'what' to WORD which is the property name for non-bitmap code points;
9631  * But, uses FOLD_WORD instead if /i has been selected, to allow a different
9632  * property name */
9633 #define _C_C_T_(NAME, TEST_8, TEST_7, WORD, FOLD_WORD)                         \
9634 ANYOF_##NAME:                                                                  \
9635     if (LOC) ANYOF_CLASS_SET(ret, ANYOF_##NAME);                               \
9636     else if (UNI_SEMANTICS) {                                                  \
9637         for (value = 0; value < 256; value++) {                                \
9638             if (TEST_8(value)) stored +=                                       \
9639                       set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9640         }                                                                      \
9641     }                                                                          \
9642     else {                                                                     \
9643         for (value = 0; value < 128; value++) {                                \
9644             if (TEST_7(UNI_TO_NATIVE(value))) stored +=                        \
9645                 set_regclass_bit(pRExC_state, ret,                     \
9646                                    (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);                 \
9647         }                                                                      \
9648     }                                                                          \
9649     yesno = '+';                                                               \
9650     if (FOLD) {                                                                \
9651         what = FOLD_WORD;                                                      \
9652     }                                                                          \
9653     else {                                                                     \
9654         what = WORD;                                                           \
9655     }                                                                          \
9656     break;                                                                     \
9657 case ANYOF_N##NAME:                                                            \
9658     if (LOC) ANYOF_CLASS_SET(ret, ANYOF_N##NAME);                              \
9659     else if (UNI_SEMANTICS) {                                                  \
9660         for (value = 0; value < 256; value++) {                                \
9661             if (! TEST_8(value)) stored +=                                     \
9662                     set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);    \
9663         }                                                                      \
9664     }                                                                          \
9665     else {                                                                     \
9666         for (value = 0; value < 128; value++) {                                \
9667             if (! TEST_7(UNI_TO_NATIVE(value))) stored += set_regclass_bit(  \
9668                         pRExC_state, ret, (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);    \
9669         }                                                                      \
9670         if (AT_LEAST_ASCII_RESTRICTED) {                                       \
9671             for (value = 128; value < 256; value++) {                          \
9672              stored += set_regclass_bit(                                     \
9673                            pRExC_state, ret, (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate); \
9674             }                                                                  \
9675             ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;                             \
9676         }                                                                      \
9677         else {                                                                 \
9678             /* For a non-ut8 target string with DEPENDS semantics, all above   \
9679              * ASCII Latin1 code points match the complement of any of the     \
9680              * classes.  But in utf8, they have their Unicode semantics, so    \
9681              * can't just set them in the bitmap, or else regexec.c will think \
9682              * they matched when they shouldn't. */                            \
9683             ANYOF_FLAGS(ret) |= ANYOF_NON_UTF8_LATIN1_ALL;                     \
9684         }                                                                      \
9685     }                                                                          \
9686     yesno = '!';                                                               \
9687     if (FOLD) {                                                                \
9688         what = FOLD_WORD;                                                      \
9689     }                                                                          \
9690     else {                                                                     \
9691         what = WORD;                                                           \
9692     }                                                                          \
9693     break
9694
9695 STATIC U8
9696 S_set_regclass_bit_fold(pTHX_ RExC_state_t *pRExC_state, regnode* node, const U8 value, SV** invlist_ptr, AV** alternate_ptr)
9697 {
9698
9699     /* Handle the setting of folds in the bitmap for non-locale ANYOF nodes.
9700      * Locale folding is done at run-time, so this function should not be
9701      * called for nodes that are for locales.
9702      *
9703      * This function sets the bit corresponding to the fold of the input
9704      * 'value', if not already set.  The fold of 'f' is 'F', and the fold of
9705      * 'F' is 'f'.
9706      *
9707      * It also knows about the characters that are in the bitmap that have
9708      * folds that are matchable only outside it, and sets the appropriate lists
9709      * and flags.
9710      *
9711      * It returns the number of bits that actually changed from 0 to 1 */
9712
9713     U8 stored = 0;
9714     U8 fold;
9715
9716     PERL_ARGS_ASSERT_SET_REGCLASS_BIT_FOLD;
9717
9718     fold = (AT_LEAST_UNI_SEMANTICS) ? PL_fold_latin1[value]
9719                                     : PL_fold[value];
9720
9721     /* It assumes the bit for 'value' has already been set */
9722     if (fold != value && ! ANYOF_BITMAP_TEST(node, fold)) {
9723         ANYOF_BITMAP_SET(node, fold);
9724         stored++;
9725     }
9726     if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(value) && (! isASCII(value) || ! MORE_ASCII_RESTRICTED)) {
9727         /* Certain Latin1 characters have matches outside the bitmap.  To get
9728          * here, 'value' is one of those characters.   None of these matches is
9729          * valid for ASCII characters under /aa, which have been excluded by
9730          * the 'if' above.  The matches fall into three categories:
9731          * 1) They are singly folded-to or -from an above 255 character, as
9732          *    LATIN SMALL LETTER Y WITH DIAERESIS and LATIN CAPITAL LETTER Y
9733          *    WITH DIAERESIS;
9734          * 2) They are part of a multi-char fold with another character in the
9735          *    bitmap, only LATIN SMALL LETTER SHARP S => "ss" fits that bill;
9736          * 3) They are part of a multi-char fold with a character not in the
9737          *    bitmap, such as various ligatures.
9738          * We aren't dealing fully with multi-char folds, except we do deal
9739          * with the pattern containing a character that has a multi-char fold
9740          * (not so much the inverse).
9741          * For types 1) and 3), the matches only happen when the target string
9742          * is utf8; that's not true for 2), and we set a flag for it.
9743          *
9744          * The code below adds to the passed in inversion list the single fold
9745          * closures for 'value'.  The values are hard-coded here so that an
9746          * innocent-looking character class, like /[ks]/i won't have to go out
9747          * to disk to find the possible matches.  XXX It would be better to
9748          * generate these via regen, in case a new version of the Unicode
9749          * standard adds new mappings, though that is not really likely. */
9750         switch (value) {
9751             case 'k':
9752             case 'K':
9753                 /* KELVIN SIGN */
9754                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x212A);
9755                 break;
9756             case 's':
9757             case 'S':
9758                 /* LATIN SMALL LETTER LONG S */
9759                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x017F);
9760                 break;
9761             case MICRO_SIGN:
9762                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9763                                                  GREEK_SMALL_LETTER_MU);
9764                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9765                                                  GREEK_CAPITAL_LETTER_MU);
9766                 break;
9767             case LATIN_CAPITAL_LETTER_A_WITH_RING_ABOVE:
9768             case LATIN_SMALL_LETTER_A_WITH_RING_ABOVE:
9769                 /* ANGSTROM SIGN */
9770                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x212B);
9771                 if (DEPENDS_SEMANTICS) {    /* See DEPENDS comment below */
9772                     *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9773                                                      PL_fold_latin1[value]);
9774                 }
9775                 break;
9776             case LATIN_SMALL_LETTER_Y_WITH_DIAERESIS:
9777                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9778                                         LATIN_CAPITAL_LETTER_Y_WITH_DIAERESIS);
9779                 break;
9780             case LATIN_SMALL_LETTER_SHARP_S:
9781                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9782                                         LATIN_CAPITAL_LETTER_SHARP_S);
9783
9784                 /* Under /a, /d, and /u, this can match the two chars "ss" */
9785                 if (! MORE_ASCII_RESTRICTED) {
9786                     add_alternate(alternate_ptr, (U8 *) "ss", 2);
9787
9788                     /* And under /u or /a, it can match even if the target is
9789                      * not utf8 */
9790                     if (AT_LEAST_UNI_SEMANTICS) {
9791                         ANYOF_FLAGS(node) |= ANYOF_NONBITMAP_NON_UTF8;
9792                     }
9793                 }
9794                 break;
9795             case 'F': case 'f':
9796             case 'I': case 'i':
9797             case 'L': case 'l':
9798             case 'T': case 't':
9799             case 'A': case 'a':
9800             case 'H': case 'h':
9801             case 'J': case 'j':
9802             case 'N': case 'n':
9803             case 'W': case 'w':
9804             case 'Y': case 'y':
9805                 /* These all are targets of multi-character folds from code
9806                  * points that require UTF8 to express, so they can't match
9807                  * unless the target string is in UTF-8, so no action here is
9808                  * necessary, as regexec.c properly handles the general case
9809                  * for UTF-8 matching */
9810                 break;
9811             default:
9812                 /* Use deprecated warning to increase the chances of this
9813                  * being output */
9814                 ckWARN2regdep(RExC_parse, "Perl folding rules are not up-to-date for 0x%x; please use the perlbug utility to report;", value);
9815                 break;
9816         }
9817     }
9818     else if (DEPENDS_SEMANTICS
9819             && ! isASCII(value)
9820             && PL_fold_latin1[value] != value)
9821     {
9822            /* Under DEPENDS rules, non-ASCII Latin1 characters match their
9823             * folds only when the target string is in UTF-8.  We add the fold
9824             * here to the list of things to match outside the bitmap, which
9825             * won't be looked at unless it is UTF8 (or else if something else
9826             * says to look even if not utf8, but those things better not happen
9827             * under DEPENDS semantics. */
9828         *invlist_ptr = add_cp_to_invlist(*invlist_ptr, PL_fold_latin1[value]);
9829     }
9830
9831     return stored;
9832 }
9833
9834
9835 PERL_STATIC_INLINE U8
9836 S_set_regclass_bit(pTHX_ RExC_state_t *pRExC_state, regnode* node, const U8 value, SV** invlist_ptr, AV** alternate_ptr)
9837 {
9838     /* This inline function sets a bit in the bitmap if not already set, and if
9839      * appropriate, its fold, returning the number of bits that actually
9840      * changed from 0 to 1 */
9841
9842     U8 stored;
9843
9844     PERL_ARGS_ASSERT_SET_REGCLASS_BIT;
9845
9846     if (ANYOF_BITMAP_TEST(node, value)) {   /* Already set */
9847         return 0;
9848     }
9849
9850     ANYOF_BITMAP_SET(node, value);
9851     stored = 1;
9852
9853     if (FOLD && ! LOC) {        /* Locale folds aren't known until runtime */
9854         stored += set_regclass_bit_fold(pRExC_state, node, value, invlist_ptr, alternate_ptr);
9855     }
9856
9857     return stored;
9858 }
9859
9860 STATIC void
9861 S_add_alternate(pTHX_ AV** alternate_ptr, U8* string, STRLEN len)
9862 {
9863     /* Adds input 'string' with length 'len' to the ANYOF node's unicode
9864      * alternate list, pointed to by 'alternate_ptr'.  This is an array of
9865      * the multi-character folds of characters in the node */
9866     SV *sv;
9867
9868     PERL_ARGS_ASSERT_ADD_ALTERNATE;
9869
9870     if (! *alternate_ptr) {
9871         *alternate_ptr = newAV();
9872     }
9873     sv = newSVpvn_utf8((char*)string, len, TRUE);
9874     av_push(*alternate_ptr, sv);
9875     return;
9876 }
9877
9878 /*
9879    parse a class specification and produce either an ANYOF node that
9880    matches the pattern or perhaps will be optimized into an EXACTish node
9881    instead. The node contains a bit map for the first 256 characters, with the
9882    corresponding bit set if that character is in the list.  For characters
9883    above 255, a range list is used */
9884
9885 STATIC regnode *
9886 S_regclass(pTHX_ RExC_state_t *pRExC_state, U32 depth)
9887 {
9888     dVAR;
9889     register UV nextvalue;
9890     register IV prevvalue = OOB_UNICODE;
9891     register IV range = 0;
9892     UV value = 0; /* XXX:dmq: needs to be referenceable (unfortunately) */
9893     register regnode *ret;
9894     STRLEN numlen;
9895     IV namedclass;
9896     char *rangebegin = NULL;
9897     bool need_class = 0;
9898     bool allow_full_fold = TRUE;   /* Assume wants multi-char folding */
9899     SV *listsv = NULL;
9900     STRLEN initial_listsv_len = 0; /* Kind of a kludge to see if it is more
9901                                       than just initialized.  */
9902     UV n;
9903
9904     /* code points this node matches that can't be stored in the bitmap */
9905     SV* nonbitmap = NULL;
9906
9907     /* The items that are to match that aren't stored in the bitmap, but are a
9908      * result of things that are stored there.  This is the fold closure of
9909      * such a character, either because it has DEPENDS semantics and shouldn't
9910      * be matched unless the target string is utf8, or is a code point that is
9911      * too large for the bit map, as for example, the fold of the MICRO SIGN is
9912      * above 255.  This all is solely for performance reasons.  By having this
9913      * code know the outside-the-bitmap folds that the bitmapped characters are
9914      * involved with, we don't have to go out to disk to find the list of
9915      * matches, unless the character class includes code points that aren't
9916      * storable in the bit map.  That means that a character class with an 's'
9917      * in it, for example, doesn't need to go out to disk to find everything
9918      * that matches.  A 2nd list is used so that the 'nonbitmap' list is kept
9919      * empty unless there is something whose fold we don't know about, and will
9920      * have to go out to the disk to find. */
9921     SV* l1_fold_invlist = NULL;
9922
9923     /* List of multi-character folds that are matched by this node */
9924     AV* unicode_alternate  = NULL;
9925 #ifdef EBCDIC
9926     UV literal_endpoint = 0;
9927 #endif
9928     UV stored = 0;  /* how many chars stored in the bitmap */
9929
9930     regnode * const orig_emit = RExC_emit; /* Save the original RExC_emit in
9931         case we need to change the emitted regop to an EXACT. */
9932     const char * orig_parse = RExC_parse;
9933     GET_RE_DEBUG_FLAGS_DECL;
9934
9935     PERL_ARGS_ASSERT_REGCLASS;
9936 #ifndef DEBUGGING
9937     PERL_UNUSED_ARG(depth);
9938 #endif
9939
9940     DEBUG_PARSE("clas");
9941
9942     /* Assume we are going to generate an ANYOF node. */
9943     ret = reganode(pRExC_state, ANYOF, 0);
9944
9945
9946     if (!SIZE_ONLY) {
9947         ANYOF_FLAGS(ret) = 0;
9948     }
9949
9950     if (UCHARAT(RExC_parse) == '^') {   /* Complement of range. */
9951         RExC_naughty++;
9952         RExC_parse++;
9953         if (!SIZE_ONLY)
9954             ANYOF_FLAGS(ret) |= ANYOF_INVERT;
9955
9956         /* We have decided to not allow multi-char folds in inverted character
9957          * classes, due to the confusion that can happen, especially with
9958          * classes that are designed for a non-Unicode world:  You have the
9959          * peculiar case that:
9960             "s s" =~ /^[^\xDF]+$/i => Y
9961             "ss"  =~ /^[^\xDF]+$/i => N
9962          *
9963          * See [perl #89750] */
9964         allow_full_fold = FALSE;
9965     }
9966
9967     if (SIZE_ONLY) {
9968         RExC_size += ANYOF_SKIP;
9969         listsv = &PL_sv_undef; /* For code scanners: listsv always non-NULL. */
9970     }
9971     else {
9972         RExC_emit += ANYOF_SKIP;
9973         if (LOC) {
9974             ANYOF_FLAGS(ret) |= ANYOF_LOCALE;
9975         }
9976         ANYOF_BITMAP_ZERO(ret);
9977         listsv = newSVpvs("# comment\n");
9978         initial_listsv_len = SvCUR(listsv);
9979     }
9980
9981     nextvalue = RExC_parse < RExC_end ? UCHARAT(RExC_parse) : 0;
9982
9983     if (!SIZE_ONLY && POSIXCC(nextvalue))
9984         checkposixcc(pRExC_state);
9985
9986     /* allow 1st char to be ] (allowing it to be - is dealt with later) */
9987     if (UCHARAT(RExC_parse) == ']')
9988         goto charclassloop;
9989
9990 parseit:
9991     while (RExC_parse < RExC_end && UCHARAT(RExC_parse) != ']') {
9992
9993     charclassloop:
9994
9995         namedclass = OOB_NAMEDCLASS; /* initialize as illegal */
9996
9997         if (!range)
9998             rangebegin = RExC_parse;
9999         if (UTF) {
10000             value = utf8n_to_uvchr((U8*)RExC_parse,
10001                                    RExC_end - RExC_parse,
10002                                    &numlen, UTF8_ALLOW_DEFAULT);
10003             RExC_parse += numlen;
10004         }
10005         else
10006             value = UCHARAT(RExC_parse++);
10007
10008         nextvalue = RExC_parse < RExC_end ? UCHARAT(RExC_parse) : 0;
10009         if (value == '[' && POSIXCC(nextvalue))
10010             namedclass = regpposixcc(pRExC_state, value);
10011         else if (value == '\\') {
10012             if (UTF) {
10013                 value = utf8n_to_uvchr((U8*)RExC_parse,
10014                                    RExC_end - RExC_parse,
10015                                    &numlen, UTF8_ALLOW_DEFAULT);
10016                 RExC_parse += numlen;
10017             }
10018             else
10019                 value = UCHARAT(RExC_parse++);
10020             /* Some compilers cannot handle switching on 64-bit integer
10021              * values, therefore value cannot be an UV.  Yes, this will
10022              * be a problem later if we want switch on Unicode.
10023              * A similar issue a little bit later when switching on
10024              * namedclass. --jhi */
10025             switch ((I32)value) {
10026             case 'w':   namedclass = ANYOF_ALNUM;       break;
10027             case 'W':   namedclass = ANYOF_NALNUM;      break;
10028             case 's':   namedclass = ANYOF_SPACE;       break;
10029             case 'S':   namedclass = ANYOF_NSPACE;      break;
10030             case 'd':   namedclass = ANYOF_DIGIT;       break;
10031             case 'D':   namedclass = ANYOF_NDIGIT;      break;
10032             case 'v':   namedclass = ANYOF_VERTWS;      break;
10033             case 'V':   namedclass = ANYOF_NVERTWS;     break;
10034             case 'h':   namedclass = ANYOF_HORIZWS;     break;
10035             case 'H':   namedclass = ANYOF_NHORIZWS;    break;
10036             case 'N':  /* Handle \N{NAME} in class */
10037                 {
10038                     /* We only pay attention to the first char of 
10039                     multichar strings being returned. I kinda wonder
10040                     if this makes sense as it does change the behaviour
10041                     from earlier versions, OTOH that behaviour was broken
10042                     as well. */
10043                     UV v; /* value is register so we cant & it /grrr */
10044                     if (reg_namedseq(pRExC_state, &v, NULL, depth)) {
10045                         goto parseit;
10046                     }
10047                     value= v; 
10048                 }
10049                 break;
10050             case 'p':
10051             case 'P':
10052                 {
10053                 char *e;
10054                 if (RExC_parse >= RExC_end)
10055                     vFAIL2("Empty \\%c{}", (U8)value);
10056                 if (*RExC_parse == '{') {
10057                     const U8 c = (U8)value;
10058                     e = strchr(RExC_parse++, '}');
10059                     if (!e)
10060                         vFAIL2("Missing right brace on \\%c{}", c);
10061                     while (isSPACE(UCHARAT(RExC_parse)))
10062                         RExC_parse++;
10063                     if (e == RExC_parse)
10064                         vFAIL2("Empty \\%c{}", c);
10065                     n = e - RExC_parse;
10066                     while (isSPACE(UCHARAT(RExC_parse + n - 1)))
10067                         n--;
10068                 }
10069                 else {
10070                     e = RExC_parse;
10071                     n = 1;
10072                 }
10073                 if (!SIZE_ONLY) {
10074                     if (UCHARAT(RExC_parse) == '^') {
10075                          RExC_parse++;
10076                          n--;
10077                          value = value == 'p' ? 'P' : 'p'; /* toggle */
10078                          while (isSPACE(UCHARAT(RExC_parse))) {
10079                               RExC_parse++;
10080                               n--;
10081                          }
10082                     }
10083
10084                     /* Add the property name to the list.  If /i matching, give
10085                      * a different name which consists of the normal name
10086                      * sandwiched between two underscores and '_i'.  The design
10087                      * is discussed in the commit message for this. */
10088                     Perl_sv_catpvf(aTHX_ listsv, "%cutf8::%s%.*s%s\n",
10089                                         (value=='p' ? '+' : '!'),
10090                                         (FOLD) ? "__" : "",
10091                                         (int)n,
10092                                         RExC_parse,
10093                                         (FOLD) ? "_i" : ""
10094                                     );
10095                 }
10096                 RExC_parse = e + 1;
10097
10098                 /* The \p could match something in the Latin1 range, hence
10099                  * something that isn't utf8 */
10100                 ANYOF_FLAGS(ret) |= ANYOF_NONBITMAP_NON_UTF8;
10101                 namedclass = ANYOF_MAX;  /* no official name, but it's named */
10102
10103                 /* \p means they want Unicode semantics */
10104                 RExC_uni_semantics = 1;
10105                 }
10106                 break;
10107             case 'n':   value = '\n';                   break;
10108             case 'r':   value = '\r';                   break;
10109             case 't':   value = '\t';                   break;
10110             case 'f':   value = '\f';                   break;
10111             case 'b':   value = '\b';                   break;
10112             case 'e':   value = ASCII_TO_NATIVE('\033');break;
10113             case 'a':   value = ASCII_TO_NATIVE('\007');break;
10114             case 'o':
10115                 RExC_parse--;   /* function expects to be pointed at the 'o' */
10116                 {
10117                     const char* error_msg;
10118                     bool valid = grok_bslash_o(RExC_parse,
10119                                                &value,
10120                                                &numlen,
10121                                                &error_msg,
10122                                                SIZE_ONLY);
10123                     RExC_parse += numlen;
10124                     if (! valid) {
10125                         vFAIL(error_msg);
10126                     }
10127                 }
10128                 if (PL_encoding && value < 0x100) {
10129                     goto recode_encoding;
10130                 }
10131                 break;
10132             case 'x':
10133                 if (*RExC_parse == '{') {
10134                     I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
10135                         | PERL_SCAN_DISALLOW_PREFIX;
10136                     char * const e = strchr(RExC_parse++, '}');
10137                     if (!e)
10138                         vFAIL("Missing right brace on \\x{}");
10139
10140                     numlen = e - RExC_parse;
10141                     value = grok_hex(RExC_parse, &numlen, &flags, NULL);
10142                     RExC_parse = e + 1;
10143                 }
10144                 else {
10145                     I32 flags = PERL_SCAN_DISALLOW_PREFIX;
10146                     numlen = 2;
10147                     value = grok_hex(RExC_parse, &numlen, &flags, NULL);
10148                     RExC_parse += numlen;
10149                 }
10150                 if (PL_encoding && value < 0x100)
10151                     goto recode_encoding;
10152                 break;
10153             case 'c':
10154                 value = grok_bslash_c(*RExC_parse++, UTF, SIZE_ONLY);
10155                 break;
10156             case '0': case '1': case '2': case '3': case '4':
10157             case '5': case '6': case '7':
10158                 {
10159                     /* Take 1-3 octal digits */
10160                     I32 flags = PERL_SCAN_SILENT_ILLDIGIT;
10161                     numlen = 3;
10162                     value = grok_oct(--RExC_parse, &numlen, &flags, NULL);
10163                     RExC_parse += numlen;
10164                     if (PL_encoding && value < 0x100)
10165                         goto recode_encoding;
10166                     break;
10167                 }
10168             recode_encoding:
10169                 if (! RExC_override_recoding) {
10170                     SV* enc = PL_encoding;
10171                     value = reg_recode((const char)(U8)value, &enc);
10172                     if (!enc && SIZE_ONLY)
10173                         ckWARNreg(RExC_parse,
10174                                   "Invalid escape in the specified encoding");
10175                     break;
10176                 }
10177             default:
10178                 /* Allow \_ to not give an error */
10179                 if (!SIZE_ONLY && isALNUM(value) && value != '_') {
10180                     ckWARN2reg(RExC_parse,
10181                                "Unrecognized escape \\%c in character class passed through",
10182                                (int)value);
10183                 }
10184                 break;
10185             }
10186         } /* end of \blah */
10187 #ifdef EBCDIC
10188         else
10189             literal_endpoint++;
10190 #endif
10191
10192         if (namedclass > OOB_NAMEDCLASS) { /* this is a named class \blah */
10193
10194             /* What matches in a locale is not known until runtime, so need to
10195              * (one time per class) allocate extra space to pass to regexec.
10196              * The space will contain a bit for each named class that is to be
10197              * matched against.  This isn't needed for \p{} and pseudo-classes,
10198              * as they are not affected by locale, and hence are dealt with
10199              * separately */
10200             if (LOC && namedclass < ANYOF_MAX && ! need_class) {
10201                 need_class = 1;
10202                 if (SIZE_ONLY) {
10203                     RExC_size += ANYOF_CLASS_SKIP - ANYOF_SKIP;
10204                 }
10205                 else {
10206                     RExC_emit += ANYOF_CLASS_SKIP - ANYOF_SKIP;
10207                     ANYOF_CLASS_ZERO(ret);
10208                 }
10209                 ANYOF_FLAGS(ret) |= ANYOF_CLASS;
10210             }
10211
10212             /* a bad range like a-\d, a-[:digit:].  The '-' is taken as a
10213              * literal, as is the character that began the false range, i.e.
10214              * the 'a' in the examples */
10215             if (range) {
10216                 if (!SIZE_ONLY) {
10217                     const int w =
10218                         RExC_parse >= rangebegin ?
10219                         RExC_parse - rangebegin : 0;
10220                     ckWARN4reg(RExC_parse,
10221                                "False [] range \"%*.*s\"",
10222                                w, w, rangebegin);
10223
10224                     stored +=
10225                          set_regclass_bit(pRExC_state, ret, '-', &l1_fold_invlist, &unicode_alternate);
10226                     if (prevvalue < 256) {
10227                         stored +=
10228                          set_regclass_bit(pRExC_state, ret, (U8) prevvalue, &l1_fold_invlist, &unicode_alternate);
10229                     }
10230                     else {
10231                         nonbitmap = add_cp_to_invlist(nonbitmap, prevvalue);
10232                     }
10233                 }
10234
10235                 range = 0; /* this was not a true range */
10236             }
10237
10238
10239     
10240             if (!SIZE_ONLY) {
10241                 const char *what = NULL;
10242                 char yesno = 0;
10243
10244                 /* Possible truncation here but in some 64-bit environments
10245                  * the compiler gets heartburn about switch on 64-bit values.
10246                  * A similar issue a little earlier when switching on value.
10247                  * --jhi */
10248                 switch ((I32)namedclass) {
10249                 
10250                 case _C_C_T_(ALNUMC, isALNUMC_L1, isALNUMC, "XPosixAlnum", "XPosixAlnum");
10251                 case _C_C_T_(ALPHA, isALPHA_L1, isALPHA, "XPosixAlpha", "XPosixAlpha");
10252                 case _C_C_T_(BLANK, isBLANK_L1, isBLANK, "XPosixBlank", "XPosixBlank");
10253                 case _C_C_T_(CNTRL, isCNTRL_L1, isCNTRL, "XPosixCntrl", "XPosixCntrl");
10254                 case _C_C_T_(GRAPH, isGRAPH_L1, isGRAPH, "XPosixGraph", "XPosixGraph");
10255                 case _C_C_T_(LOWER, isLOWER_L1, isLOWER, "XPosixLower", "__XPosixLower_i");
10256                 case _C_C_T_(PRINT, isPRINT_L1, isPRINT, "XPosixPrint", "XPosixPrint");
10257                 case _C_C_T_(PSXSPC, isPSXSPC_L1, isPSXSPC, "XPosixSpace", "XPosixSpace");
10258                 case _C_C_T_(PUNCT, isPUNCT_L1, isPUNCT, "XPosixPunct", "XPosixPunct");
10259                 case _C_C_T_(UPPER, isUPPER_L1, isUPPER, "XPosixUpper", "__XPosixUpper_i");
10260                 /* \s, \w match all unicode if utf8. */
10261                 case _C_C_T_(SPACE, isSPACE_L1, isSPACE, "SpacePerl", "SpacePerl");
10262                 case _C_C_T_(ALNUM, isWORDCHAR_L1, isALNUM, "Word", "Word");
10263                 case _C_C_T_(XDIGIT, isXDIGIT_L1, isXDIGIT, "XPosixXDigit", "XPosixXDigit");
10264                 case _C_C_T_NOLOC_(VERTWS, is_VERTWS_latin1(&value), "VertSpace");
10265                 case _C_C_T_NOLOC_(HORIZWS, is_HORIZWS_latin1(&value), "HorizSpace");
10266                 case ANYOF_ASCII:
10267                     if (LOC)
10268                         ANYOF_CLASS_SET(ret, ANYOF_ASCII);
10269                     else {
10270                         for (value = 0; value < 128; value++)
10271                             stored +=
10272                               set_regclass_bit(pRExC_state, ret, (U8) ASCII_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);
10273                     }
10274                     yesno = '+';
10275                     what = NULL;        /* Doesn't match outside ascii, so
10276                                            don't want to add +utf8:: */
10277                     break;
10278                 case ANYOF_NASCII:
10279                     if (LOC)
10280                         ANYOF_CLASS_SET(ret, ANYOF_NASCII);
10281                     else {
10282                         for (value = 128; value < 256; value++)
10283                             stored +=
10284                               set_regclass_bit(pRExC_state, ret, (U8) ASCII_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);
10285                     }
10286                     ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;
10287                     yesno = '!';
10288                     what = "ASCII";
10289                     break;              
10290                 case ANYOF_DIGIT:
10291                     if (LOC)
10292                         ANYOF_CLASS_SET(ret, ANYOF_DIGIT);
10293                     else {
10294                         /* consecutive digits assumed */
10295                         for (value = '0'; value <= '9'; value++)
10296                             stored +=
10297                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
10298                     }
10299                     yesno = '+';
10300                     what = "Digit";
10301                     break;
10302                 case ANYOF_NDIGIT:
10303                     if (LOC)
10304                         ANYOF_CLASS_SET(ret, ANYOF_NDIGIT);
10305                     else {
10306                         /* consecutive digits assumed */
10307                         for (value = 0; value < '0'; value++)
10308                             stored +=
10309                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
10310                         for (value = '9' + 1; value < 256; value++)
10311                             stored +=
10312                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
10313                     }
10314                     yesno = '!';
10315                     what = "Digit";
10316                     if (AT_LEAST_ASCII_RESTRICTED ) {
10317                         ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;
10318                     }
10319                     break;              
10320                 case ANYOF_MAX:
10321                     /* this is to handle \p and \P */
10322                     break;
10323                 default:
10324                     vFAIL("Invalid [::] class");
10325                     break;
10326                 }
10327                 if (what && ! (AT_LEAST_ASCII_RESTRICTED)) {
10328                     /* Strings such as "+utf8::isWord\n" */
10329                     Perl_sv_catpvf(aTHX_ listsv, "%cutf8::%s\n", yesno, what);
10330                 }
10331
10332                 continue;
10333             }
10334         } /* end of namedclass \blah */
10335
10336         if (range) {
10337             if (prevvalue > (IV)value) /* b-a */ {
10338                 const int w = RExC_parse - rangebegin;
10339                 Simple_vFAIL4("Invalid [] range \"%*.*s\"", w, w, rangebegin);
10340                 range = 0; /* not a valid range */
10341             }
10342         }
10343         else {
10344             prevvalue = value; /* save the beginning of the range */
10345             if (RExC_parse+1 < RExC_end
10346                 && *RExC_parse == '-'
10347                 && RExC_parse[1] != ']')
10348             {
10349                 RExC_parse++;
10350
10351                 /* a bad range like \w-, [:word:]- ? */
10352                 if (namedclass > OOB_NAMEDCLASS) {
10353                     if (ckWARN(WARN_REGEXP)) {
10354                         const int w =
10355                             RExC_parse >= rangebegin ?
10356                             RExC_parse - rangebegin : 0;
10357                         vWARN4(RExC_parse,
10358                                "False [] range \"%*.*s\"",
10359                                w, w, rangebegin);
10360                     }
10361                     if (!SIZE_ONLY)
10362                         stored +=
10363                             set_regclass_bit(pRExC_state, ret, '-', &l1_fold_invlist, &unicode_alternate);
10364                 } else
10365                     range = 1;  /* yeah, it's a range! */
10366                 continue;       /* but do it the next time */
10367             }
10368         }
10369
10370         /* non-Latin1 code point implies unicode semantics.  Must be set in
10371          * pass1 so is there for the whole of pass 2 */
10372         if (value > 255) {
10373             RExC_uni_semantics = 1;
10374         }
10375
10376         /* now is the next time */
10377         if (!SIZE_ONLY) {
10378             if (prevvalue < 256) {
10379                 const IV ceilvalue = value < 256 ? value : 255;
10380                 IV i;
10381 #ifdef EBCDIC
10382                 /* In EBCDIC [\x89-\x91] should include
10383                  * the \x8e but [i-j] should not. */
10384                 if (literal_endpoint == 2 &&
10385                     ((isLOWER(prevvalue) && isLOWER(ceilvalue)) ||
10386                      (isUPPER(prevvalue) && isUPPER(ceilvalue))))
10387                 {
10388                     if (isLOWER(prevvalue)) {
10389                         for (i = prevvalue; i <= ceilvalue; i++)
10390                             if (isLOWER(i) && !ANYOF_BITMAP_TEST(ret,i)) {
10391                                 stored +=
10392                                   set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10393                             }
10394                     } else {
10395                         for (i = prevvalue; i <= ceilvalue; i++)
10396                             if (isUPPER(i) && !ANYOF_BITMAP_TEST(ret,i)) {
10397                                 stored +=
10398                                   set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10399                             }
10400                     }
10401                 }
10402                 else
10403 #endif
10404                       for (i = prevvalue; i <= ceilvalue; i++) {
10405                         stored += set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10406                       }
10407           }
10408           if (value > 255) {
10409             const UV prevnatvalue  = NATIVE_TO_UNI(prevvalue);
10410             const UV natvalue      = NATIVE_TO_UNI(value);
10411             nonbitmap = add_range_to_invlist(nonbitmap, prevnatvalue, natvalue);
10412         }
10413 #ifdef EBCDIC
10414             literal_endpoint = 0;
10415 #endif
10416         }
10417
10418         range = 0; /* this range (if it was one) is done now */
10419     }
10420
10421
10422
10423     if (SIZE_ONLY)
10424         return ret;
10425     /****** !SIZE_ONLY AFTER HERE *********/
10426
10427     /* If folding and there are code points above 255, we calculate all
10428      * characters that could fold to or from the ones already on the list */
10429     if (FOLD && nonbitmap) {
10430         UV start, end;  /* End points of code point ranges */
10431
10432         SV* fold_intersection;
10433
10434         /* This is a list of all the characters that participate in folds
10435             * (except marks, etc in multi-char folds */
10436         if (! PL_utf8_foldable) {
10437             SV* swash = swash_init("utf8", "Cased", &PL_sv_undef, 1, 0);
10438             PL_utf8_foldable = _swash_to_invlist(swash);
10439         }
10440
10441         /* This is a hash that for a particular fold gives all characters
10442             * that are involved in it */
10443         if (! PL_utf8_foldclosures) {
10444
10445             /* If we were unable to find any folds, then we likely won't be
10446              * able to find the closures.  So just create an empty list.
10447              * Folding will effectively be restricted to the non-Unicode rules
10448              * hard-coded into Perl.  (This case happens legitimately during
10449              * compilation of Perl itself before the Unicode tables are
10450              * generated) */
10451             if (invlist_len(PL_utf8_foldable) == 0) {
10452                 PL_utf8_foldclosures = newHV();
10453             } else {
10454                 /* If the folds haven't been read in, call a fold function
10455                     * to force that */
10456                 if (! PL_utf8_tofold) {
10457                     U8 dummy[UTF8_MAXBYTES+1];
10458                     STRLEN dummy_len;
10459
10460                     /* This particular string is above \xff in both UTF-8 and
10461                      * UTFEBCDIC */
10462                     to_utf8_fold((U8*) "\xC8\x80", dummy, &dummy_len);
10463                     assert(PL_utf8_tofold); /* Verify that worked */
10464                 }
10465                 PL_utf8_foldclosures = _swash_inversion_hash(PL_utf8_tofold);
10466             }
10467         }
10468
10469         /* Only the characters in this class that participate in folds need
10470             * be checked.  Get the intersection of this class and all the
10471             * possible characters that are foldable.  This can quickly narrow
10472             * down a large class */
10473         _invlist_intersection(PL_utf8_foldable, nonbitmap, &fold_intersection);
10474
10475         /* Now look at the foldable characters in this class individually */
10476         invlist_iterinit(fold_intersection);
10477         while (invlist_iternext(fold_intersection, &start, &end)) {
10478             UV j;
10479
10480             /* Look at every character in the range */
10481             for (j = start; j <= end; j++) {
10482
10483                 /* Get its fold */
10484                 U8 foldbuf[UTF8_MAXBYTES_CASE+1];
10485                 STRLEN foldlen;
10486                 const UV f =
10487                     _to_uni_fold_flags(j, foldbuf, &foldlen, allow_full_fold);
10488
10489                 if (foldlen > (STRLEN)UNISKIP(f)) {
10490
10491                     /* Any multicharacter foldings (disallowed in
10492                         * lookbehind patterns) require the following
10493                         * transform: [ABCDEF] -> (?:[ABCabcDEFd]|pq|rst) where
10494                         * E folds into "pq" and F folds into "rst", all other
10495                         * characters fold to single characters.  We save away
10496                         * these multicharacter foldings, to be later saved as
10497                         * part of the additional "s" data. */
10498                     if (! RExC_in_lookbehind) {
10499                         U8* loc = foldbuf;
10500                         U8* e = foldbuf + foldlen;
10501
10502                         /* If any of the folded characters of this are in
10503                             * the Latin1 range, tell the regex engine that
10504                             * this can match a non-utf8 target string.  The
10505                             * only multi-byte fold whose source is in the
10506                             * Latin1 range (U+00DF) applies only when the
10507                             * target string is utf8, or under unicode rules */
10508                         if (j > 255 || AT_LEAST_UNI_SEMANTICS) {
10509                             while (loc < e) {
10510
10511                                 /* Can't mix ascii with non- under /aa */
10512                                 if (MORE_ASCII_RESTRICTED
10513                                     && (isASCII(*loc) != isASCII(j)))
10514                                 {
10515                                     goto end_multi_fold;
10516                                 }
10517                                 if (UTF8_IS_INVARIANT(*loc)
10518                                     || UTF8_IS_DOWNGRADEABLE_START(*loc))
10519                                 {
10520                                     /* Can't mix above and below 256 under
10521                                         * LOC */
10522                                     if (LOC) {
10523                                         goto end_multi_fold;
10524                                     }
10525                                     ANYOF_FLAGS(ret)
10526                                             |= ANYOF_NONBITMAP_NON_UTF8;
10527                                     break;
10528                                 }
10529                                 loc += UTF8SKIP(loc);
10530                             }
10531                         }
10532
10533                         add_alternate(&unicode_alternate, foldbuf, foldlen);
10534                     end_multi_fold: ;
10535                     }
10536
10537                     /* This is special-cased, as it is the only letter which
10538                      * has both a multi-fold and single-fold in Latin1.  All
10539                      * the other chars that have single and multi-folds are
10540                      * always in utf8, and the utf8 folding algorithm catches
10541                      * them */
10542                     if (! LOC && j == LATIN_CAPITAL_LETTER_SHARP_S) {
10543                         stored += set_regclass_bit(pRExC_state,
10544                                         ret,
10545                                         LATIN_SMALL_LETTER_SHARP_S,
10546                                         &l1_fold_invlist, &unicode_alternate);
10547                     }
10548                 }
10549                 else {
10550                     /* Single character fold.  Add everything in its fold
10551                         * closure to the list that this node should match */
10552                     SV** listp;
10553
10554                     /* The fold closures data structure is a hash with the
10555                         * keys being every character that is folded to, like
10556                         * 'k', and the values each an array of everything that
10557                         * folds to its key.  e.g. [ 'k', 'K', KELVIN_SIGN ] */
10558                     if ((listp = hv_fetch(PL_utf8_foldclosures,
10559                                     (char *) foldbuf, foldlen, FALSE)))
10560                     {
10561                         AV* list = (AV*) *listp;
10562                         IV k;
10563                         for (k = 0; k <= av_len(list); k++) {
10564                             SV** c_p = av_fetch(list, k, FALSE);
10565                             UV c;
10566                             if (c_p == NULL) {
10567                                 Perl_croak(aTHX_ "panic: invalid PL_utf8_foldclosures structure");
10568                             }
10569                             c = SvUV(*c_p);
10570
10571                             /* /aa doesn't allow folds between ASCII and
10572                                 * non-; /l doesn't allow them between above
10573                                 * and below 256 */
10574                             if ((MORE_ASCII_RESTRICTED
10575                                  && (isASCII(c) != isASCII(j)))
10576                                     || (LOC && ((c < 256) != (j < 256))))
10577                             {
10578                                 continue;
10579                             }
10580
10581                             if (c < 256 && AT_LEAST_UNI_SEMANTICS) {
10582                                 stored += set_regclass_bit(pRExC_state,
10583                                         ret,
10584                                         (U8) c,
10585                                         &l1_fold_invlist, &unicode_alternate);
10586                             }
10587                                 /* It may be that the code point is already
10588                                     * in this range or already in the bitmap,
10589                                     * in which case we need do nothing */
10590                             else if ((c < start || c > end)
10591                                         && (c > 255
10592                                             || ! ANYOF_BITMAP_TEST(ret, c)))
10593                             {
10594                                 nonbitmap = add_cp_to_invlist(nonbitmap, c);
10595                             }
10596                         }
10597                     }
10598                 }
10599             }
10600         }
10601         SvREFCNT_dec(fold_intersection);
10602     }
10603
10604     /* Combine the two lists into one. */
10605     if (l1_fold_invlist) {
10606         if (nonbitmap) {
10607             _invlist_union(nonbitmap, l1_fold_invlist, &nonbitmap);
10608             SvREFCNT_dec(l1_fold_invlist);
10609         }
10610         else {
10611             nonbitmap = l1_fold_invlist;
10612         }
10613     }
10614
10615     /* Here, we have calculated what code points should be in the character
10616      * class.   Now we can see about various optimizations.  Fold calculation
10617      * needs to take place before inversion.  Otherwise /[^k]/i would invert to
10618      * include K, which under /i would match k. */
10619
10620     /* Optimize inverted simple patterns (e.g. [^a-z]).  Note that we haven't
10621      * set the FOLD flag yet, so this this does optimize those.  It doesn't
10622      * optimize locale.  Doing so perhaps could be done as long as there is
10623      * nothing like \w in it; some thought also would have to be given to the
10624      * interaction with above 0x100 chars */
10625     if (! LOC
10626         && (ANYOF_FLAGS(ret) & ANYOF_INVERT)
10627         && ! unicode_alternate
10628         /* In case of /d, there are some things that should match only when in
10629          * not in the bitmap, i.e., they require UTF8 to match.  These are
10630          * listed in nonbitmap. */
10631         && (! nonbitmap
10632             || ! DEPENDS_SEMANTICS
10633             || (ANYOF_FLAGS(ret) & ANYOF_NONBITMAP_NON_UTF8))
10634         && SvCUR(listsv) == initial_listsv_len)
10635     {
10636         if (! nonbitmap) {
10637             for (value = 0; value < ANYOF_BITMAP_SIZE; ++value)
10638                 ANYOF_BITMAP(ret)[value] ^= 0xFF;
10639             /* The inversion means that everything above 255 is matched */
10640             ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;
10641         }
10642         else {
10643             /* Here, also has things outside the bitmap.  Go through each bit
10644              * individually and add it to the list to get rid of from those
10645              * things not in the bitmap */
10646             SV *remove_list = _new_invlist(2);
10647             _invlist_invert(nonbitmap);
10648             for (value = 0; value < 256; ++value) {
10649                 if (ANYOF_BITMAP_TEST(ret, value)) {
10650                     ANYOF_BITMAP_CLEAR(ret, value);
10651                     remove_list = add_cp_to_invlist(remove_list, value);
10652                 }
10653                 else {
10654                     ANYOF_BITMAP_SET(ret, value);
10655                 }
10656             }
10657             _invlist_subtract(nonbitmap, remove_list, &nonbitmap);
10658             SvREFCNT_dec(remove_list);
10659         }
10660
10661         stored = 256 - stored;
10662
10663         /* Clear the invert flag since have just done it here */
10664         ANYOF_FLAGS(ret) &= ~ANYOF_INVERT;
10665     }
10666
10667     /* Folding in the bitmap is taken care of above, but not for locale (for
10668      * which we have to wait to see what folding is in effect at runtime), and
10669      * for things not in the bitmap.  Set run-time fold flag for these */
10670     if (FOLD && (LOC || nonbitmap || unicode_alternate)) {
10671         ANYOF_FLAGS(ret) |= ANYOF_LOC_NONBITMAP_FOLD;
10672     }
10673
10674     /* A single character class can be "optimized" into an EXACTish node.
10675      * Note that since we don't currently count how many characters there are
10676      * outside the bitmap, we are XXX missing optimization possibilities for
10677      * them.  This optimization can't happen unless this is a truly single
10678      * character class, which means that it can't be an inversion into a
10679      * many-character class, and there must be no possibility of there being
10680      * things outside the bitmap.  'stored' (only) for locales doesn't include
10681      * \w, etc, so have to make a special test that they aren't present
10682      *
10683      * Similarly A 2-character class of the very special form like [bB] can be
10684      * optimized into an EXACTFish node, but only for non-locales, and for
10685      * characters which only have the two folds; so things like 'fF' and 'Ii'
10686      * wouldn't work because they are part of the fold of 'LATIN SMALL LIGATURE
10687      * FI'. */
10688     if (! nonbitmap
10689         && ! unicode_alternate
10690         && SvCUR(listsv) == initial_listsv_len
10691         && ! (ANYOF_FLAGS(ret) & (ANYOF_INVERT|ANYOF_UNICODE_ALL))
10692         && (((stored == 1 && ((! (ANYOF_FLAGS(ret) & ANYOF_LOCALE))
10693                               || (! ANYOF_CLASS_TEST_ANY_SET(ret)))))
10694             || (stored == 2 && ((! (ANYOF_FLAGS(ret) & ANYOF_LOCALE))
10695                                  && (! _HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(value))
10696                                  /* If the latest code point has a fold whose
10697                                   * bit is set, it must be the only other one */
10698                                 && ((prevvalue = PL_fold_latin1[value]) != (IV)value)
10699                                  && ANYOF_BITMAP_TEST(ret, prevvalue)))))
10700     {
10701         /* Note that the information needed to decide to do this optimization
10702          * is not currently available until the 2nd pass, and that the actually
10703          * used EXACTish node takes less space than the calculated ANYOF node,
10704          * and hence the amount of space calculated in the first pass is larger
10705          * than actually used, so this optimization doesn't gain us any space.
10706          * But an EXACT node is faster than an ANYOF node, and can be combined
10707          * with any adjacent EXACT nodes later by the optimizer for further
10708          * gains.  The speed of executing an EXACTF is similar to an ANYOF
10709          * node, so the optimization advantage comes from the ability to join
10710          * it to adjacent EXACT nodes */
10711
10712         const char * cur_parse= RExC_parse;
10713         U8 op;
10714         RExC_emit = (regnode *)orig_emit;
10715         RExC_parse = (char *)orig_parse;
10716
10717         if (stored == 1) {
10718
10719             /* A locale node with one point can be folded; all the other cases
10720              * with folding will have two points, since we calculate them above
10721              */
10722             if (ANYOF_FLAGS(ret) & ANYOF_LOC_NONBITMAP_FOLD) {
10723                  op = EXACTFL;
10724             }
10725             else {
10726                 op = EXACT;
10727             }
10728         }
10729         else {   /* else 2 chars in the bit map: the folds of each other */
10730
10731             /* Use the folded value, which for the cases where we get here,
10732              * is just the lower case of the current one (which may resolve to
10733              * itself, or to the other one */
10734             value = toLOWER_LATIN1(value);
10735             if (AT_LEAST_UNI_SEMANTICS || !isASCII(value)) {
10736
10737                 /* To join adjacent nodes, they must be the exact EXACTish
10738                  * type.  Try to use the most likely type, by using EXACTFU if
10739                  * the regex calls for them, or is required because the
10740                  * character is non-ASCII */
10741                 op = EXACTFU;
10742             }
10743             else {    /* Otherwise, more likely to be EXACTF type */
10744                 op = EXACTF;
10745             }
10746         }
10747
10748         ret = reg_node(pRExC_state, op);
10749         RExC_parse = (char *)cur_parse;
10750         if (UTF && ! NATIVE_IS_INVARIANT(value)) {
10751             *STRING(ret)= UTF8_EIGHT_BIT_HI((U8) value);
10752             *(STRING(ret) + 1)= UTF8_EIGHT_BIT_LO((U8) value);
10753             STR_LEN(ret)= 2;
10754             RExC_emit += STR_SZ(2);
10755         }
10756         else {
10757             *STRING(ret)= (char)value;
10758             STR_LEN(ret)= 1;
10759             RExC_emit += STR_SZ(1);
10760         }
10761         SvREFCNT_dec(listsv);
10762         return ret;
10763     }
10764
10765     if (nonbitmap) {
10766         UV start, end;
10767         invlist_iterinit(nonbitmap);
10768         while (invlist_iternext(nonbitmap, &start, &end)) {
10769             if (start == end) {
10770                 Perl_sv_catpvf(aTHX_ listsv, "%04"UVxf"\n", start);
10771             }
10772             else {
10773                 /* The \t sets the whole range */
10774                 Perl_sv_catpvf(aTHX_ listsv, "%04"UVxf"\t%04"UVxf"\n",
10775                         /* XXX EBCDIC */
10776                                    start, end);
10777             }
10778         }
10779         SvREFCNT_dec(nonbitmap);
10780     }
10781
10782     if (SvCUR(listsv) == initial_listsv_len && ! unicode_alternate) {
10783         ARG_SET(ret, ANYOF_NONBITMAP_EMPTY);
10784         SvREFCNT_dec(listsv);
10785         SvREFCNT_dec(unicode_alternate);
10786     }
10787     else {
10788
10789         AV * const av = newAV();
10790         SV *rv;
10791         /* The 0th element stores the character class description
10792          * in its textual form: used later (regexec.c:Perl_regclass_swash())
10793          * to initialize the appropriate swash (which gets stored in
10794          * the 1st element), and also useful for dumping the regnode.
10795          * The 2nd element stores the multicharacter foldings,
10796          * used later (regexec.c:S_reginclass()). */
10797         av_store(av, 0, listsv);
10798         av_store(av, 1, NULL);
10799
10800         /* Store any computed multi-char folds only if we are allowing
10801          * them */
10802         if (allow_full_fold) {
10803             av_store(av, 2, MUTABLE_SV(unicode_alternate));
10804             if (unicode_alternate) { /* This node is variable length */
10805                 OP(ret) = ANYOFV;
10806             }
10807         }
10808         else {
10809             av_store(av, 2, NULL);
10810         }
10811         rv = newRV_noinc(MUTABLE_SV(av));
10812         n = add_data(pRExC_state, 1, "s");
10813         RExC_rxi->data->data[n] = (void*)rv;
10814         ARG_SET(ret, n);
10815     }
10816     return ret;
10817 }
10818 #undef _C_C_T_
10819
10820
10821 /* reg_skipcomment()
10822
10823    Absorbs an /x style # comments from the input stream.
10824    Returns true if there is more text remaining in the stream.
10825    Will set the REG_SEEN_RUN_ON_COMMENT flag if the comment
10826    terminates the pattern without including a newline.
10827
10828    Note its the callers responsibility to ensure that we are
10829    actually in /x mode
10830
10831 */
10832
10833 STATIC bool
10834 S_reg_skipcomment(pTHX_ RExC_state_t *pRExC_state)
10835 {
10836     bool ended = 0;
10837
10838     PERL_ARGS_ASSERT_REG_SKIPCOMMENT;
10839
10840     while (RExC_parse < RExC_end)
10841         if (*RExC_parse++ == '\n') {
10842             ended = 1;
10843             break;
10844         }
10845     if (!ended) {
10846         /* we ran off the end of the pattern without ending
10847            the comment, so we have to add an \n when wrapping */
10848         RExC_seen |= REG_SEEN_RUN_ON_COMMENT;
10849         return 0;
10850     } else
10851         return 1;
10852 }
10853
10854 /* nextchar()
10855
10856    Advances the parse position, and optionally absorbs
10857    "whitespace" from the inputstream.
10858
10859    Without /x "whitespace" means (?#...) style comments only,
10860    with /x this means (?#...) and # comments and whitespace proper.
10861
10862    Returns the RExC_parse point from BEFORE the scan occurs.
10863
10864    This is the /x friendly way of saying RExC_parse++.
10865 */
10866
10867 STATIC char*
10868 S_nextchar(pTHX_ RExC_state_t *pRExC_state)
10869 {
10870     char* const retval = RExC_parse++;
10871
10872     PERL_ARGS_ASSERT_NEXTCHAR;
10873
10874     for (;;) {
10875         if (*RExC_parse == '(' && RExC_parse[1] == '?' &&
10876                 RExC_parse[2] == '#') {
10877             while (*RExC_parse != ')') {
10878                 if (RExC_parse == RExC_end)
10879                     FAIL("Sequence (?#... not terminated");
10880                 RExC_parse++;
10881             }
10882             RExC_parse++;
10883             continue;
10884         }
10885         if (RExC_flags & RXf_PMf_EXTENDED) {
10886             if (isSPACE(*RExC_parse)) {
10887                 RExC_parse++;
10888                 continue;
10889             }
10890             else if (*RExC_parse == '#') {
10891                 if ( reg_skipcomment( pRExC_state ) )
10892                     continue;
10893             }
10894         }
10895         return retval;
10896     }
10897 }
10898
10899 /*
10900 - reg_node - emit a node
10901 */
10902 STATIC regnode *                        /* Location. */
10903 S_reg_node(pTHX_ RExC_state_t *pRExC_state, U8 op)
10904 {
10905     dVAR;
10906     register regnode *ptr;
10907     regnode * const ret = RExC_emit;
10908     GET_RE_DEBUG_FLAGS_DECL;
10909
10910     PERL_ARGS_ASSERT_REG_NODE;
10911
10912     if (SIZE_ONLY) {
10913         SIZE_ALIGN(RExC_size);
10914         RExC_size += 1;
10915         return(ret);
10916     }
10917     if (RExC_emit >= RExC_emit_bound)
10918         Perl_croak(aTHX_ "panic: reg_node overrun trying to emit %d", op);
10919
10920     NODE_ALIGN_FILL(ret);
10921     ptr = ret;
10922     FILL_ADVANCE_NODE(ptr, op);
10923     REH_CALL_COMP_NODE_HOOK(pRExC_state->rx, (ptr) - 1);
10924 #ifdef RE_TRACK_PATTERN_OFFSETS
10925     if (RExC_offsets) {         /* MJD */
10926         MJD_OFFSET_DEBUG(("%s:%d: (op %s) %s %"UVuf" (len %"UVuf") (max %"UVuf").\n", 
10927               "reg_node", __LINE__, 
10928               PL_reg_name[op],
10929               (UV)(RExC_emit - RExC_emit_start) > RExC_offsets[0] 
10930                 ? "Overwriting end of array!\n" : "OK",
10931               (UV)(RExC_emit - RExC_emit_start),
10932               (UV)(RExC_parse - RExC_start),
10933               (UV)RExC_offsets[0])); 
10934         Set_Node_Offset(RExC_emit, RExC_parse + (op == END));
10935     }
10936 #endif
10937     RExC_emit = ptr;
10938     return(ret);
10939 }
10940
10941 /*
10942 - reganode - emit a node with an argument
10943 */
10944 STATIC regnode *                        /* Location. */
10945 S_reganode(pTHX_ RExC_state_t *pRExC_state, U8 op, U32 arg)
10946 {
10947     dVAR;
10948     register regnode *ptr;
10949     regnode * const ret = RExC_emit;
10950     GET_RE_DEBUG_FLAGS_DECL;
10951
10952     PERL_ARGS_ASSERT_REGANODE;
10953
10954     if (SIZE_ONLY) {
10955         SIZE_ALIGN(RExC_size);
10956         RExC_size += 2;
10957         /* 
10958            We can't do this:
10959            
10960            assert(2==regarglen[op]+1); 
10961         
10962            Anything larger than this has to allocate the extra amount.
10963            If we changed this to be:
10964            
10965            RExC_size += (1 + regarglen[op]);
10966            
10967            then it wouldn't matter. Its not clear what side effect
10968            might come from that so its not done so far.
10969            -- dmq
10970         */
10971         return(ret);
10972     }
10973     if (RExC_emit >= RExC_emit_bound)
10974         Perl_croak(aTHX_ "panic: reg_node overrun trying to emit %d", op);
10975
10976     NODE_ALIGN_FILL(ret);
10977     ptr = ret;
10978     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
10979     REH_CALL_COMP_NODE_HOOK(pRExC_state->rx, (ptr) - 2);
10980 #ifdef RE_TRACK_PATTERN_OFFSETS
10981     if (RExC_offsets) {         /* MJD */
10982         MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s %"UVuf" <- %"UVuf" (max %"UVuf").\n", 
10983               "reganode",
10984               __LINE__,
10985               PL_reg_name[op],
10986               (UV)(RExC_emit - RExC_emit_start) > RExC_offsets[0] ? 
10987               "Overwriting end of array!\n" : "OK",
10988               (UV)(RExC_emit - RExC_emit_start),
10989               (UV)(RExC_parse - RExC_start),
10990               (UV)RExC_offsets[0])); 
10991         Set_Cur_Node_Offset;
10992     }
10993 #endif            
10994     RExC_emit = ptr;
10995     return(ret);
10996 }
10997
10998 /*
10999 - reguni - emit (if appropriate) a Unicode character
11000 */
11001 STATIC STRLEN
11002 S_reguni(pTHX_ const RExC_state_t *pRExC_state, UV uv, char* s)
11003 {
11004     dVAR;
11005
11006     PERL_ARGS_ASSERT_REGUNI;
11007
11008     return SIZE_ONLY ? UNISKIP(uv) : (uvchr_to_utf8((U8*)s, uv) - (U8*)s);
11009 }
11010
11011 /*
11012 - reginsert - insert an operator in front of already-emitted operand
11013 *
11014 * Means relocating the operand.
11015 */
11016 STATIC void
11017 S_reginsert(pTHX_ RExC_state_t *pRExC_state, U8 op, regnode *opnd, U32 depth)
11018 {
11019     dVAR;
11020     register regnode *src;
11021     register regnode *dst;
11022     register regnode *place;
11023     const int offset = regarglen[(U8)op];
11024     const int size = NODE_STEP_REGNODE + offset;
11025     GET_RE_DEBUG_FLAGS_DECL;
11026
11027     PERL_ARGS_ASSERT_REGINSERT;
11028     PERL_UNUSED_ARG(depth);
11029 /* (PL_regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
11030     DEBUG_PARSE_FMT("inst"," - %s",PL_reg_name[op]);
11031     if (SIZE_ONLY) {
11032         RExC_size += size;
11033         return;
11034     }
11035
11036     src = RExC_emit;
11037     RExC_emit += size;
11038     dst = RExC_emit;
11039     if (RExC_open_parens) {
11040         int paren;
11041         /*DEBUG_PARSE_FMT("inst"," - %"IVdf, (IV)RExC_npar);*/
11042         for ( paren=0 ; paren < RExC_npar ; paren++ ) {
11043             if ( RExC_open_parens[paren] >= opnd ) {
11044                 /*DEBUG_PARSE_FMT("open"," - %d",size);*/
11045                 RExC_open_parens[paren] += size;
11046             } else {
11047                 /*DEBUG_PARSE_FMT("open"," - %s","ok");*/
11048             }
11049             if ( RExC_close_parens[paren] >= opnd ) {
11050                 /*DEBUG_PARSE_FMT("close"," - %d",size);*/
11051                 RExC_close_parens[paren] += size;
11052             } else {
11053                 /*DEBUG_PARSE_FMT("close"," - %s","ok");*/
11054             }
11055         }
11056     }
11057
11058     while (src > opnd) {
11059         StructCopy(--src, --dst, regnode);
11060 #ifdef RE_TRACK_PATTERN_OFFSETS
11061         if (RExC_offsets) {     /* MJD 20010112 */
11062             MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s copy %"UVuf" -> %"UVuf" (max %"UVuf").\n",
11063                   "reg_insert",
11064                   __LINE__,
11065                   PL_reg_name[op],
11066                   (UV)(dst - RExC_emit_start) > RExC_offsets[0] 
11067                     ? "Overwriting end of array!\n" : "OK",
11068                   (UV)(src - RExC_emit_start),
11069                   (UV)(dst - RExC_emit_start),
11070                   (UV)RExC_offsets[0])); 
11071             Set_Node_Offset_To_R(dst-RExC_emit_start, Node_Offset(src));
11072             Set_Node_Length_To_R(dst-RExC_emit_start, Node_Length(src));
11073         }
11074 #endif
11075     }
11076     
11077
11078     place = opnd;               /* Op node, where operand used to be. */
11079 #ifdef RE_TRACK_PATTERN_OFFSETS
11080     if (RExC_offsets) {         /* MJD */
11081         MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s %"UVuf" <- %"UVuf" (max %"UVuf").\n", 
11082               "reginsert",
11083               __LINE__,
11084               PL_reg_name[op],
11085               (UV)(place - RExC_emit_start) > RExC_offsets[0] 
11086               ? "Overwriting end of array!\n" : "OK",
11087               (UV)(place - RExC_emit_start),
11088               (UV)(RExC_parse - RExC_start),
11089               (UV)RExC_offsets[0]));
11090         Set_Node_Offset(place, RExC_parse);
11091         Set_Node_Length(place, 1);
11092     }
11093 #endif    
11094     src = NEXTOPER(place);
11095     FILL_ADVANCE_NODE(place, op);
11096     REH_CALL_COMP_NODE_HOOK(pRExC_state->rx, (place) - 1);
11097     Zero(src, offset, regnode);
11098 }
11099
11100 /*
11101 - regtail - set the next-pointer at the end of a node chain of p to val.
11102 - SEE ALSO: regtail_study
11103 */
11104 /* TODO: All three parms should be const */
11105 STATIC void
11106 S_regtail(pTHX_ RExC_state_t *pRExC_state, regnode *p, const regnode *val,U32 depth)
11107 {
11108     dVAR;
11109     register regnode *scan;
11110     GET_RE_DEBUG_FLAGS_DECL;
11111
11112     PERL_ARGS_ASSERT_REGTAIL;
11113 #ifndef DEBUGGING
11114     PERL_UNUSED_ARG(depth);
11115 #endif
11116
11117     if (SIZE_ONLY)
11118         return;
11119
11120     /* Find last node. */
11121     scan = p;
11122     for (;;) {
11123         regnode * const temp = regnext(scan);
11124         DEBUG_PARSE_r({
11125             SV * const mysv=sv_newmortal();
11126             DEBUG_PARSE_MSG((scan==p ? "tail" : ""));
11127             regprop(RExC_rx, mysv, scan);
11128             PerlIO_printf(Perl_debug_log, "~ %s (%d) %s %s\n",
11129                 SvPV_nolen_const(mysv), REG_NODE_NUM(scan),
11130                     (temp == NULL ? "->" : ""),
11131                     (temp == NULL ? PL_reg_name[OP(val)] : "")
11132             );
11133         });
11134         if (temp == NULL)
11135             break;
11136         scan = temp;
11137     }
11138
11139     if (reg_off_by_arg[OP(scan)]) {
11140         ARG_SET(scan, val - scan);
11141     }
11142     else {
11143         NEXT_OFF(scan) = val - scan;
11144     }
11145 }
11146
11147 #ifdef DEBUGGING
11148 /*
11149 - regtail_study - set the next-pointer at the end of a node chain of p to val.
11150 - Look for optimizable sequences at the same time.
11151 - currently only looks for EXACT chains.
11152
11153 This is experimental code. The idea is to use this routine to perform 
11154 in place optimizations on branches and groups as they are constructed,
11155 with the long term intention of removing optimization from study_chunk so
11156 that it is purely analytical.
11157
11158 Currently only used when in DEBUG mode. The macro REGTAIL_STUDY() is used
11159 to control which is which.
11160
11161 */
11162 /* TODO: All four parms should be const */
11163
11164 STATIC U8
11165 S_regtail_study(pTHX_ RExC_state_t *pRExC_state, regnode *p, const regnode *val,U32 depth)
11166 {
11167     dVAR;
11168     register regnode *scan;
11169     U8 exact = PSEUDO;
11170 #ifdef EXPERIMENTAL_INPLACESCAN
11171     I32 min = 0;
11172 #endif
11173     GET_RE_DEBUG_FLAGS_DECL;
11174
11175     PERL_ARGS_ASSERT_REGTAIL_STUDY;
11176
11177
11178     if (SIZE_ONLY)
11179         return exact;
11180
11181     /* Find last node. */
11182
11183     scan = p;
11184     for (;;) {
11185         regnode * const temp = regnext(scan);
11186 #ifdef EXPERIMENTAL_INPLACESCAN
11187         if (PL_regkind[OP(scan)] == EXACT)
11188             if (join_exact(pRExC_state,scan,&min,1,val,depth+1))
11189                 return EXACT;
11190 #endif
11191         if ( exact ) {
11192             switch (OP(scan)) {
11193                 case EXACT:
11194                 case EXACTF:
11195                 case EXACTFA:
11196                 case EXACTFU:
11197                 case EXACTFL:
11198                         if( exact == PSEUDO )
11199                             exact= OP(scan);
11200                         else if ( exact != OP(scan) )
11201                             exact= 0;
11202                 case NOTHING:
11203                     break;
11204                 default:
11205                     exact= 0;
11206             }
11207         }
11208         DEBUG_PARSE_r({
11209             SV * const mysv=sv_newmortal();
11210             DEBUG_PARSE_MSG((scan==p ? "tsdy" : ""));
11211             regprop(RExC_rx, mysv, scan);
11212             PerlIO_printf(Perl_debug_log, "~ %s (%d) -> %s\n",
11213                 SvPV_nolen_const(mysv),
11214                 REG_NODE_NUM(scan),
11215                 PL_reg_name[exact]);
11216         });
11217         if (temp == NULL)
11218             break;
11219         scan = temp;
11220     }
11221     DEBUG_PARSE_r({
11222         SV * const mysv_val=sv_newmortal();
11223         DEBUG_PARSE_MSG("");
11224         regprop(RExC_rx, mysv_val, val);
11225         PerlIO_printf(Perl_debug_log, "~ attach to %s (%"IVdf") offset to %"IVdf"\n",
11226                       SvPV_nolen_const(mysv_val),
11227                       (IV)REG_NODE_NUM(val),
11228                       (IV)(val - scan)
11229         );
11230     });
11231     if (reg_off_by_arg[OP(scan)]) {
11232         ARG_SET(scan, val - scan);
11233     }
11234     else {
11235         NEXT_OFF(scan) = val - scan;
11236     }
11237
11238     return exact;
11239 }
11240 #endif
11241
11242 /*
11243  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
11244  */
11245 #ifdef DEBUGGING
11246 static void 
11247 S_regdump_extflags(pTHX_ const char *lead, const U32 flags)
11248 {
11249     int bit;
11250     int set=0;
11251     regex_charset cs;
11252
11253     for (bit=0; bit<32; bit++) {
11254         if (flags & (1<<bit)) {
11255             if ((1<<bit) & RXf_PMf_CHARSET) {   /* Output separately, below */
11256                 continue;
11257             }
11258             if (!set++ && lead) 
11259                 PerlIO_printf(Perl_debug_log, "%s",lead);
11260             PerlIO_printf(Perl_debug_log, "%s ",PL_reg_extflags_name[bit]);
11261         }               
11262     }      
11263     if ((cs = get_regex_charset(flags)) != REGEX_DEPENDS_CHARSET) {
11264             if (!set++ && lead) {
11265                 PerlIO_printf(Perl_debug_log, "%s",lead);
11266             }
11267             switch (cs) {
11268                 case REGEX_UNICODE_CHARSET:
11269                     PerlIO_printf(Perl_debug_log, "UNICODE");
11270                     break;
11271                 case REGEX_LOCALE_CHARSET:
11272                     PerlIO_printf(Perl_debug_log, "LOCALE");
11273                     break;
11274                 case REGEX_ASCII_RESTRICTED_CHARSET:
11275                     PerlIO_printf(Perl_debug_log, "ASCII-RESTRICTED");
11276                     break;
11277                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
11278                     PerlIO_printf(Perl_debug_log, "ASCII-MORE_RESTRICTED");
11279                     break;
11280                 default:
11281                     PerlIO_printf(Perl_debug_log, "UNKNOWN CHARACTER SET");
11282                     break;
11283             }
11284     }
11285     if (lead)  {
11286         if (set) 
11287             PerlIO_printf(Perl_debug_log, "\n");
11288         else 
11289             PerlIO_printf(Perl_debug_log, "%s[none-set]\n",lead);
11290     }            
11291 }   
11292 #endif
11293
11294 void
11295 Perl_regdump(pTHX_ const regexp *r)
11296 {
11297 #ifdef DEBUGGING
11298     dVAR;
11299     SV * const sv = sv_newmortal();
11300     SV *dsv= sv_newmortal();
11301     RXi_GET_DECL(r,ri);
11302     GET_RE_DEBUG_FLAGS_DECL;
11303
11304     PERL_ARGS_ASSERT_REGDUMP;
11305
11306     (void)dumpuntil(r, ri->program, ri->program + 1, NULL, NULL, sv, 0, 0);
11307
11308     /* Header fields of interest. */
11309     if (r->anchored_substr) {
11310         RE_PV_QUOTED_DECL(s, 0, dsv, SvPVX_const(r->anchored_substr), 
11311             RE_SV_DUMPLEN(r->anchored_substr), 30);
11312         PerlIO_printf(Perl_debug_log,
11313                       "anchored %s%s at %"IVdf" ",
11314                       s, RE_SV_TAIL(r->anchored_substr),
11315                       (IV)r->anchored_offset);
11316     } else if (r->anchored_utf8) {
11317         RE_PV_QUOTED_DECL(s, 1, dsv, SvPVX_const(r->anchored_utf8), 
11318             RE_SV_DUMPLEN(r->anchored_utf8), 30);
11319         PerlIO_printf(Perl_debug_log,
11320                       "anchored utf8 %s%s at %"IVdf" ",
11321                       s, RE_SV_TAIL(r->anchored_utf8),
11322                       (IV)r->anchored_offset);
11323     }                 
11324     if (r->float_substr) {
11325         RE_PV_QUOTED_DECL(s, 0, dsv, SvPVX_const(r->float_substr), 
11326             RE_SV_DUMPLEN(r->float_substr), 30);
11327         PerlIO_printf(Perl_debug_log,
11328                       "floating %s%s at %"IVdf"..%"UVuf" ",
11329                       s, RE_SV_TAIL(r->float_substr),
11330                       (IV)r->float_min_offset, (UV)r->float_max_offset);
11331     } else if (r->float_utf8) {
11332         RE_PV_QUOTED_DECL(s, 1, dsv, SvPVX_const(r->float_utf8), 
11333             RE_SV_DUMPLEN(r->float_utf8), 30);
11334         PerlIO_printf(Perl_debug_log,
11335                       "floating utf8 %s%s at %"IVdf"..%"UVuf" ",
11336                       s, RE_SV_TAIL(r->float_utf8),
11337                       (IV)r->float_min_offset, (UV)r->float_max_offset);
11338     }
11339     if (r->check_substr || r->check_utf8)
11340         PerlIO_printf(Perl_debug_log,
11341                       (const char *)
11342                       (r->check_substr == r->float_substr
11343                        && r->check_utf8 == r->float_utf8
11344                        ? "(checking floating" : "(checking anchored"));
11345     if (r->extflags & RXf_NOSCAN)
11346         PerlIO_printf(Perl_debug_log, " noscan");
11347     if (r->extflags & RXf_CHECK_ALL)
11348         PerlIO_printf(Perl_debug_log, " isall");
11349     if (r->check_substr || r->check_utf8)
11350         PerlIO_printf(Perl_debug_log, ") ");
11351
11352     if (ri->regstclass) {
11353         regprop(r, sv, ri->regstclass);
11354         PerlIO_printf(Perl_debug_log, "stclass %s ", SvPVX_const(sv));
11355     }
11356     if (r->extflags & RXf_ANCH) {
11357         PerlIO_printf(Perl_debug_log, "anchored");
11358         if (r->extflags & RXf_ANCH_BOL)
11359             PerlIO_printf(Perl_debug_log, "(BOL)");
11360         if (r->extflags & RXf_ANCH_MBOL)
11361             PerlIO_printf(Perl_debug_log, "(MBOL)");
11362         if (r->extflags & RXf_ANCH_SBOL)
11363             PerlIO_printf(Perl_debug_log, "(SBOL)");
11364         if (r->extflags & RXf_ANCH_GPOS)
11365             PerlIO_printf(Perl_debug_log, "(GPOS)");
11366         PerlIO_putc(Perl_debug_log, ' ');
11367     }
11368     if (r->extflags & RXf_GPOS_SEEN)
11369         PerlIO_printf(Perl_debug_log, "GPOS:%"UVuf" ", (UV)r->gofs);
11370     if (r->intflags & PREGf_SKIP)
11371         PerlIO_printf(Perl_debug_log, "plus ");
11372     if (r->intflags & PREGf_IMPLICIT)
11373         PerlIO_printf(Perl_debug_log, "implicit ");
11374     PerlIO_printf(Perl_debug_log, "minlen %"IVdf" ", (IV)r->minlen);
11375     if (r->extflags & RXf_EVAL_SEEN)
11376         PerlIO_printf(Perl_debug_log, "with eval ");
11377     PerlIO_printf(Perl_debug_log, "\n");
11378     DEBUG_FLAGS_r(regdump_extflags("r->extflags: ",r->extflags));            
11379 #else
11380     PERL_ARGS_ASSERT_REGDUMP;
11381     PERL_UNUSED_CONTEXT;
11382     PERL_UNUSED_ARG(r);
11383 #endif  /* DEBUGGING */
11384 }
11385
11386 /*
11387 - regprop - printable representation of opcode
11388 */
11389 #define EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags) \
11390 STMT_START { \
11391         if (do_sep) {                           \
11392             Perl_sv_catpvf(aTHX_ sv,"%s][%s",PL_colors[1],PL_colors[0]); \
11393             if (flags & ANYOF_INVERT)           \
11394                 /*make sure the invert info is in each */ \
11395                 sv_catpvs(sv, "^");             \
11396             do_sep = 0;                         \
11397         }                                       \
11398 } STMT_END
11399
11400 void
11401 Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o)
11402 {
11403 #ifdef DEBUGGING
11404     dVAR;
11405     register int k;
11406     RXi_GET_DECL(prog,progi);
11407     GET_RE_DEBUG_FLAGS_DECL;
11408     
11409     PERL_ARGS_ASSERT_REGPROP;
11410
11411     sv_setpvs(sv, "");
11412
11413     if (OP(o) > REGNODE_MAX)            /* regnode.type is unsigned */
11414         /* It would be nice to FAIL() here, but this may be called from
11415            regexec.c, and it would be hard to supply pRExC_state. */
11416         Perl_croak(aTHX_ "Corrupted regexp opcode %d > %d", (int)OP(o), (int)REGNODE_MAX);
11417     sv_catpv(sv, PL_reg_name[OP(o)]); /* Take off const! */
11418
11419     k = PL_regkind[OP(o)];
11420
11421     if (k == EXACT) {
11422         sv_catpvs(sv, " ");
11423         /* Using is_utf8_string() (via PERL_PV_UNI_DETECT) 
11424          * is a crude hack but it may be the best for now since 
11425          * we have no flag "this EXACTish node was UTF-8" 
11426          * --jhi */
11427         pv_pretty(sv, STRING(o), STR_LEN(o), 60, PL_colors[0], PL_colors[1],
11428                   PERL_PV_ESCAPE_UNI_DETECT |
11429                   PERL_PV_ESCAPE_NONASCII   |
11430                   PERL_PV_PRETTY_ELLIPSES   |
11431                   PERL_PV_PRETTY_LTGT       |
11432                   PERL_PV_PRETTY_NOCLEAR
11433                   );
11434     } else if (k == TRIE) {
11435         /* print the details of the trie in dumpuntil instead, as
11436          * progi->data isn't available here */
11437         const char op = OP(o);
11438         const U32 n = ARG(o);
11439         const reg_ac_data * const ac = IS_TRIE_AC(op) ?
11440                (reg_ac_data *)progi->data->data[n] :
11441                NULL;
11442         const reg_trie_data * const trie
11443             = (reg_trie_data*)progi->data->data[!IS_TRIE_AC(op) ? n : ac->trie];
11444         
11445         Perl_sv_catpvf(aTHX_ sv, "-%s",PL_reg_name[o->flags]);
11446         DEBUG_TRIE_COMPILE_r(
11447             Perl_sv_catpvf(aTHX_ sv,
11448                 "<S:%"UVuf"/%"IVdf" W:%"UVuf" L:%"UVuf"/%"UVuf" C:%"UVuf"/%"UVuf">",
11449                 (UV)trie->startstate,
11450                 (IV)trie->statecount-1, /* -1 because of the unused 0 element */
11451                 (UV)trie->wordcount,
11452                 (UV)trie->minlen,
11453                 (UV)trie->maxlen,
11454                 (UV)TRIE_CHARCOUNT(trie),
11455                 (UV)trie->uniquecharcount
11456             )
11457         );
11458         if ( IS_ANYOF_TRIE(op) || trie->bitmap ) {
11459             int i;
11460             int rangestart = -1;
11461             U8* bitmap = IS_ANYOF_TRIE(op) ? (U8*)ANYOF_BITMAP(o) : (U8*)TRIE_BITMAP(trie);
11462             sv_catpvs(sv, "[");
11463             for (i = 0; i <= 256; i++) {
11464                 if (i < 256 && BITMAP_TEST(bitmap,i)) {
11465                     if (rangestart == -1)
11466                         rangestart = i;
11467                 } else if (rangestart != -1) {
11468                     if (i <= rangestart + 3)
11469                         for (; rangestart < i; rangestart++)
11470                             put_byte(sv, rangestart);
11471                     else {
11472                         put_byte(sv, rangestart);
11473                         sv_catpvs(sv, "-");
11474                         put_byte(sv, i - 1);
11475                     }
11476                     rangestart = -1;
11477                 }
11478             }
11479             sv_catpvs(sv, "]");
11480         } 
11481          
11482     } else if (k == CURLY) {
11483         if (OP(o) == CURLYM || OP(o) == CURLYN || OP(o) == CURLYX)
11484             Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags); /* Parenth number */
11485         Perl_sv_catpvf(aTHX_ sv, " {%d,%d}", ARG1(o), ARG2(o));
11486     }
11487     else if (k == WHILEM && o->flags)                   /* Ordinal/of */
11488         Perl_sv_catpvf(aTHX_ sv, "[%d/%d]", o->flags & 0xf, o->flags>>4);
11489     else if (k == REF || k == OPEN || k == CLOSE || k == GROUPP || OP(o)==ACCEPT) {
11490         Perl_sv_catpvf(aTHX_ sv, "%d", (int)ARG(o));    /* Parenth number */
11491         if ( RXp_PAREN_NAMES(prog) ) {
11492             if ( k != REF || (OP(o) < NREF)) {
11493                 AV *list= MUTABLE_AV(progi->data->data[progi->name_list_idx]);
11494                 SV **name= av_fetch(list, ARG(o), 0 );
11495                 if (name)
11496                     Perl_sv_catpvf(aTHX_ sv, " '%"SVf"'", SVfARG(*name));
11497             }       
11498             else {
11499                 AV *list= MUTABLE_AV(progi->data->data[ progi->name_list_idx ]);
11500                 SV *sv_dat= MUTABLE_SV(progi->data->data[ ARG( o ) ]);
11501                 I32 *nums=(I32*)SvPVX(sv_dat);
11502                 SV **name= av_fetch(list, nums[0], 0 );
11503                 I32 n;
11504                 if (name) {
11505                     for ( n=0; n<SvIVX(sv_dat); n++ ) {
11506                         Perl_sv_catpvf(aTHX_ sv, "%s%"IVdf,
11507                                     (n ? "," : ""), (IV)nums[n]);
11508                     }
11509                     Perl_sv_catpvf(aTHX_ sv, " '%"SVf"'", SVfARG(*name));
11510                 }
11511             }
11512         }            
11513     } else if (k == GOSUB) 
11514         Perl_sv_catpvf(aTHX_ sv, "%d[%+d]", (int)ARG(o),(int)ARG2L(o)); /* Paren and offset */
11515     else if (k == VERB) {
11516         if (!o->flags) 
11517             Perl_sv_catpvf(aTHX_ sv, ":%"SVf, 
11518                            SVfARG((MUTABLE_SV(progi->data->data[ ARG( o ) ]))));
11519     } else if (k == LOGICAL)
11520         Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags);     /* 2: embedded, otherwise 1 */
11521     else if (k == FOLDCHAR)
11522         Perl_sv_catpvf(aTHX_ sv, "[0x%"UVXf"]", PTR2UV(ARG(o)) );
11523     else if (k == ANYOF) {
11524         int i, rangestart = -1;
11525         const U8 flags = ANYOF_FLAGS(o);
11526         int do_sep = 0;
11527
11528         /* Should be synchronized with * ANYOF_ #xdefines in regcomp.h */
11529         static const char * const anyofs[] = {
11530             "\\w",
11531             "\\W",
11532             "\\s",
11533             "\\S",
11534             "\\d",
11535             "\\D",
11536             "[:alnum:]",
11537             "[:^alnum:]",
11538             "[:alpha:]",
11539             "[:^alpha:]",
11540             "[:ascii:]",
11541             "[:^ascii:]",
11542             "[:cntrl:]",
11543             "[:^cntrl:]",
11544             "[:graph:]",
11545             "[:^graph:]",
11546             "[:lower:]",
11547             "[:^lower:]",
11548             "[:print:]",
11549             "[:^print:]",
11550             "[:punct:]",
11551             "[:^punct:]",
11552             "[:upper:]",
11553             "[:^upper:]",
11554             "[:xdigit:]",
11555             "[:^xdigit:]",
11556             "[:space:]",
11557             "[:^space:]",
11558             "[:blank:]",
11559             "[:^blank:]"
11560         };
11561
11562         if (flags & ANYOF_LOCALE)
11563             sv_catpvs(sv, "{loc}");
11564         if (flags & ANYOF_LOC_NONBITMAP_FOLD)
11565             sv_catpvs(sv, "{i}");
11566         Perl_sv_catpvf(aTHX_ sv, "[%s", PL_colors[0]);
11567         if (flags & ANYOF_INVERT)
11568             sv_catpvs(sv, "^");
11569         
11570         /* output what the standard cp 0-255 bitmap matches */
11571         for (i = 0; i <= 256; i++) {
11572             if (i < 256 && ANYOF_BITMAP_TEST(o,i)) {
11573                 if (rangestart == -1)
11574                     rangestart = i;
11575             } else if (rangestart != -1) {
11576                 if (i <= rangestart + 3)
11577                     for (; rangestart < i; rangestart++)
11578                         put_byte(sv, rangestart);
11579                 else {
11580                     put_byte(sv, rangestart);
11581                     sv_catpvs(sv, "-");
11582                     put_byte(sv, i - 1);
11583                 }
11584                 do_sep = 1;
11585                 rangestart = -1;
11586             }
11587         }
11588         
11589         EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags);
11590         /* output any special charclass tests (used entirely under use locale) */
11591         if (ANYOF_CLASS_TEST_ANY_SET(o))
11592             for (i = 0; i < (int)(sizeof(anyofs)/sizeof(char*)); i++)
11593                 if (ANYOF_CLASS_TEST(o,i)) {
11594                     sv_catpv(sv, anyofs[i]);
11595                     do_sep = 1;
11596                 }
11597         
11598         EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags);
11599         
11600         if (flags & ANYOF_NON_UTF8_LATIN1_ALL) {
11601             sv_catpvs(sv, "{non-utf8-latin1-all}");
11602         }
11603
11604         /* output information about the unicode matching */
11605         if (flags & ANYOF_UNICODE_ALL)
11606             sv_catpvs(sv, "{unicode_all}");
11607         else if (ANYOF_NONBITMAP(o))
11608             sv_catpvs(sv, "{unicode}");
11609         if (flags & ANYOF_NONBITMAP_NON_UTF8)
11610             sv_catpvs(sv, "{outside bitmap}");
11611
11612         if (ANYOF_NONBITMAP(o)) {
11613             SV *lv;
11614             SV * const sw = regclass_swash(prog, o, FALSE, &lv, 0);
11615         
11616             if (lv) {
11617                 if (sw) {
11618                     U8 s[UTF8_MAXBYTES_CASE+1];
11619
11620                     for (i = 0; i <= 256; i++) { /* just the first 256 */
11621                         uvchr_to_utf8(s, i);
11622                         
11623                         if (i < 256 && swash_fetch(sw, s, TRUE)) {
11624                             if (rangestart == -1)
11625                                 rangestart = i;
11626                         } else if (rangestart != -1) {
11627                             if (i <= rangestart + 3)
11628                                 for (; rangestart < i; rangestart++) {
11629                                     const U8 * const e = uvchr_to_utf8(s,rangestart);
11630                                     U8 *p;
11631                                     for(p = s; p < e; p++)
11632                                         put_byte(sv, *p);
11633                                 }
11634                             else {
11635                                 const U8 *e = uvchr_to_utf8(s,rangestart);
11636                                 U8 *p;
11637                                 for (p = s; p < e; p++)
11638                                     put_byte(sv, *p);
11639                                 sv_catpvs(sv, "-");
11640                                 e = uvchr_to_utf8(s, i-1);
11641                                 for (p = s; p < e; p++)
11642                                     put_byte(sv, *p);
11643                                 }
11644                                 rangestart = -1;
11645                             }
11646                         }
11647                         
11648                     sv_catpvs(sv, "..."); /* et cetera */
11649                 }
11650
11651                 {
11652                     char *s = savesvpv(lv);
11653                     char * const origs = s;
11654                 
11655                     while (*s && *s != '\n')
11656                         s++;
11657                 
11658                     if (*s == '\n') {
11659                         const char * const t = ++s;
11660                         
11661                         while (*s) {
11662                             if (*s == '\n')
11663                                 *s = ' ';
11664                             s++;
11665                         }
11666                         if (s[-1] == ' ')
11667                             s[-1] = 0;
11668                         
11669                         sv_catpv(sv, t);
11670                     }
11671                 
11672                     Safefree(origs);
11673                 }
11674             }
11675         }
11676
11677         Perl_sv_catpvf(aTHX_ sv, "%s]", PL_colors[1]);
11678     }
11679     else if (k == BRANCHJ && (OP(o) == UNLESSM || OP(o) == IFMATCH))
11680         Perl_sv_catpvf(aTHX_ sv, "[%d]", -(o->flags));
11681 #else
11682     PERL_UNUSED_CONTEXT;
11683     PERL_UNUSED_ARG(sv);
11684     PERL_UNUSED_ARG(o);
11685     PERL_UNUSED_ARG(prog);
11686 #endif  /* DEBUGGING */
11687 }
11688
11689 SV *
11690 Perl_re_intuit_string(pTHX_ REGEXP * const r)
11691 {                               /* Assume that RE_INTUIT is set */
11692     dVAR;
11693     struct regexp *const prog = (struct regexp *)SvANY(r);
11694     GET_RE_DEBUG_FLAGS_DECL;
11695
11696     PERL_ARGS_ASSERT_RE_INTUIT_STRING;
11697     PERL_UNUSED_CONTEXT;
11698
11699     DEBUG_COMPILE_r(
11700         {
11701             const char * const s = SvPV_nolen_const(prog->check_substr
11702                       ? prog->check_substr : prog->check_utf8);
11703
11704             if (!PL_colorset) reginitcolors();
11705             PerlIO_printf(Perl_debug_log,
11706                       "%sUsing REx %ssubstr:%s \"%s%.60s%s%s\"\n",
11707                       PL_colors[4],
11708                       prog->check_substr ? "" : "utf8 ",
11709                       PL_colors[5],PL_colors[0],
11710                       s,
11711                       PL_colors[1],
11712                       (strlen(s) > 60 ? "..." : ""));
11713         } );
11714
11715     return prog->check_substr ? prog->check_substr : prog->check_utf8;
11716 }
11717
11718 /* 
11719    pregfree() 
11720    
11721    handles refcounting and freeing the perl core regexp structure. When 
11722    it is necessary to actually free the structure the first thing it 
11723    does is call the 'free' method of the regexp_engine associated to
11724    the regexp, allowing the handling of the void *pprivate; member 
11725    first. (This routine is not overridable by extensions, which is why 
11726    the extensions free is called first.)
11727    
11728    See regdupe and regdupe_internal if you change anything here. 
11729 */
11730 #ifndef PERL_IN_XSUB_RE
11731 void
11732 Perl_pregfree(pTHX_ REGEXP *r)
11733 {
11734     SvREFCNT_dec(r);
11735 }
11736
11737 void
11738 Perl_pregfree2(pTHX_ REGEXP *rx)
11739 {
11740     dVAR;
11741     struct regexp *const r = (struct regexp *)SvANY(rx);
11742     GET_RE_DEBUG_FLAGS_DECL;
11743
11744     PERL_ARGS_ASSERT_PREGFREE2;
11745
11746     if (r->mother_re) {
11747         ReREFCNT_dec(r->mother_re);
11748     } else {
11749         CALLREGFREE_PVT(rx); /* free the private data */
11750         SvREFCNT_dec(RXp_PAREN_NAMES(r));
11751     }        
11752     if (r->substrs) {
11753         SvREFCNT_dec(r->anchored_substr);
11754         SvREFCNT_dec(r->anchored_utf8);
11755         SvREFCNT_dec(r->float_substr);
11756         SvREFCNT_dec(r->float_utf8);
11757         Safefree(r->substrs);
11758     }
11759     RX_MATCH_COPY_FREE(rx);
11760 #ifdef PERL_OLD_COPY_ON_WRITE
11761     SvREFCNT_dec(r->saved_copy);
11762 #endif
11763     Safefree(r->offs);
11764 }
11765
11766 /*  reg_temp_copy()
11767     
11768     This is a hacky workaround to the structural issue of match results
11769     being stored in the regexp structure which is in turn stored in
11770     PL_curpm/PL_reg_curpm. The problem is that due to qr// the pattern
11771     could be PL_curpm in multiple contexts, and could require multiple
11772     result sets being associated with the pattern simultaneously, such
11773     as when doing a recursive match with (??{$qr})
11774     
11775     The solution is to make a lightweight copy of the regexp structure 
11776     when a qr// is returned from the code executed by (??{$qr}) this
11777     lightweight copy doesn't actually own any of its data except for
11778     the starp/end and the actual regexp structure itself. 
11779     
11780 */    
11781     
11782     
11783 REGEXP *
11784 Perl_reg_temp_copy (pTHX_ REGEXP *ret_x, REGEXP *rx)
11785 {
11786     struct regexp *ret;
11787     struct regexp *const r = (struct regexp *)SvANY(rx);
11788     register const I32 npar = r->nparens+1;
11789
11790     PERL_ARGS_ASSERT_REG_TEMP_COPY;
11791
11792     if (!ret_x)
11793         ret_x = (REGEXP*) newSV_type(SVt_REGEXP);
11794     ret = (struct regexp *)SvANY(ret_x);
11795     
11796     (void)ReREFCNT_inc(rx);
11797     /* We can take advantage of the existing "copied buffer" mechanism in SVs
11798        by pointing directly at the buffer, but flagging that the allocated
11799        space in the copy is zero. As we've just done a struct copy, it's now
11800        a case of zero-ing that, rather than copying the current length.  */
11801     SvPV_set(ret_x, RX_WRAPPED(rx));
11802     SvFLAGS(ret_x) |= SvFLAGS(rx) & (SVf_POK|SVp_POK|SVf_UTF8);
11803     memcpy(&(ret->xpv_cur), &(r->xpv_cur),
11804            sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur));
11805     SvLEN_set(ret_x, 0);
11806     SvSTASH_set(ret_x, NULL);
11807     SvMAGIC_set(ret_x, NULL);
11808     Newx(ret->offs, npar, regexp_paren_pair);
11809     Copy(r->offs, ret->offs, npar, regexp_paren_pair);
11810     if (r->substrs) {
11811         Newx(ret->substrs, 1, struct reg_substr_data);
11812         StructCopy(r->substrs, ret->substrs, struct reg_substr_data);
11813
11814         SvREFCNT_inc_void(ret->anchored_substr);
11815         SvREFCNT_inc_void(ret->anchored_utf8);
11816         SvREFCNT_inc_void(ret->float_substr);
11817         SvREFCNT_inc_void(ret->float_utf8);
11818
11819         /* check_substr and check_utf8, if non-NULL, point to either their
11820            anchored or float namesakes, and don't hold a second reference.  */
11821     }
11822     RX_MATCH_COPIED_off(ret_x);
11823 #ifdef PERL_OLD_COPY_ON_WRITE
11824     ret->saved_copy = NULL;
11825 #endif
11826     ret->mother_re = rx;
11827     
11828     return ret_x;
11829 }
11830 #endif
11831
11832 /* regfree_internal() 
11833
11834    Free the private data in a regexp. This is overloadable by 
11835    extensions. Perl takes care of the regexp structure in pregfree(), 
11836    this covers the *pprivate pointer which technically perl doesn't 
11837    know about, however of course we have to handle the 
11838    regexp_internal structure when no extension is in use. 
11839    
11840    Note this is called before freeing anything in the regexp 
11841    structure. 
11842  */
11843  
11844 void
11845 Perl_regfree_internal(pTHX_ REGEXP * const rx)
11846 {
11847     dVAR;
11848     struct regexp *const r = (struct regexp *)SvANY(rx);
11849     RXi_GET_DECL(r,ri);
11850     GET_RE_DEBUG_FLAGS_DECL;
11851
11852     PERL_ARGS_ASSERT_REGFREE_INTERNAL;
11853
11854     DEBUG_COMPILE_r({
11855         if (!PL_colorset)
11856             reginitcolors();
11857         {
11858             SV *dsv= sv_newmortal();
11859             RE_PV_QUOTED_DECL(s, RX_UTF8(rx),
11860                 dsv, RX_PRECOMP(rx), RX_PRELEN(rx), 60);
11861             PerlIO_printf(Perl_debug_log,"%sFreeing REx:%s %s\n", 
11862                 PL_colors[4],PL_colors[5],s);
11863         }
11864     });
11865 #ifdef RE_TRACK_PATTERN_OFFSETS
11866     if (ri->u.offsets)
11867         Safefree(ri->u.offsets);             /* 20010421 MJD */
11868 #endif
11869     if (ri->data) {
11870         int n = ri->data->count;
11871         PAD* new_comppad = NULL;
11872         PAD* old_comppad;
11873         PADOFFSET refcnt;
11874
11875         while (--n >= 0) {
11876           /* If you add a ->what type here, update the comment in regcomp.h */
11877             switch (ri->data->what[n]) {
11878             case 'a':
11879             case 's':
11880             case 'S':
11881             case 'u':
11882                 SvREFCNT_dec(MUTABLE_SV(ri->data->data[n]));
11883                 break;
11884             case 'f':
11885                 Safefree(ri->data->data[n]);
11886                 break;
11887             case 'p':
11888                 new_comppad = MUTABLE_AV(ri->data->data[n]);
11889                 break;
11890             case 'o':
11891                 if (new_comppad == NULL)
11892                     Perl_croak(aTHX_ "panic: pregfree comppad");
11893                 PAD_SAVE_LOCAL(old_comppad,
11894                     /* Watch out for global destruction's random ordering. */
11895                     (SvTYPE(new_comppad) == SVt_PVAV) ? new_comppad : NULL
11896                 );
11897                 OP_REFCNT_LOCK;
11898                 refcnt = OpREFCNT_dec((OP_4tree*)ri->data->data[n]);
11899                 OP_REFCNT_UNLOCK;
11900                 if (!refcnt)
11901                     op_free((OP_4tree*)ri->data->data[n]);
11902
11903                 PAD_RESTORE_LOCAL(old_comppad);
11904                 SvREFCNT_dec(MUTABLE_SV(new_comppad));
11905                 new_comppad = NULL;
11906                 break;
11907             case 'n':
11908                 break;
11909             case 'T':           
11910                 { /* Aho Corasick add-on structure for a trie node.
11911                      Used in stclass optimization only */
11912                     U32 refcount;
11913                     reg_ac_data *aho=(reg_ac_data*)ri->data->data[n];
11914                     OP_REFCNT_LOCK;
11915                     refcount = --aho->refcount;
11916                     OP_REFCNT_UNLOCK;
11917                     if ( !refcount ) {
11918                         PerlMemShared_free(aho->states);
11919                         PerlMemShared_free(aho->fail);
11920                          /* do this last!!!! */
11921                         PerlMemShared_free(ri->data->data[n]);
11922                         PerlMemShared_free(ri->regstclass);
11923                     }
11924                 }
11925                 break;
11926             case 't':
11927                 {
11928                     /* trie structure. */
11929                     U32 refcount;
11930                     reg_trie_data *trie=(reg_trie_data*)ri->data->data[n];
11931                     OP_REFCNT_LOCK;
11932                     refcount = --trie->refcount;
11933                     OP_REFCNT_UNLOCK;
11934                     if ( !refcount ) {
11935                         PerlMemShared_free(trie->charmap);
11936                         PerlMemShared_free(trie->states);
11937                         PerlMemShared_free(trie->trans);
11938                         if (trie->bitmap)
11939                             PerlMemShared_free(trie->bitmap);
11940                         if (trie->jump)
11941                             PerlMemShared_free(trie->jump);
11942                         PerlMemShared_free(trie->wordinfo);
11943                         /* do this last!!!! */
11944                         PerlMemShared_free(ri->data->data[n]);
11945                     }
11946                 }
11947                 break;
11948             default:
11949                 Perl_croak(aTHX_ "panic: regfree data code '%c'", ri->data->what[n]);
11950             }
11951         }
11952         Safefree(ri->data->what);
11953         Safefree(ri->data);
11954     }
11955
11956     Safefree(ri);
11957 }
11958
11959 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
11960 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
11961 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
11962
11963 /* 
11964    re_dup - duplicate a regexp. 
11965    
11966    This routine is expected to clone a given regexp structure. It is only
11967    compiled under USE_ITHREADS.
11968
11969    After all of the core data stored in struct regexp is duplicated
11970    the regexp_engine.dupe method is used to copy any private data
11971    stored in the *pprivate pointer. This allows extensions to handle
11972    any duplication it needs to do.
11973
11974    See pregfree() and regfree_internal() if you change anything here. 
11975 */
11976 #if defined(USE_ITHREADS)
11977 #ifndef PERL_IN_XSUB_RE
11978 void
11979 Perl_re_dup_guts(pTHX_ const REGEXP *sstr, REGEXP *dstr, CLONE_PARAMS *param)
11980 {
11981     dVAR;
11982     I32 npar;
11983     const struct regexp *r = (const struct regexp *)SvANY(sstr);
11984     struct regexp *ret = (struct regexp *)SvANY(dstr);
11985     
11986     PERL_ARGS_ASSERT_RE_DUP_GUTS;
11987
11988     npar = r->nparens+1;
11989     Newx(ret->offs, npar, regexp_paren_pair);
11990     Copy(r->offs, ret->offs, npar, regexp_paren_pair);
11991     if(ret->swap) {
11992         /* no need to copy these */
11993         Newx(ret->swap, npar, regexp_paren_pair);
11994     }
11995
11996     if (ret->substrs) {
11997         /* Do it this way to avoid reading from *r after the StructCopy().
11998            That way, if any of the sv_dup_inc()s dislodge *r from the L1
11999            cache, it doesn't matter.  */
12000         const bool anchored = r->check_substr
12001             ? r->check_substr == r->anchored_substr
12002             : r->check_utf8 == r->anchored_utf8;
12003         Newx(ret->substrs, 1, struct reg_substr_data);
12004         StructCopy(r->substrs, ret->substrs, struct reg_substr_data);
12005
12006         ret->anchored_substr = sv_dup_inc(ret->anchored_substr, param);
12007         ret->anchored_utf8 = sv_dup_inc(ret->anchored_utf8, param);
12008         ret->float_substr = sv_dup_inc(ret->float_substr, param);
12009         ret->float_utf8 = sv_dup_inc(ret->float_utf8, param);
12010
12011         /* check_substr and check_utf8, if non-NULL, point to either their
12012            anchored or float namesakes, and don't hold a second reference.  */
12013
12014         if (ret->check_substr) {
12015             if (anchored) {
12016                 assert(r->check_utf8 == r->anchored_utf8);
12017                 ret->check_substr = ret->anchored_substr;
12018                 ret->check_utf8 = ret->anchored_utf8;
12019             } else {
12020                 assert(r->check_substr == r->float_substr);
12021                 assert(r->check_utf8 == r->float_utf8);
12022                 ret->check_substr = ret->float_substr;
12023                 ret->check_utf8 = ret->float_utf8;
12024             }
12025         } else if (ret->check_utf8) {
12026             if (anchored) {
12027                 ret->check_utf8 = ret->anchored_utf8;
12028             } else {
12029                 ret->check_utf8 = ret->float_utf8;
12030             }
12031         }
12032     }
12033
12034     RXp_PAREN_NAMES(ret) = hv_dup_inc(RXp_PAREN_NAMES(ret), param);
12035
12036     if (ret->pprivate)
12037         RXi_SET(ret,CALLREGDUPE_PVT(dstr,param));
12038
12039     if (RX_MATCH_COPIED(dstr))
12040         ret->subbeg  = SAVEPVN(ret->subbeg, ret->sublen);
12041     else
12042         ret->subbeg = NULL;
12043 #ifdef PERL_OLD_COPY_ON_WRITE
12044     ret->saved_copy = NULL;
12045 #endif
12046
12047     if (ret->mother_re) {
12048         if (SvPVX_const(dstr) == SvPVX_const(ret->mother_re)) {
12049             /* Our storage points directly to our mother regexp, but that's
12050                1: a buffer in a different thread
12051                2: something we no longer hold a reference on
12052                so we need to copy it locally.  */
12053             /* Note we need to sue SvCUR() on our mother_re, because it, in
12054                turn, may well be pointing to its own mother_re.  */
12055             SvPV_set(dstr, SAVEPVN(SvPVX_const(ret->mother_re),
12056                                    SvCUR(ret->mother_re)+1));
12057             SvLEN_set(dstr, SvCUR(ret->mother_re)+1);
12058         }
12059         ret->mother_re      = NULL;
12060     }
12061     ret->gofs = 0;
12062 }
12063 #endif /* PERL_IN_XSUB_RE */
12064
12065 /*
12066    regdupe_internal()
12067    
12068    This is the internal complement to regdupe() which is used to copy
12069    the structure pointed to by the *pprivate pointer in the regexp.
12070    This is the core version of the extension overridable cloning hook.
12071    The regexp structure being duplicated will be copied by perl prior
12072    to this and will be provided as the regexp *r argument, however 
12073    with the /old/ structures pprivate pointer value. Thus this routine
12074    may override any copying normally done by perl.
12075    
12076    It returns a pointer to the new regexp_internal structure.
12077 */
12078
12079 void *
12080 Perl_regdupe_internal(pTHX_ REGEXP * const rx, CLONE_PARAMS *param)
12081 {
12082     dVAR;
12083     struct regexp *const r = (struct regexp *)SvANY(rx);
12084     regexp_internal *reti;
12085     int len;
12086     RXi_GET_DECL(r,ri);
12087
12088     PERL_ARGS_ASSERT_REGDUPE_INTERNAL;
12089     
12090     len = ProgLen(ri);
12091     
12092     Newxc(reti, sizeof(regexp_internal) + len*sizeof(regnode), char, regexp_internal);
12093     Copy(ri->program, reti->program, len+1, regnode);
12094     
12095
12096     reti->regstclass = NULL;
12097
12098     if (ri->data) {
12099         struct reg_data *d;
12100         const int count = ri->data->count;
12101         int i;
12102
12103         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
12104                 char, struct reg_data);
12105         Newx(d->what, count, U8);
12106
12107         d->count = count;
12108         for (i = 0; i < count; i++) {
12109             d->what[i] = ri->data->what[i];
12110             switch (d->what[i]) {
12111                 /* legal options are one of: sSfpontTua
12112                    see also regcomp.h and pregfree() */
12113             case 'a': /* actually an AV, but the dup function is identical.  */
12114             case 's':
12115             case 'S':
12116             case 'p': /* actually an AV, but the dup function is identical.  */
12117             case 'u': /* actually an HV, but the dup function is identical.  */
12118                 d->data[i] = sv_dup_inc((const SV *)ri->data->data[i], param);
12119                 break;
12120             case 'f':
12121                 /* This is cheating. */
12122                 Newx(d->data[i], 1, struct regnode_charclass_class);
12123                 StructCopy(ri->data->data[i], d->data[i],
12124                             struct regnode_charclass_class);
12125                 reti->regstclass = (regnode*)d->data[i];
12126                 break;
12127             case 'o':
12128                 /* Compiled op trees are readonly and in shared memory,
12129                    and can thus be shared without duplication. */
12130                 OP_REFCNT_LOCK;
12131                 d->data[i] = (void*)OpREFCNT_inc((OP*)ri->data->data[i]);
12132                 OP_REFCNT_UNLOCK;
12133                 break;
12134             case 'T':
12135                 /* Trie stclasses are readonly and can thus be shared
12136                  * without duplication. We free the stclass in pregfree
12137                  * when the corresponding reg_ac_data struct is freed.
12138                  */
12139                 reti->regstclass= ri->regstclass;
12140                 /* Fall through */
12141             case 't':
12142                 OP_REFCNT_LOCK;
12143                 ((reg_trie_data*)ri->data->data[i])->refcount++;
12144                 OP_REFCNT_UNLOCK;
12145                 /* Fall through */
12146             case 'n':
12147                 d->data[i] = ri->data->data[i];
12148                 break;
12149             default:
12150                 Perl_croak(aTHX_ "panic: re_dup unknown data code '%c'", ri->data->what[i]);
12151             }
12152         }
12153
12154         reti->data = d;
12155     }
12156     else
12157         reti->data = NULL;
12158
12159     reti->name_list_idx = ri->name_list_idx;
12160
12161 #ifdef RE_TRACK_PATTERN_OFFSETS
12162     if (ri->u.offsets) {
12163         Newx(reti->u.offsets, 2*len+1, U32);
12164         Copy(ri->u.offsets, reti->u.offsets, 2*len+1, U32);
12165     }
12166 #else
12167     SetProgLen(reti,len);
12168 #endif
12169
12170     return (void*)reti;
12171 }
12172
12173 #endif    /* USE_ITHREADS */
12174
12175 #ifndef PERL_IN_XSUB_RE
12176
12177 /*
12178  - regnext - dig the "next" pointer out of a node
12179  */
12180 regnode *
12181 Perl_regnext(pTHX_ register regnode *p)
12182 {
12183     dVAR;
12184     register I32 offset;
12185
12186     if (!p)
12187         return(NULL);
12188
12189     if (OP(p) > REGNODE_MAX) {          /* regnode.type is unsigned */
12190         Perl_croak(aTHX_ "Corrupted regexp opcode %d > %d", (int)OP(p), (int)REGNODE_MAX);
12191     }
12192
12193     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
12194     if (offset == 0)
12195         return(NULL);
12196
12197     return(p+offset);
12198 }
12199 #endif
12200
12201 STATIC void     
12202 S_re_croak2(pTHX_ const char* pat1,const char* pat2,...)
12203 {
12204     va_list args;
12205     STRLEN l1 = strlen(pat1);
12206     STRLEN l2 = strlen(pat2);
12207     char buf[512];
12208     SV *msv;
12209     const char *message;
12210
12211     PERL_ARGS_ASSERT_RE_CROAK2;
12212
12213     if (l1 > 510)
12214         l1 = 510;
12215     if (l1 + l2 > 510)
12216         l2 = 510 - l1;
12217     Copy(pat1, buf, l1 , char);
12218     Copy(pat2, buf + l1, l2 , char);
12219     buf[l1 + l2] = '\n';
12220     buf[l1 + l2 + 1] = '\0';
12221 #ifdef I_STDARG
12222     /* ANSI variant takes additional second argument */
12223     va_start(args, pat2);
12224 #else
12225     va_start(args);
12226 #endif
12227     msv = vmess(buf, &args);
12228     va_end(args);
12229     message = SvPV_const(msv,l1);
12230     if (l1 > 512)
12231         l1 = 512;
12232     Copy(message, buf, l1 , char);
12233     buf[l1-1] = '\0';                   /* Overwrite \n */
12234     Perl_croak(aTHX_ "%s", buf);
12235 }
12236
12237 /* XXX Here's a total kludge.  But we need to re-enter for swash routines. */
12238
12239 #ifndef PERL_IN_XSUB_RE
12240 void
12241 Perl_save_re_context(pTHX)
12242 {
12243     dVAR;
12244
12245     struct re_save_state *state;
12246
12247     SAVEVPTR(PL_curcop);
12248     SSGROW(SAVESTACK_ALLOC_FOR_RE_SAVE_STATE + 1);
12249
12250     state = (struct re_save_state *)(PL_savestack + PL_savestack_ix);
12251     PL_savestack_ix += SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
12252     SSPUSHUV(SAVEt_RE_STATE);
12253
12254     Copy(&PL_reg_state, state, 1, struct re_save_state);
12255
12256     PL_reg_start_tmp = 0;
12257     PL_reg_start_tmpl = 0;
12258     PL_reg_oldsaved = NULL;
12259     PL_reg_oldsavedlen = 0;
12260     PL_reg_maxiter = 0;
12261     PL_reg_leftiter = 0;
12262     PL_reg_poscache = NULL;
12263     PL_reg_poscache_size = 0;
12264 #ifdef PERL_OLD_COPY_ON_WRITE
12265     PL_nrs = NULL;
12266 #endif
12267
12268     /* Save $1..$n (#18107: UTF-8 s/(\w+)/uc($1)/e); AMS 20021106. */
12269     if (PL_curpm) {
12270         const REGEXP * const rx = PM_GETRE(PL_curpm);
12271         if (rx) {
12272             U32 i;
12273             for (i = 1; i <= RX_NPARENS(rx); i++) {
12274                 char digits[TYPE_CHARS(long)];
12275                 const STRLEN len = my_snprintf(digits, sizeof(digits), "%lu", (long)i);
12276                 GV *const *const gvp
12277                     = (GV**)hv_fetch(PL_defstash, digits, len, 0);
12278
12279                 if (gvp) {
12280                     GV * const gv = *gvp;
12281                     if (SvTYPE(gv) == SVt_PVGV && GvSV(gv))
12282                         save_scalar(gv);
12283                 }
12284             }
12285         }
12286     }
12287 }
12288 #endif
12289
12290 static void
12291 clear_re(pTHX_ void *r)
12292 {
12293     dVAR;
12294     ReREFCNT_dec((REGEXP *)r);
12295 }
12296
12297 #ifdef DEBUGGING
12298
12299 STATIC void
12300 S_put_byte(pTHX_ SV *sv, int c)
12301 {
12302     PERL_ARGS_ASSERT_PUT_BYTE;
12303
12304     /* Our definition of isPRINT() ignores locales, so only bytes that are
12305        not part of UTF-8 are considered printable. I assume that the same
12306        holds for UTF-EBCDIC.
12307        Also, code point 255 is not printable in either (it's E0 in EBCDIC,
12308        which Wikipedia says:
12309
12310        EO, or Eight Ones, is an 8-bit EBCDIC character code represented as all
12311        ones (binary 1111 1111, hexadecimal FF). It is similar, but not
12312        identical, to the ASCII delete (DEL) or rubout control character.
12313        ) So the old condition can be simplified to !isPRINT(c)  */
12314     if (!isPRINT(c)) {
12315         if (c < 256) {
12316             Perl_sv_catpvf(aTHX_ sv, "\\x%02x", c);
12317         }
12318         else {
12319             Perl_sv_catpvf(aTHX_ sv, "\\x{%x}", c);
12320         }
12321     }
12322     else {
12323         const char string = c;
12324         if (c == '-' || c == ']' || c == '\\' || c == '^')
12325             sv_catpvs(sv, "\\");
12326         sv_catpvn(sv, &string, 1);
12327     }
12328 }
12329
12330
12331 #define CLEAR_OPTSTART \
12332     if (optstart) STMT_START { \
12333             DEBUG_OPTIMISE_r(PerlIO_printf(Perl_debug_log, " (%"IVdf" nodes)\n", (IV)(node - optstart))); \
12334             optstart=NULL; \
12335     } STMT_END
12336
12337 #define DUMPUNTIL(b,e) CLEAR_OPTSTART; node=dumpuntil(r,start,(b),(e),last,sv,indent+1,depth+1);
12338
12339 STATIC const regnode *
12340 S_dumpuntil(pTHX_ const regexp *r, const regnode *start, const regnode *node,
12341             const regnode *last, const regnode *plast, 
12342             SV* sv, I32 indent, U32 depth)
12343 {
12344     dVAR;
12345     register U8 op = PSEUDO;    /* Arbitrary non-END op. */
12346     register const regnode *next;
12347     const regnode *optstart= NULL;
12348     
12349     RXi_GET_DECL(r,ri);
12350     GET_RE_DEBUG_FLAGS_DECL;
12351
12352     PERL_ARGS_ASSERT_DUMPUNTIL;
12353
12354 #ifdef DEBUG_DUMPUNTIL
12355     PerlIO_printf(Perl_debug_log, "--- %d : %d - %d - %d\n",indent,node-start,
12356         last ? last-start : 0,plast ? plast-start : 0);
12357 #endif
12358             
12359     if (plast && plast < last) 
12360         last= plast;
12361
12362     while (PL_regkind[op] != END && (!last || node < last)) {
12363         /* While that wasn't END last time... */
12364         NODE_ALIGN(node);
12365         op = OP(node);
12366         if (op == CLOSE || op == WHILEM)
12367             indent--;
12368         next = regnext((regnode *)node);
12369
12370         /* Where, what. */
12371         if (OP(node) == OPTIMIZED) {
12372             if (!optstart && RE_DEBUG_FLAG(RE_DEBUG_COMPILE_OPTIMISE))
12373                 optstart = node;
12374             else
12375                 goto after_print;
12376         } else
12377             CLEAR_OPTSTART;
12378         
12379         regprop(r, sv, node);
12380         PerlIO_printf(Perl_debug_log, "%4"IVdf":%*s%s", (IV)(node - start),
12381                       (int)(2*indent + 1), "", SvPVX_const(sv));
12382         
12383         if (OP(node) != OPTIMIZED) {                  
12384             if (next == NULL)           /* Next ptr. */
12385                 PerlIO_printf(Perl_debug_log, " (0)");
12386             else if (PL_regkind[(U8)op] == BRANCH && PL_regkind[OP(next)] != BRANCH )
12387                 PerlIO_printf(Perl_debug_log, " (FAIL)");
12388             else 
12389                 PerlIO_printf(Perl_debug_log, " (%"IVdf")", (IV)(next - start));
12390             (void)PerlIO_putc(Perl_debug_log, '\n'); 
12391         }
12392         
12393       after_print:
12394         if (PL_regkind[(U8)op] == BRANCHJ) {
12395             assert(next);
12396             {
12397                 register const regnode *nnode = (OP(next) == LONGJMP
12398                                              ? regnext((regnode *)next)
12399                                              : next);
12400                 if (last && nnode > last)
12401                     nnode = last;
12402                 DUMPUNTIL(NEXTOPER(NEXTOPER(node)), nnode);
12403             }
12404         }
12405         else if (PL_regkind[(U8)op] == BRANCH) {
12406             assert(next);
12407             DUMPUNTIL(NEXTOPER(node), next);
12408         }
12409         else if ( PL_regkind[(U8)op]  == TRIE ) {
12410             const regnode *this_trie = node;
12411             const char op = OP(node);
12412             const U32 n = ARG(node);
12413             const reg_ac_data * const ac = op>=AHOCORASICK ?
12414                (reg_ac_data *)ri->data->data[n] :
12415                NULL;
12416             const reg_trie_data * const trie =
12417                 (reg_trie_data*)ri->data->data[op<AHOCORASICK ? n : ac->trie];
12418 #ifdef DEBUGGING
12419             AV *const trie_words = MUTABLE_AV(ri->data->data[n + TRIE_WORDS_OFFSET]);
12420 #endif
12421             const regnode *nextbranch= NULL;
12422             I32 word_idx;
12423             sv_setpvs(sv, "");
12424             for (word_idx= 0; word_idx < (I32)trie->wordcount; word_idx++) {
12425                 SV ** const elem_ptr = av_fetch(trie_words,word_idx,0);
12426                 
12427                 PerlIO_printf(Perl_debug_log, "%*s%s ",
12428                    (int)(2*(indent+3)), "",
12429                     elem_ptr ? pv_pretty(sv, SvPV_nolen_const(*elem_ptr), SvCUR(*elem_ptr), 60,
12430                             PL_colors[0], PL_colors[1],
12431                             (SvUTF8(*elem_ptr) ? PERL_PV_ESCAPE_UNI : 0) |
12432                             PERL_PV_PRETTY_ELLIPSES    |
12433                             PERL_PV_PRETTY_LTGT
12434                             )
12435                             : "???"
12436                 );
12437                 if (trie->jump) {
12438                     U16 dist= trie->jump[word_idx+1];
12439                     PerlIO_printf(Perl_debug_log, "(%"UVuf")\n",
12440                                   (UV)((dist ? this_trie + dist : next) - start));
12441                     if (dist) {
12442                         if (!nextbranch)
12443                             nextbranch= this_trie + trie->jump[0];    
12444                         DUMPUNTIL(this_trie + dist, nextbranch);
12445                     }
12446                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
12447                         nextbranch= regnext((regnode *)nextbranch);
12448                 } else {
12449                     PerlIO_printf(Perl_debug_log, "\n");
12450                 }
12451             }
12452             if (last && next > last)
12453                 node= last;
12454             else
12455                 node= next;
12456         }
12457         else if ( op == CURLY ) {   /* "next" might be very big: optimizer */
12458             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS,
12459                     NEXTOPER(node) + EXTRA_STEP_2ARGS + 1);
12460         }
12461         else if (PL_regkind[(U8)op] == CURLY && op != CURLYX) {
12462             assert(next);
12463             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS, next);
12464         }
12465         else if ( op == PLUS || op == STAR) {
12466             DUMPUNTIL(NEXTOPER(node), NEXTOPER(node) + 1);
12467         }
12468         else if (PL_regkind[(U8)op] == ANYOF) {
12469             /* arglen 1 + class block */
12470             node += 1 + ((ANYOF_FLAGS(node) & ANYOF_CLASS)
12471                     ? ANYOF_CLASS_SKIP : ANYOF_SKIP);
12472             node = NEXTOPER(node);
12473         }
12474         else if (PL_regkind[(U8)op] == EXACT) {
12475             /* Literal string, where present. */
12476             node += NODE_SZ_STR(node) - 1;
12477             node = NEXTOPER(node);
12478         }
12479         else {
12480             node = NEXTOPER(node);
12481             node += regarglen[(U8)op];
12482         }
12483         if (op == CURLYX || op == OPEN)
12484             indent++;
12485     }
12486     CLEAR_OPTSTART;
12487 #ifdef DEBUG_DUMPUNTIL    
12488     PerlIO_printf(Perl_debug_log, "--- %d\n", (int)indent);
12489 #endif
12490     return node;
12491 }
12492
12493 #endif  /* DEBUGGING */
12494
12495 /*
12496  * Local variables:
12497  * c-indentation-style: bsd
12498  * c-basic-offset: 4
12499  * indent-tabs-mode: t
12500  * End:
12501  *
12502  * ex: set ts=8 sts=4 sw=4 noet:
12503  */