]> git.vpit.fr Git - perl/modules/re-engine-Hooks.git/blob - regcomp.c
1410c21ba13381330d69f20c07119f1d83ed1849
[perl/modules/re-engine-Hooks.git] / regcomp.c
1 /*    regcomp.c
2  */
3
4 /*
5  * 'A fair jaw-cracker dwarf-language must be.'            --Samwise Gamgee
6  *
7  *     [p.285 of _The Lord of the Rings_, II/iii: "The Ring Goes South"]
8  */
9
10 /* This file contains functions for compiling a regular expression.  See
11  * also regexec.c which funnily enough, contains functions for executing
12  * a regular expression.
13  *
14  * This file is also copied at build time to ext/re/re_comp.c, where
15  * it's built with -DPERL_EXT_RE_BUILD -DPERL_EXT_RE_DEBUG -DPERL_EXT.
16  * This causes the main functions to be compiled under new names and with
17  * debugging support added, which makes "use re 'debug'" work.
18  */
19
20 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
21  * confused with the original package (see point 3 below).  Thanks, Henry!
22  */
23
24 /* Additional note: this code is very heavily munged from Henry's version
25  * in places.  In some spots I've traded clarity for efficiency, so don't
26  * blame Henry for some of the lack of readability.
27  */
28
29 /* The names of the functions have been changed from regcomp and
30  * regexec to pregcomp and pregexec in order to avoid conflicts
31  * with the POSIX routines of the same names.
32 */
33
34 #ifdef PERL_EXT_RE_BUILD
35 #include "re_top.h"
36 #endif
37
38 /*
39  * pregcomp and pregexec -- regsub and regerror are not used in perl
40  *
41  *      Copyright (c) 1986 by University of Toronto.
42  *      Written by Henry Spencer.  Not derived from licensed software.
43  *
44  *      Permission is granted to anyone to use this software for any
45  *      purpose on any computer system, and to redistribute it freely,
46  *      subject to the following restrictions:
47  *
48  *      1. The author is not responsible for the consequences of use of
49  *              this software, no matter how awful, even if they arise
50  *              from defects in it.
51  *
52  *      2. The origin of this software must not be misrepresented, either
53  *              by explicit claim or by omission.
54  *
55  *      3. Altered versions must be plainly marked as such, and must not
56  *              be misrepresented as being the original software.
57  *
58  *
59  ****    Alterations to Henry's code are...
60  ****
61  ****    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
62  ****    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008
63  ****    by Larry Wall and others
64  ****
65  ****    You may distribute under the terms of either the GNU General Public
66  ****    License or the Artistic License, as specified in the README file.
67
68  *
69  * Beware that some of this code is subtly aware of the way operator
70  * precedence is structured in regular expressions.  Serious changes in
71  * regular-expression syntax might require a total rethink.
72  */
73 #include "EXTERN.h"
74 #define PERL_IN_REGCOMP_C
75 #include "perl.h"
76
77 #ifndef PERL_IN_XSUB_RE
78 #include "re_defs.h"
79 #endif
80
81 #define REG_COMP_C
82 #ifdef PERL_IN_XSUB_RE
83 #  include "re_comp.h"
84 #else
85 #  include "regcomp.h"
86 #endif
87
88 #include "dquote_static.c"
89
90 #ifdef op
91 #undef op
92 #endif /* op */
93
94 #ifdef MSDOS
95 #  if defined(BUGGY_MSC6)
96  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
97 #    pragma optimize("a",off)
98  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
99 #    pragma optimize("w",on )
100 #  endif /* BUGGY_MSC6 */
101 #endif /* MSDOS */
102
103 #ifndef STATIC
104 #define STATIC  static
105 #endif
106
107 typedef struct RExC_state_t {
108     U32         flags;                  /* are we folding, multilining? */
109     char        *precomp;               /* uncompiled string. */
110     REGEXP      *rx_sv;                 /* The SV that is the regexp. */
111     regexp      *rx;                    /* perl core regexp structure */
112     regexp_internal     *rxi;           /* internal data for regexp object pprivate field */        
113     char        *start;                 /* Start of input for compile */
114     char        *end;                   /* End of input for compile */
115     char        *parse;                 /* Input-scan pointer. */
116     I32         whilem_seen;            /* number of WHILEM in this expr */
117     regnode     *emit_start;            /* Start of emitted-code area */
118     regnode     *emit_bound;            /* First regnode outside of the allocated space */
119     regnode     *emit;                  /* Code-emit pointer; &regdummy = don't = compiling */
120     I32         naughty;                /* How bad is this pattern? */
121     I32         sawback;                /* Did we see \1, ...? */
122     U32         seen;
123     I32         size;                   /* Code size. */
124     I32         npar;                   /* Capture buffer count, (OPEN). */
125     I32         cpar;                   /* Capture buffer count, (CLOSE). */
126     I32         nestroot;               /* root parens we are in - used by accept */
127     I32         extralen;
128     I32         seen_zerolen;
129     I32         seen_evals;
130     regnode     **open_parens;          /* pointers to open parens */
131     regnode     **close_parens;         /* pointers to close parens */
132     regnode     *opend;                 /* END node in program */
133     I32         utf8;           /* whether the pattern is utf8 or not */
134     I32         orig_utf8;      /* whether the pattern was originally in utf8 */
135                                 /* XXX use this for future optimisation of case
136                                  * where pattern must be upgraded to utf8. */
137     I32         uni_semantics;  /* If a d charset modifier should use unicode
138                                    rules, even if the pattern is not in
139                                    utf8 */
140     HV          *paren_names;           /* Paren names */
141     
142     regnode     **recurse;              /* Recurse regops */
143     I32         recurse_count;          /* Number of recurse regops */
144     I32         in_lookbehind;
145     I32         contains_locale;
146     I32         override_recoding;
147 #if ADD_TO_REGEXEC
148     char        *starttry;              /* -Dr: where regtry was called. */
149 #define RExC_starttry   (pRExC_state->starttry)
150 #endif
151 #ifdef DEBUGGING
152     const char  *lastparse;
153     I32         lastnum;
154     AV          *paren_name_list;       /* idx -> name */
155 #define RExC_lastparse  (pRExC_state->lastparse)
156 #define RExC_lastnum    (pRExC_state->lastnum)
157 #define RExC_paren_name_list    (pRExC_state->paren_name_list)
158 #endif
159 } RExC_state_t;
160
161 #define RExC_flags      (pRExC_state->flags)
162 #define RExC_precomp    (pRExC_state->precomp)
163 #define RExC_rx_sv      (pRExC_state->rx_sv)
164 #define RExC_rx         (pRExC_state->rx)
165 #define RExC_rxi        (pRExC_state->rxi)
166 #define RExC_start      (pRExC_state->start)
167 #define RExC_end        (pRExC_state->end)
168 #define RExC_parse      (pRExC_state->parse)
169 #define RExC_whilem_seen        (pRExC_state->whilem_seen)
170 #ifdef RE_TRACK_PATTERN_OFFSETS
171 #define RExC_offsets    (pRExC_state->rxi->u.offsets) /* I am not like the others */
172 #endif
173 #define RExC_emit       (pRExC_state->emit)
174 #define RExC_emit_start (pRExC_state->emit_start)
175 #define RExC_emit_bound (pRExC_state->emit_bound)
176 #define RExC_naughty    (pRExC_state->naughty)
177 #define RExC_sawback    (pRExC_state->sawback)
178 #define RExC_seen       (pRExC_state->seen)
179 #define RExC_size       (pRExC_state->size)
180 #define RExC_npar       (pRExC_state->npar)
181 #define RExC_nestroot   (pRExC_state->nestroot)
182 #define RExC_extralen   (pRExC_state->extralen)
183 #define RExC_seen_zerolen       (pRExC_state->seen_zerolen)
184 #define RExC_seen_evals (pRExC_state->seen_evals)
185 #define RExC_utf8       (pRExC_state->utf8)
186 #define RExC_uni_semantics      (pRExC_state->uni_semantics)
187 #define RExC_orig_utf8  (pRExC_state->orig_utf8)
188 #define RExC_open_parens        (pRExC_state->open_parens)
189 #define RExC_close_parens       (pRExC_state->close_parens)
190 #define RExC_opend      (pRExC_state->opend)
191 #define RExC_paren_names        (pRExC_state->paren_names)
192 #define RExC_recurse    (pRExC_state->recurse)
193 #define RExC_recurse_count      (pRExC_state->recurse_count)
194 #define RExC_in_lookbehind      (pRExC_state->in_lookbehind)
195 #define RExC_contains_locale    (pRExC_state->contains_locale)
196 #define RExC_override_recoding  (pRExC_state->override_recoding)
197
198
199 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
200 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
201         ((*s) == '{' && regcurly(s)))
202
203 #ifdef SPSTART
204 #undef SPSTART          /* dratted cpp namespace... */
205 #endif
206 /*
207  * Flags to be passed up and down.
208  */
209 #define WORST           0       /* Worst case. */
210 #define HASWIDTH        0x01    /* Known to match non-null strings. */
211
212 /* Simple enough to be STAR/PLUS operand, in an EXACT node must be a single
213  * character, and if utf8, must be invariant.  Note that this is not the same thing as REGNODE_SIMPLE */
214 #define SIMPLE          0x02
215 #define SPSTART         0x04    /* Starts with * or +. */
216 #define TRYAGAIN        0x08    /* Weeded out a declaration. */
217 #define POSTPONED       0x10    /* (?1),(?&name), (??{...}) or similar */
218
219 #define REG_NODE_NUM(x) ((x) ? (int)((x)-RExC_emit_start) : -1)
220
221 /* whether trie related optimizations are enabled */
222 #if PERL_ENABLE_EXTENDED_TRIE_OPTIMISATION
223 #define TRIE_STUDY_OPT
224 #define FULL_TRIE_STUDY
225 #define TRIE_STCLASS
226 #endif
227
228
229
230 #define PBYTE(u8str,paren) ((U8*)(u8str))[(paren) >> 3]
231 #define PBITVAL(paren) (1 << ((paren) & 7))
232 #define PAREN_TEST(u8str,paren) ( PBYTE(u8str,paren) & PBITVAL(paren))
233 #define PAREN_SET(u8str,paren) PBYTE(u8str,paren) |= PBITVAL(paren)
234 #define PAREN_UNSET(u8str,paren) PBYTE(u8str,paren) &= (~PBITVAL(paren))
235
236 /* If not already in utf8, do a longjmp back to the beginning */
237 #define UTF8_LONGJMP 42 /* Choose a value not likely to ever conflict */
238 #define REQUIRE_UTF8    STMT_START {                                       \
239                                      if (! UTF) JMPENV_JUMP(UTF8_LONGJMP); \
240                         } STMT_END
241
242 /* About scan_data_t.
243
244   During optimisation we recurse through the regexp program performing
245   various inplace (keyhole style) optimisations. In addition study_chunk
246   and scan_commit populate this data structure with information about
247   what strings MUST appear in the pattern. We look for the longest 
248   string that must appear at a fixed location, and we look for the
249   longest string that may appear at a floating location. So for instance
250   in the pattern:
251   
252     /FOO[xX]A.*B[xX]BAR/
253     
254   Both 'FOO' and 'A' are fixed strings. Both 'B' and 'BAR' are floating
255   strings (because they follow a .* construct). study_chunk will identify
256   both FOO and BAR as being the longest fixed and floating strings respectively.
257   
258   The strings can be composites, for instance
259   
260      /(f)(o)(o)/
261      
262   will result in a composite fixed substring 'foo'.
263   
264   For each string some basic information is maintained:
265   
266   - offset or min_offset
267     This is the position the string must appear at, or not before.
268     It also implicitly (when combined with minlenp) tells us how many
269     characters must match before the string we are searching for.
270     Likewise when combined with minlenp and the length of the string it
271     tells us how many characters must appear after the string we have 
272     found.
273   
274   - max_offset
275     Only used for floating strings. This is the rightmost point that
276     the string can appear at. If set to I32 max it indicates that the
277     string can occur infinitely far to the right.
278   
279   - minlenp
280     A pointer to the minimum length of the pattern that the string 
281     was found inside. This is important as in the case of positive 
282     lookahead or positive lookbehind we can have multiple patterns 
283     involved. Consider
284     
285     /(?=FOO).*F/
286     
287     The minimum length of the pattern overall is 3, the minimum length
288     of the lookahead part is 3, but the minimum length of the part that
289     will actually match is 1. So 'FOO's minimum length is 3, but the 
290     minimum length for the F is 1. This is important as the minimum length
291     is used to determine offsets in front of and behind the string being 
292     looked for.  Since strings can be composites this is the length of the
293     pattern at the time it was committed with a scan_commit. Note that
294     the length is calculated by study_chunk, so that the minimum lengths
295     are not known until the full pattern has been compiled, thus the 
296     pointer to the value.
297   
298   - lookbehind
299   
300     In the case of lookbehind the string being searched for can be
301     offset past the start point of the final matching string. 
302     If this value was just blithely removed from the min_offset it would
303     invalidate some of the calculations for how many chars must match
304     before or after (as they are derived from min_offset and minlen and
305     the length of the string being searched for). 
306     When the final pattern is compiled and the data is moved from the
307     scan_data_t structure into the regexp structure the information
308     about lookbehind is factored in, with the information that would 
309     have been lost precalculated in the end_shift field for the 
310     associated string.
311
312   The fields pos_min and pos_delta are used to store the minimum offset
313   and the delta to the maximum offset at the current point in the pattern.    
314
315 */
316
317 typedef struct scan_data_t {
318     /*I32 len_min;      unused */
319     /*I32 len_delta;    unused */
320     I32 pos_min;
321     I32 pos_delta;
322     SV *last_found;
323     I32 last_end;           /* min value, <0 unless valid. */
324     I32 last_start_min;
325     I32 last_start_max;
326     SV **longest;           /* Either &l_fixed, or &l_float. */
327     SV *longest_fixed;      /* longest fixed string found in pattern */
328     I32 offset_fixed;       /* offset where it starts */
329     I32 *minlen_fixed;      /* pointer to the minlen relevant to the string */
330     I32 lookbehind_fixed;   /* is the position of the string modfied by LB */
331     SV *longest_float;      /* longest floating string found in pattern */
332     I32 offset_float_min;   /* earliest point in string it can appear */
333     I32 offset_float_max;   /* latest point in string it can appear */
334     I32 *minlen_float;      /* pointer to the minlen relevant to the string */
335     I32 lookbehind_float;   /* is the position of the string modified by LB */
336     I32 flags;
337     I32 whilem_c;
338     I32 *last_closep;
339     struct regnode_charclass_class *start_class;
340 } scan_data_t;
341
342 /*
343  * Forward declarations for pregcomp()'s friends.
344  */
345
346 static const scan_data_t zero_scan_data =
347   { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ,0};
348
349 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
350 #define SF_BEFORE_SEOL          0x0001
351 #define SF_BEFORE_MEOL          0x0002
352 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
353 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
354
355 #ifdef NO_UNARY_PLUS
356 #  define SF_FIX_SHIFT_EOL      (0+2)
357 #  define SF_FL_SHIFT_EOL               (0+4)
358 #else
359 #  define SF_FIX_SHIFT_EOL      (+2)
360 #  define SF_FL_SHIFT_EOL               (+4)
361 #endif
362
363 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
364 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
365
366 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
367 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
368 #define SF_IS_INF               0x0040
369 #define SF_HAS_PAR              0x0080
370 #define SF_IN_PAR               0x0100
371 #define SF_HAS_EVAL             0x0200
372 #define SCF_DO_SUBSTR           0x0400
373 #define SCF_DO_STCLASS_AND      0x0800
374 #define SCF_DO_STCLASS_OR       0x1000
375 #define SCF_DO_STCLASS          (SCF_DO_STCLASS_AND|SCF_DO_STCLASS_OR)
376 #define SCF_WHILEM_VISITED_POS  0x2000
377
378 #define SCF_TRIE_RESTUDY        0x4000 /* Do restudy? */
379 #define SCF_SEEN_ACCEPT         0x8000 
380
381 #define UTF cBOOL(RExC_utf8)
382 #define LOC (get_regex_charset(RExC_flags) == REGEX_LOCALE_CHARSET)
383 #define UNI_SEMANTICS (get_regex_charset(RExC_flags) == REGEX_UNICODE_CHARSET)
384 #define DEPENDS_SEMANTICS (get_regex_charset(RExC_flags) == REGEX_DEPENDS_CHARSET)
385 #define AT_LEAST_UNI_SEMANTICS (get_regex_charset(RExC_flags) >= REGEX_UNICODE_CHARSET)
386 #define ASCII_RESTRICTED (get_regex_charset(RExC_flags) == REGEX_ASCII_RESTRICTED_CHARSET)
387 #define MORE_ASCII_RESTRICTED (get_regex_charset(RExC_flags) == REGEX_ASCII_MORE_RESTRICTED_CHARSET)
388 #define AT_LEAST_ASCII_RESTRICTED (get_regex_charset(RExC_flags) >= REGEX_ASCII_RESTRICTED_CHARSET)
389
390 #define FOLD cBOOL(RExC_flags & RXf_PMf_FOLD)
391
392 #define OOB_UNICODE             12345678
393 #define OOB_NAMEDCLASS          -1
394
395 #define CHR_SVLEN(sv) (UTF ? sv_len_utf8(sv) : SvCUR(sv))
396 #define CHR_DIST(a,b) (UTF ? utf8_distance(a,b) : a - b)
397
398
399 /* length of regex to show in messages that don't mark a position within */
400 #define RegexLengthToShowInErrorMessages 127
401
402 /*
403  * If MARKER[12] are adjusted, be sure to adjust the constants at the top
404  * of t/op/regmesg.t, the tests in t/op/re_tests, and those in
405  * op/pragma/warn/regcomp.
406  */
407 #define MARKER1 "<-- HERE"    /* marker as it appears in the description */
408 #define MARKER2 " <-- HERE "  /* marker as it appears within the regex */
409
410 #define REPORT_LOCATION " in regex; marked by " MARKER1 " in m/%.*s" MARKER2 "%s/"
411
412 /*
413  * Calls SAVEDESTRUCTOR_X if needed, then calls Perl_croak with the given
414  * arg. Show regex, up to a maximum length. If it's too long, chop and add
415  * "...".
416  */
417 #define _FAIL(code) STMT_START {                                        \
418     const char *ellipses = "";                                          \
419     IV len = RExC_end - RExC_precomp;                                   \
420                                                                         \
421     if (!SIZE_ONLY)                                                     \
422         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);                   \
423     if (len > RegexLengthToShowInErrorMessages) {                       \
424         /* chop 10 shorter than the max, to ensure meaning of "..." */  \
425         len = RegexLengthToShowInErrorMessages - 10;                    \
426         ellipses = "...";                                               \
427     }                                                                   \
428     code;                                                               \
429 } STMT_END
430
431 #define FAIL(msg) _FAIL(                            \
432     Perl_croak(aTHX_ "%s in regex m/%.*s%s/",       \
433             msg, (int)len, RExC_precomp, ellipses))
434
435 #define FAIL2(msg,arg) _FAIL(                       \
436     Perl_croak(aTHX_ msg " in regex m/%.*s%s/",     \
437             arg, (int)len, RExC_precomp, ellipses))
438
439 /*
440  * Simple_vFAIL -- like FAIL, but marks the current location in the scan
441  */
442 #define Simple_vFAIL(m) STMT_START {                                    \
443     const IV offset = RExC_parse - RExC_precomp;                        \
444     Perl_croak(aTHX_ "%s" REPORT_LOCATION,                              \
445             m, (int)offset, RExC_precomp, RExC_precomp + offset);       \
446 } STMT_END
447
448 /*
449  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL()
450  */
451 #define vFAIL(m) STMT_START {                           \
452     if (!SIZE_ONLY)                                     \
453         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
454     Simple_vFAIL(m);                                    \
455 } STMT_END
456
457 /*
458  * Like Simple_vFAIL(), but accepts two arguments.
459  */
460 #define Simple_vFAIL2(m,a1) STMT_START {                        \
461     const IV offset = RExC_parse - RExC_precomp;                        \
462     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1,                   \
463             (int)offset, RExC_precomp, RExC_precomp + offset);  \
464 } STMT_END
465
466 /*
467  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL2().
468  */
469 #define vFAIL2(m,a1) STMT_START {                       \
470     if (!SIZE_ONLY)                                     \
471         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
472     Simple_vFAIL2(m, a1);                               \
473 } STMT_END
474
475
476 /*
477  * Like Simple_vFAIL(), but accepts three arguments.
478  */
479 #define Simple_vFAIL3(m, a1, a2) STMT_START {                   \
480     const IV offset = RExC_parse - RExC_precomp;                \
481     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1, a2,               \
482             (int)offset, RExC_precomp, RExC_precomp + offset);  \
483 } STMT_END
484
485 /*
486  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL3().
487  */
488 #define vFAIL3(m,a1,a2) STMT_START {                    \
489     if (!SIZE_ONLY)                                     \
490         SAVEDESTRUCTOR_X(clear_re,(void*)RExC_rx_sv);   \
491     Simple_vFAIL3(m, a1, a2);                           \
492 } STMT_END
493
494 /*
495  * Like Simple_vFAIL(), but accepts four arguments.
496  */
497 #define Simple_vFAIL4(m, a1, a2, a3) STMT_START {               \
498     const IV offset = RExC_parse - RExC_precomp;                \
499     S_re_croak2(aTHX_ m, REPORT_LOCATION, a1, a2, a3,           \
500             (int)offset, RExC_precomp, RExC_precomp + offset);  \
501 } STMT_END
502
503 #define ckWARNreg(loc,m) STMT_START {                                   \
504     const IV offset = loc - RExC_precomp;                               \
505     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
506             (int)offset, RExC_precomp, RExC_precomp + offset);          \
507 } STMT_END
508
509 #define ckWARNregdep(loc,m) STMT_START {                                \
510     const IV offset = loc - RExC_precomp;                               \
511     Perl_ck_warner_d(aTHX_ packWARN2(WARN_DEPRECATED, WARN_REGEXP),     \
512             m REPORT_LOCATION,                                          \
513             (int)offset, RExC_precomp, RExC_precomp + offset);          \
514 } STMT_END
515
516 #define ckWARN2regdep(loc,m, a1) STMT_START {                           \
517     const IV offset = loc - RExC_precomp;                               \
518     Perl_ck_warner_d(aTHX_ packWARN2(WARN_DEPRECATED, WARN_REGEXP),     \
519             m REPORT_LOCATION,                                          \
520             a1, (int)offset, RExC_precomp, RExC_precomp + offset);      \
521 } STMT_END
522
523 #define ckWARN2reg(loc, m, a1) STMT_START {                             \
524     const IV offset = loc - RExC_precomp;                               \
525     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
526             a1, (int)offset, RExC_precomp, RExC_precomp + offset);      \
527 } STMT_END
528
529 #define vWARN3(loc, m, a1, a2) STMT_START {                             \
530     const IV offset = loc - RExC_precomp;                               \
531     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
532             a1, a2, (int)offset, RExC_precomp, RExC_precomp + offset);  \
533 } STMT_END
534
535 #define ckWARN3reg(loc, m, a1, a2) STMT_START {                         \
536     const IV offset = loc - RExC_precomp;                               \
537     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
538             a1, a2, (int)offset, RExC_precomp, RExC_precomp + offset);  \
539 } STMT_END
540
541 #define vWARN4(loc, m, a1, a2, a3) STMT_START {                         \
542     const IV offset = loc - RExC_precomp;                               \
543     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
544             a1, a2, a3, (int)offset, RExC_precomp, RExC_precomp + offset); \
545 } STMT_END
546
547 #define ckWARN4reg(loc, m, a1, a2, a3) STMT_START {                     \
548     const IV offset = loc - RExC_precomp;                               \
549     Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,      \
550             a1, a2, a3, (int)offset, RExC_precomp, RExC_precomp + offset); \
551 } STMT_END
552
553 #define vWARN5(loc, m, a1, a2, a3, a4) STMT_START {                     \
554     const IV offset = loc - RExC_precomp;                               \
555     Perl_warner(aTHX_ packWARN(WARN_REGEXP), m REPORT_LOCATION,         \
556             a1, a2, a3, a4, (int)offset, RExC_precomp, RExC_precomp + offset); \
557 } STMT_END
558
559
560 /* Allow for side effects in s */
561 #define REGC(c,s) STMT_START {                  \
562     if (!SIZE_ONLY) *(s) = (c); else (void)(s); \
563 } STMT_END
564
565 /* Macros for recording node offsets.   20001227 mjd@plover.com 
566  * Nodes are numbered 1, 2, 3, 4.  Node #n's position is recorded in
567  * element 2*n-1 of the array.  Element #2n holds the byte length node #n.
568  * Element 0 holds the number n.
569  * Position is 1 indexed.
570  */
571 #ifndef RE_TRACK_PATTERN_OFFSETS
572 #define Set_Node_Offset_To_R(node,byte)
573 #define Set_Node_Offset(node,byte)
574 #define Set_Cur_Node_Offset
575 #define Set_Node_Length_To_R(node,len)
576 #define Set_Node_Length(node,len)
577 #define Set_Node_Cur_Length(node)
578 #define Node_Offset(n) 
579 #define Node_Length(n) 
580 #define Set_Node_Offset_Length(node,offset,len)
581 #define ProgLen(ri) ri->u.proglen
582 #define SetProgLen(ri,x) ri->u.proglen = x
583 #else
584 #define ProgLen(ri) ri->u.offsets[0]
585 #define SetProgLen(ri,x) ri->u.offsets[0] = x
586 #define Set_Node_Offset_To_R(node,byte) STMT_START {                    \
587     if (! SIZE_ONLY) {                                                  \
588         MJD_OFFSET_DEBUG(("** (%d) offset of node %d is %d.\n",         \
589                     __LINE__, (int)(node), (int)(byte)));               \
590         if((node) < 0) {                                                \
591             Perl_croak(aTHX_ "value of node is %d in Offset macro", (int)(node)); \
592         } else {                                                        \
593             RExC_offsets[2*(node)-1] = (byte);                          \
594         }                                                               \
595     }                                                                   \
596 } STMT_END
597
598 #define Set_Node_Offset(node,byte) \
599     Set_Node_Offset_To_R((node)-RExC_emit_start, (byte)-RExC_start)
600 #define Set_Cur_Node_Offset Set_Node_Offset(RExC_emit, RExC_parse)
601
602 #define Set_Node_Length_To_R(node,len) STMT_START {                     \
603     if (! SIZE_ONLY) {                                                  \
604         MJD_OFFSET_DEBUG(("** (%d) size of node %d is %d.\n",           \
605                 __LINE__, (int)(node), (int)(len)));                    \
606         if((node) < 0) {                                                \
607             Perl_croak(aTHX_ "value of node is %d in Length macro", (int)(node)); \
608         } else {                                                        \
609             RExC_offsets[2*(node)] = (len);                             \
610         }                                                               \
611     }                                                                   \
612 } STMT_END
613
614 #define Set_Node_Length(node,len) \
615     Set_Node_Length_To_R((node)-RExC_emit_start, len)
616 #define Set_Cur_Node_Length(len) Set_Node_Length(RExC_emit, len)
617 #define Set_Node_Cur_Length(node) \
618     Set_Node_Length(node, RExC_parse - parse_start)
619
620 /* Get offsets and lengths */
621 #define Node_Offset(n) (RExC_offsets[2*((n)-RExC_emit_start)-1])
622 #define Node_Length(n) (RExC_offsets[2*((n)-RExC_emit_start)])
623
624 #define Set_Node_Offset_Length(node,offset,len) STMT_START {    \
625     Set_Node_Offset_To_R((node)-RExC_emit_start, (offset));     \
626     Set_Node_Length_To_R((node)-RExC_emit_start, (len));        \
627 } STMT_END
628 #endif
629
630 #if PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS
631 #define EXPERIMENTAL_INPLACESCAN
632 #endif /*PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS*/
633
634 #define DEBUG_STUDYDATA(str,data,depth)                              \
635 DEBUG_OPTIMISE_MORE_r(if(data){                                      \
636     PerlIO_printf(Perl_debug_log,                                    \
637         "%*s" str "Pos:%"IVdf"/%"IVdf                                \
638         " Flags: 0x%"UVXf" Whilem_c: %"IVdf" Lcp: %"IVdf" %s",       \
639         (int)(depth)*2, "",                                          \
640         (IV)((data)->pos_min),                                       \
641         (IV)((data)->pos_delta),                                     \
642         (UV)((data)->flags),                                         \
643         (IV)((data)->whilem_c),                                      \
644         (IV)((data)->last_closep ? *((data)->last_closep) : -1),     \
645         is_inf ? "INF " : ""                                         \
646     );                                                               \
647     if ((data)->last_found)                                          \
648         PerlIO_printf(Perl_debug_log,                                \
649             "Last:'%s' %"IVdf":%"IVdf"/%"IVdf" %sFixed:'%s' @ %"IVdf \
650             " %sFloat: '%s' @ %"IVdf"/%"IVdf"",                      \
651             SvPVX_const((data)->last_found),                         \
652             (IV)((data)->last_end),                                  \
653             (IV)((data)->last_start_min),                            \
654             (IV)((data)->last_start_max),                            \
655             ((data)->longest &&                                      \
656              (data)->longest==&((data)->longest_fixed)) ? "*" : "",  \
657             SvPVX_const((data)->longest_fixed),                      \
658             (IV)((data)->offset_fixed),                              \
659             ((data)->longest &&                                      \
660              (data)->longest==&((data)->longest_float)) ? "*" : "",  \
661             SvPVX_const((data)->longest_float),                      \
662             (IV)((data)->offset_float_min),                          \
663             (IV)((data)->offset_float_max)                           \
664         );                                                           \
665     PerlIO_printf(Perl_debug_log,"\n");                              \
666 });
667
668 static void clear_re(pTHX_ void *r);
669
670 /* Mark that we cannot extend a found fixed substring at this point.
671    Update the longest found anchored substring and the longest found
672    floating substrings if needed. */
673
674 STATIC void
675 S_scan_commit(pTHX_ const RExC_state_t *pRExC_state, scan_data_t *data, I32 *minlenp, int is_inf)
676 {
677     const STRLEN l = CHR_SVLEN(data->last_found);
678     const STRLEN old_l = CHR_SVLEN(*data->longest);
679     GET_RE_DEBUG_FLAGS_DECL;
680
681     PERL_ARGS_ASSERT_SCAN_COMMIT;
682
683     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
684         SvSetMagicSV(*data->longest, data->last_found);
685         if (*data->longest == data->longest_fixed) {
686             data->offset_fixed = l ? data->last_start_min : data->pos_min;
687             if (data->flags & SF_BEFORE_EOL)
688                 data->flags
689                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
690             else
691                 data->flags &= ~SF_FIX_BEFORE_EOL;
692             data->minlen_fixed=minlenp; 
693             data->lookbehind_fixed=0;
694         }
695         else { /* *data->longest == data->longest_float */
696             data->offset_float_min = l ? data->last_start_min : data->pos_min;
697             data->offset_float_max = (l
698                                       ? data->last_start_max
699                                       : data->pos_min + data->pos_delta);
700             if (is_inf || (U32)data->offset_float_max > (U32)I32_MAX)
701                 data->offset_float_max = I32_MAX;
702             if (data->flags & SF_BEFORE_EOL)
703                 data->flags
704                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
705             else
706                 data->flags &= ~SF_FL_BEFORE_EOL;
707             data->minlen_float=minlenp;
708             data->lookbehind_float=0;
709         }
710     }
711     SvCUR_set(data->last_found, 0);
712     {
713         SV * const sv = data->last_found;
714         if (SvUTF8(sv) && SvMAGICAL(sv)) {
715             MAGIC * const mg = mg_find(sv, PERL_MAGIC_utf8);
716             if (mg)
717                 mg->mg_len = 0;
718         }
719     }
720     data->last_end = -1;
721     data->flags &= ~SF_BEFORE_EOL;
722     DEBUG_STUDYDATA("commit: ",data,0);
723 }
724
725 /* Can match anything (initialization) */
726 STATIC void
727 S_cl_anything(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl)
728 {
729     PERL_ARGS_ASSERT_CL_ANYTHING;
730
731     ANYOF_BITMAP_SETALL(cl);
732     cl->flags = ANYOF_CLASS|ANYOF_EOS|ANYOF_UNICODE_ALL
733                 |ANYOF_LOC_NONBITMAP_FOLD|ANYOF_NON_UTF8_LATIN1_ALL;
734
735     /* If any portion of the regex is to operate under locale rules,
736      * initialization includes it.  The reason this isn't done for all regexes
737      * is that the optimizer was written under the assumption that locale was
738      * all-or-nothing.  Given the complexity and lack of documentation in the
739      * optimizer, and that there are inadequate test cases for locale, so many
740      * parts of it may not work properly, it is safest to avoid locale unless
741      * necessary. */
742     if (RExC_contains_locale) {
743         ANYOF_CLASS_SETALL(cl);     /* /l uses class */
744         cl->flags |= ANYOF_LOCALE;
745     }
746     else {
747         ANYOF_CLASS_ZERO(cl);       /* Only /l uses class now */
748     }
749 }
750
751 /* Can match anything (initialization) */
752 STATIC int
753 S_cl_is_anything(const struct regnode_charclass_class *cl)
754 {
755     int value;
756
757     PERL_ARGS_ASSERT_CL_IS_ANYTHING;
758
759     for (value = 0; value <= ANYOF_MAX; value += 2)
760         if (ANYOF_CLASS_TEST(cl, value) && ANYOF_CLASS_TEST(cl, value + 1))
761             return 1;
762     if (!(cl->flags & ANYOF_UNICODE_ALL))
763         return 0;
764     if (!ANYOF_BITMAP_TESTALLSET((const void*)cl))
765         return 0;
766     return 1;
767 }
768
769 /* Can match anything (initialization) */
770 STATIC void
771 S_cl_init(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl)
772 {
773     PERL_ARGS_ASSERT_CL_INIT;
774
775     Zero(cl, 1, struct regnode_charclass_class);
776     cl->type = ANYOF;
777     cl_anything(pRExC_state, cl);
778     ARG_SET(cl, ANYOF_NONBITMAP_EMPTY);
779 }
780
781 /* These two functions currently do the exact same thing */
782 #define cl_init_zero            S_cl_init
783
784 /* 'AND' a given class with another one.  Can create false positives.  'cl'
785  * should not be inverted.  'and_with->flags & ANYOF_CLASS' should be 0 if
786  * 'and_with' is a regnode_charclass instead of a regnode_charclass_class. */
787 STATIC void
788 S_cl_and(struct regnode_charclass_class *cl,
789         const struct regnode_charclass_class *and_with)
790 {
791     PERL_ARGS_ASSERT_CL_AND;
792
793     assert(and_with->type == ANYOF);
794
795     /* I (khw) am not sure all these restrictions are necessary XXX */
796     if (!(ANYOF_CLASS_TEST_ANY_SET(and_with))
797         && !(ANYOF_CLASS_TEST_ANY_SET(cl))
798         && (and_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
799         && !(and_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
800         && !(cl->flags & ANYOF_LOC_NONBITMAP_FOLD)) {
801         int i;
802
803         if (and_with->flags & ANYOF_INVERT)
804             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
805                 cl->bitmap[i] &= ~and_with->bitmap[i];
806         else
807             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
808                 cl->bitmap[i] &= and_with->bitmap[i];
809     } /* XXXX: logic is complicated otherwise, leave it along for a moment. */
810
811     if (and_with->flags & ANYOF_INVERT) {
812
813         /* Here, the and'ed node is inverted.  Get the AND of the flags that
814          * aren't affected by the inversion.  Those that are affected are
815          * handled individually below */
816         U8 affected_flags = cl->flags & ~INVERSION_UNAFFECTED_FLAGS;
817         cl->flags &= (and_with->flags & INVERSION_UNAFFECTED_FLAGS);
818         cl->flags |= affected_flags;
819
820         /* We currently don't know how to deal with things that aren't in the
821          * bitmap, but we know that the intersection is no greater than what
822          * is already in cl, so let there be false positives that get sorted
823          * out after the synthetic start class succeeds, and the node is
824          * matched for real. */
825
826         /* The inversion of these two flags indicate that the resulting
827          * intersection doesn't have them */
828         if (and_with->flags & ANYOF_UNICODE_ALL) {
829             cl->flags &= ~ANYOF_UNICODE_ALL;
830         }
831         if (and_with->flags & ANYOF_NON_UTF8_LATIN1_ALL) {
832             cl->flags &= ~ANYOF_NON_UTF8_LATIN1_ALL;
833         }
834     }
835     else {   /* and'd node is not inverted */
836         U8 outside_bitmap_but_not_utf8; /* Temp variable */
837
838         if (! ANYOF_NONBITMAP(and_with)) {
839
840             /* Here 'and_with' doesn't match anything outside the bitmap
841              * (except possibly ANYOF_UNICODE_ALL), which means the
842              * intersection can't either, except for ANYOF_UNICODE_ALL, in
843              * which case we don't know what the intersection is, but it's no
844              * greater than what cl already has, so can just leave it alone,
845              * with possible false positives */
846             if (! (and_with->flags & ANYOF_UNICODE_ALL)) {
847                 ARG_SET(cl, ANYOF_NONBITMAP_EMPTY);
848                 cl->flags &= ~ANYOF_NONBITMAP_NON_UTF8;
849             }
850         }
851         else if (! ANYOF_NONBITMAP(cl)) {
852
853             /* Here, 'and_with' does match something outside the bitmap, and cl
854              * doesn't have a list of things to match outside the bitmap.  If
855              * cl can match all code points above 255, the intersection will
856              * be those above-255 code points that 'and_with' matches.  If cl
857              * can't match all Unicode code points, it means that it can't
858              * match anything outside the bitmap (since the 'if' that got us
859              * into this block tested for that), so we leave the bitmap empty.
860              */
861             if (cl->flags & ANYOF_UNICODE_ALL) {
862                 ARG_SET(cl, ARG(and_with));
863
864                 /* and_with's ARG may match things that don't require UTF8.
865                  * And now cl's will too, in spite of this being an 'and'.  See
866                  * the comments below about the kludge */
867                 cl->flags |= and_with->flags & ANYOF_NONBITMAP_NON_UTF8;
868             }
869         }
870         else {
871             /* Here, both 'and_with' and cl match something outside the
872              * bitmap.  Currently we do not do the intersection, so just match
873              * whatever cl had at the beginning.  */
874         }
875
876
877         /* Take the intersection of the two sets of flags.  However, the
878          * ANYOF_NONBITMAP_NON_UTF8 flag is treated as an 'or'.  This is a
879          * kludge around the fact that this flag is not treated like the others
880          * which are initialized in cl_anything().  The way the optimizer works
881          * is that the synthetic start class (SSC) is initialized to match
882          * anything, and then the first time a real node is encountered, its
883          * values are AND'd with the SSC's with the result being the values of
884          * the real node.  However, there are paths through the optimizer where
885          * the AND never gets called, so those initialized bits are set
886          * inappropriately, which is not usually a big deal, as they just cause
887          * false positives in the SSC, which will just mean a probably
888          * imperceptible slow down in execution.  However this bit has a
889          * higher false positive consequence in that it can cause utf8.pm,
890          * utf8_heavy.pl ... to be loaded when not necessary, which is a much
891          * bigger slowdown and also causes significant extra memory to be used.
892          * In order to prevent this, the code now takes a different tack.  The
893          * bit isn't set unless some part of the regular expression needs it,
894          * but once set it won't get cleared.  This means that these extra
895          * modules won't get loaded unless there was some path through the
896          * pattern that would have required them anyway, and  so any false
897          * positives that occur by not ANDing them out when they could be
898          * aren't as severe as they would be if we treated this bit like all
899          * the others */
900         outside_bitmap_but_not_utf8 = (cl->flags | and_with->flags)
901                                       & ANYOF_NONBITMAP_NON_UTF8;
902         cl->flags &= and_with->flags;
903         cl->flags |= outside_bitmap_but_not_utf8;
904     }
905 }
906
907 /* 'OR' a given class with another one.  Can create false positives.  'cl'
908  * should not be inverted.  'or_with->flags & ANYOF_CLASS' should be 0 if
909  * 'or_with' is a regnode_charclass instead of a regnode_charclass_class. */
910 STATIC void
911 S_cl_or(const RExC_state_t *pRExC_state, struct regnode_charclass_class *cl, const struct regnode_charclass_class *or_with)
912 {
913     PERL_ARGS_ASSERT_CL_OR;
914
915     if (or_with->flags & ANYOF_INVERT) {
916
917         /* Here, the or'd node is to be inverted.  This means we take the
918          * complement of everything not in the bitmap, but currently we don't
919          * know what that is, so give up and match anything */
920         if (ANYOF_NONBITMAP(or_with)) {
921             cl_anything(pRExC_state, cl);
922         }
923         /* We do not use
924          * (B1 | CL1) | (!B2 & !CL2) = (B1 | !B2 & !CL2) | (CL1 | (!B2 & !CL2))
925          *   <= (B1 | !B2) | (CL1 | !CL2)
926          * which is wasteful if CL2 is small, but we ignore CL2:
927          *   (B1 | CL1) | (!B2 & !CL2) <= (B1 | CL1) | !B2 = (B1 | !B2) | CL1
928          * XXXX Can we handle case-fold?  Unclear:
929          *   (OK1(i) | OK1(i')) | !(OK1(i) | OK1(i')) =
930          *   (OK1(i) | OK1(i')) | (!OK1(i) & !OK1(i'))
931          */
932         else if ( (or_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
933              && !(or_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
934              && !(cl->flags & ANYOF_LOC_NONBITMAP_FOLD) ) {
935             int i;
936
937             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
938                 cl->bitmap[i] |= ~or_with->bitmap[i];
939         } /* XXXX: logic is complicated otherwise */
940         else {
941             cl_anything(pRExC_state, cl);
942         }
943
944         /* And, we can just take the union of the flags that aren't affected
945          * by the inversion */
946         cl->flags |= or_with->flags & INVERSION_UNAFFECTED_FLAGS;
947
948         /* For the remaining flags:
949             ANYOF_UNICODE_ALL and inverted means to not match anything above
950                     255, which means that the union with cl should just be
951                     what cl has in it, so can ignore this flag
952             ANYOF_NON_UTF8_LATIN1_ALL and inverted means if not utf8 and ord
953                     is 127-255 to match them, but then invert that, so the
954                     union with cl should just be what cl has in it, so can
955                     ignore this flag
956          */
957     } else {    /* 'or_with' is not inverted */
958         /* (B1 | CL1) | (B2 | CL2) = (B1 | B2) | (CL1 | CL2)) */
959         if ( (or_with->flags & ANYOF_LOCALE) == (cl->flags & ANYOF_LOCALE)
960              && (!(or_with->flags & ANYOF_LOC_NONBITMAP_FOLD)
961                  || (cl->flags & ANYOF_LOC_NONBITMAP_FOLD)) ) {
962             int i;
963
964             /* OR char bitmap and class bitmap separately */
965             for (i = 0; i < ANYOF_BITMAP_SIZE; i++)
966                 cl->bitmap[i] |= or_with->bitmap[i];
967             if (ANYOF_CLASS_TEST_ANY_SET(or_with)) {
968                 for (i = 0; i < ANYOF_CLASSBITMAP_SIZE; i++)
969                     cl->classflags[i] |= or_with->classflags[i];
970                 cl->flags |= ANYOF_CLASS;
971             }
972         }
973         else { /* XXXX: logic is complicated, leave it along for a moment. */
974             cl_anything(pRExC_state, cl);
975         }
976
977         if (ANYOF_NONBITMAP(or_with)) {
978
979             /* Use the added node's outside-the-bit-map match if there isn't a
980              * conflict.  If there is a conflict (both nodes match something
981              * outside the bitmap, but what they match outside is not the same
982              * pointer, and hence not easily compared until XXX we extend
983              * inversion lists this far), give up and allow the start class to
984              * match everything outside the bitmap.  If that stuff is all above
985              * 255, can just set UNICODE_ALL, otherwise caould be anything. */
986             if (! ANYOF_NONBITMAP(cl)) {
987                 ARG_SET(cl, ARG(or_with));
988             }
989             else if (ARG(cl) != ARG(or_with)) {
990
991                 if ((or_with->flags & ANYOF_NONBITMAP_NON_UTF8)) {
992                     cl_anything(pRExC_state, cl);
993                 }
994                 else {
995                     cl->flags |= ANYOF_UNICODE_ALL;
996                 }
997             }
998         }
999
1000         /* Take the union */
1001         cl->flags |= or_with->flags;
1002     }
1003 }
1004
1005 #define TRIE_LIST_ITEM(state,idx) (trie->states[state].trans.list)[ idx ]
1006 #define TRIE_LIST_CUR(state)  ( TRIE_LIST_ITEM( state, 0 ).forid )
1007 #define TRIE_LIST_LEN(state) ( TRIE_LIST_ITEM( state, 0 ).newstate )
1008 #define TRIE_LIST_USED(idx)  ( trie->states[state].trans.list ? (TRIE_LIST_CUR( idx ) - 1) : 0 )
1009
1010
1011 #ifdef DEBUGGING
1012 /*
1013    dump_trie(trie,widecharmap,revcharmap)
1014    dump_trie_interim_list(trie,widecharmap,revcharmap,next_alloc)
1015    dump_trie_interim_table(trie,widecharmap,revcharmap,next_alloc)
1016
1017    These routines dump out a trie in a somewhat readable format.
1018    The _interim_ variants are used for debugging the interim
1019    tables that are used to generate the final compressed
1020    representation which is what dump_trie expects.
1021
1022    Part of the reason for their existence is to provide a form
1023    of documentation as to how the different representations function.
1024
1025 */
1026
1027 /*
1028   Dumps the final compressed table form of the trie to Perl_debug_log.
1029   Used for debugging make_trie().
1030 */
1031
1032 STATIC void
1033 S_dump_trie(pTHX_ const struct _reg_trie_data *trie, HV *widecharmap,
1034             AV *revcharmap, U32 depth)
1035 {
1036     U32 state;
1037     SV *sv=sv_newmortal();
1038     int colwidth= widecharmap ? 6 : 4;
1039     U16 word;
1040     GET_RE_DEBUG_FLAGS_DECL;
1041
1042     PERL_ARGS_ASSERT_DUMP_TRIE;
1043
1044     PerlIO_printf( Perl_debug_log, "%*sChar : %-6s%-6s%-4s ",
1045         (int)depth * 2 + 2,"",
1046         "Match","Base","Ofs" );
1047
1048     for( state = 0 ; state < trie->uniquecharcount ; state++ ) {
1049         SV ** const tmp = av_fetch( revcharmap, state, 0);
1050         if ( tmp ) {
1051             PerlIO_printf( Perl_debug_log, "%*s", 
1052                 colwidth,
1053                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1054                             PL_colors[0], PL_colors[1],
1055                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1056                             PERL_PV_ESCAPE_FIRSTCHAR 
1057                 ) 
1058             );
1059         }
1060     }
1061     PerlIO_printf( Perl_debug_log, "\n%*sState|-----------------------",
1062         (int)depth * 2 + 2,"");
1063
1064     for( state = 0 ; state < trie->uniquecharcount ; state++ )
1065         PerlIO_printf( Perl_debug_log, "%.*s", colwidth, "--------");
1066     PerlIO_printf( Perl_debug_log, "\n");
1067
1068     for( state = 1 ; state < trie->statecount ; state++ ) {
1069         const U32 base = trie->states[ state ].trans.base;
1070
1071         PerlIO_printf( Perl_debug_log, "%*s#%4"UVXf"|", (int)depth * 2 + 2,"", (UV)state);
1072
1073         if ( trie->states[ state ].wordnum ) {
1074             PerlIO_printf( Perl_debug_log, " W%4X", trie->states[ state ].wordnum );
1075         } else {
1076             PerlIO_printf( Perl_debug_log, "%6s", "" );
1077         }
1078
1079         PerlIO_printf( Perl_debug_log, " @%4"UVXf" ", (UV)base );
1080
1081         if ( base ) {
1082             U32 ofs = 0;
1083
1084             while( ( base + ofs  < trie->uniquecharcount ) ||
1085                    ( base + ofs - trie->uniquecharcount < trie->lasttrans
1086                      && trie->trans[ base + ofs - trie->uniquecharcount ].check != state))
1087                     ofs++;
1088
1089             PerlIO_printf( Perl_debug_log, "+%2"UVXf"[ ", (UV)ofs);
1090
1091             for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
1092                 if ( ( base + ofs >= trie->uniquecharcount ) &&
1093                      ( base + ofs - trie->uniquecharcount < trie->lasttrans ) &&
1094                      trie->trans[ base + ofs - trie->uniquecharcount ].check == state )
1095                 {
1096                    PerlIO_printf( Perl_debug_log, "%*"UVXf,
1097                     colwidth,
1098                     (UV)trie->trans[ base + ofs - trie->uniquecharcount ].next );
1099                 } else {
1100                     PerlIO_printf( Perl_debug_log, "%*s",colwidth,"   ." );
1101                 }
1102             }
1103
1104             PerlIO_printf( Perl_debug_log, "]");
1105
1106         }
1107         PerlIO_printf( Perl_debug_log, "\n" );
1108     }
1109     PerlIO_printf(Perl_debug_log, "%*sword_info N:(prev,len)=", (int)depth*2, "");
1110     for (word=1; word <= trie->wordcount; word++) {
1111         PerlIO_printf(Perl_debug_log, " %d:(%d,%d)",
1112             (int)word, (int)(trie->wordinfo[word].prev),
1113             (int)(trie->wordinfo[word].len));
1114     }
1115     PerlIO_printf(Perl_debug_log, "\n" );
1116 }    
1117 /*
1118   Dumps a fully constructed but uncompressed trie in list form.
1119   List tries normally only are used for construction when the number of 
1120   possible chars (trie->uniquecharcount) is very high.
1121   Used for debugging make_trie().
1122 */
1123 STATIC void
1124 S_dump_trie_interim_list(pTHX_ const struct _reg_trie_data *trie,
1125                          HV *widecharmap, AV *revcharmap, U32 next_alloc,
1126                          U32 depth)
1127 {
1128     U32 state;
1129     SV *sv=sv_newmortal();
1130     int colwidth= widecharmap ? 6 : 4;
1131     GET_RE_DEBUG_FLAGS_DECL;
1132
1133     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_LIST;
1134
1135     /* print out the table precompression.  */
1136     PerlIO_printf( Perl_debug_log, "%*sState :Word | Transition Data\n%*s%s",
1137         (int)depth * 2 + 2,"", (int)depth * 2 + 2,"",
1138         "------:-----+-----------------\n" );
1139     
1140     for( state=1 ; state < next_alloc ; state ++ ) {
1141         U16 charid;
1142     
1143         PerlIO_printf( Perl_debug_log, "%*s %4"UVXf" :",
1144             (int)depth * 2 + 2,"", (UV)state  );
1145         if ( ! trie->states[ state ].wordnum ) {
1146             PerlIO_printf( Perl_debug_log, "%5s| ","");
1147         } else {
1148             PerlIO_printf( Perl_debug_log, "W%4x| ",
1149                 trie->states[ state ].wordnum
1150             );
1151         }
1152         for( charid = 1 ; charid <= TRIE_LIST_USED( state ) ; charid++ ) {
1153             SV ** const tmp = av_fetch( revcharmap, TRIE_LIST_ITEM(state,charid).forid, 0);
1154             if ( tmp ) {
1155                 PerlIO_printf( Perl_debug_log, "%*s:%3X=%4"UVXf" | ",
1156                     colwidth,
1157                     pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1158                             PL_colors[0], PL_colors[1],
1159                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1160                             PERL_PV_ESCAPE_FIRSTCHAR 
1161                     ) ,
1162                     TRIE_LIST_ITEM(state,charid).forid,
1163                     (UV)TRIE_LIST_ITEM(state,charid).newstate
1164                 );
1165                 if (!(charid % 10)) 
1166                     PerlIO_printf(Perl_debug_log, "\n%*s| ",
1167                         (int)((depth * 2) + 14), "");
1168             }
1169         }
1170         PerlIO_printf( Perl_debug_log, "\n");
1171     }
1172 }    
1173
1174 /*
1175   Dumps a fully constructed but uncompressed trie in table form.
1176   This is the normal DFA style state transition table, with a few 
1177   twists to facilitate compression later. 
1178   Used for debugging make_trie().
1179 */
1180 STATIC void
1181 S_dump_trie_interim_table(pTHX_ const struct _reg_trie_data *trie,
1182                           HV *widecharmap, AV *revcharmap, U32 next_alloc,
1183                           U32 depth)
1184 {
1185     U32 state;
1186     U16 charid;
1187     SV *sv=sv_newmortal();
1188     int colwidth= widecharmap ? 6 : 4;
1189     GET_RE_DEBUG_FLAGS_DECL;
1190
1191     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_TABLE;
1192     
1193     /*
1194        print out the table precompression so that we can do a visual check
1195        that they are identical.
1196      */
1197     
1198     PerlIO_printf( Perl_debug_log, "%*sChar : ",(int)depth * 2 + 2,"" );
1199
1200     for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
1201         SV ** const tmp = av_fetch( revcharmap, charid, 0);
1202         if ( tmp ) {
1203             PerlIO_printf( Perl_debug_log, "%*s", 
1204                 colwidth,
1205                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth, 
1206                             PL_colors[0], PL_colors[1],
1207                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
1208                             PERL_PV_ESCAPE_FIRSTCHAR 
1209                 ) 
1210             );
1211         }
1212     }
1213
1214     PerlIO_printf( Perl_debug_log, "\n%*sState+-",(int)depth * 2 + 2,"" );
1215
1216     for( charid=0 ; charid < trie->uniquecharcount ; charid++ ) {
1217         PerlIO_printf( Perl_debug_log, "%.*s", colwidth,"--------");
1218     }
1219
1220     PerlIO_printf( Perl_debug_log, "\n" );
1221
1222     for( state=1 ; state < next_alloc ; state += trie->uniquecharcount ) {
1223
1224         PerlIO_printf( Perl_debug_log, "%*s%4"UVXf" : ", 
1225             (int)depth * 2 + 2,"",
1226             (UV)TRIE_NODENUM( state ) );
1227
1228         for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
1229             UV v=(UV)SAFE_TRIE_NODENUM( trie->trans[ state + charid ].next );
1230             if (v)
1231                 PerlIO_printf( Perl_debug_log, "%*"UVXf, colwidth, v );
1232             else
1233                 PerlIO_printf( Perl_debug_log, "%*s", colwidth, "." );
1234         }
1235         if ( ! trie->states[ TRIE_NODENUM( state ) ].wordnum ) {
1236             PerlIO_printf( Perl_debug_log, " (%4"UVXf")\n", (UV)trie->trans[ state ].check );
1237         } else {
1238             PerlIO_printf( Perl_debug_log, " (%4"UVXf") W%4X\n", (UV)trie->trans[ state ].check,
1239             trie->states[ TRIE_NODENUM( state ) ].wordnum );
1240         }
1241     }
1242 }
1243
1244 #endif
1245
1246
1247 /* make_trie(startbranch,first,last,tail,word_count,flags,depth)
1248   startbranch: the first branch in the whole branch sequence
1249   first      : start branch of sequence of branch-exact nodes.
1250                May be the same as startbranch
1251   last       : Thing following the last branch.
1252                May be the same as tail.
1253   tail       : item following the branch sequence
1254   count      : words in the sequence
1255   flags      : currently the OP() type we will be building one of /EXACT(|F|Fl)/
1256   depth      : indent depth
1257
1258 Inplace optimizes a sequence of 2 or more Branch-Exact nodes into a TRIE node.
1259
1260 A trie is an N'ary tree where the branches are determined by digital
1261 decomposition of the key. IE, at the root node you look up the 1st character and
1262 follow that branch repeat until you find the end of the branches. Nodes can be
1263 marked as "accepting" meaning they represent a complete word. Eg:
1264
1265   /he|she|his|hers/
1266
1267 would convert into the following structure. Numbers represent states, letters
1268 following numbers represent valid transitions on the letter from that state, if
1269 the number is in square brackets it represents an accepting state, otherwise it
1270 will be in parenthesis.
1271
1272       +-h->+-e->[3]-+-r->(8)-+-s->[9]
1273       |    |
1274       |   (2)
1275       |    |
1276      (1)   +-i->(6)-+-s->[7]
1277       |
1278       +-s->(3)-+-h->(4)-+-e->[5]
1279
1280       Accept Word Mapping: 3=>1 (he),5=>2 (she), 7=>3 (his), 9=>4 (hers)
1281
1282 This shows that when matching against the string 'hers' we will begin at state 1
1283 read 'h' and move to state 2, read 'e' and move to state 3 which is accepting,
1284 then read 'r' and go to state 8 followed by 's' which takes us to state 9 which
1285 is also accepting. Thus we know that we can match both 'he' and 'hers' with a
1286 single traverse. We store a mapping from accepting to state to which word was
1287 matched, and then when we have multiple possibilities we try to complete the
1288 rest of the regex in the order in which they occured in the alternation.
1289
1290 The only prior NFA like behaviour that would be changed by the TRIE support is
1291 the silent ignoring of duplicate alternations which are of the form:
1292
1293  / (DUPE|DUPE) X? (?{ ... }) Y /x
1294
1295 Thus EVAL blocks following a trie may be called a different number of times with
1296 and without the optimisation. With the optimisations dupes will be silently
1297 ignored. This inconsistent behaviour of EVAL type nodes is well established as
1298 the following demonstrates:
1299
1300  'words'=~/(word|word|word)(?{ print $1 })[xyz]/
1301
1302 which prints out 'word' three times, but
1303
1304  'words'=~/(word|word|word)(?{ print $1 })S/
1305
1306 which doesnt print it out at all. This is due to other optimisations kicking in.
1307
1308 Example of what happens on a structural level:
1309
1310 The regexp /(ac|ad|ab)+/ will produce the following debug output:
1311
1312    1: CURLYM[1] {1,32767}(18)
1313    5:   BRANCH(8)
1314    6:     EXACT <ac>(16)
1315    8:   BRANCH(11)
1316    9:     EXACT <ad>(16)
1317   11:   BRANCH(14)
1318   12:     EXACT <ab>(16)
1319   16:   SUCCEED(0)
1320   17:   NOTHING(18)
1321   18: END(0)
1322
1323 This would be optimizable with startbranch=5, first=5, last=16, tail=16
1324 and should turn into:
1325
1326    1: CURLYM[1] {1,32767}(18)
1327    5:   TRIE(16)
1328         [Words:3 Chars Stored:6 Unique Chars:4 States:5 NCP:1]
1329           <ac>
1330           <ad>
1331           <ab>
1332   16:   SUCCEED(0)
1333   17:   NOTHING(18)
1334   18: END(0)
1335
1336 Cases where tail != last would be like /(?foo|bar)baz/:
1337
1338    1: BRANCH(4)
1339    2:   EXACT <foo>(8)
1340    4: BRANCH(7)
1341    5:   EXACT <bar>(8)
1342    7: TAIL(8)
1343    8: EXACT <baz>(10)
1344   10: END(0)
1345
1346 which would be optimizable with startbranch=1, first=1, last=7, tail=8
1347 and would end up looking like:
1348
1349     1: TRIE(8)
1350       [Words:2 Chars Stored:6 Unique Chars:5 States:7 NCP:1]
1351         <foo>
1352         <bar>
1353    7: TAIL(8)
1354    8: EXACT <baz>(10)
1355   10: END(0)
1356
1357     d = uvuni_to_utf8_flags(d, uv, 0);
1358
1359 is the recommended Unicode-aware way of saying
1360
1361     *(d++) = uv;
1362 */
1363
1364 #define TRIE_STORE_REVCHAR                                                 \
1365     STMT_START {                                                           \
1366         if (UTF) {                                                         \
1367             SV *zlopp = newSV(2);                                          \
1368             unsigned char *flrbbbbb = (unsigned char *) SvPVX(zlopp);      \
1369             unsigned const char *const kapow = uvuni_to_utf8(flrbbbbb, uvc & 0xFF); \
1370             SvCUR_set(zlopp, kapow - flrbbbbb);                            \
1371             SvPOK_on(zlopp);                                               \
1372             SvUTF8_on(zlopp);                                              \
1373             av_push(revcharmap, zlopp);                                    \
1374         } else {                                                           \
1375             char ooooff = (char)uvc;                                               \
1376             av_push(revcharmap, newSVpvn(&ooooff, 1));                     \
1377         }                                                                  \
1378         } STMT_END
1379
1380 #define TRIE_READ_CHAR STMT_START {                                           \
1381     wordlen++;                                                                \
1382     if ( UTF ) {                                                              \
1383         if ( folder ) {                                                       \
1384             if ( foldlen > 0 ) {                                              \
1385                uvc = utf8n_to_uvuni( scan, UTF8_MAXLEN, &len, uniflags );     \
1386                foldlen -= len;                                                \
1387                scan += len;                                                   \
1388                len = 0;                                                       \
1389             } else {                                                          \
1390                 uvc = utf8n_to_uvuni( (const U8*)uc, UTF8_MAXLEN, &len, uniflags);\
1391                 uvc = to_uni_fold( uvc, foldbuf, &foldlen );                  \
1392                 foldlen -= UNISKIP( uvc );                                    \
1393                 scan = foldbuf + UNISKIP( uvc );                              \
1394             }                                                                 \
1395         } else {                                                              \
1396             uvc = utf8n_to_uvuni( (const U8*)uc, UTF8_MAXLEN, &len, uniflags);\
1397         }                                                                     \
1398     } else {                                                                  \
1399         uvc = (U32)*uc;                                                       \
1400         len = 1;                                                              \
1401     }                                                                         \
1402 } STMT_END
1403
1404
1405
1406 #define TRIE_LIST_PUSH(state,fid,ns) STMT_START {               \
1407     if ( TRIE_LIST_CUR( state ) >=TRIE_LIST_LEN( state ) ) {    \
1408         U32 ging = TRIE_LIST_LEN( state ) *= 2;                 \
1409         Renew( trie->states[ state ].trans.list, ging, reg_trie_trans_le ); \
1410     }                                                           \
1411     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).forid = fid;     \
1412     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).newstate = ns;   \
1413     TRIE_LIST_CUR( state )++;                                   \
1414 } STMT_END
1415
1416 #define TRIE_LIST_NEW(state) STMT_START {                       \
1417     Newxz( trie->states[ state ].trans.list,               \
1418         4, reg_trie_trans_le );                                 \
1419      TRIE_LIST_CUR( state ) = 1;                                \
1420      TRIE_LIST_LEN( state ) = 4;                                \
1421 } STMT_END
1422
1423 #define TRIE_HANDLE_WORD(state) STMT_START {                    \
1424     U16 dupe= trie->states[ state ].wordnum;                    \
1425     regnode * const noper_next = regnext( noper );              \
1426                                                                 \
1427     DEBUG_r({                                                   \
1428         /* store the word for dumping */                        \
1429         SV* tmp;                                                \
1430         if (OP(noper) != NOTHING)                               \
1431             tmp = newSVpvn_utf8(STRING(noper), STR_LEN(noper), UTF);    \
1432         else                                                    \
1433             tmp = newSVpvn_utf8( "", 0, UTF );                  \
1434         av_push( trie_words, tmp );                             \
1435     });                                                         \
1436                                                                 \
1437     curword++;                                                  \
1438     trie->wordinfo[curword].prev   = 0;                         \
1439     trie->wordinfo[curword].len    = wordlen;                   \
1440     trie->wordinfo[curword].accept = state;                     \
1441                                                                 \
1442     if ( noper_next < tail ) {                                  \
1443         if (!trie->jump)                                        \
1444             trie->jump = (U16 *) PerlMemShared_calloc( word_count + 1, sizeof(U16) ); \
1445         trie->jump[curword] = (U16)(noper_next - convert);      \
1446         if (!jumper)                                            \
1447             jumper = noper_next;                                \
1448         if (!nextbranch)                                        \
1449             nextbranch= regnext(cur);                           \
1450     }                                                           \
1451                                                                 \
1452     if ( dupe ) {                                               \
1453         /* It's a dupe. Pre-insert into the wordinfo[].prev   */\
1454         /* chain, so that when the bits of chain are later    */\
1455         /* linked together, the dups appear in the chain      */\
1456         trie->wordinfo[curword].prev = trie->wordinfo[dupe].prev; \
1457         trie->wordinfo[dupe].prev = curword;                    \
1458     } else {                                                    \
1459         /* we haven't inserted this word yet.                */ \
1460         trie->states[ state ].wordnum = curword;                \
1461     }                                                           \
1462 } STMT_END
1463
1464
1465 #define TRIE_TRANS_STATE(state,base,ucharcount,charid,special)          \
1466      ( ( base + charid >=  ucharcount                                   \
1467          && base + charid < ubound                                      \
1468          && state == trie->trans[ base - ucharcount + charid ].check    \
1469          && trie->trans[ base - ucharcount + charid ].next )            \
1470            ? trie->trans[ base - ucharcount + charid ].next             \
1471            : ( state==1 ? special : 0 )                                 \
1472       )
1473
1474 #define MADE_TRIE       1
1475 #define MADE_JUMP_TRIE  2
1476 #define MADE_EXACT_TRIE 4
1477
1478 STATIC I32
1479 S_make_trie(pTHX_ RExC_state_t *pRExC_state, regnode *startbranch, regnode *first, regnode *last, regnode *tail, U32 word_count, U32 flags, U32 depth)
1480 {
1481     dVAR;
1482     /* first pass, loop through and scan words */
1483     reg_trie_data *trie;
1484     HV *widecharmap = NULL;
1485     AV *revcharmap = newAV();
1486     regnode *cur;
1487     const U32 uniflags = UTF8_ALLOW_DEFAULT;
1488     STRLEN len = 0;
1489     UV uvc = 0;
1490     U16 curword = 0;
1491     U32 next_alloc = 0;
1492     regnode *jumper = NULL;
1493     regnode *nextbranch = NULL;
1494     regnode *convert = NULL;
1495     U32 *prev_states; /* temp array mapping each state to previous one */
1496     /* we just use folder as a flag in utf8 */
1497     const U8 * folder = NULL;
1498
1499 #ifdef DEBUGGING
1500     const U32 data_slot = add_data( pRExC_state, 4, "tuuu" );
1501     AV *trie_words = NULL;
1502     /* along with revcharmap, this only used during construction but both are
1503      * useful during debugging so we store them in the struct when debugging.
1504      */
1505 #else
1506     const U32 data_slot = add_data( pRExC_state, 2, "tu" );
1507     STRLEN trie_charcount=0;
1508 #endif
1509     SV *re_trie_maxbuff;
1510     GET_RE_DEBUG_FLAGS_DECL;
1511
1512     PERL_ARGS_ASSERT_MAKE_TRIE;
1513 #ifndef DEBUGGING
1514     PERL_UNUSED_ARG(depth);
1515 #endif
1516
1517     switch (flags) {
1518         case EXACTFA:
1519         case EXACTFU: folder = PL_fold_latin1; break;
1520         case EXACTF:  folder = PL_fold; break;
1521         case EXACTFL: folder = PL_fold_locale; break;
1522     }
1523
1524     trie = (reg_trie_data *) PerlMemShared_calloc( 1, sizeof(reg_trie_data) );
1525     trie->refcount = 1;
1526     trie->startstate = 1;
1527     trie->wordcount = word_count;
1528     RExC_rxi->data->data[ data_slot ] = (void*)trie;
1529     trie->charmap = (U16 *) PerlMemShared_calloc( 256, sizeof(U16) );
1530     if (!(UTF && folder))
1531         trie->bitmap = (char *) PerlMemShared_calloc( ANYOF_BITMAP_SIZE, 1 );
1532     trie->wordinfo = (reg_trie_wordinfo *) PerlMemShared_calloc(
1533                        trie->wordcount+1, sizeof(reg_trie_wordinfo));
1534
1535     DEBUG_r({
1536         trie_words = newAV();
1537     });
1538
1539     re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, 1);
1540     if (!SvIOK(re_trie_maxbuff)) {
1541         sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
1542     }
1543     DEBUG_OPTIMISE_r({
1544                 PerlIO_printf( Perl_debug_log,
1545                   "%*smake_trie start==%d, first==%d, last==%d, tail==%d depth=%d\n",
1546                   (int)depth * 2 + 2, "", 
1547                   REG_NODE_NUM(startbranch),REG_NODE_NUM(first), 
1548                   REG_NODE_NUM(last), REG_NODE_NUM(tail),
1549                   (int)depth);
1550     });
1551    
1552    /* Find the node we are going to overwrite */
1553     if ( first == startbranch && OP( last ) != BRANCH ) {
1554         /* whole branch chain */
1555         convert = first;
1556     } else {
1557         /* branch sub-chain */
1558         convert = NEXTOPER( first );
1559     }
1560         
1561     /*  -- First loop and Setup --
1562
1563        We first traverse the branches and scan each word to determine if it
1564        contains widechars, and how many unique chars there are, this is
1565        important as we have to build a table with at least as many columns as we
1566        have unique chars.
1567
1568        We use an array of integers to represent the character codes 0..255
1569        (trie->charmap) and we use a an HV* to store Unicode characters. We use the
1570        native representation of the character value as the key and IV's for the
1571        coded index.
1572
1573        *TODO* If we keep track of how many times each character is used we can
1574        remap the columns so that the table compression later on is more
1575        efficient in terms of memory by ensuring the most common value is in the
1576        middle and the least common are on the outside.  IMO this would be better
1577        than a most to least common mapping as theres a decent chance the most
1578        common letter will share a node with the least common, meaning the node
1579        will not be compressible. With a middle is most common approach the worst
1580        case is when we have the least common nodes twice.
1581
1582      */
1583
1584     for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1585         regnode * const noper = NEXTOPER( cur );
1586         const U8 *uc = (U8*)STRING( noper );
1587         const U8 * const e  = uc + STR_LEN( noper );
1588         STRLEN foldlen = 0;
1589         U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1590         const U8 *scan = (U8*)NULL;
1591         U32 wordlen      = 0;         /* required init */
1592         STRLEN chars = 0;
1593         bool set_bit = trie->bitmap ? 1 : 0; /*store the first char in the bitmap?*/
1594
1595         if (OP(noper) == NOTHING) {
1596             trie->minlen= 0;
1597             continue;
1598         }
1599         if ( set_bit ) /* bitmap only alloced when !(UTF&&Folding) */
1600             TRIE_BITMAP_SET(trie,*uc); /* store the raw first byte
1601                                           regardless of encoding */
1602
1603         for ( ; uc < e ; uc += len ) {
1604             TRIE_CHARCOUNT(trie)++;
1605             TRIE_READ_CHAR;
1606             chars++;
1607             if ( uvc < 256 ) {
1608                 if ( !trie->charmap[ uvc ] ) {
1609                     trie->charmap[ uvc ]=( ++trie->uniquecharcount );
1610                     if ( folder )
1611                         trie->charmap[ folder[ uvc ] ] = trie->charmap[ uvc ];
1612                     TRIE_STORE_REVCHAR;
1613                 }
1614                 if ( set_bit ) {
1615                     /* store the codepoint in the bitmap, and its folded
1616                      * equivalent. */
1617                     TRIE_BITMAP_SET(trie,uvc);
1618
1619                     /* store the folded codepoint */
1620                     if ( folder ) TRIE_BITMAP_SET(trie,folder[ uvc ]);
1621
1622                     if ( !UTF ) {
1623                         /* store first byte of utf8 representation of
1624                            variant codepoints */
1625                         if (! UNI_IS_INVARIANT(uvc)) {
1626                             TRIE_BITMAP_SET(trie, UTF8_TWO_BYTE_HI(uvc));
1627                         }
1628                     }
1629                     set_bit = 0; /* We've done our bit :-) */
1630                 }
1631             } else {
1632                 SV** svpp;
1633                 if ( !widecharmap )
1634                     widecharmap = newHV();
1635
1636                 svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 1 );
1637
1638                 if ( !svpp )
1639                     Perl_croak( aTHX_ "error creating/fetching widecharmap entry for 0x%"UVXf, uvc );
1640
1641                 if ( !SvTRUE( *svpp ) ) {
1642                     sv_setiv( *svpp, ++trie->uniquecharcount );
1643                     TRIE_STORE_REVCHAR;
1644                 }
1645             }
1646         }
1647         if( cur == first ) {
1648             trie->minlen=chars;
1649             trie->maxlen=chars;
1650         } else if (chars < trie->minlen) {
1651             trie->minlen=chars;
1652         } else if (chars > trie->maxlen) {
1653             trie->maxlen=chars;
1654         }
1655
1656     } /* end first pass */
1657     DEBUG_TRIE_COMPILE_r(
1658         PerlIO_printf( Perl_debug_log, "%*sTRIE(%s): W:%d C:%d Uq:%d Min:%d Max:%d\n",
1659                 (int)depth * 2 + 2,"",
1660                 ( widecharmap ? "UTF8" : "NATIVE" ), (int)word_count,
1661                 (int)TRIE_CHARCOUNT(trie), trie->uniquecharcount,
1662                 (int)trie->minlen, (int)trie->maxlen )
1663     );
1664
1665     /*
1666         We now know what we are dealing with in terms of unique chars and
1667         string sizes so we can calculate how much memory a naive
1668         representation using a flat table  will take. If it's over a reasonable
1669         limit (as specified by ${^RE_TRIE_MAXBUF}) we use a more memory
1670         conservative but potentially much slower representation using an array
1671         of lists.
1672
1673         At the end we convert both representations into the same compressed
1674         form that will be used in regexec.c for matching with. The latter
1675         is a form that cannot be used to construct with but has memory
1676         properties similar to the list form and access properties similar
1677         to the table form making it both suitable for fast searches and
1678         small enough that its feasable to store for the duration of a program.
1679
1680         See the comment in the code where the compressed table is produced
1681         inplace from the flat tabe representation for an explanation of how
1682         the compression works.
1683
1684     */
1685
1686
1687     Newx(prev_states, TRIE_CHARCOUNT(trie) + 2, U32);
1688     prev_states[1] = 0;
1689
1690     if ( (IV)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount + 1) > SvIV(re_trie_maxbuff) ) {
1691         /*
1692             Second Pass -- Array Of Lists Representation
1693
1694             Each state will be represented by a list of charid:state records
1695             (reg_trie_trans_le) the first such element holds the CUR and LEN
1696             points of the allocated array. (See defines above).
1697
1698             We build the initial structure using the lists, and then convert
1699             it into the compressed table form which allows faster lookups
1700             (but cant be modified once converted).
1701         */
1702
1703         STRLEN transcount = 1;
1704
1705         DEBUG_TRIE_COMPILE_MORE_r( PerlIO_printf( Perl_debug_log, 
1706             "%*sCompiling trie using list compiler\n",
1707             (int)depth * 2 + 2, ""));
1708         
1709         trie->states = (reg_trie_state *)
1710             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
1711                                   sizeof(reg_trie_state) );
1712         TRIE_LIST_NEW(1);
1713         next_alloc = 2;
1714
1715         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1716
1717             regnode * const noper = NEXTOPER( cur );
1718             U8 *uc           = (U8*)STRING( noper );
1719             const U8 * const e = uc + STR_LEN( noper );
1720             U32 state        = 1;         /* required init */
1721             U16 charid       = 0;         /* sanity init */
1722             U8 *scan         = (U8*)NULL; /* sanity init */
1723             STRLEN foldlen   = 0;         /* required init */
1724             U32 wordlen      = 0;         /* required init */
1725             U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1726
1727             if (OP(noper) != NOTHING) {
1728                 for ( ; uc < e ; uc += len ) {
1729
1730                     TRIE_READ_CHAR;
1731
1732                     if ( uvc < 256 ) {
1733                         charid = trie->charmap[ uvc ];
1734                     } else {
1735                         SV** const svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 0);
1736                         if ( !svpp ) {
1737                             charid = 0;
1738                         } else {
1739                             charid=(U16)SvIV( *svpp );
1740                         }
1741                     }
1742                     /* charid is now 0 if we dont know the char read, or nonzero if we do */
1743                     if ( charid ) {
1744
1745                         U16 check;
1746                         U32 newstate = 0;
1747
1748                         charid--;
1749                         if ( !trie->states[ state ].trans.list ) {
1750                             TRIE_LIST_NEW( state );
1751                         }
1752                         for ( check = 1; check <= TRIE_LIST_USED( state ); check++ ) {
1753                             if ( TRIE_LIST_ITEM( state, check ).forid == charid ) {
1754                                 newstate = TRIE_LIST_ITEM( state, check ).newstate;
1755                                 break;
1756                             }
1757                         }
1758                         if ( ! newstate ) {
1759                             newstate = next_alloc++;
1760                             prev_states[newstate] = state;
1761                             TRIE_LIST_PUSH( state, charid, newstate );
1762                             transcount++;
1763                         }
1764                         state = newstate;
1765                     } else {
1766                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %"IVdf, uvc );
1767                     }
1768                 }
1769             }
1770             TRIE_HANDLE_WORD(state);
1771
1772         } /* end second pass */
1773
1774         /* next alloc is the NEXT state to be allocated */
1775         trie->statecount = next_alloc; 
1776         trie->states = (reg_trie_state *)
1777             PerlMemShared_realloc( trie->states,
1778                                    next_alloc
1779                                    * sizeof(reg_trie_state) );
1780
1781         /* and now dump it out before we compress it */
1782         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_list(trie, widecharmap,
1783                                                          revcharmap, next_alloc,
1784                                                          depth+1)
1785         );
1786
1787         trie->trans = (reg_trie_trans *)
1788             PerlMemShared_calloc( transcount, sizeof(reg_trie_trans) );
1789         {
1790             U32 state;
1791             U32 tp = 0;
1792             U32 zp = 0;
1793
1794
1795             for( state=1 ; state < next_alloc ; state ++ ) {
1796                 U32 base=0;
1797
1798                 /*
1799                 DEBUG_TRIE_COMPILE_MORE_r(
1800                     PerlIO_printf( Perl_debug_log, "tp: %d zp: %d ",tp,zp)
1801                 );
1802                 */
1803
1804                 if (trie->states[state].trans.list) {
1805                     U16 minid=TRIE_LIST_ITEM( state, 1).forid;
1806                     U16 maxid=minid;
1807                     U16 idx;
1808
1809                     for( idx = 2 ; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
1810                         const U16 forid = TRIE_LIST_ITEM( state, idx).forid;
1811                         if ( forid < minid ) {
1812                             minid=forid;
1813                         } else if ( forid > maxid ) {
1814                             maxid=forid;
1815                         }
1816                     }
1817                     if ( transcount < tp + maxid - minid + 1) {
1818                         transcount *= 2;
1819                         trie->trans = (reg_trie_trans *)
1820                             PerlMemShared_realloc( trie->trans,
1821                                                      transcount
1822                                                      * sizeof(reg_trie_trans) );
1823                         Zero( trie->trans + (transcount / 2), transcount / 2 , reg_trie_trans );
1824                     }
1825                     base = trie->uniquecharcount + tp - minid;
1826                     if ( maxid == minid ) {
1827                         U32 set = 0;
1828                         for ( ; zp < tp ; zp++ ) {
1829                             if ( ! trie->trans[ zp ].next ) {
1830                                 base = trie->uniquecharcount + zp - minid;
1831                                 trie->trans[ zp ].next = TRIE_LIST_ITEM( state, 1).newstate;
1832                                 trie->trans[ zp ].check = state;
1833                                 set = 1;
1834                                 break;
1835                             }
1836                         }
1837                         if ( !set ) {
1838                             trie->trans[ tp ].next = TRIE_LIST_ITEM( state, 1).newstate;
1839                             trie->trans[ tp ].check = state;
1840                             tp++;
1841                             zp = tp;
1842                         }
1843                     } else {
1844                         for ( idx=1; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
1845                             const U32 tid = base -  trie->uniquecharcount + TRIE_LIST_ITEM( state, idx ).forid;
1846                             trie->trans[ tid ].next = TRIE_LIST_ITEM( state, idx ).newstate;
1847                             trie->trans[ tid ].check = state;
1848                         }
1849                         tp += ( maxid - minid + 1 );
1850                     }
1851                     Safefree(trie->states[ state ].trans.list);
1852                 }
1853                 /*
1854                 DEBUG_TRIE_COMPILE_MORE_r(
1855                     PerlIO_printf( Perl_debug_log, " base: %d\n",base);
1856                 );
1857                 */
1858                 trie->states[ state ].trans.base=base;
1859             }
1860             trie->lasttrans = tp + 1;
1861         }
1862     } else {
1863         /*
1864            Second Pass -- Flat Table Representation.
1865
1866            we dont use the 0 slot of either trans[] or states[] so we add 1 to each.
1867            We know that we will need Charcount+1 trans at most to store the data
1868            (one row per char at worst case) So we preallocate both structures
1869            assuming worst case.
1870
1871            We then construct the trie using only the .next slots of the entry
1872            structs.
1873
1874            We use the .check field of the first entry of the node temporarily to
1875            make compression both faster and easier by keeping track of how many non
1876            zero fields are in the node.
1877
1878            Since trans are numbered from 1 any 0 pointer in the table is a FAIL
1879            transition.
1880
1881            There are two terms at use here: state as a TRIE_NODEIDX() which is a
1882            number representing the first entry of the node, and state as a
1883            TRIE_NODENUM() which is the trans number. state 1 is TRIE_NODEIDX(1) and
1884            TRIE_NODENUM(1), state 2 is TRIE_NODEIDX(2) and TRIE_NODENUM(3) if there
1885            are 2 entrys per node. eg:
1886
1887              A B       A B
1888           1. 2 4    1. 3 7
1889           2. 0 3    3. 0 5
1890           3. 0 0    5. 0 0
1891           4. 0 0    7. 0 0
1892
1893            The table is internally in the right hand, idx form. However as we also
1894            have to deal with the states array which is indexed by nodenum we have to
1895            use TRIE_NODENUM() to convert.
1896
1897         */
1898         DEBUG_TRIE_COMPILE_MORE_r( PerlIO_printf( Perl_debug_log, 
1899             "%*sCompiling trie using table compiler\n",
1900             (int)depth * 2 + 2, ""));
1901
1902         trie->trans = (reg_trie_trans *)
1903             PerlMemShared_calloc( ( TRIE_CHARCOUNT(trie) + 1 )
1904                                   * trie->uniquecharcount + 1,
1905                                   sizeof(reg_trie_trans) );
1906         trie->states = (reg_trie_state *)
1907             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
1908                                   sizeof(reg_trie_state) );
1909         next_alloc = trie->uniquecharcount + 1;
1910
1911
1912         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
1913
1914             regnode * const noper   = NEXTOPER( cur );
1915             const U8 *uc     = (U8*)STRING( noper );
1916             const U8 * const e = uc + STR_LEN( noper );
1917
1918             U32 state        = 1;         /* required init */
1919
1920             U16 charid       = 0;         /* sanity init */
1921             U32 accept_state = 0;         /* sanity init */
1922             U8 *scan         = (U8*)NULL; /* sanity init */
1923
1924             STRLEN foldlen   = 0;         /* required init */
1925             U32 wordlen      = 0;         /* required init */
1926             U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1927
1928             if ( OP(noper) != NOTHING ) {
1929                 for ( ; uc < e ; uc += len ) {
1930
1931                     TRIE_READ_CHAR;
1932
1933                     if ( uvc < 256 ) {
1934                         charid = trie->charmap[ uvc ];
1935                     } else {
1936                         SV* const * const svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 0);
1937                         charid = svpp ? (U16)SvIV(*svpp) : 0;
1938                     }
1939                     if ( charid ) {
1940                         charid--;
1941                         if ( !trie->trans[ state + charid ].next ) {
1942                             trie->trans[ state + charid ].next = next_alloc;
1943                             trie->trans[ state ].check++;
1944                             prev_states[TRIE_NODENUM(next_alloc)]
1945                                     = TRIE_NODENUM(state);
1946                             next_alloc += trie->uniquecharcount;
1947                         }
1948                         state = trie->trans[ state + charid ].next;
1949                     } else {
1950                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %"IVdf, uvc );
1951                     }
1952                     /* charid is now 0 if we dont know the char read, or nonzero if we do */
1953                 }
1954             }
1955             accept_state = TRIE_NODENUM( state );
1956             TRIE_HANDLE_WORD(accept_state);
1957
1958         } /* end second pass */
1959
1960         /* and now dump it out before we compress it */
1961         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_table(trie, widecharmap,
1962                                                           revcharmap,
1963                                                           next_alloc, depth+1));
1964
1965         {
1966         /*
1967            * Inplace compress the table.*
1968
1969            For sparse data sets the table constructed by the trie algorithm will
1970            be mostly 0/FAIL transitions or to put it another way mostly empty.
1971            (Note that leaf nodes will not contain any transitions.)
1972
1973            This algorithm compresses the tables by eliminating most such
1974            transitions, at the cost of a modest bit of extra work during lookup:
1975
1976            - Each states[] entry contains a .base field which indicates the
1977            index in the state[] array wheres its transition data is stored.
1978
1979            - If .base is 0 there are no valid transitions from that node.
1980
1981            - If .base is nonzero then charid is added to it to find an entry in
1982            the trans array.
1983
1984            -If trans[states[state].base+charid].check!=state then the
1985            transition is taken to be a 0/Fail transition. Thus if there are fail
1986            transitions at the front of the node then the .base offset will point
1987            somewhere inside the previous nodes data (or maybe even into a node
1988            even earlier), but the .check field determines if the transition is
1989            valid.
1990
1991            XXX - wrong maybe?
1992            The following process inplace converts the table to the compressed
1993            table: We first do not compress the root node 1,and mark all its
1994            .check pointers as 1 and set its .base pointer as 1 as well. This
1995            allows us to do a DFA construction from the compressed table later,
1996            and ensures that any .base pointers we calculate later are greater
1997            than 0.
1998
1999            - We set 'pos' to indicate the first entry of the second node.
2000
2001            - We then iterate over the columns of the node, finding the first and
2002            last used entry at l and m. We then copy l..m into pos..(pos+m-l),
2003            and set the .check pointers accordingly, and advance pos
2004            appropriately and repreat for the next node. Note that when we copy
2005            the next pointers we have to convert them from the original
2006            NODEIDX form to NODENUM form as the former is not valid post
2007            compression.
2008
2009            - If a node has no transitions used we mark its base as 0 and do not
2010            advance the pos pointer.
2011
2012            - If a node only has one transition we use a second pointer into the
2013            structure to fill in allocated fail transitions from other states.
2014            This pointer is independent of the main pointer and scans forward
2015            looking for null transitions that are allocated to a state. When it
2016            finds one it writes the single transition into the "hole".  If the
2017            pointer doesnt find one the single transition is appended as normal.
2018
2019            - Once compressed we can Renew/realloc the structures to release the
2020            excess space.
2021
2022            See "Table-Compression Methods" in sec 3.9 of the Red Dragon,
2023            specifically Fig 3.47 and the associated pseudocode.
2024
2025            demq
2026         */
2027         const U32 laststate = TRIE_NODENUM( next_alloc );
2028         U32 state, charid;
2029         U32 pos = 0, zp=0;
2030         trie->statecount = laststate;
2031
2032         for ( state = 1 ; state < laststate ; state++ ) {
2033             U8 flag = 0;
2034             const U32 stateidx = TRIE_NODEIDX( state );
2035             const U32 o_used = trie->trans[ stateidx ].check;
2036             U32 used = trie->trans[ stateidx ].check;
2037             trie->trans[ stateidx ].check = 0;
2038
2039             for ( charid = 0 ; used && charid < trie->uniquecharcount ; charid++ ) {
2040                 if ( flag || trie->trans[ stateidx + charid ].next ) {
2041                     if ( trie->trans[ stateidx + charid ].next ) {
2042                         if (o_used == 1) {
2043                             for ( ; zp < pos ; zp++ ) {
2044                                 if ( ! trie->trans[ zp ].next ) {
2045                                     break;
2046                                 }
2047                             }
2048                             trie->states[ state ].trans.base = zp + trie->uniquecharcount - charid ;
2049                             trie->trans[ zp ].next = SAFE_TRIE_NODENUM( trie->trans[ stateidx + charid ].next );
2050                             trie->trans[ zp ].check = state;
2051                             if ( ++zp > pos ) pos = zp;
2052                             break;
2053                         }
2054                         used--;
2055                     }
2056                     if ( !flag ) {
2057                         flag = 1;
2058                         trie->states[ state ].trans.base = pos + trie->uniquecharcount - charid ;
2059                     }
2060                     trie->trans[ pos ].next = SAFE_TRIE_NODENUM( trie->trans[ stateidx + charid ].next );
2061                     trie->trans[ pos ].check = state;
2062                     pos++;
2063                 }
2064             }
2065         }
2066         trie->lasttrans = pos + 1;
2067         trie->states = (reg_trie_state *)
2068             PerlMemShared_realloc( trie->states, laststate
2069                                    * sizeof(reg_trie_state) );
2070         DEBUG_TRIE_COMPILE_MORE_r(
2071                 PerlIO_printf( Perl_debug_log,
2072                     "%*sAlloc: %d Orig: %"IVdf" elements, Final:%"IVdf". Savings of %%%5.2f\n",
2073                     (int)depth * 2 + 2,"",
2074                     (int)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount + 1 ),
2075                     (IV)next_alloc,
2076                     (IV)pos,
2077                     ( ( next_alloc - pos ) * 100 ) / (double)next_alloc );
2078             );
2079
2080         } /* end table compress */
2081     }
2082     DEBUG_TRIE_COMPILE_MORE_r(
2083             PerlIO_printf(Perl_debug_log, "%*sStatecount:%"UVxf" Lasttrans:%"UVxf"\n",
2084                 (int)depth * 2 + 2, "",
2085                 (UV)trie->statecount,
2086                 (UV)trie->lasttrans)
2087     );
2088     /* resize the trans array to remove unused space */
2089     trie->trans = (reg_trie_trans *)
2090         PerlMemShared_realloc( trie->trans, trie->lasttrans
2091                                * sizeof(reg_trie_trans) );
2092
2093     {   /* Modify the program and insert the new TRIE node */ 
2094         U8 nodetype =(U8)(flags & 0xFF);
2095         char *str=NULL;
2096         
2097 #ifdef DEBUGGING
2098         regnode *optimize = NULL;
2099 #ifdef RE_TRACK_PATTERN_OFFSETS
2100
2101         U32 mjd_offset = 0;
2102         U32 mjd_nodelen = 0;
2103 #endif /* RE_TRACK_PATTERN_OFFSETS */
2104 #endif /* DEBUGGING */
2105         /*
2106            This means we convert either the first branch or the first Exact,
2107            depending on whether the thing following (in 'last') is a branch
2108            or not and whther first is the startbranch (ie is it a sub part of
2109            the alternation or is it the whole thing.)
2110            Assuming its a sub part we convert the EXACT otherwise we convert
2111            the whole branch sequence, including the first.
2112          */
2113         /* Find the node we are going to overwrite */
2114         if ( first != startbranch || OP( last ) == BRANCH ) {
2115             /* branch sub-chain */
2116             NEXT_OFF( first ) = (U16)(last - first);
2117 #ifdef RE_TRACK_PATTERN_OFFSETS
2118             DEBUG_r({
2119                 mjd_offset= Node_Offset((convert));
2120                 mjd_nodelen= Node_Length((convert));
2121             });
2122 #endif
2123             /* whole branch chain */
2124         }
2125 #ifdef RE_TRACK_PATTERN_OFFSETS
2126         else {
2127             DEBUG_r({
2128                 const  regnode *nop = NEXTOPER( convert );
2129                 mjd_offset= Node_Offset((nop));
2130                 mjd_nodelen= Node_Length((nop));
2131             });
2132         }
2133         DEBUG_OPTIMISE_r(
2134             PerlIO_printf(Perl_debug_log, "%*sMJD offset:%"UVuf" MJD length:%"UVuf"\n",
2135                 (int)depth * 2 + 2, "",
2136                 (UV)mjd_offset, (UV)mjd_nodelen)
2137         );
2138 #endif
2139         /* But first we check to see if there is a common prefix we can 
2140            split out as an EXACT and put in front of the TRIE node.  */
2141         trie->startstate= 1;
2142         if ( trie->bitmap && !widecharmap && !trie->jump  ) {
2143             U32 state;
2144             for ( state = 1 ; state < trie->statecount-1 ; state++ ) {
2145                 U32 ofs = 0;
2146                 I32 idx = -1;
2147                 U32 count = 0;
2148                 const U32 base = trie->states[ state ].trans.base;
2149
2150                 if ( trie->states[state].wordnum )
2151                         count = 1;
2152
2153                 for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
2154                     if ( ( base + ofs >= trie->uniquecharcount ) &&
2155                          ( base + ofs - trie->uniquecharcount < trie->lasttrans ) &&
2156                          trie->trans[ base + ofs - trie->uniquecharcount ].check == state )
2157                     {
2158                         if ( ++count > 1 ) {
2159                             SV **tmp = av_fetch( revcharmap, ofs, 0);
2160                             const U8 *ch = (U8*)SvPV_nolen_const( *tmp );
2161                             if ( state == 1 ) break;
2162                             if ( count == 2 ) {
2163                                 Zero(trie->bitmap, ANYOF_BITMAP_SIZE, char);
2164                                 DEBUG_OPTIMISE_r(
2165                                     PerlIO_printf(Perl_debug_log,
2166                                         "%*sNew Start State=%"UVuf" Class: [",
2167                                         (int)depth * 2 + 2, "",
2168                                         (UV)state));
2169                                 if (idx >= 0) {
2170                                     SV ** const tmp = av_fetch( revcharmap, idx, 0);
2171                                     const U8 * const ch = (U8*)SvPV_nolen_const( *tmp );
2172
2173                                     TRIE_BITMAP_SET(trie,*ch);
2174                                     if ( folder )
2175                                         TRIE_BITMAP_SET(trie, folder[ *ch ]);
2176                                     DEBUG_OPTIMISE_r(
2177                                         PerlIO_printf(Perl_debug_log, "%s", (char*)ch)
2178                                     );
2179                                 }
2180                             }
2181                             TRIE_BITMAP_SET(trie,*ch);
2182                             if ( folder )
2183                                 TRIE_BITMAP_SET(trie,folder[ *ch ]);
2184                             DEBUG_OPTIMISE_r(PerlIO_printf( Perl_debug_log,"%s", ch));
2185                         }
2186                         idx = ofs;
2187                     }
2188                 }
2189                 if ( count == 1 ) {
2190                     SV **tmp = av_fetch( revcharmap, idx, 0);
2191                     STRLEN len;
2192                     char *ch = SvPV( *tmp, len );
2193                     DEBUG_OPTIMISE_r({
2194                         SV *sv=sv_newmortal();
2195                         PerlIO_printf( Perl_debug_log,
2196                             "%*sPrefix State: %"UVuf" Idx:%"UVuf" Char='%s'\n",
2197                             (int)depth * 2 + 2, "",
2198                             (UV)state, (UV)idx, 
2199                             pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), 6, 
2200                                 PL_colors[0], PL_colors[1],
2201                                 (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
2202                                 PERL_PV_ESCAPE_FIRSTCHAR 
2203                             )
2204                         );
2205                     });
2206                     if ( state==1 ) {
2207                         OP( convert ) = nodetype;
2208                         str=STRING(convert);
2209                         STR_LEN(convert)=0;
2210                     }
2211                     STR_LEN(convert) += len;
2212                     while (len--)
2213                         *str++ = *ch++;
2214                 } else {
2215 #ifdef DEBUGGING            
2216                     if (state>1)
2217                         DEBUG_OPTIMISE_r(PerlIO_printf( Perl_debug_log,"]\n"));
2218 #endif
2219                     break;
2220                 }
2221             }
2222             trie->prefixlen = (state-1);
2223             if (str) {
2224                 regnode *n = convert+NODE_SZ_STR(convert);
2225                 NEXT_OFF(convert) = NODE_SZ_STR(convert);
2226                 trie->startstate = state;
2227                 trie->minlen -= (state - 1);
2228                 trie->maxlen -= (state - 1);
2229 #ifdef DEBUGGING
2230                /* At least the UNICOS C compiler choked on this
2231                 * being argument to DEBUG_r(), so let's just have
2232                 * it right here. */
2233                if (
2234 #ifdef PERL_EXT_RE_BUILD
2235                    1
2236 #else
2237                    DEBUG_r_TEST
2238 #endif
2239                    ) {
2240                    regnode *fix = convert;
2241                    U32 word = trie->wordcount;
2242                    mjd_nodelen++;
2243                    Set_Node_Offset_Length(convert, mjd_offset, state - 1);
2244                    while( ++fix < n ) {
2245                        Set_Node_Offset_Length(fix, 0, 0);
2246                    }
2247                    while (word--) {
2248                        SV ** const tmp = av_fetch( trie_words, word, 0 );
2249                        if (tmp) {
2250                            if ( STR_LEN(convert) <= SvCUR(*tmp) )
2251                                sv_chop(*tmp, SvPV_nolen(*tmp) + STR_LEN(convert));
2252                            else
2253                                sv_chop(*tmp, SvPV_nolen(*tmp) + SvCUR(*tmp));
2254                        }
2255                    }
2256                }
2257 #endif
2258                 if (trie->maxlen) {
2259                     convert = n;
2260                 } else {
2261                     NEXT_OFF(convert) = (U16)(tail - convert);
2262                     DEBUG_r(optimize= n);
2263                 }
2264             }
2265         }
2266         if (!jumper) 
2267             jumper = last; 
2268         if ( trie->maxlen ) {
2269             NEXT_OFF( convert ) = (U16)(tail - convert);
2270             ARG_SET( convert, data_slot );
2271             /* Store the offset to the first unabsorbed branch in 
2272                jump[0], which is otherwise unused by the jump logic. 
2273                We use this when dumping a trie and during optimisation. */
2274             if (trie->jump) 
2275                 trie->jump[0] = (U16)(nextbranch - convert);
2276             
2277             /* If the start state is not accepting (meaning there is no empty string/NOTHING)
2278              *   and there is a bitmap
2279              *   and the first "jump target" node we found leaves enough room
2280              * then convert the TRIE node into a TRIEC node, with the bitmap
2281              * embedded inline in the opcode - this is hypothetically faster.
2282              */
2283             if ( !trie->states[trie->startstate].wordnum
2284                  && trie->bitmap
2285                  && ( (char *)jumper - (char *)convert) >= (int)sizeof(struct regnode_charclass) )
2286             {
2287                 OP( convert ) = TRIEC;
2288                 Copy(trie->bitmap, ((struct regnode_charclass *)convert)->bitmap, ANYOF_BITMAP_SIZE, char);
2289                 PerlMemShared_free(trie->bitmap);
2290                 trie->bitmap= NULL;
2291             } else 
2292                 OP( convert ) = TRIE;
2293
2294             /* store the type in the flags */
2295             convert->flags = nodetype;
2296             DEBUG_r({
2297             optimize = convert 
2298                       + NODE_STEP_REGNODE 
2299                       + regarglen[ OP( convert ) ];
2300             });
2301             /* XXX We really should free up the resource in trie now, 
2302                    as we won't use them - (which resources?) dmq */
2303         }
2304         /* needed for dumping*/
2305         DEBUG_r(if (optimize) {
2306             regnode *opt = convert;
2307
2308             while ( ++opt < optimize) {
2309                 Set_Node_Offset_Length(opt,0,0);
2310             }
2311             /* 
2312                 Try to clean up some of the debris left after the 
2313                 optimisation.
2314              */
2315             while( optimize < jumper ) {
2316                 mjd_nodelen += Node_Length((optimize));
2317                 OP( optimize ) = OPTIMIZED;
2318                 Set_Node_Offset_Length(optimize,0,0);
2319                 optimize++;
2320             }
2321             Set_Node_Offset_Length(convert,mjd_offset,mjd_nodelen);
2322         });
2323     } /* end node insert */
2324
2325     /*  Finish populating the prev field of the wordinfo array.  Walk back
2326      *  from each accept state until we find another accept state, and if
2327      *  so, point the first word's .prev field at the second word. If the
2328      *  second already has a .prev field set, stop now. This will be the
2329      *  case either if we've already processed that word's accept state,
2330      *  or that state had multiple words, and the overspill words were
2331      *  already linked up earlier.
2332      */
2333     {
2334         U16 word;
2335         U32 state;
2336         U16 prev;
2337
2338         for (word=1; word <= trie->wordcount; word++) {
2339             prev = 0;
2340             if (trie->wordinfo[word].prev)
2341                 continue;
2342             state = trie->wordinfo[word].accept;
2343             while (state) {
2344                 state = prev_states[state];
2345                 if (!state)
2346                     break;
2347                 prev = trie->states[state].wordnum;
2348                 if (prev)
2349                     break;
2350             }
2351             trie->wordinfo[word].prev = prev;
2352         }
2353         Safefree(prev_states);
2354     }
2355
2356
2357     /* and now dump out the compressed format */
2358     DEBUG_TRIE_COMPILE_r(dump_trie(trie, widecharmap, revcharmap, depth+1));
2359
2360     RExC_rxi->data->data[ data_slot + 1 ] = (void*)widecharmap;
2361 #ifdef DEBUGGING
2362     RExC_rxi->data->data[ data_slot + TRIE_WORDS_OFFSET ] = (void*)trie_words;
2363     RExC_rxi->data->data[ data_slot + 3 ] = (void*)revcharmap;
2364 #else
2365     SvREFCNT_dec(revcharmap);
2366 #endif
2367     return trie->jump 
2368            ? MADE_JUMP_TRIE 
2369            : trie->startstate>1 
2370              ? MADE_EXACT_TRIE 
2371              : MADE_TRIE;
2372 }
2373
2374 STATIC void
2375 S_make_trie_failtable(pTHX_ RExC_state_t *pRExC_state, regnode *source,  regnode *stclass, U32 depth)
2376 {
2377 /* The Trie is constructed and compressed now so we can build a fail array if it's needed
2378
2379    This is basically the Aho-Corasick algorithm. Its from exercise 3.31 and 3.32 in the
2380    "Red Dragon" -- Compilers, principles, techniques, and tools. Aho, Sethi, Ullman 1985/88
2381    ISBN 0-201-10088-6
2382
2383    We find the fail state for each state in the trie, this state is the longest proper
2384    suffix of the current state's 'word' that is also a proper prefix of another word in our
2385    trie. State 1 represents the word '' and is thus the default fail state. This allows
2386    the DFA not to have to restart after its tried and failed a word at a given point, it
2387    simply continues as though it had been matching the other word in the first place.
2388    Consider
2389       'abcdgu'=~/abcdefg|cdgu/
2390    When we get to 'd' we are still matching the first word, we would encounter 'g' which would
2391    fail, which would bring us to the state representing 'd' in the second word where we would
2392    try 'g' and succeed, proceeding to match 'cdgu'.
2393  */
2394  /* add a fail transition */
2395     const U32 trie_offset = ARG(source);
2396     reg_trie_data *trie=(reg_trie_data *)RExC_rxi->data->data[trie_offset];
2397     U32 *q;
2398     const U32 ucharcount = trie->uniquecharcount;
2399     const U32 numstates = trie->statecount;
2400     const U32 ubound = trie->lasttrans + ucharcount;
2401     U32 q_read = 0;
2402     U32 q_write = 0;
2403     U32 charid;
2404     U32 base = trie->states[ 1 ].trans.base;
2405     U32 *fail;
2406     reg_ac_data *aho;
2407     const U32 data_slot = add_data( pRExC_state, 1, "T" );
2408     GET_RE_DEBUG_FLAGS_DECL;
2409
2410     PERL_ARGS_ASSERT_MAKE_TRIE_FAILTABLE;
2411 #ifndef DEBUGGING
2412     PERL_UNUSED_ARG(depth);
2413 #endif
2414
2415
2416     ARG_SET( stclass, data_slot );
2417     aho = (reg_ac_data *) PerlMemShared_calloc( 1, sizeof(reg_ac_data) );
2418     RExC_rxi->data->data[ data_slot ] = (void*)aho;
2419     aho->trie=trie_offset;
2420     aho->states=(reg_trie_state *)PerlMemShared_malloc( numstates * sizeof(reg_trie_state) );
2421     Copy( trie->states, aho->states, numstates, reg_trie_state );
2422     Newxz( q, numstates, U32);
2423     aho->fail = (U32 *) PerlMemShared_calloc( numstates, sizeof(U32) );
2424     aho->refcount = 1;
2425     fail = aho->fail;
2426     /* initialize fail[0..1] to be 1 so that we always have
2427        a valid final fail state */
2428     fail[ 0 ] = fail[ 1 ] = 1;
2429
2430     for ( charid = 0; charid < ucharcount ; charid++ ) {
2431         const U32 newstate = TRIE_TRANS_STATE( 1, base, ucharcount, charid, 0 );
2432         if ( newstate ) {
2433             q[ q_write ] = newstate;
2434             /* set to point at the root */
2435             fail[ q[ q_write++ ] ]=1;
2436         }
2437     }
2438     while ( q_read < q_write) {
2439         const U32 cur = q[ q_read++ % numstates ];
2440         base = trie->states[ cur ].trans.base;
2441
2442         for ( charid = 0 ; charid < ucharcount ; charid++ ) {
2443             const U32 ch_state = TRIE_TRANS_STATE( cur, base, ucharcount, charid, 1 );
2444             if (ch_state) {
2445                 U32 fail_state = cur;
2446                 U32 fail_base;
2447                 do {
2448                     fail_state = fail[ fail_state ];
2449                     fail_base = aho->states[ fail_state ].trans.base;
2450                 } while ( !TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 ) );
2451
2452                 fail_state = TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 );
2453                 fail[ ch_state ] = fail_state;
2454                 if ( !aho->states[ ch_state ].wordnum && aho->states[ fail_state ].wordnum )
2455                 {
2456                         aho->states[ ch_state ].wordnum =  aho->states[ fail_state ].wordnum;
2457                 }
2458                 q[ q_write++ % numstates] = ch_state;
2459             }
2460         }
2461     }
2462     /* restore fail[0..1] to 0 so that we "fall out" of the AC loop
2463        when we fail in state 1, this allows us to use the
2464        charclass scan to find a valid start char. This is based on the principle
2465        that theres a good chance the string being searched contains lots of stuff
2466        that cant be a start char.
2467      */
2468     fail[ 0 ] = fail[ 1 ] = 0;
2469     DEBUG_TRIE_COMPILE_r({
2470         PerlIO_printf(Perl_debug_log,
2471                       "%*sStclass Failtable (%"UVuf" states): 0", 
2472                       (int)(depth * 2), "", (UV)numstates
2473         );
2474         for( q_read=1; q_read<numstates; q_read++ ) {
2475             PerlIO_printf(Perl_debug_log, ", %"UVuf, (UV)fail[q_read]);
2476         }
2477         PerlIO_printf(Perl_debug_log, "\n");
2478     });
2479     Safefree(q);
2480     /*RExC_seen |= REG_SEEN_TRIEDFA;*/
2481 }
2482
2483
2484 /*
2485  * There are strange code-generation bugs caused on sparc64 by gcc-2.95.2.
2486  * These need to be revisited when a newer toolchain becomes available.
2487  */
2488 #if defined(__sparc64__) && defined(__GNUC__)
2489 #   if __GNUC__ < 2 || (__GNUC__ == 2 && __GNUC_MINOR__ < 96)
2490 #       undef  SPARC64_GCC_WORKAROUND
2491 #       define SPARC64_GCC_WORKAROUND 1
2492 #   endif
2493 #endif
2494
2495 #define DEBUG_PEEP(str,scan,depth) \
2496     DEBUG_OPTIMISE_r({if (scan){ \
2497        SV * const mysv=sv_newmortal(); \
2498        regnode *Next = regnext(scan); \
2499        regprop(RExC_rx, mysv, scan); \
2500        PerlIO_printf(Perl_debug_log, "%*s" str ">%3d: %s (%d)\n", \
2501        (int)depth*2, "", REG_NODE_NUM(scan), SvPV_nolen_const(mysv),\
2502        Next ? (REG_NODE_NUM(Next)) : 0 ); \
2503    }});
2504
2505
2506
2507
2508
2509 #define JOIN_EXACT(scan,min,flags) \
2510     if (PL_regkind[OP(scan)] == EXACT) \
2511         join_exact(pRExC_state,(scan),(min),(flags),NULL,depth+1)
2512
2513 STATIC U32
2514 S_join_exact(pTHX_ RExC_state_t *pRExC_state, regnode *scan, I32 *min, U32 flags,regnode *val, U32 depth) {
2515     /* Merge several consecutive EXACTish nodes into one. */
2516     regnode *n = regnext(scan);
2517     U32 stringok = 1;
2518     regnode *next = scan + NODE_SZ_STR(scan);
2519     U32 merged = 0;
2520     U32 stopnow = 0;
2521 #ifdef DEBUGGING
2522     regnode *stop = scan;
2523     GET_RE_DEBUG_FLAGS_DECL;
2524 #else
2525     PERL_UNUSED_ARG(depth);
2526 #endif
2527
2528     PERL_ARGS_ASSERT_JOIN_EXACT;
2529 #ifndef EXPERIMENTAL_INPLACESCAN
2530     PERL_UNUSED_ARG(flags);
2531     PERL_UNUSED_ARG(val);
2532 #endif
2533     DEBUG_PEEP("join",scan,depth);
2534     
2535     /* Skip NOTHING, merge EXACT*. */
2536     while (n &&
2537            ( PL_regkind[OP(n)] == NOTHING ||
2538              (stringok && (OP(n) == OP(scan))))
2539            && NEXT_OFF(n)
2540            && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
2541         
2542         if (OP(n) == TAIL || n > next)
2543             stringok = 0;
2544         if (PL_regkind[OP(n)] == NOTHING) {
2545             DEBUG_PEEP("skip:",n,depth);
2546             NEXT_OFF(scan) += NEXT_OFF(n);
2547             next = n + NODE_STEP_REGNODE;
2548 #ifdef DEBUGGING
2549             if (stringok)
2550                 stop = n;
2551 #endif
2552             n = regnext(n);
2553         }
2554         else if (stringok) {
2555             const unsigned int oldl = STR_LEN(scan);
2556             regnode * const nnext = regnext(n);
2557             
2558             DEBUG_PEEP("merg",n,depth);
2559             
2560             merged++;
2561             if (oldl + STR_LEN(n) > U8_MAX)
2562                 break;
2563             NEXT_OFF(scan) += NEXT_OFF(n);
2564             STR_LEN(scan) += STR_LEN(n);
2565             next = n + NODE_SZ_STR(n);
2566             /* Now we can overwrite *n : */
2567             Move(STRING(n), STRING(scan) + oldl, STR_LEN(n), char);
2568 #ifdef DEBUGGING
2569             stop = next - 1;
2570 #endif
2571             n = nnext;
2572             if (stopnow) break;
2573         }
2574
2575 #ifdef EXPERIMENTAL_INPLACESCAN
2576         if (flags && !NEXT_OFF(n)) {
2577             DEBUG_PEEP("atch", val, depth);
2578             if (reg_off_by_arg[OP(n)]) {
2579                 ARG_SET(n, val - n);
2580             }
2581             else {
2582                 NEXT_OFF(n) = val - n;
2583             }
2584             stopnow = 1;
2585         }
2586 #endif
2587     }
2588 #define GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS   0x0390
2589 #define IOTA_D_T        GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS
2590 #define GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS     0x03B0
2591 #define UPSILON_D_T     GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS
2592
2593     if (UTF
2594         && ( OP(scan) == EXACTF || OP(scan) == EXACTFU || OP(scan) == EXACTFA)
2595         && ( STR_LEN(scan) >= 6 ) )
2596     {
2597     /*
2598     Two problematic code points in Unicode casefolding of EXACT nodes:
2599     
2600     U+0390 - GREEK SMALL LETTER IOTA WITH DIALYTIKA AND TONOS
2601     U+03B0 - GREEK SMALL LETTER UPSILON WITH DIALYTIKA AND TONOS
2602     
2603     which casefold to
2604     
2605     Unicode                      UTF-8
2606     
2607     U+03B9 U+0308 U+0301         0xCE 0xB9 0xCC 0x88 0xCC 0x81
2608     U+03C5 U+0308 U+0301         0xCF 0x85 0xCC 0x88 0xCC 0x81
2609     
2610     This means that in case-insensitive matching (or "loose matching",
2611     as Unicode calls it), an EXACTF of length six (the UTF-8 encoded byte
2612     length of the above casefolded versions) can match a target string
2613     of length two (the byte length of UTF-8 encoded U+0390 or U+03B0).
2614     This would rather mess up the minimum length computation.
2615     
2616     What we'll do is to look for the tail four bytes, and then peek
2617     at the preceding two bytes to see whether we need to decrease
2618     the minimum length by four (six minus two).
2619     
2620     Thanks to the design of UTF-8, there cannot be false matches:
2621     A sequence of valid UTF-8 bytes cannot be a subsequence of
2622     another valid sequence of UTF-8 bytes.
2623     
2624     */
2625          char * const s0 = STRING(scan), *s, *t;
2626          char * const s1 = s0 + STR_LEN(scan) - 1;
2627          char * const s2 = s1 - 4;
2628 #ifdef EBCDIC /* RD tunifold greek 0390 and 03B0 */
2629          const char t0[] = "\xaf\x49\xaf\x42";
2630 #else
2631          const char t0[] = "\xcc\x88\xcc\x81";
2632 #endif
2633          const char * const t1 = t0 + 3;
2634     
2635          for (s = s0 + 2;
2636               s < s2 && (t = ninstr(s, s1, t0, t1));
2637               s = t + 4) {
2638 #ifdef EBCDIC
2639               if (((U8)t[-1] == 0x68 && (U8)t[-2] == 0xB4) ||
2640                   ((U8)t[-1] == 0x46 && (U8)t[-2] == 0xB5))
2641 #else
2642               if (((U8)t[-1] == 0xB9 && (U8)t[-2] == 0xCE) ||
2643                   ((U8)t[-1] == 0x85 && (U8)t[-2] == 0xCF))
2644 #endif
2645                    *min -= 4;
2646          }
2647     }
2648     
2649 #ifdef DEBUGGING
2650     /* Allow dumping */
2651     n = scan + NODE_SZ_STR(scan);
2652     while (n <= stop) {
2653         if (PL_regkind[OP(n)] != NOTHING || OP(n) == NOTHING) {
2654             OP(n) = OPTIMIZED;
2655             NEXT_OFF(n) = 0;
2656         }
2657         n++;
2658     }
2659 #endif
2660     DEBUG_OPTIMISE_r(if (merged){DEBUG_PEEP("finl",scan,depth)});
2661     return stopnow;
2662 }
2663
2664 /* REx optimizer.  Converts nodes into quicker variants "in place".
2665    Finds fixed substrings.  */
2666
2667 /* Stops at toplevel WHILEM as well as at "last". At end *scanp is set
2668    to the position after last scanned or to NULL. */
2669
2670 #define INIT_AND_WITHP \
2671     assert(!and_withp); \
2672     Newx(and_withp,1,struct regnode_charclass_class); \
2673     SAVEFREEPV(and_withp)
2674
2675 /* this is a chain of data about sub patterns we are processing that
2676    need to be handled separately/specially in study_chunk. Its so
2677    we can simulate recursion without losing state.  */
2678 struct scan_frame;
2679 typedef struct scan_frame {
2680     regnode *last;  /* last node to process in this frame */
2681     regnode *next;  /* next node to process when last is reached */
2682     struct scan_frame *prev; /*previous frame*/
2683     I32 stop; /* what stopparen do we use */
2684 } scan_frame;
2685
2686
2687 #define SCAN_COMMIT(s, data, m) scan_commit(s, data, m, is_inf)
2688
2689 #define CASE_SYNST_FNC(nAmE)                                       \
2690 case nAmE:                                                         \
2691     if (flags & SCF_DO_STCLASS_AND) {                              \
2692             for (value = 0; value < 256; value++)                  \
2693                 if (!is_ ## nAmE ## _cp(value))                       \
2694                     ANYOF_BITMAP_CLEAR(data->start_class, value);  \
2695     }                                                              \
2696     else {                                                         \
2697             for (value = 0; value < 256; value++)                  \
2698                 if (is_ ## nAmE ## _cp(value))                        \
2699                     ANYOF_BITMAP_SET(data->start_class, value);    \
2700     }                                                              \
2701     break;                                                         \
2702 case N ## nAmE:                                                    \
2703     if (flags & SCF_DO_STCLASS_AND) {                              \
2704             for (value = 0; value < 256; value++)                   \
2705                 if (is_ ## nAmE ## _cp(value))                         \
2706                     ANYOF_BITMAP_CLEAR(data->start_class, value);   \
2707     }                                                               \
2708     else {                                                          \
2709             for (value = 0; value < 256; value++)                   \
2710                 if (!is_ ## nAmE ## _cp(value))                        \
2711                     ANYOF_BITMAP_SET(data->start_class, value);     \
2712     }                                                               \
2713     break
2714
2715
2716
2717 STATIC I32
2718 S_study_chunk(pTHX_ RExC_state_t *pRExC_state, regnode **scanp,
2719                         I32 *minlenp, I32 *deltap,
2720                         regnode *last,
2721                         scan_data_t *data,
2722                         I32 stopparen,
2723                         U8* recursed,
2724                         struct regnode_charclass_class *and_withp,
2725                         U32 flags, U32 depth)
2726                         /* scanp: Start here (read-write). */
2727                         /* deltap: Write maxlen-minlen here. */
2728                         /* last: Stop before this one. */
2729                         /* data: string data about the pattern */
2730                         /* stopparen: treat close N as END */
2731                         /* recursed: which subroutines have we recursed into */
2732                         /* and_withp: Valid if flags & SCF_DO_STCLASS_OR */
2733 {
2734     dVAR;
2735     I32 min = 0, pars = 0, code;
2736     regnode *scan = *scanp, *next;
2737     I32 delta = 0;
2738     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
2739     int is_inf_internal = 0;            /* The studied chunk is infinite */
2740     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
2741     scan_data_t data_fake;
2742     SV *re_trie_maxbuff = NULL;
2743     regnode *first_non_open = scan;
2744     I32 stopmin = I32_MAX;
2745     scan_frame *frame = NULL;
2746     GET_RE_DEBUG_FLAGS_DECL;
2747
2748     PERL_ARGS_ASSERT_STUDY_CHUNK;
2749
2750 #ifdef DEBUGGING
2751     StructCopy(&zero_scan_data, &data_fake, scan_data_t);
2752 #endif
2753
2754     if ( depth == 0 ) {
2755         while (first_non_open && OP(first_non_open) == OPEN)
2756             first_non_open=regnext(first_non_open);
2757     }
2758
2759
2760   fake_study_recurse:
2761     while ( scan && OP(scan) != END && scan < last ){
2762         /* Peephole optimizer: */
2763         DEBUG_STUDYDATA("Peep:", data,depth);
2764         DEBUG_PEEP("Peep",scan,depth);
2765         JOIN_EXACT(scan,&min,0);
2766
2767         /* Follow the next-chain of the current node and optimize
2768            away all the NOTHINGs from it.  */
2769         if (OP(scan) != CURLYX) {
2770             const int max = (reg_off_by_arg[OP(scan)]
2771                        ? I32_MAX
2772                        /* I32 may be smaller than U16 on CRAYs! */
2773                        : (I32_MAX < U16_MAX ? I32_MAX : U16_MAX));
2774             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
2775             int noff;
2776             regnode *n = scan;
2777         
2778             /* Skip NOTHING and LONGJMP. */
2779             while ((n = regnext(n))
2780                    && ((PL_regkind[OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
2781                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
2782                    && off + noff < max)
2783                 off += noff;
2784             if (reg_off_by_arg[OP(scan)])
2785                 ARG(scan) = off;
2786             else
2787                 NEXT_OFF(scan) = off;
2788         }
2789
2790
2791
2792         /* The principal pseudo-switch.  Cannot be a switch, since we
2793            look into several different things.  */
2794         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ
2795                    || OP(scan) == IFTHEN) {
2796             next = regnext(scan);
2797             code = OP(scan);
2798             /* demq: the op(next)==code check is to see if we have "branch-branch" AFAICT */
2799         
2800             if (OP(next) == code || code == IFTHEN) {
2801                 /* NOTE - There is similar code to this block below for handling
2802                    TRIE nodes on a re-study.  If you change stuff here check there
2803                    too. */
2804                 I32 max1 = 0, min1 = I32_MAX, num = 0;
2805                 struct regnode_charclass_class accum;
2806                 regnode * const startbranch=scan;
2807                 
2808                 if (flags & SCF_DO_SUBSTR)
2809                     SCAN_COMMIT(pRExC_state, data, minlenp); /* Cannot merge strings after this. */
2810                 if (flags & SCF_DO_STCLASS)
2811                     cl_init_zero(pRExC_state, &accum);
2812
2813                 while (OP(scan) == code) {
2814                     I32 deltanext, minnext, f = 0, fake;
2815                     struct regnode_charclass_class this_class;
2816
2817                     num++;
2818                     data_fake.flags = 0;
2819                     if (data) {
2820                         data_fake.whilem_c = data->whilem_c;
2821                         data_fake.last_closep = data->last_closep;
2822                     }
2823                     else
2824                         data_fake.last_closep = &fake;
2825
2826                     data_fake.pos_delta = delta;
2827                     next = regnext(scan);
2828                     scan = NEXTOPER(scan);
2829                     if (code != BRANCH)
2830                         scan = NEXTOPER(scan);
2831                     if (flags & SCF_DO_STCLASS) {
2832                         cl_init(pRExC_state, &this_class);
2833                         data_fake.start_class = &this_class;
2834                         f = SCF_DO_STCLASS_AND;
2835                     }
2836                     if (flags & SCF_WHILEM_VISITED_POS)
2837                         f |= SCF_WHILEM_VISITED_POS;
2838
2839                     /* we suppose the run is continuous, last=next...*/
2840                     minnext = study_chunk(pRExC_state, &scan, minlenp, &deltanext,
2841                                           next, &data_fake,
2842                                           stopparen, recursed, NULL, f,depth+1);
2843                     if (min1 > minnext)
2844                         min1 = minnext;
2845                     if (max1 < minnext + deltanext)
2846                         max1 = minnext + deltanext;
2847                     if (deltanext == I32_MAX)
2848                         is_inf = is_inf_internal = 1;
2849                     scan = next;
2850                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
2851                         pars++;
2852                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
2853                         if ( stopmin > minnext) 
2854                             stopmin = min + min1;
2855                         flags &= ~SCF_DO_SUBSTR;
2856                         if (data)
2857                             data->flags |= SCF_SEEN_ACCEPT;
2858                     }
2859                     if (data) {
2860                         if (data_fake.flags & SF_HAS_EVAL)
2861                             data->flags |= SF_HAS_EVAL;
2862                         data->whilem_c = data_fake.whilem_c;
2863                     }
2864                     if (flags & SCF_DO_STCLASS)
2865                         cl_or(pRExC_state, &accum, &this_class);
2866                 }
2867                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
2868                     min1 = 0;
2869                 if (flags & SCF_DO_SUBSTR) {
2870                     data->pos_min += min1;
2871                     data->pos_delta += max1 - min1;
2872                     if (max1 != min1 || is_inf)
2873                         data->longest = &(data->longest_float);
2874                 }
2875                 min += min1;
2876                 delta += max1 - min1;
2877                 if (flags & SCF_DO_STCLASS_OR) {
2878                     cl_or(pRExC_state, data->start_class, &accum);
2879                     if (min1) {
2880                         cl_and(data->start_class, and_withp);
2881                         flags &= ~SCF_DO_STCLASS;
2882                     }
2883                 }
2884                 else if (flags & SCF_DO_STCLASS_AND) {
2885                     if (min1) {
2886                         cl_and(data->start_class, &accum);
2887                         flags &= ~SCF_DO_STCLASS;
2888                     }
2889                     else {
2890                         /* Switch to OR mode: cache the old value of
2891                          * data->start_class */
2892                         INIT_AND_WITHP;
2893                         StructCopy(data->start_class, and_withp,
2894                                    struct regnode_charclass_class);
2895                         flags &= ~SCF_DO_STCLASS_AND;
2896                         StructCopy(&accum, data->start_class,
2897                                    struct regnode_charclass_class);
2898                         flags |= SCF_DO_STCLASS_OR;
2899                         data->start_class->flags |= ANYOF_EOS;
2900                     }
2901                 }
2902
2903                 if (PERL_ENABLE_TRIE_OPTIMISATION && OP( startbranch ) == BRANCH ) {
2904                 /* demq.
2905
2906                    Assuming this was/is a branch we are dealing with: 'scan' now
2907                    points at the item that follows the branch sequence, whatever
2908                    it is. We now start at the beginning of the sequence and look
2909                    for subsequences of
2910
2911                    BRANCH->EXACT=>x1
2912                    BRANCH->EXACT=>x2
2913                    tail
2914
2915                    which would be constructed from a pattern like /A|LIST|OF|WORDS/
2916
2917                    If we can find such a subsequence we need to turn the first
2918                    element into a trie and then add the subsequent branch exact
2919                    strings to the trie.
2920
2921                    We have two cases
2922
2923                      1. patterns where the whole set of branches can be converted. 
2924
2925                      2. patterns where only a subset can be converted.
2926
2927                    In case 1 we can replace the whole set with a single regop
2928                    for the trie. In case 2 we need to keep the start and end
2929                    branches so
2930
2931                      'BRANCH EXACT; BRANCH EXACT; BRANCH X'
2932                      becomes BRANCH TRIE; BRANCH X;
2933
2934                   There is an additional case, that being where there is a 
2935                   common prefix, which gets split out into an EXACT like node
2936                   preceding the TRIE node.
2937
2938                   If x(1..n)==tail then we can do a simple trie, if not we make
2939                   a "jump" trie, such that when we match the appropriate word
2940                   we "jump" to the appropriate tail node. Essentially we turn
2941                   a nested if into a case structure of sorts.
2942
2943                 */
2944                 
2945                     int made=0;
2946                     if (!re_trie_maxbuff) {
2947                         re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, 1);
2948                         if (!SvIOK(re_trie_maxbuff))
2949                             sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
2950                     }
2951                     if ( SvIV(re_trie_maxbuff)>=0  ) {
2952                         regnode *cur;
2953                         regnode *first = (regnode *)NULL;
2954                         regnode *last = (regnode *)NULL;
2955                         regnode *tail = scan;
2956                         U8 optype = 0;
2957                         U32 count=0;
2958
2959 #ifdef DEBUGGING
2960                         SV * const mysv = sv_newmortal();       /* for dumping */
2961 #endif
2962                         /* var tail is used because there may be a TAIL
2963                            regop in the way. Ie, the exacts will point to the
2964                            thing following the TAIL, but the last branch will
2965                            point at the TAIL. So we advance tail. If we
2966                            have nested (?:) we may have to move through several
2967                            tails.
2968                          */
2969
2970                         while ( OP( tail ) == TAIL ) {
2971                             /* this is the TAIL generated by (?:) */
2972                             tail = regnext( tail );
2973                         }
2974
2975                         
2976                         DEBUG_OPTIMISE_r({
2977                             regprop(RExC_rx, mysv, tail );
2978                             PerlIO_printf( Perl_debug_log, "%*s%s%s\n",
2979                                 (int)depth * 2 + 2, "", 
2980                                 "Looking for TRIE'able sequences. Tail node is: ", 
2981                                 SvPV_nolen_const( mysv )
2982                             );
2983                         });
2984                         
2985                         /*
2986
2987                            step through the branches, cur represents each
2988                            branch, noper is the first thing to be matched
2989                            as part of that branch and noper_next is the
2990                            regnext() of that node. if noper is an EXACT
2991                            and noper_next is the same as scan (our current
2992                            position in the regex) then the EXACT branch is
2993                            a possible optimization target. Once we have
2994                            two or more consecutive such branches we can
2995                            create a trie of the EXACT's contents and stich
2996                            it in place. If the sequence represents all of
2997                            the branches we eliminate the whole thing and
2998                            replace it with a single TRIE. If it is a
2999                            subsequence then we need to stitch it in. This
3000                            means the first branch has to remain, and needs
3001                            to be repointed at the item on the branch chain
3002                            following the last branch optimized. This could
3003                            be either a BRANCH, in which case the
3004                            subsequence is internal, or it could be the
3005                            item following the branch sequence in which
3006                            case the subsequence is at the end.
3007
3008                         */
3009
3010                         /* dont use tail as the end marker for this traverse */
3011                         for ( cur = startbranch ; cur != scan ; cur = regnext( cur ) ) {
3012                             regnode * const noper = NEXTOPER( cur );
3013 #if defined(DEBUGGING) || defined(NOJUMPTRIE)
3014                             regnode * const noper_next = regnext( noper );
3015 #endif
3016
3017                             DEBUG_OPTIMISE_r({
3018                                 regprop(RExC_rx, mysv, cur);
3019                                 PerlIO_printf( Perl_debug_log, "%*s- %s (%d)",
3020                                    (int)depth * 2 + 2,"", SvPV_nolen_const( mysv ), REG_NODE_NUM(cur) );
3021
3022                                 regprop(RExC_rx, mysv, noper);
3023                                 PerlIO_printf( Perl_debug_log, " -> %s",
3024                                     SvPV_nolen_const(mysv));
3025
3026                                 if ( noper_next ) {
3027                                   regprop(RExC_rx, mysv, noper_next );
3028                                   PerlIO_printf( Perl_debug_log,"\t=> %s\t",
3029                                     SvPV_nolen_const(mysv));
3030                                 }
3031                                 PerlIO_printf( Perl_debug_log, "(First==%d,Last==%d,Cur==%d)\n",
3032                                    REG_NODE_NUM(first), REG_NODE_NUM(last), REG_NODE_NUM(cur) );
3033                             });
3034                             if ( (((first && optype!=NOTHING) ? OP( noper ) == optype
3035                                          : PL_regkind[ OP( noper ) ] == EXACT )
3036                                   || OP(noper) == NOTHING )
3037 #ifdef NOJUMPTRIE
3038                                   && noper_next == tail
3039 #endif
3040                                   && count < U16_MAX)
3041                             {
3042                                 count++;
3043                                 if ( !first || optype == NOTHING ) {
3044                                     if (!first) first = cur;
3045                                     optype = OP( noper );
3046                                 } else {
3047                                     last = cur;
3048                                 }
3049                             } else {
3050 /* 
3051     Currently we do not believe that the trie logic can
3052     handle case insensitive matching properly when the
3053     pattern is not unicode (thus forcing unicode semantics).
3054
3055     If/when this is fixed the following define can be swapped
3056     in below to fully enable trie logic.
3057
3058     XXX It may work if not UTF and/or /a (AT_LEAST_UNI_SEMANTICS) but perhaps
3059     not /aa
3060
3061 #define TRIE_TYPE_IS_SAFE 1
3062
3063 */
3064 #define TRIE_TYPE_IS_SAFE ((UTF && UNI_SEMANTICS) || optype==EXACT)
3065
3066                                 if ( last && TRIE_TYPE_IS_SAFE ) {
3067                                     make_trie( pRExC_state, 
3068                                             startbranch, first, cur, tail, count, 
3069                                             optype, depth+1 );
3070                                 }
3071                                 if ( PL_regkind[ OP( noper ) ] == EXACT
3072 #ifdef NOJUMPTRIE
3073                                      && noper_next == tail
3074 #endif
3075                                 ){
3076                                     count = 1;
3077                                     first = cur;
3078                                     optype = OP( noper );
3079                                 } else {
3080                                     count = 0;
3081                                     first = NULL;
3082                                     optype = 0;
3083                                 }
3084                                 last = NULL;
3085                             }
3086                         }
3087                         DEBUG_OPTIMISE_r({
3088                             regprop(RExC_rx, mysv, cur);
3089                             PerlIO_printf( Perl_debug_log,
3090                               "%*s- %s (%d) <SCAN FINISHED>\n", (int)depth * 2 + 2,
3091                               "", SvPV_nolen_const( mysv ),REG_NODE_NUM(cur));
3092
3093                         });
3094                         
3095                         if ( last && TRIE_TYPE_IS_SAFE ) {
3096                             made= make_trie( pRExC_state, startbranch, first, scan, tail, count, optype, depth+1 );
3097 #ifdef TRIE_STUDY_OPT   
3098                             if ( ((made == MADE_EXACT_TRIE && 
3099                                  startbranch == first) 
3100                                  || ( first_non_open == first )) && 
3101                                  depth==0 ) {
3102                                 flags |= SCF_TRIE_RESTUDY;
3103                                 if ( startbranch == first 
3104                                      && scan == tail ) 
3105                                 {
3106                                     RExC_seen &=~REG_TOP_LEVEL_BRANCHES;
3107                                 }
3108                             }
3109 #endif
3110                         }
3111                     }
3112                     
3113                 } /* do trie */
3114                 
3115             }
3116             else if ( code == BRANCHJ ) {  /* single branch is optimized. */
3117                 scan = NEXTOPER(NEXTOPER(scan));
3118             } else                      /* single branch is optimized. */
3119                 scan = NEXTOPER(scan);
3120             continue;
3121         } else if (OP(scan) == SUSPEND || OP(scan) == GOSUB || OP(scan) == GOSTART) {
3122             scan_frame *newframe = NULL;
3123             I32 paren;
3124             regnode *start;
3125             regnode *end;
3126
3127             if (OP(scan) != SUSPEND) {
3128             /* set the pointer */
3129                 if (OP(scan) == GOSUB) {
3130                     paren = ARG(scan);
3131                     RExC_recurse[ARG2L(scan)] = scan;
3132                     start = RExC_open_parens[paren-1];
3133                     end   = RExC_close_parens[paren-1];
3134                 } else {
3135                     paren = 0;
3136                     start = RExC_rxi->program + 1;
3137                     end   = RExC_opend;
3138                 }
3139                 if (!recursed) {
3140                     Newxz(recursed, (((RExC_npar)>>3) +1), U8);
3141                     SAVEFREEPV(recursed);
3142                 }
3143                 if (!PAREN_TEST(recursed,paren+1)) {
3144                     PAREN_SET(recursed,paren+1);
3145                     Newx(newframe,1,scan_frame);
3146                 } else {
3147                     if (flags & SCF_DO_SUBSTR) {
3148                         SCAN_COMMIT(pRExC_state,data,minlenp);
3149                         data->longest = &(data->longest_float);
3150                     }
3151                     is_inf = is_inf_internal = 1;
3152                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
3153                         cl_anything(pRExC_state, data->start_class);
3154                     flags &= ~SCF_DO_STCLASS;
3155                 }
3156             } else {
3157                 Newx(newframe,1,scan_frame);
3158                 paren = stopparen;
3159                 start = scan+2;
3160                 end = regnext(scan);
3161             }
3162             if (newframe) {
3163                 assert(start);
3164                 assert(end);
3165                 SAVEFREEPV(newframe);
3166                 newframe->next = regnext(scan);
3167                 newframe->last = last;
3168                 newframe->stop = stopparen;
3169                 newframe->prev = frame;
3170
3171                 frame = newframe;
3172                 scan =  start;
3173                 stopparen = paren;
3174                 last = end;
3175
3176                 continue;
3177             }
3178         }
3179         else if (OP(scan) == EXACT) {
3180             I32 l = STR_LEN(scan);
3181             UV uc;
3182             if (UTF) {
3183                 const U8 * const s = (U8*)STRING(scan);
3184                 l = utf8_length(s, s + l);
3185                 uc = utf8_to_uvchr(s, NULL);
3186             } else {
3187                 uc = *((U8*)STRING(scan));
3188             }
3189             min += l;
3190             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
3191                 /* The code below prefers earlier match for fixed
3192                    offset, later match for variable offset.  */
3193                 if (data->last_end == -1) { /* Update the start info. */
3194                     data->last_start_min = data->pos_min;
3195                     data->last_start_max = is_inf
3196                         ? I32_MAX : data->pos_min + data->pos_delta;
3197                 }
3198                 sv_catpvn(data->last_found, STRING(scan), STR_LEN(scan));
3199                 if (UTF)
3200                     SvUTF8_on(data->last_found);
3201                 {
3202                     SV * const sv = data->last_found;
3203                     MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
3204                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
3205                     if (mg && mg->mg_len >= 0)
3206                         mg->mg_len += utf8_length((U8*)STRING(scan),
3207                                                   (U8*)STRING(scan)+STR_LEN(scan));
3208                 }
3209                 data->last_end = data->pos_min + l;
3210                 data->pos_min += l; /* As in the first entry. */
3211                 data->flags &= ~SF_BEFORE_EOL;
3212             }
3213             if (flags & SCF_DO_STCLASS_AND) {
3214                 /* Check whether it is compatible with what we know already! */
3215                 int compat = 1;
3216
3217
3218                 /* If compatible, we or it in below.  It is compatible if is
3219                  * in the bitmp and either 1) its bit or its fold is set, or 2)
3220                  * it's for a locale.  Even if there isn't unicode semantics
3221                  * here, at runtime there may be because of matching against a
3222                  * utf8 string, so accept a possible false positive for
3223                  * latin1-range folds */
3224                 if (uc >= 0x100 ||
3225                     (!(data->start_class->flags & (ANYOF_CLASS | ANYOF_LOCALE))
3226                     && !ANYOF_BITMAP_TEST(data->start_class, uc)
3227                     && (!(data->start_class->flags & ANYOF_LOC_NONBITMAP_FOLD)
3228                         || !ANYOF_BITMAP_TEST(data->start_class, PL_fold_latin1[uc])))
3229                     )
3230                 {
3231                     compat = 0;
3232                 }
3233                 ANYOF_CLASS_ZERO(data->start_class);
3234                 ANYOF_BITMAP_ZERO(data->start_class);
3235                 if (compat)
3236                     ANYOF_BITMAP_SET(data->start_class, uc);
3237                 else if (uc >= 0x100) {
3238                     int i;
3239
3240                     /* Some Unicode code points fold to the Latin1 range; as
3241                      * XXX temporary code, instead of figuring out if this is
3242                      * one, just assume it is and set all the start class bits
3243                      * that could be some such above 255 code point's fold
3244                      * which will generate fals positives.  As the code
3245                      * elsewhere that does compute the fold settles down, it
3246                      * can be extracted out and re-used here */
3247                     for (i = 0; i < 256; i++){
3248                         if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(i)) {
3249                             ANYOF_BITMAP_SET(data->start_class, i);
3250                         }
3251                     }
3252                 }
3253                 data->start_class->flags &= ~ANYOF_EOS;
3254                 if (uc < 0x100)
3255                   data->start_class->flags &= ~ANYOF_UNICODE_ALL;
3256             }
3257             else if (flags & SCF_DO_STCLASS_OR) {
3258                 /* false positive possible if the class is case-folded */
3259                 if (uc < 0x100)
3260                     ANYOF_BITMAP_SET(data->start_class, uc);
3261                 else
3262                     data->start_class->flags |= ANYOF_UNICODE_ALL;
3263                 data->start_class->flags &= ~ANYOF_EOS;
3264                 cl_and(data->start_class, and_withp);
3265             }
3266             flags &= ~SCF_DO_STCLASS;
3267         }
3268         else if (PL_regkind[OP(scan)] == EXACT) { /* But OP != EXACT! */
3269             I32 l = STR_LEN(scan);
3270             UV uc = *((U8*)STRING(scan));
3271
3272             /* Search for fixed substrings supports EXACT only. */
3273             if (flags & SCF_DO_SUBSTR) {
3274                 assert(data);
3275                 SCAN_COMMIT(pRExC_state, data, minlenp);
3276             }
3277             if (UTF) {
3278                 const U8 * const s = (U8 *)STRING(scan);
3279                 l = utf8_length(s, s + l);
3280                 uc = utf8_to_uvchr(s, NULL);
3281             }
3282             min += l;
3283             if (flags & SCF_DO_SUBSTR)
3284                 data->pos_min += l;
3285             if (flags & SCF_DO_STCLASS_AND) {
3286                 /* Check whether it is compatible with what we know already! */
3287                 int compat = 1;
3288                 if (uc >= 0x100 ||
3289                  (!(data->start_class->flags & (ANYOF_CLASS | ANYOF_LOCALE))
3290                   && !ANYOF_BITMAP_TEST(data->start_class, uc)
3291                   && !ANYOF_BITMAP_TEST(data->start_class, PL_fold_latin1[uc])))
3292                 {
3293                     compat = 0;
3294                 }
3295                 ANYOF_CLASS_ZERO(data->start_class);
3296                 ANYOF_BITMAP_ZERO(data->start_class);
3297                 if (compat) {
3298                     ANYOF_BITMAP_SET(data->start_class, uc);
3299                     data->start_class->flags &= ~ANYOF_EOS;
3300                     data->start_class->flags |= ANYOF_LOC_NONBITMAP_FOLD;
3301                     if (OP(scan) == EXACTFL) {
3302                         /* XXX This set is probably no longer necessary, and
3303                          * probably wrong as LOCALE now is on in the initial
3304                          * state */
3305                         data->start_class->flags |= ANYOF_LOCALE;
3306                     }
3307                     else {
3308
3309                         /* Also set the other member of the fold pair.  In case
3310                          * that unicode semantics is called for at runtime, use
3311                          * the full latin1 fold.  (Can't do this for locale,
3312                          * because not known until runtime */
3313                         ANYOF_BITMAP_SET(data->start_class, PL_fold_latin1[uc]);
3314                     }
3315                 }
3316                 else if (uc >= 0x100) {
3317                     int i;
3318                     for (i = 0; i < 256; i++){
3319                         if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(i)) {
3320                             ANYOF_BITMAP_SET(data->start_class, i);
3321                         }
3322                     }
3323                 }
3324             }
3325             else if (flags & SCF_DO_STCLASS_OR) {
3326                 if (data->start_class->flags & ANYOF_LOC_NONBITMAP_FOLD) {
3327                     /* false positive possible if the class is case-folded.
3328                        Assume that the locale settings are the same... */
3329                     if (uc < 0x100) {
3330                         ANYOF_BITMAP_SET(data->start_class, uc);
3331                         if (OP(scan) != EXACTFL) {
3332
3333                             /* And set the other member of the fold pair, but
3334                              * can't do that in locale because not known until
3335                              * run-time */
3336                             ANYOF_BITMAP_SET(data->start_class,
3337                                              PL_fold_latin1[uc]);
3338                         }
3339                     }
3340                     data->start_class->flags &= ~ANYOF_EOS;
3341                 }
3342                 cl_and(data->start_class, and_withp);
3343             }
3344             flags &= ~SCF_DO_STCLASS;
3345         }
3346         else if (REGNODE_VARIES(OP(scan))) {
3347             I32 mincount, maxcount, minnext, deltanext, fl = 0;
3348             I32 f = flags, pos_before = 0;
3349             regnode * const oscan = scan;
3350             struct regnode_charclass_class this_class;
3351             struct regnode_charclass_class *oclass = NULL;
3352             I32 next_is_eval = 0;
3353
3354             switch (PL_regkind[OP(scan)]) {
3355             case WHILEM:                /* End of (?:...)* . */
3356                 scan = NEXTOPER(scan);
3357                 goto finish;
3358             case PLUS:
3359                 if (flags & (SCF_DO_SUBSTR | SCF_DO_STCLASS)) {
3360                     next = NEXTOPER(scan);
3361                     if (OP(next) == EXACT || (flags & SCF_DO_STCLASS)) {
3362                         mincount = 1;
3363                         maxcount = REG_INFTY;
3364                         next = regnext(scan);
3365                         scan = NEXTOPER(scan);
3366                         goto do_curly;
3367                     }
3368                 }
3369                 if (flags & SCF_DO_SUBSTR)
3370                     data->pos_min++;
3371                 min++;
3372                 /* Fall through. */
3373             case STAR:
3374                 if (flags & SCF_DO_STCLASS) {
3375                     mincount = 0;
3376                     maxcount = REG_INFTY;
3377                     next = regnext(scan);
3378                     scan = NEXTOPER(scan);
3379                     goto do_curly;
3380                 }
3381                 is_inf = is_inf_internal = 1;
3382                 scan = regnext(scan);
3383                 if (flags & SCF_DO_SUBSTR) {
3384                     SCAN_COMMIT(pRExC_state, data, minlenp); /* Cannot extend fixed substrings */
3385                     data->longest = &(data->longest_float);
3386                 }
3387                 goto optimize_curly_tail;
3388             case CURLY:
3389                 if (stopparen>0 && (OP(scan)==CURLYN || OP(scan)==CURLYM)
3390                     && (scan->flags == stopparen))
3391                 {
3392                     mincount = 1;
3393                     maxcount = 1;
3394                 } else {
3395                     mincount = ARG1(scan);
3396                     maxcount = ARG2(scan);
3397                 }
3398                 next = regnext(scan);
3399                 if (OP(scan) == CURLYX) {
3400                     I32 lp = (data ? *(data->last_closep) : 0);
3401                     scan->flags = ((lp <= (I32)U8_MAX) ? (U8)lp : U8_MAX);
3402                 }
3403                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
3404                 next_is_eval = (OP(scan) == EVAL);
3405               do_curly:
3406                 if (flags & SCF_DO_SUBSTR) {
3407                     if (mincount == 0) SCAN_COMMIT(pRExC_state,data,minlenp); /* Cannot extend fixed substrings */
3408                     pos_before = data->pos_min;
3409                 }
3410                 if (data) {
3411                     fl = data->flags;
3412                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
3413                     if (is_inf)
3414                         data->flags |= SF_IS_INF;
3415                 }
3416                 if (flags & SCF_DO_STCLASS) {
3417                     cl_init(pRExC_state, &this_class);
3418                     oclass = data->start_class;
3419                     data->start_class = &this_class;
3420                     f |= SCF_DO_STCLASS_AND;
3421                     f &= ~SCF_DO_STCLASS_OR;
3422                 }
3423                 /* Exclude from super-linear cache processing any {n,m}
3424                    regops for which the combination of input pos and regex
3425                    pos is not enough information to determine if a match
3426                    will be possible.
3427
3428                    For example, in the regex /foo(bar\s*){4,8}baz/ with the
3429                    regex pos at the \s*, the prospects for a match depend not
3430                    only on the input position but also on how many (bar\s*)
3431                    repeats into the {4,8} we are. */
3432                if ((mincount > 1) || (maxcount > 1 && maxcount != REG_INFTY))
3433                     f &= ~SCF_WHILEM_VISITED_POS;
3434
3435                 /* This will finish on WHILEM, setting scan, or on NULL: */
3436                 minnext = study_chunk(pRExC_state, &scan, minlenp, &deltanext, 
3437                                       last, data, stopparen, recursed, NULL,
3438                                       (mincount == 0
3439                                         ? (f & ~SCF_DO_SUBSTR) : f),depth+1);
3440
3441                 if (flags & SCF_DO_STCLASS)
3442                     data->start_class = oclass;
3443                 if (mincount == 0 || minnext == 0) {
3444                     if (flags & SCF_DO_STCLASS_OR) {
3445                         cl_or(pRExC_state, data->start_class, &this_class);
3446                     }
3447                     else if (flags & SCF_DO_STCLASS_AND) {
3448                         /* Switch to OR mode: cache the old value of
3449                          * data->start_class */
3450                         INIT_AND_WITHP;
3451                         StructCopy(data->start_class, and_withp,
3452                                    struct regnode_charclass_class);
3453                         flags &= ~SCF_DO_STCLASS_AND;
3454                         StructCopy(&this_class, data->start_class,
3455                                    struct regnode_charclass_class);
3456                         flags |= SCF_DO_STCLASS_OR;
3457                         data->start_class->flags |= ANYOF_EOS;
3458                     }
3459                 } else {                /* Non-zero len */
3460                     if (flags & SCF_DO_STCLASS_OR) {
3461                         cl_or(pRExC_state, data->start_class, &this_class);
3462                         cl_and(data->start_class, and_withp);
3463                     }
3464                     else if (flags & SCF_DO_STCLASS_AND)
3465                         cl_and(data->start_class, &this_class);
3466                     flags &= ~SCF_DO_STCLASS;
3467                 }
3468                 if (!scan)              /* It was not CURLYX, but CURLY. */
3469                     scan = next;
3470                 if ( /* ? quantifier ok, except for (?{ ... }) */
3471                     (next_is_eval || !(mincount == 0 && maxcount == 1))
3472                     && (minnext == 0) && (deltanext == 0)
3473                     && data && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
3474                     && maxcount <= REG_INFTY/3) /* Complement check for big count */
3475                 {
3476                     ckWARNreg(RExC_parse,
3477                               "Quantifier unexpected on zero-length expression");
3478                 }
3479
3480                 min += minnext * mincount;
3481                 is_inf_internal |= ((maxcount == REG_INFTY
3482                                      && (minnext + deltanext) > 0)
3483                                     || deltanext == I32_MAX);
3484                 is_inf |= is_inf_internal;
3485                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
3486
3487                 /* Try powerful optimization CURLYX => CURLYN. */
3488                 if (  OP(oscan) == CURLYX && data
3489                       && data->flags & SF_IN_PAR
3490                       && !(data->flags & SF_HAS_EVAL)
3491                       && !deltanext && minnext == 1 ) {
3492                     /* Try to optimize to CURLYN.  */
3493                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
3494                     regnode * const nxt1 = nxt;
3495 #ifdef DEBUGGING
3496                     regnode *nxt2;
3497 #endif
3498
3499                     /* Skip open. */
3500                     nxt = regnext(nxt);
3501                     if (!REGNODE_SIMPLE(OP(nxt))
3502                         && !(PL_regkind[OP(nxt)] == EXACT
3503                              && STR_LEN(nxt) == 1))
3504                         goto nogo;
3505 #ifdef DEBUGGING
3506                     nxt2 = nxt;
3507 #endif
3508                     nxt = regnext(nxt);
3509                     if (OP(nxt) != CLOSE)
3510                         goto nogo;
3511                     if (RExC_open_parens) {
3512                         RExC_open_parens[ARG(nxt1)-1]=oscan; /*open->CURLYM*/
3513                         RExC_close_parens[ARG(nxt1)-1]=nxt+2; /*close->while*/
3514                     }
3515                     /* Now we know that nxt2 is the only contents: */
3516                     oscan->flags = (U8)ARG(nxt);
3517                     OP(oscan) = CURLYN;
3518                     OP(nxt1) = NOTHING; /* was OPEN. */
3519
3520 #ifdef DEBUGGING
3521                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
3522                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistency. */
3523                     NEXT_OFF(nxt2) = 0; /* just for consistency with CURLY. */
3524                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
3525                     OP(nxt + 1) = OPTIMIZED; /* was count. */
3526                     NEXT_OFF(nxt+ 1) = 0; /* just for consistency. */
3527 #endif
3528                 }
3529               nogo:
3530
3531                 /* Try optimization CURLYX => CURLYM. */
3532                 if (  OP(oscan) == CURLYX && data
3533                       && !(data->flags & SF_HAS_PAR)
3534                       && !(data->flags & SF_HAS_EVAL)
3535                       && !deltanext     /* atom is fixed width */
3536                       && minnext != 0   /* CURLYM can't handle zero width */
3537                 ) {
3538                     /* XXXX How to optimize if data == 0? */
3539                     /* Optimize to a simpler form.  */
3540                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
3541                     regnode *nxt2;
3542
3543                     OP(oscan) = CURLYM;
3544                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
3545                             && (OP(nxt2) != WHILEM))
3546                         nxt = nxt2;
3547                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
3548                     /* Need to optimize away parenths. */
3549                     if ((data->flags & SF_IN_PAR) && OP(nxt) == CLOSE) {
3550                         /* Set the parenth number.  */
3551                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
3552
3553                         oscan->flags = (U8)ARG(nxt);
3554                         if (RExC_open_parens) {
3555                             RExC_open_parens[ARG(nxt1)-1]=oscan; /*open->CURLYM*/
3556                             RExC_close_parens[ARG(nxt1)-1]=nxt2+1; /*close->NOTHING*/
3557                         }
3558                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
3559                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
3560
3561 #ifdef DEBUGGING
3562                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
3563                         OP(nxt + 1) = OPTIMIZED; /* was count. */
3564                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistency. */
3565                         NEXT_OFF(nxt + 1) = 0; /* just for consistency. */
3566 #endif
3567 #if 0
3568                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
3569                             regnode *nnxt = regnext(nxt1);
3570                             if (nnxt == nxt) {
3571                                 if (reg_off_by_arg[OP(nxt1)])
3572                                     ARG_SET(nxt1, nxt2 - nxt1);
3573                                 else if (nxt2 - nxt1 < U16_MAX)
3574                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
3575                                 else
3576                                     OP(nxt) = NOTHING;  /* Cannot beautify */
3577                             }
3578                             nxt1 = nnxt;
3579                         }
3580 #endif
3581                         /* Optimize again: */
3582                         study_chunk(pRExC_state, &nxt1, minlenp, &deltanext, nxt,
3583                                     NULL, stopparen, recursed, NULL, 0,depth+1);
3584                     }
3585                     else
3586                         oscan->flags = 0;
3587                 }
3588                 else if ((OP(oscan) == CURLYX)
3589                          && (flags & SCF_WHILEM_VISITED_POS)
3590                          /* See the comment on a similar expression above.
3591                             However, this time it's not a subexpression
3592                             we care about, but the expression itself. */
3593                          && (maxcount == REG_INFTY)
3594                          && data && ++data->whilem_c < 16) {
3595                     /* This stays as CURLYX, we can put the count/of pair. */
3596                     /* Find WHILEM (as in regexec.c) */
3597                     regnode *nxt = oscan + NEXT_OFF(oscan);
3598
3599                     if (OP(PREVOPER(nxt)) == NOTHING) /* LONGJMP */
3600                         nxt += ARG(nxt);
3601                     PREVOPER(nxt)->flags = (U8)(data->whilem_c
3602                         | (RExC_whilem_seen << 4)); /* On WHILEM */
3603                 }
3604                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
3605                     pars++;
3606                 if (flags & SCF_DO_SUBSTR) {
3607                     SV *last_str = NULL;
3608                     int counted = mincount != 0;
3609
3610                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
3611 #if defined(SPARC64_GCC_WORKAROUND)
3612                         I32 b = 0;
3613                         STRLEN l = 0;
3614                         const char *s = NULL;
3615                         I32 old = 0;
3616
3617                         if (pos_before >= data->last_start_min)
3618                             b = pos_before;
3619                         else
3620                             b = data->last_start_min;
3621
3622                         l = 0;
3623                         s = SvPV_const(data->last_found, l);
3624                         old = b - data->last_start_min;
3625
3626 #else
3627                         I32 b = pos_before >= data->last_start_min
3628                             ? pos_before : data->last_start_min;
3629                         STRLEN l;
3630                         const char * const s = SvPV_const(data->last_found, l);
3631                         I32 old = b - data->last_start_min;
3632 #endif
3633
3634                         if (UTF)
3635                             old = utf8_hop((U8*)s, old) - (U8*)s;
3636                         l -= old;
3637                         /* Get the added string: */
3638                         last_str = newSVpvn_utf8(s  + old, l, UTF);
3639                         if (deltanext == 0 && pos_before == b) {
3640                             /* What was added is a constant string */
3641                             if (mincount > 1) {
3642                                 SvGROW(last_str, (mincount * l) + 1);
3643                                 repeatcpy(SvPVX(last_str) + l,
3644                                           SvPVX_const(last_str), l, mincount - 1);
3645                                 SvCUR_set(last_str, SvCUR(last_str) * mincount);
3646                                 /* Add additional parts. */
3647                                 SvCUR_set(data->last_found,
3648                                           SvCUR(data->last_found) - l);
3649                                 sv_catsv(data->last_found, last_str);
3650                                 {
3651                                     SV * sv = data->last_found;
3652                                     MAGIC *mg =
3653                                         SvUTF8(sv) && SvMAGICAL(sv) ?
3654                                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
3655                                     if (mg && mg->mg_len >= 0)
3656                                         mg->mg_len += CHR_SVLEN(last_str) - l;
3657                                 }
3658                                 data->last_end += l * (mincount - 1);
3659                             }
3660                         } else {
3661                             /* start offset must point into the last copy */
3662                             data->last_start_min += minnext * (mincount - 1);
3663                             data->last_start_max += is_inf ? I32_MAX
3664                                 : (maxcount - 1) * (minnext + data->pos_delta);
3665                         }
3666                     }
3667                     /* It is counted once already... */
3668                     data->pos_min += minnext * (mincount - counted);
3669                     data->pos_delta += - counted * deltanext +
3670                         (minnext + deltanext) * maxcount - minnext * mincount;
3671                     if (mincount != maxcount) {
3672                          /* Cannot extend fixed substrings found inside
3673                             the group.  */
3674                         SCAN_COMMIT(pRExC_state,data,minlenp);
3675                         if (mincount && last_str) {
3676                             SV * const sv = data->last_found;
3677                             MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
3678                                 mg_find(sv, PERL_MAGIC_utf8) : NULL;
3679
3680                             if (mg)
3681                                 mg->mg_len = -1;
3682                             sv_setsv(sv, last_str);
3683                             data->last_end = data->pos_min;
3684                             data->last_start_min =
3685                                 data->pos_min - CHR_SVLEN(last_str);
3686                             data->last_start_max = is_inf
3687                                 ? I32_MAX
3688                                 : data->pos_min + data->pos_delta
3689                                 - CHR_SVLEN(last_str);
3690                         }
3691                         data->longest = &(data->longest_float);
3692                     }
3693                     SvREFCNT_dec(last_str);
3694                 }
3695                 if (data && (fl & SF_HAS_EVAL))
3696                     data->flags |= SF_HAS_EVAL;
3697               optimize_curly_tail:
3698                 if (OP(oscan) != CURLYX) {
3699                     while (PL_regkind[OP(next = regnext(oscan))] == NOTHING
3700                            && NEXT_OFF(next))
3701                         NEXT_OFF(oscan) += NEXT_OFF(next);
3702                 }
3703                 continue;
3704             default:                    /* REF, ANYOFV, and CLUMP only? */
3705                 if (flags & SCF_DO_SUBSTR) {
3706                     SCAN_COMMIT(pRExC_state,data,minlenp);      /* Cannot expect anything... */
3707                     data->longest = &(data->longest_float);
3708                 }
3709                 is_inf = is_inf_internal = 1;
3710                 if (flags & SCF_DO_STCLASS_OR)
3711                     cl_anything(pRExC_state, data->start_class);
3712                 flags &= ~SCF_DO_STCLASS;
3713                 break;
3714             }
3715         }
3716         else if (OP(scan) == LNBREAK) {
3717             if (flags & SCF_DO_STCLASS) {
3718                 int value = 0;
3719                 data->start_class->flags &= ~ANYOF_EOS; /* No match on empty */
3720                 if (flags & SCF_DO_STCLASS_AND) {
3721                     for (value = 0; value < 256; value++)
3722                         if (!is_VERTWS_cp(value))
3723                             ANYOF_BITMAP_CLEAR(data->start_class, value);
3724                 }
3725                 else {
3726                     for (value = 0; value < 256; value++)
3727                         if (is_VERTWS_cp(value))
3728                             ANYOF_BITMAP_SET(data->start_class, value);
3729                 }
3730                 if (flags & SCF_DO_STCLASS_OR)
3731                     cl_and(data->start_class, and_withp);
3732                 flags &= ~SCF_DO_STCLASS;
3733             }
3734             min += 1;
3735             delta += 1;
3736             if (flags & SCF_DO_SUBSTR) {
3737                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
3738                 data->pos_min += 1;
3739                 data->pos_delta += 1;
3740                 data->longest = &(data->longest_float);
3741             }
3742         }
3743         else if (OP(scan) == FOLDCHAR) {
3744             int d = ARG(scan) == LATIN_SMALL_LETTER_SHARP_S ? 1 : 2;
3745             flags &= ~SCF_DO_STCLASS;
3746             min += 1;
3747             delta += d;
3748             if (flags & SCF_DO_SUBSTR) {
3749                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
3750                 data->pos_min += 1;
3751                 data->pos_delta += d;
3752                 data->longest = &(data->longest_float);
3753             }
3754         }
3755         else if (REGNODE_SIMPLE(OP(scan))) {
3756             int value = 0;
3757
3758             if (flags & SCF_DO_SUBSTR) {
3759                 SCAN_COMMIT(pRExC_state,data,minlenp);
3760                 data->pos_min++;
3761             }
3762             min++;
3763             if (flags & SCF_DO_STCLASS) {
3764                 data->start_class->flags &= ~ANYOF_EOS; /* No match on empty */
3765
3766                 /* Some of the logic below assumes that switching
3767                    locale on will only add false positives. */
3768                 switch (PL_regkind[OP(scan)]) {
3769                 case SANY:
3770                 default:
3771                   do_default:
3772                     /* Perl_croak(aTHX_ "panic: unexpected simple REx opcode %d", OP(scan)); */
3773                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
3774                         cl_anything(pRExC_state, data->start_class);
3775                     break;
3776                 case REG_ANY:
3777                     if (OP(scan) == SANY)
3778                         goto do_default;
3779                     if (flags & SCF_DO_STCLASS_OR) { /* Everything but \n */
3780                         value = (ANYOF_BITMAP_TEST(data->start_class,'\n')
3781                                  || ANYOF_CLASS_TEST_ANY_SET(data->start_class));
3782                         cl_anything(pRExC_state, data->start_class);
3783                     }
3784                     if (flags & SCF_DO_STCLASS_AND || !value)
3785                         ANYOF_BITMAP_CLEAR(data->start_class,'\n');
3786                     break;
3787                 case ANYOF:
3788                     if (flags & SCF_DO_STCLASS_AND)
3789                         cl_and(data->start_class,
3790                                (struct regnode_charclass_class*)scan);
3791                     else
3792                         cl_or(pRExC_state, data->start_class,
3793                               (struct regnode_charclass_class*)scan);
3794                     break;
3795                 case ALNUM:
3796                     if (flags & SCF_DO_STCLASS_AND) {
3797                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3798                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NALNUM);
3799                             if (OP(scan) == ALNUMU) {
3800                                 for (value = 0; value < 256; value++) {
3801                                     if (!isWORDCHAR_L1(value)) {
3802                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3803                                     }
3804                                 }
3805                             } else {
3806                                 for (value = 0; value < 256; value++) {
3807                                     if (!isALNUM(value)) {
3808                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3809                                     }
3810                                 }
3811                             }
3812                         }
3813                     }
3814                     else {
3815                         if (data->start_class->flags & ANYOF_LOCALE)
3816                             ANYOF_CLASS_SET(data->start_class,ANYOF_ALNUM);
3817
3818                         /* Even if under locale, set the bits for non-locale
3819                          * in case it isn't a true locale-node.  This will
3820                          * create false positives if it truly is locale */
3821                         if (OP(scan) == ALNUMU) {
3822                             for (value = 0; value < 256; value++) {
3823                                 if (isWORDCHAR_L1(value)) {
3824                                     ANYOF_BITMAP_SET(data->start_class, value);
3825                                 }
3826                             }
3827                         } else {
3828                             for (value = 0; value < 256; value++) {
3829                                 if (isALNUM(value)) {
3830                                     ANYOF_BITMAP_SET(data->start_class, value);
3831                                 }
3832                             }
3833                         }
3834                     }
3835                     break;
3836                 case NALNUM:
3837                     if (flags & SCF_DO_STCLASS_AND) {
3838                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3839                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_ALNUM);
3840                             if (OP(scan) == NALNUMU) {
3841                                 for (value = 0; value < 256; value++) {
3842                                     if (isWORDCHAR_L1(value)) {
3843                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3844                                     }
3845                                 }
3846                             } else {
3847                                 for (value = 0; value < 256; value++) {
3848                                     if (isALNUM(value)) {
3849                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3850                                     }
3851                                 }
3852                             }
3853                         }
3854                     }
3855                     else {
3856                         if (data->start_class->flags & ANYOF_LOCALE)
3857                             ANYOF_CLASS_SET(data->start_class,ANYOF_NALNUM);
3858
3859                         /* Even if under locale, set the bits for non-locale in
3860                          * case it isn't a true locale-node.  This will create
3861                          * false positives if it truly is locale */
3862                         if (OP(scan) == NALNUMU) {
3863                             for (value = 0; value < 256; value++) {
3864                                 if (! isWORDCHAR_L1(value)) {
3865                                     ANYOF_BITMAP_SET(data->start_class, value);
3866                                 }
3867                             }
3868                         } else {
3869                             for (value = 0; value < 256; value++) {
3870                                 if (! isALNUM(value)) {
3871                                     ANYOF_BITMAP_SET(data->start_class, value);
3872                                 }
3873                             }
3874                         }
3875                     }
3876                     break;
3877                 case SPACE:
3878                     if (flags & SCF_DO_STCLASS_AND) {
3879                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3880                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NSPACE);
3881                             if (OP(scan) == SPACEU) {
3882                                 for (value = 0; value < 256; value++) {
3883                                     if (!isSPACE_L1(value)) {
3884                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3885                                     }
3886                                 }
3887                             } else {
3888                                 for (value = 0; value < 256; value++) {
3889                                     if (!isSPACE(value)) {
3890                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3891                                     }
3892                                 }
3893                             }
3894                         }
3895                     }
3896                     else {
3897                         if (data->start_class->flags & ANYOF_LOCALE) {
3898                             ANYOF_CLASS_SET(data->start_class,ANYOF_SPACE);
3899                         }
3900                         if (OP(scan) == SPACEU) {
3901                             for (value = 0; value < 256; value++) {
3902                                 if (isSPACE_L1(value)) {
3903                                     ANYOF_BITMAP_SET(data->start_class, value);
3904                                 }
3905                             }
3906                         } else {
3907                             for (value = 0; value < 256; value++) {
3908                                 if (isSPACE(value)) {
3909                                     ANYOF_BITMAP_SET(data->start_class, value);
3910                                 }
3911                             }
3912                         }
3913                     }
3914                     break;
3915                 case NSPACE:
3916                     if (flags & SCF_DO_STCLASS_AND) {
3917                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3918                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_SPACE);
3919                             if (OP(scan) == NSPACEU) {
3920                                 for (value = 0; value < 256; value++) {
3921                                     if (isSPACE_L1(value)) {
3922                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3923                                     }
3924                                 }
3925                             } else {
3926                                 for (value = 0; value < 256; value++) {
3927                                     if (isSPACE(value)) {
3928                                         ANYOF_BITMAP_CLEAR(data->start_class, value);
3929                                     }
3930                                 }
3931                             }
3932                         }
3933                     }
3934                     else {
3935                         if (data->start_class->flags & ANYOF_LOCALE)
3936                             ANYOF_CLASS_SET(data->start_class,ANYOF_NSPACE);
3937                         if (OP(scan) == NSPACEU) {
3938                             for (value = 0; value < 256; value++) {
3939                                 if (!isSPACE_L1(value)) {
3940                                     ANYOF_BITMAP_SET(data->start_class, value);
3941                                 }
3942                             }
3943                         }
3944                         else {
3945                             for (value = 0; value < 256; value++) {
3946                                 if (!isSPACE(value)) {
3947                                     ANYOF_BITMAP_SET(data->start_class, value);
3948                                 }
3949                             }
3950                         }
3951                     }
3952                     break;
3953                 case DIGIT:
3954                     if (flags & SCF_DO_STCLASS_AND) {
3955                         if (!(data->start_class->flags & ANYOF_LOCALE)) {
3956                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_NDIGIT);
3957                             for (value = 0; value < 256; value++)
3958                                 if (!isDIGIT(value))
3959                                     ANYOF_BITMAP_CLEAR(data->start_class, value);
3960                         }
3961                     }
3962                     else {
3963                         if (data->start_class->flags & ANYOF_LOCALE)
3964                             ANYOF_CLASS_SET(data->start_class,ANYOF_DIGIT);
3965                         for (value = 0; value < 256; value++)
3966                             if (isDIGIT(value))
3967                                 ANYOF_BITMAP_SET(data->start_class, value);
3968                     }
3969                     break;
3970                 case NDIGIT:
3971                     if (flags & SCF_DO_STCLASS_AND) {
3972                         if (!(data->start_class->flags & ANYOF_LOCALE))
3973                             ANYOF_CLASS_CLEAR(data->start_class,ANYOF_DIGIT);
3974                         for (value = 0; value < 256; value++)
3975                             if (isDIGIT(value))
3976                                 ANYOF_BITMAP_CLEAR(data->start_class, value);
3977                     }
3978                     else {
3979                         if (data->start_class->flags & ANYOF_LOCALE)
3980                             ANYOF_CLASS_SET(data->start_class,ANYOF_NDIGIT);
3981                         for (value = 0; value < 256; value++)
3982                             if (!isDIGIT(value))
3983                                 ANYOF_BITMAP_SET(data->start_class, value);
3984                     }
3985                     break;
3986                 CASE_SYNST_FNC(VERTWS);
3987                 CASE_SYNST_FNC(HORIZWS);
3988                 
3989                 }
3990                 if (flags & SCF_DO_STCLASS_OR)
3991                     cl_and(data->start_class, and_withp);
3992                 flags &= ~SCF_DO_STCLASS;
3993             }
3994         }
3995         else if (PL_regkind[OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
3996             data->flags |= (OP(scan) == MEOL
3997                             ? SF_BEFORE_MEOL
3998                             : SF_BEFORE_SEOL);
3999         }
4000         else if (  PL_regkind[OP(scan)] == BRANCHJ
4001                  /* Lookbehind, or need to calculate parens/evals/stclass: */
4002                    && (scan->flags || data || (flags & SCF_DO_STCLASS))
4003                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
4004             if ( !PERL_ENABLE_POSITIVE_ASSERTION_STUDY 
4005                 || OP(scan) == UNLESSM )
4006             {
4007                 /* Negative Lookahead/lookbehind
4008                    In this case we can't do fixed string optimisation.
4009                 */
4010
4011                 I32 deltanext, minnext, fake = 0;
4012                 regnode *nscan;
4013                 struct regnode_charclass_class intrnl;
4014                 int f = 0;
4015
4016                 data_fake.flags = 0;
4017                 if (data) {
4018                     data_fake.whilem_c = data->whilem_c;
4019                     data_fake.last_closep = data->last_closep;
4020                 }
4021                 else
4022                     data_fake.last_closep = &fake;
4023                 data_fake.pos_delta = delta;
4024                 if ( flags & SCF_DO_STCLASS && !scan->flags
4025                      && OP(scan) == IFMATCH ) { /* Lookahead */
4026                     cl_init(pRExC_state, &intrnl);
4027                     data_fake.start_class = &intrnl;
4028                     f |= SCF_DO_STCLASS_AND;
4029                 }
4030                 if (flags & SCF_WHILEM_VISITED_POS)
4031                     f |= SCF_WHILEM_VISITED_POS;
4032                 next = regnext(scan);
4033                 nscan = NEXTOPER(NEXTOPER(scan));
4034                 minnext = study_chunk(pRExC_state, &nscan, minlenp, &deltanext, 
4035                     last, &data_fake, stopparen, recursed, NULL, f, depth+1);
4036                 if (scan->flags) {
4037                     if (deltanext) {
4038                         FAIL("Variable length lookbehind not implemented");
4039                     }
4040                     else if (minnext > (I32)U8_MAX) {
4041                         FAIL2("Lookbehind longer than %"UVuf" not implemented", (UV)U8_MAX);
4042                     }
4043                     scan->flags = (U8)minnext;
4044                 }
4045                 if (data) {
4046                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4047                         pars++;
4048                     if (data_fake.flags & SF_HAS_EVAL)
4049                         data->flags |= SF_HAS_EVAL;
4050                     data->whilem_c = data_fake.whilem_c;
4051                 }
4052                 if (f & SCF_DO_STCLASS_AND) {
4053                     if (flags & SCF_DO_STCLASS_OR) {
4054                         /* OR before, AND after: ideally we would recurse with
4055                          * data_fake to get the AND applied by study of the
4056                          * remainder of the pattern, and then derecurse;
4057                          * *** HACK *** for now just treat as "no information".
4058                          * See [perl #56690].
4059                          */
4060                         cl_init(pRExC_state, data->start_class);
4061                     }  else {
4062                         /* AND before and after: combine and continue */
4063                         const int was = (data->start_class->flags & ANYOF_EOS);
4064
4065                         cl_and(data->start_class, &intrnl);
4066                         if (was)
4067                             data->start_class->flags |= ANYOF_EOS;
4068                     }
4069                 }
4070             }
4071 #if PERL_ENABLE_POSITIVE_ASSERTION_STUDY
4072             else {
4073                 /* Positive Lookahead/lookbehind
4074                    In this case we can do fixed string optimisation,
4075                    but we must be careful about it. Note in the case of
4076                    lookbehind the positions will be offset by the minimum
4077                    length of the pattern, something we won't know about
4078                    until after the recurse.
4079                 */
4080                 I32 deltanext, fake = 0;
4081                 regnode *nscan;
4082                 struct regnode_charclass_class intrnl;
4083                 int f = 0;
4084                 /* We use SAVEFREEPV so that when the full compile 
4085                     is finished perl will clean up the allocated 
4086                     minlens when it's all done. This way we don't
4087                     have to worry about freeing them when we know
4088                     they wont be used, which would be a pain.
4089                  */
4090                 I32 *minnextp;
4091                 Newx( minnextp, 1, I32 );
4092                 SAVEFREEPV(minnextp);
4093
4094                 if (data) {
4095                     StructCopy(data, &data_fake, scan_data_t);
4096                     if ((flags & SCF_DO_SUBSTR) && data->last_found) {
4097                         f |= SCF_DO_SUBSTR;
4098                         if (scan->flags) 
4099                             SCAN_COMMIT(pRExC_state, &data_fake,minlenp);
4100                         data_fake.last_found=newSVsv(data->last_found);
4101                     }
4102                 }
4103                 else
4104                     data_fake.last_closep = &fake;
4105                 data_fake.flags = 0;
4106                 data_fake.pos_delta = delta;
4107                 if (is_inf)
4108                     data_fake.flags |= SF_IS_INF;
4109                 if ( flags & SCF_DO_STCLASS && !scan->flags
4110                      && OP(scan) == IFMATCH ) { /* Lookahead */
4111                     cl_init(pRExC_state, &intrnl);
4112                     data_fake.start_class = &intrnl;
4113                     f |= SCF_DO_STCLASS_AND;
4114                 }
4115                 if (flags & SCF_WHILEM_VISITED_POS)
4116                     f |= SCF_WHILEM_VISITED_POS;
4117                 next = regnext(scan);
4118                 nscan = NEXTOPER(NEXTOPER(scan));
4119
4120                 *minnextp = study_chunk(pRExC_state, &nscan, minnextp, &deltanext, 
4121                     last, &data_fake, stopparen, recursed, NULL, f,depth+1);
4122                 if (scan->flags) {
4123                     if (deltanext) {
4124                         FAIL("Variable length lookbehind not implemented");
4125                     }
4126                     else if (*minnextp > (I32)U8_MAX) {
4127                         FAIL2("Lookbehind longer than %"UVuf" not implemented", (UV)U8_MAX);
4128                     }
4129                     scan->flags = (U8)*minnextp;
4130                 }
4131
4132                 *minnextp += min;
4133
4134                 if (f & SCF_DO_STCLASS_AND) {
4135                     const int was = (data->start_class->flags & ANYOF_EOS);
4136
4137                     cl_and(data->start_class, &intrnl);
4138                     if (was)
4139                         data->start_class->flags |= ANYOF_EOS;
4140                 }
4141                 if (data) {
4142                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4143                         pars++;
4144                     if (data_fake.flags & SF_HAS_EVAL)
4145                         data->flags |= SF_HAS_EVAL;
4146                     data->whilem_c = data_fake.whilem_c;
4147                     if ((flags & SCF_DO_SUBSTR) && data_fake.last_found) {
4148                         if (RExC_rx->minlen<*minnextp)
4149                             RExC_rx->minlen=*minnextp;
4150                         SCAN_COMMIT(pRExC_state, &data_fake, minnextp);
4151                         SvREFCNT_dec(data_fake.last_found);
4152                         
4153                         if ( data_fake.minlen_fixed != minlenp ) 
4154                         {
4155                             data->offset_fixed= data_fake.offset_fixed;
4156                             data->minlen_fixed= data_fake.minlen_fixed;
4157                             data->lookbehind_fixed+= scan->flags;
4158                         }
4159                         if ( data_fake.minlen_float != minlenp )
4160                         {
4161                             data->minlen_float= data_fake.minlen_float;
4162                             data->offset_float_min=data_fake.offset_float_min;
4163                             data->offset_float_max=data_fake.offset_float_max;
4164                             data->lookbehind_float+= scan->flags;
4165                         }
4166                     }
4167                 }
4168
4169
4170             }
4171 #endif
4172         }
4173         else if (OP(scan) == OPEN) {
4174             if (stopparen != (I32)ARG(scan))
4175                 pars++;
4176         }
4177         else if (OP(scan) == CLOSE) {
4178             if (stopparen == (I32)ARG(scan)) {
4179                 break;
4180             }
4181             if ((I32)ARG(scan) == is_par) {
4182                 next = regnext(scan);
4183
4184                 if ( next && (OP(next) != WHILEM) && next < last)
4185                     is_par = 0;         /* Disable optimization */
4186             }
4187             if (data)
4188                 *(data->last_closep) = ARG(scan);
4189         }
4190         else if (OP(scan) == EVAL) {
4191                 if (data)
4192                     data->flags |= SF_HAS_EVAL;
4193         }
4194         else if ( PL_regkind[OP(scan)] == ENDLIKE ) {
4195             if (flags & SCF_DO_SUBSTR) {
4196                 SCAN_COMMIT(pRExC_state,data,minlenp);
4197                 flags &= ~SCF_DO_SUBSTR;
4198             }
4199             if (data && OP(scan)==ACCEPT) {
4200                 data->flags |= SCF_SEEN_ACCEPT;
4201                 if (stopmin > min)
4202                     stopmin = min;
4203             }
4204         }
4205         else if (OP(scan) == LOGICAL && scan->flags == 2) /* Embedded follows */
4206         {
4207                 if (flags & SCF_DO_SUBSTR) {
4208                     SCAN_COMMIT(pRExC_state,data,minlenp);
4209                     data->longest = &(data->longest_float);
4210                 }
4211                 is_inf = is_inf_internal = 1;
4212                 if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
4213                     cl_anything(pRExC_state, data->start_class);
4214                 flags &= ~SCF_DO_STCLASS;
4215         }
4216         else if (OP(scan) == GPOS) {
4217             if (!(RExC_rx->extflags & RXf_GPOS_FLOAT) &&
4218                 !(delta || is_inf || (data && data->pos_delta))) 
4219             {
4220                 if (!(RExC_rx->extflags & RXf_ANCH) && (flags & SCF_DO_SUBSTR))
4221                     RExC_rx->extflags |= RXf_ANCH_GPOS;
4222                 if (RExC_rx->gofs < (U32)min)
4223                     RExC_rx->gofs = min;
4224             } else {
4225                 RExC_rx->extflags |= RXf_GPOS_FLOAT;
4226                 RExC_rx->gofs = 0;
4227             }       
4228         }
4229 #ifdef TRIE_STUDY_OPT
4230 #ifdef FULL_TRIE_STUDY
4231         else if (PL_regkind[OP(scan)] == TRIE) {
4232             /* NOTE - There is similar code to this block above for handling
4233                BRANCH nodes on the initial study.  If you change stuff here
4234                check there too. */
4235             regnode *trie_node= scan;
4236             regnode *tail= regnext(scan);
4237             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
4238             I32 max1 = 0, min1 = I32_MAX;
4239             struct regnode_charclass_class accum;
4240
4241             if (flags & SCF_DO_SUBSTR) /* XXXX Add !SUSPEND? */
4242                 SCAN_COMMIT(pRExC_state, data,minlenp); /* Cannot merge strings after this. */
4243             if (flags & SCF_DO_STCLASS)
4244                 cl_init_zero(pRExC_state, &accum);
4245                 
4246             if (!trie->jump) {
4247                 min1= trie->minlen;
4248                 max1= trie->maxlen;
4249             } else {
4250                 const regnode *nextbranch= NULL;
4251                 U32 word;
4252                 
4253                 for ( word=1 ; word <= trie->wordcount ; word++) 
4254                 {
4255                     I32 deltanext=0, minnext=0, f = 0, fake;
4256                     struct regnode_charclass_class this_class;
4257                     
4258                     data_fake.flags = 0;
4259                     if (data) {
4260                         data_fake.whilem_c = data->whilem_c;
4261                         data_fake.last_closep = data->last_closep;
4262                     }
4263                     else
4264                         data_fake.last_closep = &fake;
4265                     data_fake.pos_delta = delta;
4266                     if (flags & SCF_DO_STCLASS) {
4267                         cl_init(pRExC_state, &this_class);
4268                         data_fake.start_class = &this_class;
4269                         f = SCF_DO_STCLASS_AND;
4270                     }
4271                     if (flags & SCF_WHILEM_VISITED_POS)
4272                         f |= SCF_WHILEM_VISITED_POS;
4273     
4274                     if (trie->jump[word]) {
4275                         if (!nextbranch)
4276                             nextbranch = trie_node + trie->jump[0];
4277                         scan= trie_node + trie->jump[word];
4278                         /* We go from the jump point to the branch that follows
4279                            it. Note this means we need the vestigal unused branches
4280                            even though they arent otherwise used.
4281                          */
4282                         minnext = study_chunk(pRExC_state, &scan, minlenp, 
4283                             &deltanext, (regnode *)nextbranch, &data_fake, 
4284                             stopparen, recursed, NULL, f,depth+1);
4285                     }
4286                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
4287                         nextbranch= regnext((regnode*)nextbranch);
4288                     
4289                     if (min1 > (I32)(minnext + trie->minlen))
4290                         min1 = minnext + trie->minlen;
4291                     if (max1 < (I32)(minnext + deltanext + trie->maxlen))
4292                         max1 = minnext + deltanext + trie->maxlen;
4293                     if (deltanext == I32_MAX)
4294                         is_inf = is_inf_internal = 1;
4295                     
4296                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4297                         pars++;
4298                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
4299                         if ( stopmin > min + min1) 
4300                             stopmin = min + min1;
4301                         flags &= ~SCF_DO_SUBSTR;
4302                         if (data)
4303                             data->flags |= SCF_SEEN_ACCEPT;
4304                     }
4305                     if (data) {
4306                         if (data_fake.flags & SF_HAS_EVAL)
4307                             data->flags |= SF_HAS_EVAL;
4308                         data->whilem_c = data_fake.whilem_c;
4309                     }
4310                     if (flags & SCF_DO_STCLASS)
4311                         cl_or(pRExC_state, &accum, &this_class);
4312                 }
4313             }
4314             if (flags & SCF_DO_SUBSTR) {
4315                 data->pos_min += min1;
4316                 data->pos_delta += max1 - min1;
4317                 if (max1 != min1 || is_inf)
4318                     data->longest = &(data->longest_float);
4319             }
4320             min += min1;
4321             delta += max1 - min1;
4322             if (flags & SCF_DO_STCLASS_OR) {
4323                 cl_or(pRExC_state, data->start_class, &accum);
4324                 if (min1) {
4325                     cl_and(data->start_class, and_withp);
4326                     flags &= ~SCF_DO_STCLASS;
4327                 }
4328             }
4329             else if (flags & SCF_DO_STCLASS_AND) {
4330                 if (min1) {
4331                     cl_and(data->start_class, &accum);
4332                     flags &= ~SCF_DO_STCLASS;
4333                 }
4334                 else {
4335                     /* Switch to OR mode: cache the old value of
4336                      * data->start_class */
4337                     INIT_AND_WITHP;
4338                     StructCopy(data->start_class, and_withp,
4339                                struct regnode_charclass_class);
4340                     flags &= ~SCF_DO_STCLASS_AND;
4341                     StructCopy(&accum, data->start_class,
4342                                struct regnode_charclass_class);
4343                     flags |= SCF_DO_STCLASS_OR;
4344                     data->start_class->flags |= ANYOF_EOS;
4345                 }
4346             }
4347             scan= tail;
4348             continue;
4349         }
4350 #else
4351         else if (PL_regkind[OP(scan)] == TRIE) {
4352             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
4353             U8*bang=NULL;
4354             
4355             min += trie->minlen;
4356             delta += (trie->maxlen - trie->minlen);
4357             flags &= ~SCF_DO_STCLASS; /* xxx */
4358             if (flags & SCF_DO_SUBSTR) {
4359                 SCAN_COMMIT(pRExC_state,data,minlenp);  /* Cannot expect anything... */
4360                 data->pos_min += trie->minlen;
4361                 data->pos_delta += (trie->maxlen - trie->minlen);
4362                 if (trie->maxlen != trie->minlen)
4363                     data->longest = &(data->longest_float);
4364             }
4365             if (trie->jump) /* no more substrings -- for now /grr*/
4366                 flags &= ~SCF_DO_SUBSTR; 
4367         }
4368 #endif /* old or new */
4369 #endif /* TRIE_STUDY_OPT */     
4370
4371         /* Else: zero-length, ignore. */
4372         scan = regnext(scan);
4373     }
4374     if (frame) {
4375         last = frame->last;
4376         scan = frame->next;
4377         stopparen = frame->stop;
4378         frame = frame->prev;
4379         goto fake_study_recurse;
4380     }
4381
4382   finish:
4383     assert(!frame);
4384     DEBUG_STUDYDATA("pre-fin:",data,depth);
4385
4386     *scanp = scan;
4387     *deltap = is_inf_internal ? I32_MAX : delta;
4388     if (flags & SCF_DO_SUBSTR && is_inf)
4389         data->pos_delta = I32_MAX - data->pos_min;
4390     if (is_par > (I32)U8_MAX)
4391         is_par = 0;
4392     if (is_par && pars==1 && data) {
4393         data->flags |= SF_IN_PAR;
4394         data->flags &= ~SF_HAS_PAR;
4395     }
4396     else if (pars && data) {
4397         data->flags |= SF_HAS_PAR;
4398         data->flags &= ~SF_IN_PAR;
4399     }
4400     if (flags & SCF_DO_STCLASS_OR)
4401         cl_and(data->start_class, and_withp);
4402     if (flags & SCF_TRIE_RESTUDY)
4403         data->flags |=  SCF_TRIE_RESTUDY;
4404     
4405     DEBUG_STUDYDATA("post-fin:",data,depth);
4406     
4407     return min < stopmin ? min : stopmin;
4408 }
4409
4410 STATIC U32
4411 S_add_data(RExC_state_t *pRExC_state, U32 n, const char *s)
4412 {
4413     U32 count = RExC_rxi->data ? RExC_rxi->data->count : 0;
4414
4415     PERL_ARGS_ASSERT_ADD_DATA;
4416
4417     Renewc(RExC_rxi->data,
4418            sizeof(*RExC_rxi->data) + sizeof(void*) * (count + n - 1),
4419            char, struct reg_data);
4420     if(count)
4421         Renew(RExC_rxi->data->what, count + n, U8);
4422     else
4423         Newx(RExC_rxi->data->what, n, U8);
4424     RExC_rxi->data->count = count + n;
4425     Copy(s, RExC_rxi->data->what + count, n, U8);
4426     return count;
4427 }
4428
4429 /*XXX: todo make this not included in a non debugging perl */
4430 #ifndef PERL_IN_XSUB_RE
4431 void
4432 Perl_reginitcolors(pTHX)
4433 {
4434     dVAR;
4435     const char * const s = PerlEnv_getenv("PERL_RE_COLORS");
4436     if (s) {
4437         char *t = savepv(s);
4438         int i = 0;
4439         PL_colors[0] = t;
4440         while (++i < 6) {
4441             t = strchr(t, '\t');
4442             if (t) {
4443                 *t = '\0';
4444                 PL_colors[i] = ++t;
4445             }
4446             else
4447                 PL_colors[i] = t = (char *)"";
4448         }
4449     } else {
4450         int i = 0;
4451         while (i < 6)
4452             PL_colors[i++] = (char *)"";
4453     }
4454     PL_colorset = 1;
4455 }
4456 #endif
4457
4458
4459 #ifdef TRIE_STUDY_OPT
4460 #define CHECK_RESTUDY_GOTO                                  \
4461         if (                                                \
4462               (data.flags & SCF_TRIE_RESTUDY)               \
4463               && ! restudied++                              \
4464         )     goto reStudy
4465 #else
4466 #define CHECK_RESTUDY_GOTO
4467 #endif        
4468
4469 /*
4470  - pregcomp - compile a regular expression into internal code
4471  *
4472  * We can't allocate space until we know how big the compiled form will be,
4473  * but we can't compile it (and thus know how big it is) until we've got a
4474  * place to put the code.  So we cheat:  we compile it twice, once with code
4475  * generation turned off and size counting turned on, and once "for real".
4476  * This also means that we don't allocate space until we are sure that the
4477  * thing really will compile successfully, and we never have to move the
4478  * code and thus invalidate pointers into it.  (Note that it has to be in
4479  * one piece because free() must be able to free it all.) [NB: not true in perl]
4480  *
4481  * Beware that the optimization-preparation code in here knows about some
4482  * of the structure of the compiled regexp.  [I'll say.]
4483  */
4484
4485
4486
4487 #ifndef PERL_IN_XSUB_RE
4488 #define RE_ENGINE_PTR &PL_core_reg_engine
4489 #else
4490 extern const struct regexp_engine my_reg_engine;
4491 #define RE_ENGINE_PTR &my_reg_engine
4492 #endif
4493
4494 #ifndef PERL_IN_XSUB_RE 
4495 REGEXP *
4496 Perl_pregcomp(pTHX_ SV * const pattern, const U32 flags)
4497 {
4498     dVAR;
4499     HV * const table = GvHV(PL_hintgv);
4500
4501     PERL_ARGS_ASSERT_PREGCOMP;
4502
4503     /* Dispatch a request to compile a regexp to correct 
4504        regexp engine. */
4505     if (table) {
4506         SV **ptr= hv_fetchs(table, "regcomp", FALSE);
4507         GET_RE_DEBUG_FLAGS_DECL;
4508         if (ptr && SvIOK(*ptr) && SvIV(*ptr)) {
4509             const regexp_engine *eng=INT2PTR(regexp_engine*,SvIV(*ptr));
4510             DEBUG_COMPILE_r({
4511                 PerlIO_printf(Perl_debug_log, "Using engine %"UVxf"\n",
4512                     SvIV(*ptr));
4513             });            
4514             return CALLREGCOMP_ENG(eng, pattern, flags);
4515         } 
4516     }
4517     return Perl_re_compile(aTHX_ pattern, flags);
4518 }
4519 #endif
4520
4521 REGEXP *
4522 Perl_re_compile(pTHX_ SV * const pattern, U32 orig_pm_flags)
4523 {
4524     dVAR;
4525     REGEXP *rx;
4526     struct regexp *r;
4527     register regexp_internal *ri;
4528     STRLEN plen;
4529     char  *exp;
4530     char* xend;
4531     regnode *scan;
4532     I32 flags;
4533     I32 minlen = 0;
4534     U32 pm_flags;
4535
4536     /* these are all flags - maybe they should be turned
4537      * into a single int with different bit masks */
4538     I32 sawlookahead = 0;
4539     I32 sawplus = 0;
4540     I32 sawopen = 0;
4541     bool used_setjump = FALSE;
4542     regex_charset initial_charset = get_regex_charset(orig_pm_flags);
4543
4544     U8 jump_ret = 0;
4545     dJMPENV;
4546     scan_data_t data;
4547     RExC_state_t RExC_state;
4548     RExC_state_t * const pRExC_state = &RExC_state;
4549 #ifdef TRIE_STUDY_OPT    
4550     int restudied;
4551     RExC_state_t copyRExC_state;
4552 #endif    
4553     GET_RE_DEBUG_FLAGS_DECL;
4554
4555     PERL_ARGS_ASSERT_RE_COMPILE;
4556
4557     DEBUG_r(if (!PL_colorset) reginitcolors());
4558
4559     RExC_utf8 = RExC_orig_utf8 = SvUTF8(pattern);
4560     RExC_uni_semantics = 0;
4561     RExC_contains_locale = 0;
4562
4563     /****************** LONG JUMP TARGET HERE***********************/
4564     /* Longjmp back to here if have to switch in midstream to utf8 */
4565     if (! RExC_orig_utf8) {
4566         JMPENV_PUSH(jump_ret);
4567         used_setjump = TRUE;
4568     }
4569
4570     if (jump_ret == 0) {    /* First time through */
4571         exp = SvPV(pattern, plen);
4572         xend = exp + plen;
4573         /* ignore the utf8ness if the pattern is 0 length */
4574         if (plen == 0) {
4575             RExC_utf8 = RExC_orig_utf8 = 0;
4576         }
4577
4578         DEBUG_COMPILE_r({
4579             SV *dsv= sv_newmortal();
4580             RE_PV_QUOTED_DECL(s, RExC_utf8,
4581                 dsv, exp, plen, 60);
4582             PerlIO_printf(Perl_debug_log, "%sCompiling REx%s %s\n",
4583                            PL_colors[4],PL_colors[5],s);
4584         });
4585     }
4586     else {  /* longjumped back */
4587         STRLEN len = plen;
4588
4589         /* If the cause for the longjmp was other than changing to utf8, pop
4590          * our own setjmp, and longjmp to the correct handler */
4591         if (jump_ret != UTF8_LONGJMP) {
4592             JMPENV_POP;
4593             JMPENV_JUMP(jump_ret);
4594         }
4595
4596         GET_RE_DEBUG_FLAGS;
4597
4598         /* It's possible to write a regexp in ascii that represents Unicode
4599         codepoints outside of the byte range, such as via \x{100}. If we
4600         detect such a sequence we have to convert the entire pattern to utf8
4601         and then recompile, as our sizing calculation will have been based
4602         on 1 byte == 1 character, but we will need to use utf8 to encode
4603         at least some part of the pattern, and therefore must convert the whole
4604         thing.
4605         -- dmq */
4606         DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log,
4607             "UTF8 mismatch! Converting to utf8 for resizing and compile\n"));
4608         exp = (char*)Perl_bytes_to_utf8(aTHX_ (U8*)SvPV(pattern, plen), &len);
4609         xend = exp + len;
4610         RExC_orig_utf8 = RExC_utf8 = 1;
4611         SAVEFREEPV(exp);
4612     }
4613
4614 #ifdef TRIE_STUDY_OPT
4615     restudied = 0;
4616 #endif
4617
4618     pm_flags = orig_pm_flags;
4619
4620     if (initial_charset == REGEX_LOCALE_CHARSET) {
4621         RExC_contains_locale = 1;
4622     }
4623     else if (RExC_utf8 && initial_charset == REGEX_DEPENDS_CHARSET) {
4624
4625         /* Set to use unicode semantics if the pattern is in utf8 and has the
4626          * 'depends' charset specified, as it means unicode when utf8  */
4627         set_regex_charset(&pm_flags, REGEX_UNICODE_CHARSET);
4628     }
4629
4630     RExC_precomp = exp;
4631     RExC_flags = pm_flags;
4632     RExC_sawback = 0;
4633
4634     RExC_seen = 0;
4635     RExC_in_lookbehind = 0;
4636     RExC_seen_zerolen = *exp == '^' ? -1 : 0;
4637     RExC_seen_evals = 0;
4638     RExC_extralen = 0;
4639     RExC_override_recoding = 0;
4640
4641     /* First pass: determine size, legality. */
4642     RExC_parse = exp;
4643     RExC_start = exp;
4644     RExC_end = xend;
4645     RExC_naughty = 0;
4646     RExC_npar = 1;
4647     RExC_nestroot = 0;
4648     RExC_size = 0L;
4649     RExC_emit = &PL_regdummy;
4650     RExC_whilem_seen = 0;
4651     RExC_open_parens = NULL;
4652     RExC_close_parens = NULL;
4653     RExC_opend = NULL;
4654     RExC_paren_names = NULL;
4655 #ifdef DEBUGGING
4656     RExC_paren_name_list = NULL;
4657 #endif
4658     RExC_recurse = NULL;
4659     RExC_recurse_count = 0;
4660
4661 #if 0 /* REGC() is (currently) a NOP at the first pass.
4662        * Clever compilers notice this and complain. --jhi */
4663     REGC((U8)REG_MAGIC, (char*)RExC_emit);
4664 #endif
4665     DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log, "Starting first pass (sizing)\n"));
4666     if (reg(pRExC_state, 0, &flags,1) == NULL) {
4667         RExC_precomp = NULL;
4668         return(NULL);
4669     }
4670
4671     /* Here, finished first pass.  Get rid of any added setjmp */
4672     if (used_setjump) {
4673         JMPENV_POP;
4674     }
4675
4676     DEBUG_PARSE_r({
4677         PerlIO_printf(Perl_debug_log, 
4678             "Required size %"IVdf" nodes\n"
4679             "Starting second pass (creation)\n", 
4680             (IV)RExC_size);
4681         RExC_lastnum=0; 
4682         RExC_lastparse=NULL; 
4683     });
4684
4685     /* The first pass could have found things that force Unicode semantics */
4686     if ((RExC_utf8 || RExC_uni_semantics)
4687          && get_regex_charset(pm_flags) == REGEX_DEPENDS_CHARSET)
4688     {
4689         set_regex_charset(&pm_flags, REGEX_UNICODE_CHARSET);
4690     }
4691
4692     /* Small enough for pointer-storage convention?
4693        If extralen==0, this means that we will not need long jumps. */
4694     if (RExC_size >= 0x10000L && RExC_extralen)
4695         RExC_size += RExC_extralen;
4696     else
4697         RExC_extralen = 0;
4698     if (RExC_whilem_seen > 15)
4699         RExC_whilem_seen = 15;
4700
4701     /* Allocate space and zero-initialize. Note, the two step process 
4702        of zeroing when in debug mode, thus anything assigned has to 
4703        happen after that */
4704     rx = (REGEXP*) newSV_type(SVt_REGEXP);
4705     r = (struct regexp*)SvANY(rx);
4706     Newxc(ri, sizeof(regexp_internal) + (unsigned)RExC_size * sizeof(regnode),
4707          char, regexp_internal);
4708     if ( r == NULL || ri == NULL )
4709         FAIL("Regexp out of space");
4710 #ifdef DEBUGGING
4711     /* avoid reading uninitialized memory in DEBUGGING code in study_chunk() */
4712     Zero(ri, sizeof(regexp_internal) + (unsigned)RExC_size * sizeof(regnode), char);
4713 #else 
4714     /* bulk initialize base fields with 0. */
4715     Zero(ri, sizeof(regexp_internal), char);        
4716 #endif
4717
4718     /* non-zero initialization begins here */
4719     RXi_SET( r, ri );
4720     r->engine= RE_ENGINE_PTR;
4721     r->extflags = pm_flags;
4722     {
4723         bool has_p     = ((r->extflags & RXf_PMf_KEEPCOPY) == RXf_PMf_KEEPCOPY);
4724         bool has_charset = (get_regex_charset(r->extflags) != REGEX_DEPENDS_CHARSET);
4725
4726         /* The caret is output if there are any defaults: if not all the STD
4727          * flags are set, or if no character set specifier is needed */
4728         bool has_default =
4729                     (((r->extflags & RXf_PMf_STD_PMMOD) != RXf_PMf_STD_PMMOD)
4730                     || ! has_charset);
4731         bool has_runon = ((RExC_seen & REG_SEEN_RUN_ON_COMMENT)==REG_SEEN_RUN_ON_COMMENT);
4732         U16 reganch = (U16)((r->extflags & RXf_PMf_STD_PMMOD)
4733                             >> RXf_PMf_STD_PMMOD_SHIFT);
4734         const char *fptr = STD_PAT_MODS;        /*"msix"*/
4735         char *p;
4736         /* Allocate for the worst case, which is all the std flags are turned
4737          * on.  If more precision is desired, we could do a population count of
4738          * the flags set.  This could be done with a small lookup table, or by
4739          * shifting, masking and adding, or even, when available, assembly
4740          * language for a machine-language population count.
4741          * We never output a minus, as all those are defaults, so are
4742          * covered by the caret */
4743         const STRLEN wraplen = plen + has_p + has_runon
4744             + has_default       /* If needs a caret */
4745
4746                 /* If needs a character set specifier */
4747             + ((has_charset) ? MAX_CHARSET_NAME_LENGTH : 0)
4748             + (sizeof(STD_PAT_MODS) - 1)
4749             + (sizeof("(?:)") - 1);
4750
4751         p = sv_grow(MUTABLE_SV(rx), wraplen + 1); /* +1 for the ending NUL */
4752         SvPOK_on(rx);
4753         SvFLAGS(rx) |= SvUTF8(pattern);
4754         *p++='('; *p++='?';
4755
4756         /* If a default, cover it using the caret */
4757         if (has_default) {
4758             *p++= DEFAULT_PAT_MOD;
4759         }
4760         if (has_charset) {
4761             STRLEN len;
4762             const char* const name = get_regex_charset_name(r->extflags, &len);
4763             Copy(name, p, len, char);
4764             p += len;
4765         }
4766         if (has_p)
4767             *p++ = KEEPCOPY_PAT_MOD; /*'p'*/
4768         {
4769             char ch;
4770             while((ch = *fptr++)) {
4771                 if(reganch & 1)
4772                     *p++ = ch;
4773                 reganch >>= 1;
4774             }
4775         }
4776
4777         *p++ = ':';
4778         Copy(RExC_precomp, p, plen, char);
4779         assert ((RX_WRAPPED(rx) - p) < 16);
4780         r->pre_prefix = p - RX_WRAPPED(rx);
4781         p += plen;
4782         if (has_runon)
4783             *p++ = '\n';
4784         *p++ = ')';
4785         *p = 0;
4786         SvCUR_set(rx, p - SvPVX_const(rx));
4787     }
4788
4789     r->intflags = 0;
4790     r->nparens = RExC_npar - 1; /* set early to validate backrefs */
4791     
4792     if (RExC_seen & REG_SEEN_RECURSE) {
4793         Newxz(RExC_open_parens, RExC_npar,regnode *);
4794         SAVEFREEPV(RExC_open_parens);
4795         Newxz(RExC_close_parens,RExC_npar,regnode *);
4796         SAVEFREEPV(RExC_close_parens);
4797     }
4798
4799     /* Useful during FAIL. */
4800 #ifdef RE_TRACK_PATTERN_OFFSETS
4801     Newxz(ri->u.offsets, 2*RExC_size+1, U32); /* MJD 20001228 */
4802     DEBUG_OFFSETS_r(PerlIO_printf(Perl_debug_log,
4803                           "%s %"UVuf" bytes for offset annotations.\n",
4804                           ri->u.offsets ? "Got" : "Couldn't get",
4805                           (UV)((2*RExC_size+1) * sizeof(U32))));
4806 #endif
4807     SetProgLen(ri,RExC_size);
4808     RExC_rx_sv = rx;
4809     RExC_rx = r;
4810     RExC_rxi = ri;
4811
4812     /* Second pass: emit code. */
4813     RExC_flags = pm_flags;      /* don't let top level (?i) bleed */
4814     RExC_parse = exp;
4815     RExC_end = xend;
4816     RExC_naughty = 0;
4817     RExC_npar = 1;
4818     RExC_emit_start = ri->program;
4819     RExC_emit = ri->program;
4820     RExC_emit_bound = ri->program + RExC_size + 1;
4821
4822     /* Store the count of eval-groups for security checks: */
4823     RExC_rx->seen_evals = RExC_seen_evals;
4824     REGC((U8)REG_MAGIC, (char*) RExC_emit++);
4825     if (reg(pRExC_state, 0, &flags,1) == NULL) {
4826         ReREFCNT_dec(rx);   
4827         return(NULL);
4828     }
4829     /* XXXX To minimize changes to RE engine we always allocate
4830        3-units-long substrs field. */
4831     Newx(r->substrs, 1, struct reg_substr_data);
4832     if (RExC_recurse_count) {
4833         Newxz(RExC_recurse,RExC_recurse_count,regnode *);
4834         SAVEFREEPV(RExC_recurse);
4835     }
4836
4837 reStudy:
4838     r->minlen = minlen = sawlookahead = sawplus = sawopen = 0;
4839     Zero(r->substrs, 1, struct reg_substr_data);
4840
4841 #ifdef TRIE_STUDY_OPT
4842     if (!restudied) {
4843         StructCopy(&zero_scan_data, &data, scan_data_t);
4844         copyRExC_state = RExC_state;
4845     } else {
4846         U32 seen=RExC_seen;
4847         DEBUG_OPTIMISE_r(PerlIO_printf(Perl_debug_log,"Restudying\n"));
4848         
4849         RExC_state = copyRExC_state;
4850         if (seen & REG_TOP_LEVEL_BRANCHES) 
4851             RExC_seen |= REG_TOP_LEVEL_BRANCHES;
4852         else
4853             RExC_seen &= ~REG_TOP_LEVEL_BRANCHES;
4854         if (data.last_found) {
4855             SvREFCNT_dec(data.longest_fixed);
4856             SvREFCNT_dec(data.longest_float);
4857             SvREFCNT_dec(data.last_found);
4858         }
4859         StructCopy(&zero_scan_data, &data, scan_data_t);
4860     }
4861 #else
4862     StructCopy(&zero_scan_data, &data, scan_data_t);
4863 #endif    
4864
4865     /* Dig out information for optimizations. */
4866     r->extflags = RExC_flags; /* was pm_op */
4867     /*dmq: removed as part of de-PMOP: pm->op_pmflags = RExC_flags; */
4868  
4869     if (UTF)
4870         SvUTF8_on(rx);  /* Unicode in it? */
4871     ri->regstclass = NULL;
4872     if (RExC_naughty >= 10)     /* Probably an expensive pattern. */
4873         r->intflags |= PREGf_NAUGHTY;
4874     scan = ri->program + 1;             /* First BRANCH. */
4875
4876     /* testing for BRANCH here tells us whether there is "must appear"
4877        data in the pattern. If there is then we can use it for optimisations */
4878     if (!(RExC_seen & REG_TOP_LEVEL_BRANCHES)) { /*  Only one top-level choice. */
4879         I32 fake;
4880         STRLEN longest_float_length, longest_fixed_length;
4881         struct regnode_charclass_class ch_class; /* pointed to by data */
4882         int stclass_flag;
4883         I32 last_close = 0; /* pointed to by data */
4884         regnode *first= scan;
4885         regnode *first_next= regnext(first);
4886         /*
4887          * Skip introductions and multiplicators >= 1
4888          * so that we can extract the 'meat' of the pattern that must 
4889          * match in the large if() sequence following.
4890          * NOTE that EXACT is NOT covered here, as it is normally
4891          * picked up by the optimiser separately. 
4892          *
4893          * This is unfortunate as the optimiser isnt handling lookahead
4894          * properly currently.
4895          *
4896          */
4897         while ((OP(first) == OPEN && (sawopen = 1)) ||
4898                /* An OR of *one* alternative - should not happen now. */
4899             (OP(first) == BRANCH && OP(first_next) != BRANCH) ||
4900             /* for now we can't handle lookbehind IFMATCH*/
4901             (OP(first) == IFMATCH && !first->flags && (sawlookahead = 1)) ||
4902             (OP(first) == PLUS) ||
4903             (OP(first) == MINMOD) ||
4904                /* An {n,m} with n>0 */
4905             (PL_regkind[OP(first)] == CURLY && ARG1(first) > 0) ||
4906             (OP(first) == NOTHING && PL_regkind[OP(first_next)] != END ))
4907         {
4908                 /* 
4909                  * the only op that could be a regnode is PLUS, all the rest
4910                  * will be regnode_1 or regnode_2.
4911                  *
4912                  */
4913                 if (OP(first) == PLUS)
4914                     sawplus = 1;
4915                 else
4916                     first += regarglen[OP(first)];
4917                 
4918                 first = NEXTOPER(first);
4919                 first_next= regnext(first);
4920         }
4921
4922         /* Starting-point info. */
4923       again:
4924         DEBUG_PEEP("first:",first,0);
4925         /* Ignore EXACT as we deal with it later. */
4926         if (PL_regkind[OP(first)] == EXACT) {
4927             if (OP(first) == EXACT)
4928                 NOOP;   /* Empty, get anchored substr later. */
4929             else
4930                 ri->regstclass = first;
4931         }
4932 #ifdef TRIE_STCLASS     
4933         else if (PL_regkind[OP(first)] == TRIE &&
4934                 ((reg_trie_data *)ri->data->data[ ARG(first) ])->minlen>0) 
4935         {
4936             regnode *trie_op;
4937             /* this can happen only on restudy */
4938             if ( OP(first) == TRIE ) {
4939                 struct regnode_1 *trieop = (struct regnode_1 *)
4940                     PerlMemShared_calloc(1, sizeof(struct regnode_1));
4941                 StructCopy(first,trieop,struct regnode_1);
4942                 trie_op=(regnode *)trieop;
4943             } else {
4944                 struct regnode_charclass *trieop = (struct regnode_charclass *)
4945                     PerlMemShared_calloc(1, sizeof(struct regnode_charclass));
4946                 StructCopy(first,trieop,struct regnode_charclass);
4947                 trie_op=(regnode *)trieop;
4948             }
4949             OP(trie_op)+=2;
4950             make_trie_failtable(pRExC_state, (regnode *)first, trie_op, 0);
4951             ri->regstclass = trie_op;
4952         }
4953 #endif  
4954         else if (REGNODE_SIMPLE(OP(first)))
4955             ri->regstclass = first;
4956         else if (PL_regkind[OP(first)] == BOUND ||
4957                  PL_regkind[OP(first)] == NBOUND)
4958             ri->regstclass = first;
4959         else if (PL_regkind[OP(first)] == BOL) {
4960             r->extflags |= (OP(first) == MBOL
4961                            ? RXf_ANCH_MBOL
4962                            : (OP(first) == SBOL
4963                               ? RXf_ANCH_SBOL
4964                               : RXf_ANCH_BOL));
4965             first = NEXTOPER(first);
4966             goto again;
4967         }
4968         else if (OP(first) == GPOS) {
4969             r->extflags |= RXf_ANCH_GPOS;
4970             first = NEXTOPER(first);
4971             goto again;
4972         }
4973         else if ((!sawopen || !RExC_sawback) &&
4974             (OP(first) == STAR &&
4975             PL_regkind[OP(NEXTOPER(first))] == REG_ANY) &&
4976             !(r->extflags & RXf_ANCH) && !(RExC_seen & REG_SEEN_EVAL))
4977         {
4978             /* turn .* into ^.* with an implied $*=1 */
4979             const int type =
4980                 (OP(NEXTOPER(first)) == REG_ANY)
4981                     ? RXf_ANCH_MBOL
4982                     : RXf_ANCH_SBOL;
4983             r->extflags |= type;
4984             r->intflags |= PREGf_IMPLICIT;
4985             first = NEXTOPER(first);
4986             goto again;
4987         }
4988         if (sawplus && !sawlookahead && (!sawopen || !RExC_sawback)
4989             && !(RExC_seen & REG_SEEN_EVAL)) /* May examine pos and $& */
4990             /* x+ must match at the 1st pos of run of x's */
4991             r->intflags |= PREGf_SKIP;
4992
4993         /* Scan is after the zeroth branch, first is atomic matcher. */
4994 #ifdef TRIE_STUDY_OPT
4995         DEBUG_PARSE_r(
4996             if (!restudied)
4997                 PerlIO_printf(Perl_debug_log, "first at %"IVdf"\n",
4998                               (IV)(first - scan + 1))
4999         );
5000 #else
5001         DEBUG_PARSE_r(
5002             PerlIO_printf(Perl_debug_log, "first at %"IVdf"\n",
5003                 (IV)(first - scan + 1))
5004         );
5005 #endif
5006
5007
5008         /*
5009         * If there's something expensive in the r.e., find the
5010         * longest literal string that must appear and make it the
5011         * regmust.  Resolve ties in favor of later strings, since
5012         * the regstart check works with the beginning of the r.e.
5013         * and avoiding duplication strengthens checking.  Not a
5014         * strong reason, but sufficient in the absence of others.
5015         * [Now we resolve ties in favor of the earlier string if
5016         * it happens that c_offset_min has been invalidated, since the
5017         * earlier string may buy us something the later one won't.]
5018         */
5019         
5020         data.longest_fixed = newSVpvs("");
5021         data.longest_float = newSVpvs("");
5022         data.last_found = newSVpvs("");
5023         data.longest = &(data.longest_fixed);
5024         first = scan;
5025         if (!ri->regstclass) {
5026             cl_init(pRExC_state, &ch_class);
5027             data.start_class = &ch_class;
5028             stclass_flag = SCF_DO_STCLASS_AND;
5029         } else                          /* XXXX Check for BOUND? */
5030             stclass_flag = 0;
5031         data.last_closep = &last_close;
5032         
5033         minlen = study_chunk(pRExC_state, &first, &minlen, &fake, scan + RExC_size, /* Up to end */
5034             &data, -1, NULL, NULL,
5035             SCF_DO_SUBSTR | SCF_WHILEM_VISITED_POS | stclass_flag,0);
5036
5037         
5038         CHECK_RESTUDY_GOTO;
5039
5040
5041         if ( RExC_npar == 1 && data.longest == &(data.longest_fixed)
5042              && data.last_start_min == 0 && data.last_end > 0
5043              && !RExC_seen_zerolen
5044              && !(RExC_seen & REG_SEEN_VERBARG)
5045              && (!(RExC_seen & REG_SEEN_GPOS) || (r->extflags & RXf_ANCH_GPOS)))
5046             r->extflags |= RXf_CHECK_ALL;
5047         scan_commit(pRExC_state, &data,&minlen,0);
5048         SvREFCNT_dec(data.last_found);
5049
5050         /* Note that code very similar to this but for anchored string 
5051            follows immediately below, changes may need to be made to both. 
5052            Be careful. 
5053          */
5054         longest_float_length = CHR_SVLEN(data.longest_float);
5055         if (longest_float_length
5056             || (data.flags & SF_FL_BEFORE_EOL
5057                 && (!(data.flags & SF_FL_BEFORE_MEOL)
5058                     || (RExC_flags & RXf_PMf_MULTILINE)))) 
5059         {
5060             I32 t,ml;
5061
5062             if (SvCUR(data.longest_fixed)  /* ok to leave SvCUR */
5063                 && data.offset_fixed == data.offset_float_min
5064                 && SvCUR(data.longest_fixed) == SvCUR(data.longest_float))
5065                     goto remove_float;          /* As in (a)+. */
5066
5067             /* copy the information about the longest float from the reg_scan_data
5068                over to the program. */
5069             if (SvUTF8(data.longest_float)) {
5070                 r->float_utf8 = data.longest_float;
5071                 r->float_substr = NULL;
5072             } else {
5073                 r->float_substr = data.longest_float;
5074                 r->float_utf8 = NULL;
5075             }
5076             /* float_end_shift is how many chars that must be matched that 
5077                follow this item. We calculate it ahead of time as once the
5078                lookbehind offset is added in we lose the ability to correctly
5079                calculate it.*/
5080             ml = data.minlen_float ? *(data.minlen_float) 
5081                                    : (I32)longest_float_length;
5082             r->float_end_shift = ml - data.offset_float_min
5083                 - longest_float_length + (SvTAIL(data.longest_float) != 0)
5084                 + data.lookbehind_float;
5085             r->float_min_offset = data.offset_float_min - data.lookbehind_float;
5086             r->float_max_offset = data.offset_float_max;
5087             if (data.offset_float_max < I32_MAX) /* Don't offset infinity */
5088                 r->float_max_offset -= data.lookbehind_float;
5089             
5090             t = (data.flags & SF_FL_BEFORE_EOL /* Can't have SEOL and MULTI */
5091                        && (!(data.flags & SF_FL_BEFORE_MEOL)
5092                            || (RExC_flags & RXf_PMf_MULTILINE)));
5093             fbm_compile(data.longest_float, t ? FBMcf_TAIL : 0);
5094         }
5095         else {
5096           remove_float:
5097             r->float_substr = r->float_utf8 = NULL;
5098             SvREFCNT_dec(data.longest_float);
5099             longest_float_length = 0;
5100         }
5101
5102         /* Note that code very similar to this but for floating string 
5103            is immediately above, changes may need to be made to both. 
5104            Be careful. 
5105          */
5106         longest_fixed_length = CHR_SVLEN(data.longest_fixed);
5107         if (longest_fixed_length
5108             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
5109                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
5110                     || (RExC_flags & RXf_PMf_MULTILINE)))) 
5111         {
5112             I32 t,ml;
5113
5114             /* copy the information about the longest fixed 
5115                from the reg_scan_data over to the program. */
5116             if (SvUTF8(data.longest_fixed)) {
5117                 r->anchored_utf8 = data.longest_fixed;
5118                 r->anchored_substr = NULL;
5119             } else {
5120                 r->anchored_substr = data.longest_fixed;
5121                 r->anchored_utf8 = NULL;
5122             }
5123             /* fixed_end_shift is how many chars that must be matched that 
5124                follow this item. We calculate it ahead of time as once the
5125                lookbehind offset is added in we lose the ability to correctly
5126                calculate it.*/
5127             ml = data.minlen_fixed ? *(data.minlen_fixed) 
5128                                    : (I32)longest_fixed_length;
5129             r->anchored_end_shift = ml - data.offset_fixed
5130                 - longest_fixed_length + (SvTAIL(data.longest_fixed) != 0)
5131                 + data.lookbehind_fixed;
5132             r->anchored_offset = data.offset_fixed - data.lookbehind_fixed;
5133
5134             t = (data.flags & SF_FIX_BEFORE_EOL /* Can't have SEOL and MULTI */
5135                  && (!(data.flags & SF_FIX_BEFORE_MEOL)
5136                      || (RExC_flags & RXf_PMf_MULTILINE)));
5137             fbm_compile(data.longest_fixed, t ? FBMcf_TAIL : 0);
5138         }
5139         else {
5140             r->anchored_substr = r->anchored_utf8 = NULL;
5141             SvREFCNT_dec(data.longest_fixed);
5142             longest_fixed_length = 0;
5143         }
5144         if (ri->regstclass
5145             && (OP(ri->regstclass) == REG_ANY || OP(ri->regstclass) == SANY))
5146             ri->regstclass = NULL;
5147
5148         if ((!(r->anchored_substr || r->anchored_utf8) || r->anchored_offset)
5149             && stclass_flag
5150             && !(data.start_class->flags & ANYOF_EOS)
5151             && !cl_is_anything(data.start_class))
5152         {
5153             const U32 n = add_data(pRExC_state, 1, "f");
5154             data.start_class->flags |= ANYOF_IS_SYNTHETIC;
5155
5156             Newx(RExC_rxi->data->data[n], 1,
5157                 struct regnode_charclass_class);
5158             StructCopy(data.start_class,
5159                        (struct regnode_charclass_class*)RExC_rxi->data->data[n],
5160                        struct regnode_charclass_class);
5161             ri->regstclass = (regnode*)RExC_rxi->data->data[n];
5162             r->intflags &= ~PREGf_SKIP; /* Used in find_byclass(). */
5163             DEBUG_COMPILE_r({ SV *sv = sv_newmortal();
5164                       regprop(r, sv, (regnode*)data.start_class);
5165                       PerlIO_printf(Perl_debug_log,
5166                                     "synthetic stclass \"%s\".\n",
5167                                     SvPVX_const(sv));});
5168         }
5169
5170         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
5171         if (longest_fixed_length > longest_float_length) {
5172             r->check_end_shift = r->anchored_end_shift;
5173             r->check_substr = r->anchored_substr;
5174             r->check_utf8 = r->anchored_utf8;
5175             r->check_offset_min = r->check_offset_max = r->anchored_offset;
5176             if (r->extflags & RXf_ANCH_SINGLE)
5177                 r->extflags |= RXf_NOSCAN;
5178         }
5179         else {
5180             r->check_end_shift = r->float_end_shift;
5181             r->check_substr = r->float_substr;
5182             r->check_utf8 = r->float_utf8;
5183             r->check_offset_min = r->float_min_offset;
5184             r->check_offset_max = r->float_max_offset;
5185         }
5186         /* XXXX Currently intuiting is not compatible with ANCH_GPOS.
5187            This should be changed ASAP!  */
5188         if ((r->check_substr || r->check_utf8) && !(r->extflags & RXf_ANCH_GPOS)) {
5189             r->extflags |= RXf_USE_INTUIT;
5190             if (SvTAIL(r->check_substr ? r->check_substr : r->check_utf8))
5191                 r->extflags |= RXf_INTUIT_TAIL;
5192         }
5193         /* XXX Unneeded? dmq (shouldn't as this is handled elsewhere)
5194         if ( (STRLEN)minlen < longest_float_length )
5195             minlen= longest_float_length;
5196         if ( (STRLEN)minlen < longest_fixed_length )
5197             minlen= longest_fixed_length;     
5198         */
5199     }
5200     else {
5201         /* Several toplevels. Best we can is to set minlen. */
5202         I32 fake;
5203         struct regnode_charclass_class ch_class;
5204         I32 last_close = 0;
5205         
5206         DEBUG_PARSE_r(PerlIO_printf(Perl_debug_log, "\nMulti Top Level\n"));
5207
5208         scan = ri->program + 1;
5209         cl_init(pRExC_state, &ch_class);
5210         data.start_class = &ch_class;
5211         data.last_closep = &last_close;
5212
5213         
5214         minlen = study_chunk(pRExC_state, &scan, &minlen, &fake, scan + RExC_size,
5215             &data, -1, NULL, NULL, SCF_DO_STCLASS_AND|SCF_WHILEM_VISITED_POS,0);
5216         
5217         CHECK_RESTUDY_GOTO;
5218
5219         r->check_substr = r->check_utf8 = r->anchored_substr = r->anchored_utf8
5220                 = r->float_substr = r->float_utf8 = NULL;
5221
5222         if (!(data.start_class->flags & ANYOF_EOS)
5223             && !cl_is_anything(data.start_class))
5224         {
5225             const U32 n = add_data(pRExC_state, 1, "f");
5226             data.start_class->flags |= ANYOF_IS_SYNTHETIC;
5227
5228             Newx(RExC_rxi->data->data[n], 1,
5229                 struct regnode_charclass_class);
5230             StructCopy(data.start_class,
5231                        (struct regnode_charclass_class*)RExC_rxi->data->data[n],
5232                        struct regnode_charclass_class);
5233             ri->regstclass = (regnode*)RExC_rxi->data->data[n];
5234             r->intflags &= ~PREGf_SKIP; /* Used in find_byclass(). */
5235             DEBUG_COMPILE_r({ SV* sv = sv_newmortal();
5236                       regprop(r, sv, (regnode*)data.start_class);
5237                       PerlIO_printf(Perl_debug_log,
5238                                     "synthetic stclass \"%s\".\n",
5239                                     SvPVX_const(sv));});
5240         }
5241     }
5242
5243     /* Guard against an embedded (?=) or (?<=) with a longer minlen than
5244        the "real" pattern. */
5245     DEBUG_OPTIMISE_r({
5246         PerlIO_printf(Perl_debug_log,"minlen: %"IVdf" r->minlen:%"IVdf"\n",
5247                       (IV)minlen, (IV)r->minlen);
5248     });
5249     r->minlenret = minlen;
5250     if (r->minlen < minlen) 
5251         r->minlen = minlen;
5252     
5253     if (RExC_seen & REG_SEEN_GPOS)
5254         r->extflags |= RXf_GPOS_SEEN;
5255     if (RExC_seen & REG_SEEN_LOOKBEHIND)
5256         r->extflags |= RXf_LOOKBEHIND_SEEN;
5257     if (RExC_seen & REG_SEEN_EVAL)
5258         r->extflags |= RXf_EVAL_SEEN;
5259     if (RExC_seen & REG_SEEN_CANY)
5260         r->extflags |= RXf_CANY_SEEN;
5261     if (RExC_seen & REG_SEEN_VERBARG)
5262         r->intflags |= PREGf_VERBARG_SEEN;
5263     if (RExC_seen & REG_SEEN_CUTGROUP)
5264         r->intflags |= PREGf_CUTGROUP_SEEN;
5265     if (RExC_paren_names)
5266         RXp_PAREN_NAMES(r) = MUTABLE_HV(SvREFCNT_inc(RExC_paren_names));
5267     else
5268         RXp_PAREN_NAMES(r) = NULL;
5269
5270 #ifdef STUPID_PATTERN_CHECKS            
5271     if (RX_PRELEN(rx) == 0)
5272         r->extflags |= RXf_NULL;
5273     if (r->extflags & RXf_SPLIT && RX_PRELEN(rx) == 1 && RX_PRECOMP(rx)[0] == ' ')
5274         /* XXX: this should happen BEFORE we compile */
5275         r->extflags |= (RXf_SKIPWHITE|RXf_WHITE); 
5276     else if (RX_PRELEN(rx) == 3 && memEQ("\\s+", RX_PRECOMP(rx), 3))
5277         r->extflags |= RXf_WHITE;
5278     else if (RX_PRELEN(rx) == 1 && RXp_PRECOMP(rx)[0] == '^')
5279         r->extflags |= RXf_START_ONLY;
5280 #else
5281     if (r->extflags & RXf_SPLIT && RX_PRELEN(rx) == 1 && RX_PRECOMP(rx)[0] == ' ')
5282             /* XXX: this should happen BEFORE we compile */
5283             r->extflags |= (RXf_SKIPWHITE|RXf_WHITE); 
5284     else {
5285         regnode *first = ri->program + 1;
5286         U8 fop = OP(first);
5287
5288         if (PL_regkind[fop] == NOTHING && OP(NEXTOPER(first)) == END)
5289             r->extflags |= RXf_NULL;
5290         else if (PL_regkind[fop] == BOL && OP(NEXTOPER(first)) == END)
5291             r->extflags |= RXf_START_ONLY;
5292         else if (fop == PLUS && OP(NEXTOPER(first)) == SPACE
5293                              && OP(regnext(first)) == END)
5294             r->extflags |= RXf_WHITE;    
5295     }
5296 #endif
5297 #ifdef DEBUGGING
5298     if (RExC_paren_names) {
5299         ri->name_list_idx = add_data( pRExC_state, 1, "a" );
5300         ri->data->data[ri->name_list_idx] = (void*)SvREFCNT_inc(RExC_paren_name_list);
5301     } else
5302 #endif
5303         ri->name_list_idx = 0;
5304
5305     if (RExC_recurse_count) {
5306         for ( ; RExC_recurse_count ; RExC_recurse_count-- ) {
5307             const regnode *scan = RExC_recurse[RExC_recurse_count-1];
5308             ARG2L_SET( scan, RExC_open_parens[ARG(scan)-1] - scan );
5309         }
5310     }
5311     Newxz(r->offs, RExC_npar, regexp_paren_pair);
5312     /* assume we don't need to swap parens around before we match */
5313
5314     DEBUG_DUMP_r({
5315         PerlIO_printf(Perl_debug_log,"Final program:\n");
5316         regdump(r);
5317     });
5318 #ifdef RE_TRACK_PATTERN_OFFSETS
5319     DEBUG_OFFSETS_r(if (ri->u.offsets) {
5320         const U32 len = ri->u.offsets[0];
5321         U32 i;
5322         GET_RE_DEBUG_FLAGS_DECL;
5323         PerlIO_printf(Perl_debug_log, "Offsets: [%"UVuf"]\n\t", (UV)ri->u.offsets[0]);
5324         for (i = 1; i <= len; i++) {
5325             if (ri->u.offsets[i*2-1] || ri->u.offsets[i*2])
5326                 PerlIO_printf(Perl_debug_log, "%"UVuf":%"UVuf"[%"UVuf"] ",
5327                 (UV)i, (UV)ri->u.offsets[i*2-1], (UV)ri->u.offsets[i*2]);
5328             }
5329         PerlIO_printf(Perl_debug_log, "\n");
5330     });
5331 #endif
5332     return rx;
5333 }
5334
5335 #undef RE_ENGINE_PTR
5336
5337
5338 SV*
5339 Perl_reg_named_buff(pTHX_ REGEXP * const rx, SV * const key, SV * const value,
5340                     const U32 flags)
5341 {
5342     PERL_ARGS_ASSERT_REG_NAMED_BUFF;
5343
5344     PERL_UNUSED_ARG(value);
5345
5346     if (flags & RXapif_FETCH) {
5347         return reg_named_buff_fetch(rx, key, flags);
5348     } else if (flags & (RXapif_STORE | RXapif_DELETE | RXapif_CLEAR)) {
5349         Perl_croak_no_modify(aTHX);
5350         return NULL;
5351     } else if (flags & RXapif_EXISTS) {
5352         return reg_named_buff_exists(rx, key, flags)
5353             ? &PL_sv_yes
5354             : &PL_sv_no;
5355     } else if (flags & RXapif_REGNAMES) {
5356         return reg_named_buff_all(rx, flags);
5357     } else if (flags & (RXapif_SCALAR | RXapif_REGNAMES_COUNT)) {
5358         return reg_named_buff_scalar(rx, flags);
5359     } else {
5360         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff", (int)flags);
5361         return NULL;
5362     }
5363 }
5364
5365 SV*
5366 Perl_reg_named_buff_iter(pTHX_ REGEXP * const rx, const SV * const lastkey,
5367                          const U32 flags)
5368 {
5369     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ITER;
5370     PERL_UNUSED_ARG(lastkey);
5371
5372     if (flags & RXapif_FIRSTKEY)
5373         return reg_named_buff_firstkey(rx, flags);
5374     else if (flags & RXapif_NEXTKEY)
5375         return reg_named_buff_nextkey(rx, flags);
5376     else {
5377         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_iter", (int)flags);
5378         return NULL;
5379     }
5380 }
5381
5382 SV*
5383 Perl_reg_named_buff_fetch(pTHX_ REGEXP * const r, SV * const namesv,
5384                           const U32 flags)
5385 {
5386     AV *retarray = NULL;
5387     SV *ret;
5388     struct regexp *const rx = (struct regexp *)SvANY(r);
5389
5390     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FETCH;
5391
5392     if (flags & RXapif_ALL)
5393         retarray=newAV();
5394
5395     if (rx && RXp_PAREN_NAMES(rx)) {
5396         HE *he_str = hv_fetch_ent( RXp_PAREN_NAMES(rx), namesv, 0, 0 );
5397         if (he_str) {
5398             IV i;
5399             SV* sv_dat=HeVAL(he_str);
5400             I32 *nums=(I32*)SvPVX(sv_dat);
5401             for ( i=0; i<SvIVX(sv_dat); i++ ) {
5402                 if ((I32)(rx->nparens) >= nums[i]
5403                     && rx->offs[nums[i]].start != -1
5404                     && rx->offs[nums[i]].end != -1)
5405                 {
5406                     ret = newSVpvs("");
5407                     CALLREG_NUMBUF_FETCH(r,nums[i],ret);
5408                     if (!retarray)
5409                         return ret;
5410                 } else {
5411                     ret = newSVsv(&PL_sv_undef);
5412                 }
5413                 if (retarray)
5414                     av_push(retarray, ret);
5415             }
5416             if (retarray)
5417                 return newRV_noinc(MUTABLE_SV(retarray));
5418         }
5419     }
5420     return NULL;
5421 }
5422
5423 bool
5424 Perl_reg_named_buff_exists(pTHX_ REGEXP * const r, SV * const key,
5425                            const U32 flags)
5426 {
5427     struct regexp *const rx = (struct regexp *)SvANY(r);
5428
5429     PERL_ARGS_ASSERT_REG_NAMED_BUFF_EXISTS;
5430
5431     if (rx && RXp_PAREN_NAMES(rx)) {
5432         if (flags & RXapif_ALL) {
5433             return hv_exists_ent(RXp_PAREN_NAMES(rx), key, 0);
5434         } else {
5435             SV *sv = CALLREG_NAMED_BUFF_FETCH(r, key, flags);
5436             if (sv) {
5437                 SvREFCNT_dec(sv);
5438                 return TRUE;
5439             } else {
5440                 return FALSE;
5441             }
5442         }
5443     } else {
5444         return FALSE;
5445     }
5446 }
5447
5448 SV*
5449 Perl_reg_named_buff_firstkey(pTHX_ REGEXP * const r, const U32 flags)
5450 {
5451     struct regexp *const rx = (struct regexp *)SvANY(r);
5452
5453     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FIRSTKEY;
5454
5455     if ( rx && RXp_PAREN_NAMES(rx) ) {
5456         (void)hv_iterinit(RXp_PAREN_NAMES(rx));
5457
5458         return CALLREG_NAMED_BUFF_NEXTKEY(r, NULL, flags & ~RXapif_FIRSTKEY);
5459     } else {
5460         return FALSE;
5461     }
5462 }
5463
5464 SV*
5465 Perl_reg_named_buff_nextkey(pTHX_ REGEXP * const r, const U32 flags)
5466 {
5467     struct regexp *const rx = (struct regexp *)SvANY(r);
5468     GET_RE_DEBUG_FLAGS_DECL;
5469
5470     PERL_ARGS_ASSERT_REG_NAMED_BUFF_NEXTKEY;
5471
5472     if (rx && RXp_PAREN_NAMES(rx)) {
5473         HV *hv = RXp_PAREN_NAMES(rx);
5474         HE *temphe;
5475         while ( (temphe = hv_iternext_flags(hv,0)) ) {
5476             IV i;
5477             IV parno = 0;
5478             SV* sv_dat = HeVAL(temphe);
5479             I32 *nums = (I32*)SvPVX(sv_dat);
5480             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
5481                 if ((I32)(rx->lastparen) >= nums[i] &&
5482                     rx->offs[nums[i]].start != -1 &&
5483                     rx->offs[nums[i]].end != -1)
5484                 {
5485                     parno = nums[i];
5486                     break;
5487                 }
5488             }
5489             if (parno || flags & RXapif_ALL) {
5490                 return newSVhek(HeKEY_hek(temphe));
5491             }
5492         }
5493     }
5494     return NULL;
5495 }
5496
5497 SV*
5498 Perl_reg_named_buff_scalar(pTHX_ REGEXP * const r, const U32 flags)
5499 {
5500     SV *ret;
5501     AV *av;
5502     I32 length;
5503     struct regexp *const rx = (struct regexp *)SvANY(r);
5504
5505     PERL_ARGS_ASSERT_REG_NAMED_BUFF_SCALAR;
5506
5507     if (rx && RXp_PAREN_NAMES(rx)) {
5508         if (flags & (RXapif_ALL | RXapif_REGNAMES_COUNT)) {
5509             return newSViv(HvTOTALKEYS(RXp_PAREN_NAMES(rx)));
5510         } else if (flags & RXapif_ONE) {
5511             ret = CALLREG_NAMED_BUFF_ALL(r, (flags | RXapif_REGNAMES));
5512             av = MUTABLE_AV(SvRV(ret));
5513             length = av_len(av);
5514             SvREFCNT_dec(ret);
5515             return newSViv(length + 1);
5516         } else {
5517             Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_scalar", (int)flags);
5518             return NULL;
5519         }
5520     }
5521     return &PL_sv_undef;
5522 }
5523
5524 SV*
5525 Perl_reg_named_buff_all(pTHX_ REGEXP * const r, const U32 flags)
5526 {
5527     struct regexp *const rx = (struct regexp *)SvANY(r);
5528     AV *av = newAV();
5529
5530     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ALL;
5531
5532     if (rx && RXp_PAREN_NAMES(rx)) {
5533         HV *hv= RXp_PAREN_NAMES(rx);
5534         HE *temphe;
5535         (void)hv_iterinit(hv);
5536         while ( (temphe = hv_iternext_flags(hv,0)) ) {
5537             IV i;
5538             IV parno = 0;
5539             SV* sv_dat = HeVAL(temphe);
5540             I32 *nums = (I32*)SvPVX(sv_dat);
5541             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
5542                 if ((I32)(rx->lastparen) >= nums[i] &&
5543                     rx->offs[nums[i]].start != -1 &&
5544                     rx->offs[nums[i]].end != -1)
5545                 {
5546                     parno = nums[i];
5547                     break;
5548                 }
5549             }
5550             if (parno || flags & RXapif_ALL) {
5551                 av_push(av, newSVhek(HeKEY_hek(temphe)));
5552             }
5553         }
5554     }
5555
5556     return newRV_noinc(MUTABLE_SV(av));
5557 }
5558
5559 void
5560 Perl_reg_numbered_buff_fetch(pTHX_ REGEXP * const r, const I32 paren,
5561                              SV * const sv)
5562 {
5563     struct regexp *const rx = (struct regexp *)SvANY(r);
5564     char *s = NULL;
5565     I32 i = 0;
5566     I32 s1, t1;
5567
5568     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_FETCH;
5569         
5570     if (!rx->subbeg) {
5571         sv_setsv(sv,&PL_sv_undef);
5572         return;
5573     } 
5574     else               
5575     if (paren == RX_BUFF_IDX_PREMATCH && rx->offs[0].start != -1) {
5576         /* $` */
5577         i = rx->offs[0].start;
5578         s = rx->subbeg;
5579     }
5580     else 
5581     if (paren == RX_BUFF_IDX_POSTMATCH && rx->offs[0].end != -1) {
5582         /* $' */
5583         s = rx->subbeg + rx->offs[0].end;
5584         i = rx->sublen - rx->offs[0].end;
5585     } 
5586     else
5587     if ( 0 <= paren && paren <= (I32)rx->nparens &&
5588         (s1 = rx->offs[paren].start) != -1 &&
5589         (t1 = rx->offs[paren].end) != -1)
5590     {
5591         /* $& $1 ... */
5592         i = t1 - s1;
5593         s = rx->subbeg + s1;
5594     } else {
5595         sv_setsv(sv,&PL_sv_undef);
5596         return;
5597     }          
5598     assert(rx->sublen >= (s - rx->subbeg) + i );
5599     if (i >= 0) {
5600         const int oldtainted = PL_tainted;
5601         TAINT_NOT;
5602         sv_setpvn(sv, s, i);
5603         PL_tainted = oldtainted;
5604         if ( (rx->extflags & RXf_CANY_SEEN)
5605             ? (RXp_MATCH_UTF8(rx)
5606                         && (!i || is_utf8_string((U8*)s, i)))
5607             : (RXp_MATCH_UTF8(rx)) )
5608         {
5609             SvUTF8_on(sv);
5610         }
5611         else
5612             SvUTF8_off(sv);
5613         if (PL_tainting) {
5614             if (RXp_MATCH_TAINTED(rx)) {
5615                 if (SvTYPE(sv) >= SVt_PVMG) {
5616                     MAGIC* const mg = SvMAGIC(sv);
5617                     MAGIC* mgt;
5618                     PL_tainted = 1;
5619                     SvMAGIC_set(sv, mg->mg_moremagic);
5620                     SvTAINT(sv);
5621                     if ((mgt = SvMAGIC(sv))) {
5622                         mg->mg_moremagic = mgt;
5623                         SvMAGIC_set(sv, mg);
5624                     }
5625                 } else {
5626                     PL_tainted = 1;
5627                     SvTAINT(sv);
5628                 }
5629             } else 
5630                 SvTAINTED_off(sv);
5631         }
5632     } else {
5633         sv_setsv(sv,&PL_sv_undef);
5634         return;
5635     }
5636 }
5637
5638 void
5639 Perl_reg_numbered_buff_store(pTHX_ REGEXP * const rx, const I32 paren,
5640                                                          SV const * const value)
5641 {
5642     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_STORE;
5643
5644     PERL_UNUSED_ARG(rx);
5645     PERL_UNUSED_ARG(paren);
5646     PERL_UNUSED_ARG(value);
5647
5648     if (!PL_localizing)
5649         Perl_croak_no_modify(aTHX);
5650 }
5651
5652 I32
5653 Perl_reg_numbered_buff_length(pTHX_ REGEXP * const r, const SV * const sv,
5654                               const I32 paren)
5655 {
5656     struct regexp *const rx = (struct regexp *)SvANY(r);
5657     I32 i;
5658     I32 s1, t1;
5659
5660     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_LENGTH;
5661
5662     /* Some of this code was originally in C<Perl_magic_len> in F<mg.c> */
5663         switch (paren) {
5664       /* $` / ${^PREMATCH} */
5665       case RX_BUFF_IDX_PREMATCH:
5666         if (rx->offs[0].start != -1) {
5667                         i = rx->offs[0].start;
5668                         if (i > 0) {
5669                                 s1 = 0;
5670                                 t1 = i;
5671                                 goto getlen;
5672                         }
5673             }
5674         return 0;
5675       /* $' / ${^POSTMATCH} */
5676       case RX_BUFF_IDX_POSTMATCH:
5677             if (rx->offs[0].end != -1) {
5678                         i = rx->sublen - rx->offs[0].end;
5679                         if (i > 0) {
5680                                 s1 = rx->offs[0].end;
5681                                 t1 = rx->sublen;
5682                                 goto getlen;
5683                         }
5684             }
5685         return 0;
5686       /* $& / ${^MATCH}, $1, $2, ... */
5687       default:
5688             if (paren <= (I32)rx->nparens &&
5689             (s1 = rx->offs[paren].start) != -1 &&
5690             (t1 = rx->offs[paren].end) != -1)
5691             {
5692             i = t1 - s1;
5693             goto getlen;
5694         } else {
5695             if (ckWARN(WARN_UNINITIALIZED))
5696                 report_uninit((const SV *)sv);
5697             return 0;
5698         }
5699     }
5700   getlen:
5701     if (i > 0 && RXp_MATCH_UTF8(rx)) {
5702         const char * const s = rx->subbeg + s1;
5703         const U8 *ep;
5704         STRLEN el;
5705
5706         i = t1 - s1;
5707         if (is_utf8_string_loclen((U8*)s, i, &ep, &el))
5708                         i = el;
5709     }
5710     return i;
5711 }
5712
5713 SV*
5714 Perl_reg_qr_package(pTHX_ REGEXP * const rx)
5715 {
5716     PERL_ARGS_ASSERT_REG_QR_PACKAGE;
5717         PERL_UNUSED_ARG(rx);
5718         if (0)
5719             return NULL;
5720         else
5721             return newSVpvs("Regexp");
5722 }
5723
5724 /* Scans the name of a named buffer from the pattern.
5725  * If flags is REG_RSN_RETURN_NULL returns null.
5726  * If flags is REG_RSN_RETURN_NAME returns an SV* containing the name
5727  * If flags is REG_RSN_RETURN_DATA returns the data SV* corresponding
5728  * to the parsed name as looked up in the RExC_paren_names hash.
5729  * If there is an error throws a vFAIL().. type exception.
5730  */
5731
5732 #define REG_RSN_RETURN_NULL    0
5733 #define REG_RSN_RETURN_NAME    1
5734 #define REG_RSN_RETURN_DATA    2
5735
5736 STATIC SV*
5737 S_reg_scan_name(pTHX_ RExC_state_t *pRExC_state, U32 flags)
5738 {
5739     char *name_start = RExC_parse;
5740
5741     PERL_ARGS_ASSERT_REG_SCAN_NAME;
5742
5743     if (isIDFIRST_lazy_if(RExC_parse, UTF)) {
5744          /* skip IDFIRST by using do...while */
5745         if (UTF)
5746             do {
5747                 RExC_parse += UTF8SKIP(RExC_parse);
5748             } while (isALNUM_utf8((U8*)RExC_parse));
5749         else
5750             do {
5751                 RExC_parse++;
5752             } while (isALNUM(*RExC_parse));
5753     }
5754
5755     if ( flags ) {
5756         SV* sv_name
5757             = newSVpvn_flags(name_start, (int)(RExC_parse - name_start),
5758                              SVs_TEMP | (UTF ? SVf_UTF8 : 0));
5759         if ( flags == REG_RSN_RETURN_NAME)
5760             return sv_name;
5761         else if (flags==REG_RSN_RETURN_DATA) {
5762             HE *he_str = NULL;
5763             SV *sv_dat = NULL;
5764             if ( ! sv_name )      /* should not happen*/
5765                 Perl_croak(aTHX_ "panic: no svname in reg_scan_name");
5766             if (RExC_paren_names)
5767                 he_str = hv_fetch_ent( RExC_paren_names, sv_name, 0, 0 );
5768             if ( he_str )
5769                 sv_dat = HeVAL(he_str);
5770             if ( ! sv_dat )
5771                 vFAIL("Reference to nonexistent named group");
5772             return sv_dat;
5773         }
5774         else {
5775             Perl_croak(aTHX_ "panic: bad flag in reg_scan_name");
5776         }
5777         /* NOT REACHED */
5778     }
5779     return NULL;
5780 }
5781
5782 #define DEBUG_PARSE_MSG(funcname)     DEBUG_PARSE_r({           \
5783     int rem=(int)(RExC_end - RExC_parse);                       \
5784     int cut;                                                    \
5785     int num;                                                    \
5786     int iscut=0;                                                \
5787     if (rem>10) {                                               \
5788         rem=10;                                                 \
5789         iscut=1;                                                \
5790     }                                                           \
5791     cut=10-rem;                                                 \
5792     if (RExC_lastparse!=RExC_parse)                             \
5793         PerlIO_printf(Perl_debug_log," >%.*s%-*s",              \
5794             rem, RExC_parse,                                    \
5795             cut + 4,                                            \
5796             iscut ? "..." : "<"                                 \
5797         );                                                      \
5798     else                                                        \
5799         PerlIO_printf(Perl_debug_log,"%16s","");                \
5800                                                                 \
5801     if (SIZE_ONLY)                                              \
5802        num = RExC_size + 1;                                     \
5803     else                                                        \
5804        num=REG_NODE_NUM(RExC_emit);                             \
5805     if (RExC_lastnum!=num)                                      \
5806        PerlIO_printf(Perl_debug_log,"|%4d",num);                \
5807     else                                                        \
5808        PerlIO_printf(Perl_debug_log,"|%4s","");                 \
5809     PerlIO_printf(Perl_debug_log,"|%*s%-4s",                    \
5810         (int)((depth*2)), "",                                   \
5811         (funcname)                                              \
5812     );                                                          \
5813     RExC_lastnum=num;                                           \
5814     RExC_lastparse=RExC_parse;                                  \
5815 })
5816
5817
5818
5819 #define DEBUG_PARSE(funcname)     DEBUG_PARSE_r({           \
5820     DEBUG_PARSE_MSG((funcname));                            \
5821     PerlIO_printf(Perl_debug_log,"%4s","\n");               \
5822 })
5823 #define DEBUG_PARSE_FMT(funcname,fmt,args)     DEBUG_PARSE_r({           \
5824     DEBUG_PARSE_MSG((funcname));                            \
5825     PerlIO_printf(Perl_debug_log,fmt "\n",args);               \
5826 })
5827
5828 /* This section of code defines the inversion list object and its methods.  The
5829  * interfaces are highly subject to change, so as much as possible is static to
5830  * this file.  An inversion list is here implemented as a malloc'd C array with
5831  * some added info.  More will be coming when functionality is added later.
5832  *
5833  * Some of the methods should always be private to the implementation, and some
5834  * should eventually be made public */
5835
5836 #define INVLIST_INITIAL_LEN 10
5837 #define INVLIST_ARRAY_KEY "array"
5838 #define INVLIST_MAX_KEY "max"
5839 #define INVLIST_LEN_KEY "len"
5840
5841 PERL_STATIC_INLINE UV*
5842 S_invlist_array(pTHX_ HV* const invlist)
5843 {
5844     /* Returns the pointer to the inversion list's array.  Every time the
5845      * length changes, this needs to be called in case malloc or realloc moved
5846      * it */
5847
5848     SV** list_ptr = hv_fetchs(invlist, INVLIST_ARRAY_KEY, FALSE);
5849
5850     PERL_ARGS_ASSERT_INVLIST_ARRAY;
5851
5852     if (list_ptr == NULL) {
5853         Perl_croak(aTHX_ "panic: inversion list without a '%s' element",
5854                                                             INVLIST_ARRAY_KEY);
5855     }
5856
5857     return INT2PTR(UV *, SvUV(*list_ptr));
5858 }
5859
5860 PERL_STATIC_INLINE void
5861 S_invlist_set_array(pTHX_ HV* const invlist, const UV* const array)
5862 {
5863     PERL_ARGS_ASSERT_INVLIST_SET_ARRAY;
5864
5865     /* Sets the array stored in the inversion list to the memory beginning with
5866      * the parameter */
5867
5868     if (hv_stores(invlist, INVLIST_ARRAY_KEY, newSVuv(PTR2UV(array))) == NULL) {
5869         Perl_croak(aTHX_ "panic: can't store '%s' entry in inversion list",
5870                                                             INVLIST_ARRAY_KEY);
5871     }
5872 }
5873
5874 PERL_STATIC_INLINE UV
5875 S_invlist_len(pTHX_ HV* const invlist)
5876 {
5877     /* Returns the current number of elements in the inversion list's array */
5878
5879     SV** len_ptr = hv_fetchs(invlist, INVLIST_LEN_KEY, FALSE);
5880
5881     PERL_ARGS_ASSERT_INVLIST_LEN;
5882
5883     if (len_ptr == NULL) {
5884         Perl_croak(aTHX_ "panic: inversion list without a '%s' element",
5885                                                             INVLIST_LEN_KEY);
5886     }
5887
5888     return SvUV(*len_ptr);
5889 }
5890
5891 PERL_STATIC_INLINE UV
5892 S_invlist_max(pTHX_ HV* const invlist)
5893 {
5894     /* Returns the maximum number of elements storable in the inversion list's
5895      * array, without having to realloc() */
5896
5897     SV** max_ptr = hv_fetchs(invlist, INVLIST_MAX_KEY, FALSE);
5898
5899     PERL_ARGS_ASSERT_INVLIST_MAX;
5900
5901     if (max_ptr == NULL) {
5902         Perl_croak(aTHX_ "panic: inversion list without a '%s' element",
5903                                                             INVLIST_MAX_KEY);
5904     }
5905
5906     return SvUV(*max_ptr);
5907 }
5908
5909 PERL_STATIC_INLINE void
5910 S_invlist_set_len(pTHX_ HV* const invlist, const UV len)
5911 {
5912     /* Sets the current number of elements stored in the inversion list */
5913
5914     PERL_ARGS_ASSERT_INVLIST_SET_LEN;
5915
5916     if (len != 0 && len > invlist_max(invlist)) {
5917         Perl_croak(aTHX_ "panic: Can't make '%s=%"UVuf"' more than %s=%"UVuf" in inversion list", INVLIST_LEN_KEY, len, INVLIST_MAX_KEY, invlist_max(invlist));
5918     }
5919
5920     if (hv_stores(invlist, INVLIST_LEN_KEY, newSVuv(len)) == NULL) {
5921         Perl_croak(aTHX_ "panic: can't store '%s' entry in inversion list",
5922                                                             INVLIST_LEN_KEY);
5923     }
5924 }
5925
5926 PERL_STATIC_INLINE void
5927 S_invlist_set_max(pTHX_ HV* const invlist, const UV max)
5928 {
5929
5930     /* Sets the maximum number of elements storable in the inversion list
5931      * without having to realloc() */
5932
5933     PERL_ARGS_ASSERT_INVLIST_SET_MAX;
5934
5935     if (max < invlist_len(invlist)) {
5936         Perl_croak(aTHX_ "panic: Can't make '%s=%"UVuf"' less than %s=%"UVuf" in inversion list", INVLIST_MAX_KEY, invlist_len(invlist), INVLIST_LEN_KEY, invlist_max(invlist));
5937     }
5938
5939     if (hv_stores(invlist, INVLIST_MAX_KEY, newSVuv(max)) == NULL) {
5940         Perl_croak(aTHX_ "panic: can't store '%s' entry in inversion list",
5941                                                             INVLIST_LEN_KEY);
5942     }
5943 }
5944
5945 #ifndef PERL_IN_XSUB_RE
5946 HV*
5947 Perl__new_invlist(pTHX_ IV initial_size)
5948 {
5949
5950     /* Return a pointer to a newly constructed inversion list, with enough
5951      * space to store 'initial_size' elements.  If that number is negative, a
5952      * system default is used instead */
5953
5954     HV* invlist = newHV();
5955     UV* list;
5956
5957     if (initial_size < 0) {
5958         initial_size = INVLIST_INITIAL_LEN;
5959     }
5960
5961     /* Allocate the initial space */
5962     Newx(list, initial_size, UV);
5963     invlist_set_array(invlist, list);
5964
5965     /* set_len has to come before set_max, as the latter inspects the len */
5966     invlist_set_len(invlist, 0);
5967     invlist_set_max(invlist, initial_size);
5968
5969     return invlist;
5970 }
5971 #endif
5972
5973 PERL_STATIC_INLINE void
5974 S_invlist_destroy(pTHX_ HV* const invlist)
5975 {
5976    /* Inversion list destructor */
5977
5978     SV** list_ptr = hv_fetchs(invlist, INVLIST_ARRAY_KEY, FALSE);
5979
5980     PERL_ARGS_ASSERT_INVLIST_DESTROY;
5981
5982     if (list_ptr != NULL) {
5983         UV *list = INT2PTR(UV *, SvUV(*list_ptr)); /* PERL_POISON needs lvalue */
5984         Safefree(list);
5985     }
5986 }
5987
5988 STATIC void
5989 S_invlist_extend(pTHX_ HV* const invlist, const UV new_max)
5990 {
5991     /* Change the maximum size of an inversion list (up or down) */
5992
5993     UV* orig_array;
5994     UV* array;
5995     const UV old_max = invlist_max(invlist);
5996
5997     PERL_ARGS_ASSERT_INVLIST_EXTEND;
5998
5999     if (old_max == new_max) {   /* If a no-op */
6000         return;
6001     }
6002
6003     array = orig_array = invlist_array(invlist);
6004     Renew(array, new_max, UV);
6005
6006     /* If the size change moved the list in memory, set the new one */
6007     if (array != orig_array) {
6008         invlist_set_array(invlist, array);
6009     }
6010
6011     invlist_set_max(invlist, new_max);
6012
6013 }
6014
6015 PERL_STATIC_INLINE void
6016 S_invlist_trim(pTHX_ HV* const invlist)
6017 {
6018     PERL_ARGS_ASSERT_INVLIST_TRIM;
6019
6020     /* Change the length of the inversion list to how many entries it currently
6021      * has */
6022
6023     invlist_extend(invlist, invlist_len(invlist));
6024 }
6025
6026 /* An element is in an inversion list iff its index is even numbered: 0, 2, 4,
6027  * etc */
6028
6029 #define ELEMENT_IN_INVLIST_SET(i) (! ((i) & 1))
6030
6031 #ifndef PERL_IN_XSUB_RE
6032 void
6033 Perl__append_range_to_invlist(pTHX_ HV* const invlist, const UV start, const UV end)
6034 {
6035    /* Subject to change or removal.  Append the range from 'start' to 'end' at
6036     * the end of the inversion list.  The range must be above any existing
6037     * ones. */
6038
6039     UV* array = invlist_array(invlist);
6040     UV max = invlist_max(invlist);
6041     UV len = invlist_len(invlist);
6042
6043     PERL_ARGS_ASSERT__APPEND_RANGE_TO_INVLIST;
6044
6045     if (len > 0) {
6046
6047         /* Here, the existing list is non-empty. The current max entry in the
6048          * list is generally the first value not in the set, except when the
6049          * set extends to the end of permissible values, in which case it is
6050          * the first entry in that final set, and so this call is an attempt to
6051          * append out-of-order */
6052
6053         UV final_element = len - 1;
6054         if (array[final_element] > start
6055             || ELEMENT_IN_INVLIST_SET(final_element))
6056         {
6057             Perl_croak(aTHX_ "panic: attempting to append to an inversion list, but wasn't at the end of the list");
6058         }
6059
6060         /* Here, it is a legal append.  If the new range begins with the first
6061          * value not in the set, it is extending the set, so the new first
6062          * value not in the set is one greater than the newly extended range.
6063          * */
6064         if (array[final_element] == start) {
6065             if (end != UV_MAX) {
6066                 array[final_element] = end + 1;
6067             }
6068             else {
6069                 /* But if the end is the maximum representable on the machine,
6070                  * just let the range that this would extend have no end */
6071                 invlist_set_len(invlist, len - 1);
6072             }
6073             return;
6074         }
6075     }
6076
6077     /* Here the new range doesn't extend any existing set.  Add it */
6078
6079     len += 2;   /* Includes an element each for the start and end of range */
6080
6081     /* If overflows the existing space, extend, which may cause the array to be
6082      * moved */
6083     if (max < len) {
6084         invlist_extend(invlist, len);
6085         array = invlist_array(invlist);
6086     }
6087
6088     invlist_set_len(invlist, len);
6089
6090     /* The next item on the list starts the range, the one after that is
6091      * one past the new range.  */
6092     array[len - 2] = start;
6093     if (end != UV_MAX) {
6094         array[len - 1] = end + 1;
6095     }
6096     else {
6097         /* But if the end is the maximum representable on the machine, just let
6098          * the range have no end */
6099         invlist_set_len(invlist, len - 1);
6100     }
6101 }
6102 #endif
6103
6104 STATIC HV*
6105 S_invlist_union(pTHX_ HV* const a, HV* const b)
6106 {
6107     /* Return a new inversion list which is the union of two inversion lists.
6108      * The basis for this comes from "Unicode Demystified" Chapter 13 by
6109      * Richard Gillam, published by Addison-Wesley, and explained at some
6110      * length there.  The preface says to incorporate its examples into your
6111      * code at your own risk.
6112      *
6113      * The algorithm is like a merge sort.
6114      *
6115      * XXX A potential performance improvement is to keep track as we go along
6116      * if only one of the inputs contributes to the result, meaning the other
6117      * is a subset of that one.  In that case, we can skip the final copy and
6118      * return the larger of the input lists */
6119
6120     UV* array_a = invlist_array(a);   /* a's array */
6121     UV* array_b = invlist_array(b);
6122     UV len_a = invlist_len(a);  /* length of a's array */
6123     UV len_b = invlist_len(b);
6124
6125     HV* u;                      /* the resulting union */
6126     UV* array_u;
6127     UV len_u;
6128
6129     UV i_a = 0;             /* current index into a's array */
6130     UV i_b = 0;
6131     UV i_u = 0;
6132
6133     /* running count, as explained in the algorithm source book; items are
6134      * stopped accumulating and are output when the count changes to/from 0.
6135      * The count is incremented when we start a range that's in the set, and
6136      * decremented when we start a range that's not in the set.  So its range
6137      * is 0 to 2.  Only when the count is zero is something not in the set.
6138      */
6139     UV count = 0;
6140
6141     PERL_ARGS_ASSERT_INVLIST_UNION;
6142
6143     /* Size the union for the worst case: that the sets are completely
6144      * disjoint */
6145     u = _new_invlist(len_a + len_b);
6146     array_u = invlist_array(u);
6147
6148     /* Go through each list item by item, stopping when exhausted one of
6149      * them */
6150     while (i_a < len_a && i_b < len_b) {
6151         UV cp;      /* The element to potentially add to the union's array */
6152         bool cp_in_set;   /* is it in the the input list's set or not */
6153
6154         /* We need to take one or the other of the two inputs for the union.
6155          * Since we are merging two sorted lists, we take the smaller of the
6156          * next items.  In case of a tie, we take the one that is in its set
6157          * first.  If we took one not in the set first, it would decrement the
6158          * count, possibly to 0 which would cause it to be output as ending the
6159          * range, and the next time through we would take the same number, and
6160          * output it again as beginning the next range.  By doing it the
6161          * opposite way, there is no possibility that the count will be
6162          * momentarily decremented to 0, and thus the two adjoining ranges will
6163          * be seamlessly merged.  (In a tie and both are in the set or both not
6164          * in the set, it doesn't matter which we take first.) */
6165         if (array_a[i_a] < array_b[i_b]
6166             || (array_a[i_a] == array_b[i_b] && ELEMENT_IN_INVLIST_SET(i_a)))
6167         {
6168             cp_in_set = ELEMENT_IN_INVLIST_SET(i_a);
6169             cp= array_a[i_a++];
6170         }
6171         else {
6172             cp_in_set = ELEMENT_IN_INVLIST_SET(i_b);
6173             cp= array_b[i_b++];
6174         }
6175
6176         /* Here, have chosen which of the two inputs to look at.  Only output
6177          * if the running count changes to/from 0, which marks the
6178          * beginning/end of a range in that's in the set */
6179         if (cp_in_set) {
6180             if (count == 0) {
6181                 array_u[i_u++] = cp;
6182             }
6183             count++;
6184         }
6185         else {
6186             count--;
6187             if (count == 0) {
6188                 array_u[i_u++] = cp;
6189             }
6190         }
6191     }
6192
6193     /* Here, we are finished going through at least one of the lists, which
6194      * means there is something remaining in at most one.  We check if the list
6195      * that hasn't been exhausted is positioned such that we are in the middle
6196      * of a range in its set or not.  (We are in the set if the next item in
6197      * the array marks the beginning of something not in the set)   If in the
6198      * set, we decrement 'count'; if 0, there is potentially more to output.
6199      * There are four cases:
6200      *  1) Both weren't in their sets, count is 0, and remains 0.  What's left
6201      *     in the union is entirely from the non-exhausted set.
6202      *  2) Both were in their sets, count is 2.  Nothing further should
6203      *     be output, as everything that remains will be in the exhausted
6204      *     list's set, hence in the union; decrementing to 1 but not 0 insures
6205      *     that
6206      *  3) the exhausted was in its set, non-exhausted isn't, count is 1.
6207      *     Nothing further should be output because the union includes
6208      *     everything from the exhausted set.  Not decrementing insures that.
6209      *  4) the exhausted wasn't in its set, non-exhausted is, count is 1;
6210      *     decrementing to 0 insures that we look at the remainder of the
6211      *     non-exhausted set */
6212     if ((i_a != len_a && ! ELEMENT_IN_INVLIST_SET(i_a))
6213         || (i_b != len_b && ! ELEMENT_IN_INVLIST_SET(i_b)))
6214     {
6215         count--;
6216     }
6217
6218     /* The final length is what we've output so far, plus what else is about to
6219      * be output.  (If 'count' is non-zero, then the input list we exhausted
6220      * has everything remaining up to the machine's limit in its set, and hence
6221      * in the union, so there will be no further output. */
6222     len_u = i_u;
6223     if (count == 0) {
6224         /* At most one of the subexpressions will be non-zero */
6225         len_u += (len_a - i_a) + (len_b - i_b);
6226     }
6227
6228     /* Set result to final length, which can change the pointer to array_u, so
6229      * re-find it */
6230     if (len_u != invlist_len(u)) {
6231         invlist_set_len(u, len_u);
6232         invlist_trim(u);
6233         array_u = invlist_array(u);
6234     }
6235
6236     /* When 'count' is 0, the list that was exhausted (if one was shorter than
6237      * the other) ended with everything above it not in its set.  That means
6238      * that the remaining part of the union is precisely the same as the
6239      * non-exhausted list, so can just copy it unchanged.  (If both list were
6240      * exhausted at the same time, then the operations below will be both 0.)
6241      */
6242     if (count == 0) {
6243         IV copy_count; /* At most one will have a non-zero copy count */
6244         if ((copy_count = len_a - i_a) > 0) {
6245             Copy(array_a + i_a, array_u + i_u, copy_count, UV);
6246         }
6247         else if ((copy_count = len_b - i_b) > 0) {
6248             Copy(array_b + i_b, array_u + i_u, copy_count, UV);
6249         }
6250     }
6251
6252     return u;
6253 }
6254
6255 STATIC HV*
6256 S_invlist_intersection(pTHX_ HV* const a, HV* const b)
6257 {
6258     /* Return the intersection of two inversion lists.  The basis for this
6259      * comes from "Unicode Demystified" Chapter 13 by Richard Gillam, published
6260      * by Addison-Wesley, and explained at some length there.  The preface says
6261      * to incorporate its examples into your code at your own risk.
6262      *
6263      * The algorithm is like a merge sort, and is essentially the same as the
6264      * union above
6265      */
6266
6267     UV* array_a = invlist_array(a);   /* a's array */
6268     UV* array_b = invlist_array(b);
6269     UV len_a = invlist_len(a);  /* length of a's array */
6270     UV len_b = invlist_len(b);
6271
6272     HV* r;                   /* the resulting intersection */
6273     UV* array_r;
6274     UV len_r;
6275
6276     UV i_a = 0;             /* current index into a's array */
6277     UV i_b = 0;
6278     UV i_r = 0;
6279
6280     /* running count, as explained in the algorithm source book; items are
6281      * stopped accumulating and are output when the count changes to/from 2.
6282      * The count is incremented when we start a range that's in the set, and
6283      * decremented when we start a range that's not in the set.  So its range
6284      * is 0 to 2.  Only when the count is 2 is something in the intersection.
6285      */
6286     UV count = 0;
6287
6288     PERL_ARGS_ASSERT_INVLIST_INTERSECTION;
6289
6290     /* Size the intersection for the worst case: that the intersection ends up
6291      * fragmenting everything to be completely disjoint */
6292     r= _new_invlist(len_a + len_b);
6293     array_r = invlist_array(r);
6294
6295     /* Go through each list item by item, stopping when exhausted one of
6296      * them */
6297     while (i_a < len_a && i_b < len_b) {
6298         UV cp;      /* The element to potentially add to the intersection's
6299                        array */
6300         bool cp_in_set; /* Is it in the input list's set or not */
6301
6302         /* We need to take one or the other of the two inputs for the union.
6303          * Since we are merging two sorted lists, we take the smaller of the
6304          * next items.  In case of a tie, we take the one that is not in its
6305          * set first (a difference from the union algorithm).  If we took one
6306          * in the set first, it would increment the count, possibly to 2 which
6307          * would cause it to be output as starting a range in the intersection,
6308          * and the next time through we would take that same number, and output
6309          * it again as ending the set.  By doing it the opposite of this, we
6310          * there is no possibility that the count will be momentarily
6311          * incremented to 2.  (In a tie and both are in the set or both not in
6312          * the set, it doesn't matter which we take first.) */
6313         if (array_a[i_a] < array_b[i_b]
6314             || (array_a[i_a] == array_b[i_b] && ! ELEMENT_IN_INVLIST_SET(i_a)))
6315         {
6316             cp_in_set = ELEMENT_IN_INVLIST_SET(i_a);
6317             cp= array_a[i_a++];
6318         }
6319         else {
6320             cp_in_set = ELEMENT_IN_INVLIST_SET(i_b);
6321             cp= array_b[i_b++];
6322         }
6323
6324         /* Here, have chosen which of the two inputs to look at.  Only output
6325          * if the running count changes to/from 2, which marks the
6326          * beginning/end of a range that's in the intersection */
6327         if (cp_in_set) {
6328             count++;
6329             if (count == 2) {
6330                 array_r[i_r++] = cp;
6331             }
6332         }
6333         else {
6334             if (count == 2) {
6335                 array_r[i_r++] = cp;
6336             }
6337             count--;
6338         }
6339     }
6340
6341     /* Here, we are finished going through at least one of the sets, which
6342      * means there is something remaining in at most one.  See the comments in
6343      * the union code */
6344     if ((i_a != len_a && ! ELEMENT_IN_INVLIST_SET(i_a))
6345         || (i_b != len_b && ! ELEMENT_IN_INVLIST_SET(i_b)))
6346     {
6347         count--;
6348     }
6349
6350     /* The final length is what we've output so far plus what else is in the
6351      * intersection.  Only one of the subexpressions below will be non-zero */
6352     len_r = i_r;
6353     if (count == 2) {
6354         len_r += (len_a - i_a) + (len_b - i_b);
6355     }
6356
6357     /* Set result to final length, which can change the pointer to array_r, so
6358      * re-find it */
6359     if (len_r != invlist_len(r)) {
6360         invlist_set_len(r, len_r);
6361         invlist_trim(r);
6362         array_r = invlist_array(r);
6363     }
6364
6365     /* Finish outputting any remaining */
6366     if (count == 2) { /* Only one of will have a non-zero copy count */
6367         IV copy_count;
6368         if ((copy_count = len_a - i_a) > 0) {
6369             Copy(array_a + i_a, array_r + i_r, copy_count, UV);
6370         }
6371         else if ((copy_count = len_b - i_b) > 0) {
6372             Copy(array_b + i_b, array_r + i_r, copy_count, UV);
6373         }
6374     }
6375
6376     return r;
6377 }
6378
6379 STATIC HV*
6380 S_add_range_to_invlist(pTHX_ HV* invlist, const UV start, const UV end)
6381 {
6382     /* Add the range from 'start' to 'end' inclusive to the inversion list's
6383      * set.  A pointer to the inversion list is returned.  This may actually be
6384      * a new list, in which case the passed in one has been destroyed.  The
6385      * passed in inversion list can be NULL, in which case a new one is created
6386      * with just the one range in it */
6387
6388     HV* range_invlist;
6389     HV* added_invlist;
6390     UV len;
6391
6392     if (invlist == NULL) {
6393         invlist = _new_invlist(2);
6394         len = 0;
6395     }
6396     else {
6397         len = invlist_len(invlist);
6398     }
6399
6400     /* If comes after the final entry, can just append it to the end */
6401     if (len == 0
6402         || start >= invlist_array(invlist)
6403                                     [invlist_len(invlist) - 1])
6404     {
6405         _append_range_to_invlist(invlist, start, end);
6406         return invlist;
6407     }
6408
6409     /* Here, can't just append things, create and return a new inversion list
6410      * which is the union of this range and the existing inversion list */
6411     range_invlist = _new_invlist(2);
6412     _append_range_to_invlist(range_invlist, start, end);
6413
6414     added_invlist = invlist_union(invlist, range_invlist);
6415
6416     /* The passed in list can be freed, as well as our temporary */
6417     invlist_destroy(range_invlist);
6418     if (invlist != added_invlist) {
6419         invlist_destroy(invlist);
6420     }
6421
6422     return added_invlist;
6423 }
6424
6425 PERL_STATIC_INLINE HV*
6426 S_add_cp_to_invlist(pTHX_ HV* invlist, const UV cp) {
6427     return add_range_to_invlist(invlist, cp, cp);
6428 }
6429
6430 /* End of inversion list object */
6431
6432 /*
6433  - reg - regular expression, i.e. main body or parenthesized thing
6434  *
6435  * Caller must absorb opening parenthesis.
6436  *
6437  * Combining parenthesis handling with the base level of regular expression
6438  * is a trifle forced, but the need to tie the tails of the branches to what
6439  * follows makes it hard to avoid.
6440  */
6441 #define REGTAIL(x,y,z) regtail((x),(y),(z),depth+1)
6442 #ifdef DEBUGGING
6443 #define REGTAIL_STUDY(x,y,z) regtail_study((x),(y),(z),depth+1)
6444 #else
6445 #define REGTAIL_STUDY(x,y,z) regtail((x),(y),(z),depth+1)
6446 #endif
6447
6448 STATIC regnode *
6449 S_reg(pTHX_ RExC_state_t *pRExC_state, I32 paren, I32 *flagp,U32 depth)
6450     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
6451 {
6452     dVAR;
6453     register regnode *ret;              /* Will be the head of the group. */
6454     register regnode *br;
6455     register regnode *lastbr;
6456     register regnode *ender = NULL;
6457     register I32 parno = 0;
6458     I32 flags;
6459     U32 oregflags = RExC_flags;
6460     bool have_branch = 0;
6461     bool is_open = 0;
6462     I32 freeze_paren = 0;
6463     I32 after_freeze = 0;
6464
6465     /* for (?g), (?gc), and (?o) warnings; warning
6466        about (?c) will warn about (?g) -- japhy    */
6467
6468 #define WASTED_O  0x01
6469 #define WASTED_G  0x02
6470 #define WASTED_C  0x04
6471 #define WASTED_GC (0x02|0x04)
6472     I32 wastedflags = 0x00;
6473
6474     char * parse_start = RExC_parse; /* MJD */
6475     char * const oregcomp_parse = RExC_parse;
6476
6477     GET_RE_DEBUG_FLAGS_DECL;
6478
6479     PERL_ARGS_ASSERT_REG;
6480     DEBUG_PARSE("reg ");
6481
6482     *flagp = 0;                         /* Tentatively. */
6483
6484
6485     /* Make an OPEN node, if parenthesized. */
6486     if (paren) {
6487         if ( *RExC_parse == '*') { /* (*VERB:ARG) */
6488             char *start_verb = RExC_parse;
6489             STRLEN verb_len = 0;
6490             char *start_arg = NULL;
6491             unsigned char op = 0;
6492             int argok = 1;
6493             int internal_argval = 0; /* internal_argval is only useful if !argok */
6494             while ( *RExC_parse && *RExC_parse != ')' ) {
6495                 if ( *RExC_parse == ':' ) {
6496                     start_arg = RExC_parse + 1;
6497                     break;
6498                 }
6499                 RExC_parse++;
6500             }
6501             ++start_verb;
6502             verb_len = RExC_parse - start_verb;
6503             if ( start_arg ) {
6504                 RExC_parse++;
6505                 while ( *RExC_parse && *RExC_parse != ')' ) 
6506                     RExC_parse++;
6507                 if ( *RExC_parse != ')' ) 
6508                     vFAIL("Unterminated verb pattern argument");
6509                 if ( RExC_parse == start_arg )
6510                     start_arg = NULL;
6511             } else {
6512                 if ( *RExC_parse != ')' )
6513                     vFAIL("Unterminated verb pattern");
6514             }
6515             
6516             switch ( *start_verb ) {
6517             case 'A':  /* (*ACCEPT) */
6518                 if ( memEQs(start_verb,verb_len,"ACCEPT") ) {
6519                     op = ACCEPT;
6520                     internal_argval = RExC_nestroot;
6521                 }
6522                 break;
6523             case 'C':  /* (*COMMIT) */
6524                 if ( memEQs(start_verb,verb_len,"COMMIT") )
6525                     op = COMMIT;
6526                 break;
6527             case 'F':  /* (*FAIL) */
6528                 if ( verb_len==1 || memEQs(start_verb,verb_len,"FAIL") ) {
6529                     op = OPFAIL;
6530                     argok = 0;
6531                 }
6532                 break;
6533             case ':':  /* (*:NAME) */
6534             case 'M':  /* (*MARK:NAME) */
6535                 if ( verb_len==0 || memEQs(start_verb,verb_len,"MARK") ) {
6536                     op = MARKPOINT;
6537                     argok = -1;
6538                 }
6539                 break;
6540             case 'P':  /* (*PRUNE) */
6541                 if ( memEQs(start_verb,verb_len,"PRUNE") )
6542                     op = PRUNE;
6543                 break;
6544             case 'S':   /* (*SKIP) */  
6545                 if ( memEQs(start_verb,verb_len,"SKIP") ) 
6546                     op = SKIP;
6547                 break;
6548             case 'T':  /* (*THEN) */
6549                 /* [19:06] <TimToady> :: is then */
6550                 if ( memEQs(start_verb,verb_len,"THEN") ) {
6551                     op = CUTGROUP;
6552                     RExC_seen |= REG_SEEN_CUTGROUP;
6553                 }
6554                 break;
6555             }
6556             if ( ! op ) {
6557                 RExC_parse++;
6558                 vFAIL3("Unknown verb pattern '%.*s'",
6559                     verb_len, start_verb);
6560             }
6561             if ( argok ) {
6562                 if ( start_arg && internal_argval ) {
6563                     vFAIL3("Verb pattern '%.*s' may not have an argument",
6564                         verb_len, start_verb); 
6565                 } else if ( argok < 0 && !start_arg ) {
6566                     vFAIL3("Verb pattern '%.*s' has a mandatory argument",
6567                         verb_len, start_verb);    
6568                 } else {
6569                     ret = reganode(pRExC_state, op, internal_argval);
6570                     if ( ! internal_argval && ! SIZE_ONLY ) {
6571                         if (start_arg) {
6572                             SV *sv = newSVpvn( start_arg, RExC_parse - start_arg);
6573                             ARG(ret) = add_data( pRExC_state, 1, "S" );
6574                             RExC_rxi->data->data[ARG(ret)]=(void*)sv;
6575                             ret->flags = 0;
6576                         } else {
6577                             ret->flags = 1; 
6578                         }
6579                     }               
6580                 }
6581                 if (!internal_argval)
6582                     RExC_seen |= REG_SEEN_VERBARG;
6583             } else if ( start_arg ) {
6584                 vFAIL3("Verb pattern '%.*s' may not have an argument",
6585                         verb_len, start_verb);    
6586             } else {
6587                 ret = reg_node(pRExC_state, op);
6588             }
6589             nextchar(pRExC_state);
6590             return ret;
6591         } else 
6592         if (*RExC_parse == '?') { /* (?...) */
6593             bool is_logical = 0;
6594             const char * const seqstart = RExC_parse;
6595             bool has_use_defaults = FALSE;
6596
6597             RExC_parse++;
6598             paren = *RExC_parse++;
6599             ret = NULL;                 /* For look-ahead/behind. */
6600             switch (paren) {
6601
6602             case 'P':   /* (?P...) variants for those used to PCRE/Python */
6603                 paren = *RExC_parse++;
6604                 if ( paren == '<')         /* (?P<...>) named capture */
6605                     goto named_capture;
6606                 else if (paren == '>') {   /* (?P>name) named recursion */
6607                     goto named_recursion;
6608                 }
6609                 else if (paren == '=') {   /* (?P=...)  named backref */
6610                     /* this pretty much dupes the code for \k<NAME> in regatom(), if
6611                        you change this make sure you change that */
6612                     char* name_start = RExC_parse;
6613                     U32 num = 0;
6614                     SV *sv_dat = reg_scan_name(pRExC_state,
6615                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
6616                     if (RExC_parse == name_start || *RExC_parse != ')')
6617                         vFAIL2("Sequence %.3s... not terminated",parse_start);
6618
6619                     if (!SIZE_ONLY) {
6620                         num = add_data( pRExC_state, 1, "S" );
6621                         RExC_rxi->data->data[num]=(void*)sv_dat;
6622                         SvREFCNT_inc_simple_void(sv_dat);
6623                     }
6624                     RExC_sawback = 1;
6625                     ret = reganode(pRExC_state,
6626                                    ((! FOLD)
6627                                      ? NREF
6628                                      : (MORE_ASCII_RESTRICTED)
6629                                        ? NREFFA
6630                                        : (AT_LEAST_UNI_SEMANTICS)
6631                                          ? NREFFU
6632                                          : (LOC)
6633                                            ? NREFFL
6634                                            : NREFF),
6635                                     num);
6636                     *flagp |= HASWIDTH;
6637
6638                     Set_Node_Offset(ret, parse_start+1);
6639                     Set_Node_Cur_Length(ret); /* MJD */
6640
6641                     nextchar(pRExC_state);
6642                     return ret;
6643                 }
6644                 RExC_parse++;
6645                 vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
6646                 /*NOTREACHED*/
6647             case '<':           /* (?<...) */
6648                 if (*RExC_parse == '!')
6649                     paren = ',';
6650                 else if (*RExC_parse != '=') 
6651               named_capture:
6652                 {               /* (?<...>) */
6653                     char *name_start;
6654                     SV *svname;
6655                     paren= '>';
6656             case '\'':          /* (?'...') */
6657                     name_start= RExC_parse;
6658                     svname = reg_scan_name(pRExC_state,
6659                         SIZE_ONLY ?  /* reverse test from the others */
6660                         REG_RSN_RETURN_NAME : 
6661                         REG_RSN_RETURN_NULL);
6662                     if (RExC_parse == name_start) {
6663                         RExC_parse++;
6664                         vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
6665                         /*NOTREACHED*/
6666                     }
6667                     if (*RExC_parse != paren)
6668                         vFAIL2("Sequence (?%c... not terminated",
6669                             paren=='>' ? '<' : paren);
6670                     if (SIZE_ONLY) {
6671                         HE *he_str;
6672                         SV *sv_dat = NULL;
6673                         if (!svname) /* shouldn't happen */
6674                             Perl_croak(aTHX_
6675                                 "panic: reg_scan_name returned NULL");
6676                         if (!RExC_paren_names) {
6677                             RExC_paren_names= newHV();
6678                             sv_2mortal(MUTABLE_SV(RExC_paren_names));
6679 #ifdef DEBUGGING
6680                             RExC_paren_name_list= newAV();
6681                             sv_2mortal(MUTABLE_SV(RExC_paren_name_list));
6682 #endif
6683                         }
6684                         he_str = hv_fetch_ent( RExC_paren_names, svname, 1, 0 );
6685                         if ( he_str )
6686                             sv_dat = HeVAL(he_str);
6687                         if ( ! sv_dat ) {
6688                             /* croak baby croak */
6689                             Perl_croak(aTHX_
6690                                 "panic: paren_name hash element allocation failed");
6691                         } else if ( SvPOK(sv_dat) ) {
6692                             /* (?|...) can mean we have dupes so scan to check
6693                                its already been stored. Maybe a flag indicating
6694                                we are inside such a construct would be useful,
6695                                but the arrays are likely to be quite small, so
6696                                for now we punt -- dmq */
6697                             IV count = SvIV(sv_dat);
6698                             I32 *pv = (I32*)SvPVX(sv_dat);
6699                             IV i;
6700                             for ( i = 0 ; i < count ; i++ ) {
6701                                 if ( pv[i] == RExC_npar ) {
6702                                     count = 0;
6703                                     break;
6704                                 }
6705                             }
6706                             if ( count ) {
6707                                 pv = (I32*)SvGROW(sv_dat, SvCUR(sv_dat) + sizeof(I32)+1);
6708                                 SvCUR_set(sv_dat, SvCUR(sv_dat) + sizeof(I32));
6709                                 pv[count] = RExC_npar;
6710                                 SvIV_set(sv_dat, SvIVX(sv_dat) + 1);
6711                             }
6712                         } else {
6713                             (void)SvUPGRADE(sv_dat,SVt_PVNV);
6714                             sv_setpvn(sv_dat, (char *)&(RExC_npar), sizeof(I32));
6715                             SvIOK_on(sv_dat);
6716                             SvIV_set(sv_dat, 1);
6717                         }
6718 #ifdef DEBUGGING
6719                         if (!av_store(RExC_paren_name_list, RExC_npar, SvREFCNT_inc(svname)))
6720                             SvREFCNT_dec(svname);
6721 #endif
6722
6723                         /*sv_dump(sv_dat);*/
6724                     }
6725                     nextchar(pRExC_state);
6726                     paren = 1;
6727                     goto capturing_parens;
6728                 }
6729                 RExC_seen |= REG_SEEN_LOOKBEHIND;
6730                 RExC_in_lookbehind++;
6731                 RExC_parse++;
6732             case '=':           /* (?=...) */
6733                 RExC_seen_zerolen++;
6734                 break;
6735             case '!':           /* (?!...) */
6736                 RExC_seen_zerolen++;
6737                 if (*RExC_parse == ')') {
6738                     ret=reg_node(pRExC_state, OPFAIL);
6739                     nextchar(pRExC_state);
6740                     return ret;
6741                 }
6742                 break;
6743             case '|':           /* (?|...) */
6744                 /* branch reset, behave like a (?:...) except that
6745                    buffers in alternations share the same numbers */
6746                 paren = ':'; 
6747                 after_freeze = freeze_paren = RExC_npar;
6748                 break;
6749             case ':':           /* (?:...) */
6750             case '>':           /* (?>...) */
6751                 break;
6752             case '$':           /* (?$...) */
6753             case '@':           /* (?@...) */
6754                 vFAIL2("Sequence (?%c...) not implemented", (int)paren);
6755                 break;
6756             case '#':           /* (?#...) */
6757                 while (*RExC_parse && *RExC_parse != ')')
6758                     RExC_parse++;
6759                 if (*RExC_parse != ')')
6760                     FAIL("Sequence (?#... not terminated");
6761                 nextchar(pRExC_state);
6762                 *flagp = TRYAGAIN;
6763                 return NULL;
6764             case '0' :           /* (?0) */
6765             case 'R' :           /* (?R) */
6766                 if (*RExC_parse != ')')
6767                     FAIL("Sequence (?R) not terminated");
6768                 ret = reg_node(pRExC_state, GOSTART);
6769                 *flagp |= POSTPONED;
6770                 nextchar(pRExC_state);
6771                 return ret;
6772                 /*notreached*/
6773             { /* named and numeric backreferences */
6774                 I32 num;
6775             case '&':            /* (?&NAME) */
6776                 parse_start = RExC_parse - 1;
6777               named_recursion:
6778                 {
6779                     SV *sv_dat = reg_scan_name(pRExC_state,
6780                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
6781                      num = sv_dat ? *((I32 *)SvPVX(sv_dat)) : 0;
6782                 }
6783                 goto gen_recurse_regop;
6784                 /* NOT REACHED */
6785             case '+':
6786                 if (!(RExC_parse[0] >= '1' && RExC_parse[0] <= '9')) {
6787                     RExC_parse++;
6788                     vFAIL("Illegal pattern");
6789                 }
6790                 goto parse_recursion;
6791                 /* NOT REACHED*/
6792             case '-': /* (?-1) */
6793                 if (!(RExC_parse[0] >= '1' && RExC_parse[0] <= '9')) {
6794                     RExC_parse--; /* rewind to let it be handled later */
6795                     goto parse_flags;
6796                 } 
6797                 /*FALLTHROUGH */
6798             case '1': case '2': case '3': case '4': /* (?1) */
6799             case '5': case '6': case '7': case '8': case '9':
6800                 RExC_parse--;
6801               parse_recursion:
6802                 num = atoi(RExC_parse);
6803                 parse_start = RExC_parse - 1; /* MJD */
6804                 if (*RExC_parse == '-')
6805                     RExC_parse++;
6806                 while (isDIGIT(*RExC_parse))
6807                         RExC_parse++;
6808                 if (*RExC_parse!=')') 
6809                     vFAIL("Expecting close bracket");
6810                         
6811               gen_recurse_regop:
6812                 if ( paren == '-' ) {
6813                     /*
6814                     Diagram of capture buffer numbering.
6815                     Top line is the normal capture buffer numbers
6816                     Bottom line is the negative indexing as from
6817                     the X (the (?-2))
6818
6819                     +   1 2    3 4 5 X          6 7
6820                        /(a(x)y)(a(b(c(?-2)d)e)f)(g(h))/
6821                     -   5 4    3 2 1 X          x x
6822
6823                     */
6824                     num = RExC_npar + num;
6825                     if (num < 1)  {
6826                         RExC_parse++;
6827                         vFAIL("Reference to nonexistent group");
6828                     }
6829                 } else if ( paren == '+' ) {
6830                     num = RExC_npar + num - 1;
6831                 }
6832
6833                 ret = reganode(pRExC_state, GOSUB, num);
6834                 if (!SIZE_ONLY) {
6835                     if (num > (I32)RExC_rx->nparens) {
6836                         RExC_parse++;
6837                         vFAIL("Reference to nonexistent group");
6838                     }
6839                     ARG2L_SET( ret, RExC_recurse_count++);
6840                     RExC_emit++;
6841                     DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
6842                         "Recurse #%"UVuf" to %"IVdf"\n", (UV)ARG(ret), (IV)ARG2L(ret)));
6843                 } else {
6844                     RExC_size++;
6845                 }
6846                 RExC_seen |= REG_SEEN_RECURSE;
6847                 Set_Node_Length(ret, 1 + regarglen[OP(ret)]); /* MJD */
6848                 Set_Node_Offset(ret, parse_start); /* MJD */
6849
6850                 *flagp |= POSTPONED;
6851                 nextchar(pRExC_state);
6852                 return ret;
6853             } /* named and numeric backreferences */
6854             /* NOT REACHED */
6855
6856             case '?':           /* (??...) */
6857                 is_logical = 1;
6858                 if (*RExC_parse != '{') {
6859                     RExC_parse++;
6860                     vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
6861                     /*NOTREACHED*/
6862                 }
6863                 *flagp |= POSTPONED;
6864                 paren = *RExC_parse++;
6865                 /* FALL THROUGH */
6866             case '{':           /* (?{...}) */
6867             {
6868                 I32 count = 1;
6869                 U32 n = 0;
6870                 char c;
6871                 char *s = RExC_parse;
6872
6873                 RExC_seen_zerolen++;
6874                 RExC_seen |= REG_SEEN_EVAL;
6875                 while (count && (c = *RExC_parse)) {
6876                     if (c == '\\') {
6877                         if (RExC_parse[1])
6878                             RExC_parse++;
6879                     }
6880                     else if (c == '{')
6881                         count++;
6882                     else if (c == '}')
6883                         count--;
6884                     RExC_parse++;
6885                 }
6886                 if (*RExC_parse != ')') {
6887                     RExC_parse = s;             
6888                     vFAIL("Sequence (?{...}) not terminated or not {}-balanced");
6889                 }
6890                 if (!SIZE_ONLY) {
6891                     PAD *pad;
6892                     OP_4tree *sop, *rop;
6893                     SV * const sv = newSVpvn(s, RExC_parse - 1 - s);
6894
6895                     ENTER;
6896                     Perl_save_re_context(aTHX);
6897                     rop = Perl_sv_compile_2op_is_broken(aTHX_ sv, &sop, "re", &pad);
6898                     sop->op_private |= OPpREFCOUNTED;
6899                     /* re_dup will OpREFCNT_inc */
6900                     OpREFCNT_set(sop, 1);
6901                     LEAVE;
6902
6903                     n = add_data(pRExC_state, 3, "nop");
6904                     RExC_rxi->data->data[n] = (void*)rop;
6905                     RExC_rxi->data->data[n+1] = (void*)sop;
6906                     RExC_rxi->data->data[n+2] = (void*)pad;
6907                     SvREFCNT_dec(sv);
6908                 }
6909                 else {                                          /* First pass */
6910                     if (PL_reginterp_cnt < ++RExC_seen_evals
6911                         && IN_PERL_RUNTIME)
6912                         /* No compiled RE interpolated, has runtime
6913                            components ===> unsafe.  */
6914                         FAIL("Eval-group not allowed at runtime, use re 'eval'");
6915                     if (PL_tainting && PL_tainted)
6916                         FAIL("Eval-group in insecure regular expression");
6917 #if PERL_VERSION > 8
6918                     if (IN_PERL_COMPILETIME)
6919                         PL_cv_has_eval = 1;
6920 #endif
6921                 }
6922
6923                 nextchar(pRExC_state);
6924                 if (is_logical) {
6925                     ret = reg_node(pRExC_state, LOGICAL);
6926                     if (!SIZE_ONLY)
6927                         ret->flags = 2;
6928                     REGTAIL(pRExC_state, ret, reganode(pRExC_state, EVAL, n));
6929                     /* deal with the length of this later - MJD */
6930                     return ret;
6931                 }
6932                 ret = reganode(pRExC_state, EVAL, n);
6933                 Set_Node_Length(ret, RExC_parse - parse_start + 1);
6934                 Set_Node_Offset(ret, parse_start);
6935                 return ret;
6936             }
6937             case '(':           /* (?(?{...})...) and (?(?=...)...) */
6938             {
6939                 int is_define= 0;
6940                 if (RExC_parse[0] == '?') {        /* (?(?...)) */
6941                     if (RExC_parse[1] == '=' || RExC_parse[1] == '!'
6942                         || RExC_parse[1] == '<'
6943                         || RExC_parse[1] == '{') { /* Lookahead or eval. */
6944                         I32 flag;
6945                         
6946                         ret = reg_node(pRExC_state, LOGICAL);
6947                         if (!SIZE_ONLY)
6948                             ret->flags = 1;
6949                         REGTAIL(pRExC_state, ret, reg(pRExC_state, 1, &flag,depth+1));
6950                         goto insert_if;
6951                     }
6952                 }
6953                 else if ( RExC_parse[0] == '<'     /* (?(<NAME>)...) */
6954                          || RExC_parse[0] == '\'' ) /* (?('NAME')...) */
6955                 {
6956                     char ch = RExC_parse[0] == '<' ? '>' : '\'';
6957                     char *name_start= RExC_parse++;
6958                     U32 num = 0;
6959                     SV *sv_dat=reg_scan_name(pRExC_state,
6960                         SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
6961                     if (RExC_parse == name_start || *RExC_parse != ch)
6962                         vFAIL2("Sequence (?(%c... not terminated",
6963                             (ch == '>' ? '<' : ch));
6964                     RExC_parse++;
6965                     if (!SIZE_ONLY) {
6966                         num = add_data( pRExC_state, 1, "S" );
6967                         RExC_rxi->data->data[num]=(void*)sv_dat;
6968                         SvREFCNT_inc_simple_void(sv_dat);
6969                     }
6970                     ret = reganode(pRExC_state,NGROUPP,num);
6971                     goto insert_if_check_paren;
6972                 }
6973                 else if (RExC_parse[0] == 'D' &&
6974                          RExC_parse[1] == 'E' &&
6975                          RExC_parse[2] == 'F' &&
6976                          RExC_parse[3] == 'I' &&
6977                          RExC_parse[4] == 'N' &&
6978                          RExC_parse[5] == 'E')
6979                 {
6980                     ret = reganode(pRExC_state,DEFINEP,0);
6981                     RExC_parse +=6 ;
6982                     is_define = 1;
6983                     goto insert_if_check_paren;
6984                 }
6985                 else if (RExC_parse[0] == 'R') {
6986                     RExC_parse++;
6987                     parno = 0;
6988                     if (RExC_parse[0] >= '1' && RExC_parse[0] <= '9' ) {
6989                         parno = atoi(RExC_parse++);
6990                         while (isDIGIT(*RExC_parse))
6991                             RExC_parse++;
6992                     } else if (RExC_parse[0] == '&') {
6993                         SV *sv_dat;
6994                         RExC_parse++;
6995                         sv_dat = reg_scan_name(pRExC_state,
6996                             SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
6997                         parno = sv_dat ? *((I32 *)SvPVX(sv_dat)) : 0;
6998                     }
6999                     ret = reganode(pRExC_state,INSUBP,parno); 
7000                     goto insert_if_check_paren;
7001                 }
7002                 else if (RExC_parse[0] >= '1' && RExC_parse[0] <= '9' ) {
7003                     /* (?(1)...) */
7004                     char c;
7005                     parno = atoi(RExC_parse++);
7006
7007                     while (isDIGIT(*RExC_parse))
7008                         RExC_parse++;
7009                     ret = reganode(pRExC_state, GROUPP, parno);
7010
7011                  insert_if_check_paren:
7012                     if ((c = *nextchar(pRExC_state)) != ')')
7013                         vFAIL("Switch condition not recognized");
7014                   insert_if:
7015                     REGTAIL(pRExC_state, ret, reganode(pRExC_state, IFTHEN, 0));
7016                     br = regbranch(pRExC_state, &flags, 1,depth+1);
7017                     if (br == NULL)
7018                         br = reganode(pRExC_state, LONGJMP, 0);
7019                     else
7020                         REGTAIL(pRExC_state, br, reganode(pRExC_state, LONGJMP, 0));
7021                     c = *nextchar(pRExC_state);
7022                     if (flags&HASWIDTH)
7023                         *flagp |= HASWIDTH;
7024                     if (c == '|') {
7025                         if (is_define) 
7026                             vFAIL("(?(DEFINE)....) does not allow branches");
7027                         lastbr = reganode(pRExC_state, IFTHEN, 0); /* Fake one for optimizer. */
7028                         regbranch(pRExC_state, &flags, 1,depth+1);
7029                         REGTAIL(pRExC_state, ret, lastbr);
7030                         if (flags&HASWIDTH)
7031                             *flagp |= HASWIDTH;
7032                         c = *nextchar(pRExC_state);
7033                     }
7034                     else
7035                         lastbr = NULL;
7036                     if (c != ')')
7037                         vFAIL("Switch (?(condition)... contains too many branches");
7038                     ender = reg_node(pRExC_state, TAIL);
7039                     REGTAIL(pRExC_state, br, ender);
7040                     if (lastbr) {
7041                         REGTAIL(pRExC_state, lastbr, ender);
7042                         REGTAIL(pRExC_state, NEXTOPER(NEXTOPER(lastbr)), ender);
7043                     }
7044                     else
7045                         REGTAIL(pRExC_state, ret, ender);
7046                     RExC_size++; /* XXX WHY do we need this?!!
7047                                     For large programs it seems to be required
7048                                     but I can't figure out why. -- dmq*/
7049                     return ret;
7050                 }
7051                 else {
7052                     vFAIL2("Unknown switch condition (?(%.2s", RExC_parse);
7053                 }
7054             }
7055             case 0:
7056                 RExC_parse--; /* for vFAIL to print correctly */
7057                 vFAIL("Sequence (? incomplete");
7058                 break;
7059             case DEFAULT_PAT_MOD:   /* Use default flags with the exceptions
7060                                        that follow */
7061                 has_use_defaults = TRUE;
7062                 STD_PMMOD_FLAGS_CLEAR(&RExC_flags);
7063                 set_regex_charset(&RExC_flags, (RExC_utf8 || RExC_uni_semantics)
7064                                                 ? REGEX_UNICODE_CHARSET
7065                                                 : REGEX_DEPENDS_CHARSET);
7066                 goto parse_flags;
7067             default:
7068                 --RExC_parse;
7069                 parse_flags:      /* (?i) */  
7070             {
7071                 U32 posflags = 0, negflags = 0;
7072                 U32 *flagsp = &posflags;
7073                 char has_charset_modifier = '\0';
7074                 regex_charset cs = (RExC_utf8 || RExC_uni_semantics)
7075                                     ? REGEX_UNICODE_CHARSET
7076                                     : REGEX_DEPENDS_CHARSET;
7077
7078                 while (*RExC_parse) {
7079                     /* && strchr("iogcmsx", *RExC_parse) */
7080                     /* (?g), (?gc) and (?o) are useless here
7081                        and must be globally applied -- japhy */
7082                     switch (*RExC_parse) {
7083                     CASE_STD_PMMOD_FLAGS_PARSE_SET(flagsp);
7084                     case LOCALE_PAT_MOD:
7085                         if (has_charset_modifier) {
7086                             goto excess_modifier;
7087                         }
7088                         else if (flagsp == &negflags) {
7089                             goto neg_modifier;
7090                         }
7091                         cs = REGEX_LOCALE_CHARSET;
7092                         has_charset_modifier = LOCALE_PAT_MOD;
7093                         RExC_contains_locale = 1;
7094                         break;
7095                     case UNICODE_PAT_MOD:
7096                         if (has_charset_modifier) {
7097                             goto excess_modifier;
7098                         }
7099                         else if (flagsp == &negflags) {
7100                             goto neg_modifier;
7101                         }
7102                         cs = REGEX_UNICODE_CHARSET;
7103                         has_charset_modifier = UNICODE_PAT_MOD;
7104                         break;
7105                     case ASCII_RESTRICT_PAT_MOD:
7106                         if (flagsp == &negflags) {
7107                             goto neg_modifier;
7108                         }
7109                         if (has_charset_modifier) {
7110                             if (cs != REGEX_ASCII_RESTRICTED_CHARSET) {
7111                                 goto excess_modifier;
7112                             }
7113                             /* Doubled modifier implies more restricted */
7114                             cs = REGEX_ASCII_MORE_RESTRICTED_CHARSET;
7115                         }
7116                         else {
7117                             cs = REGEX_ASCII_RESTRICTED_CHARSET;
7118                         }
7119                         has_charset_modifier = ASCII_RESTRICT_PAT_MOD;
7120                         break;
7121                     case DEPENDS_PAT_MOD:
7122                         if (has_use_defaults) {
7123                             goto fail_modifiers;
7124                         }
7125                         else if (flagsp == &negflags) {
7126                             goto neg_modifier;
7127                         }
7128                         else if (has_charset_modifier) {
7129                             goto excess_modifier;
7130                         }
7131
7132                         /* The dual charset means unicode semantics if the
7133                          * pattern (or target, not known until runtime) are
7134                          * utf8, or something in the pattern indicates unicode
7135                          * semantics */
7136                         cs = (RExC_utf8 || RExC_uni_semantics)
7137                              ? REGEX_UNICODE_CHARSET
7138                              : REGEX_DEPENDS_CHARSET;
7139                         has_charset_modifier = DEPENDS_PAT_MOD;
7140                         break;
7141                     excess_modifier:
7142                         RExC_parse++;
7143                         if (has_charset_modifier == ASCII_RESTRICT_PAT_MOD) {
7144                             vFAIL2("Regexp modifier \"%c\" may appear a maximum of twice", ASCII_RESTRICT_PAT_MOD);
7145                         }
7146                         else if (has_charset_modifier == *(RExC_parse - 1)) {
7147                             vFAIL2("Regexp modifier \"%c\" may not appear twice", *(RExC_parse - 1));
7148                         }
7149                         else {
7150                             vFAIL3("Regexp modifiers \"%c\" and \"%c\" are mutually exclusive", has_charset_modifier, *(RExC_parse - 1));
7151                         }
7152                         /*NOTREACHED*/
7153                     neg_modifier:
7154                         RExC_parse++;
7155                         vFAIL2("Regexp modifier \"%c\" may not appear after the \"-\"", *(RExC_parse - 1));
7156                         /*NOTREACHED*/
7157                     case ONCE_PAT_MOD: /* 'o' */
7158                     case GLOBAL_PAT_MOD: /* 'g' */
7159                         if (SIZE_ONLY && ckWARN(WARN_REGEXP)) {
7160                             const I32 wflagbit = *RExC_parse == 'o' ? WASTED_O : WASTED_G;
7161                             if (! (wastedflags & wflagbit) ) {
7162                                 wastedflags |= wflagbit;
7163                                 vWARN5(
7164                                     RExC_parse + 1,
7165                                     "Useless (%s%c) - %suse /%c modifier",
7166                                     flagsp == &negflags ? "?-" : "?",
7167                                     *RExC_parse,
7168                                     flagsp == &negflags ? "don't " : "",
7169                                     *RExC_parse
7170                                 );
7171                             }
7172                         }
7173                         break;
7174                         
7175                     case CONTINUE_PAT_MOD: /* 'c' */
7176                         if (SIZE_ONLY && ckWARN(WARN_REGEXP)) {
7177                             if (! (wastedflags & WASTED_C) ) {
7178                                 wastedflags |= WASTED_GC;
7179                                 vWARN3(
7180                                     RExC_parse + 1,
7181                                     "Useless (%sc) - %suse /gc modifier",
7182                                     flagsp == &negflags ? "?-" : "?",
7183                                     flagsp == &negflags ? "don't " : ""
7184                                 );
7185                             }
7186                         }
7187                         break;
7188                     case KEEPCOPY_PAT_MOD: /* 'p' */
7189                         if (flagsp == &negflags) {
7190                             if (SIZE_ONLY)
7191                                 ckWARNreg(RExC_parse + 1,"Useless use of (?-p)");
7192                         } else {
7193                             *flagsp |= RXf_PMf_KEEPCOPY;
7194                         }
7195                         break;
7196                     case '-':
7197                         /* A flag is a default iff it is following a minus, so
7198                          * if there is a minus, it means will be trying to
7199                          * re-specify a default which is an error */
7200                         if (has_use_defaults || flagsp == &negflags) {
7201             fail_modifiers:
7202                             RExC_parse++;
7203                             vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
7204                             /*NOTREACHED*/
7205                         }
7206                         flagsp = &negflags;
7207                         wastedflags = 0;  /* reset so (?g-c) warns twice */
7208                         break;
7209                     case ':':
7210                         paren = ':';
7211                         /*FALLTHROUGH*/
7212                     case ')':
7213                         RExC_flags |= posflags;
7214                         RExC_flags &= ~negflags;
7215                         set_regex_charset(&RExC_flags, cs);
7216                         if (paren != ':') {
7217                             oregflags |= posflags;
7218                             oregflags &= ~negflags;
7219                             set_regex_charset(&oregflags, cs);
7220                         }
7221                         nextchar(pRExC_state);
7222                         if (paren != ':') {
7223                             *flagp = TRYAGAIN;
7224                             return NULL;
7225                         } else {
7226                             ret = NULL;
7227                             goto parse_rest;
7228                         }
7229                         /*NOTREACHED*/
7230                     default:
7231                         RExC_parse++;
7232                         vFAIL3("Sequence (%.*s...) not recognized", RExC_parse-seqstart, seqstart);
7233                         /*NOTREACHED*/
7234                     }                           
7235                     ++RExC_parse;
7236                 }
7237             }} /* one for the default block, one for the switch */
7238         }
7239         else {                  /* (...) */
7240           capturing_parens:
7241             parno = RExC_npar;
7242             RExC_npar++;
7243             
7244             ret = reganode(pRExC_state, OPEN, parno);
7245             if (!SIZE_ONLY ){
7246                 if (!RExC_nestroot) 
7247                     RExC_nestroot = parno;
7248                 if (RExC_seen & REG_SEEN_RECURSE
7249                     && !RExC_open_parens[parno-1])
7250                 {
7251                     DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
7252                         "Setting open paren #%"IVdf" to %d\n", 
7253                         (IV)parno, REG_NODE_NUM(ret)));
7254                     RExC_open_parens[parno-1]= ret;
7255                 }
7256             }
7257             Set_Node_Length(ret, 1); /* MJD */
7258             Set_Node_Offset(ret, RExC_parse); /* MJD */
7259             is_open = 1;
7260         }
7261     }
7262     else                        /* ! paren */
7263         ret = NULL;
7264    
7265    parse_rest:
7266     /* Pick up the branches, linking them together. */
7267     parse_start = RExC_parse;   /* MJD */
7268     br = regbranch(pRExC_state, &flags, 1,depth+1);
7269
7270     /*     branch_len = (paren != 0); */
7271
7272     if (br == NULL)
7273         return(NULL);
7274     if (*RExC_parse == '|') {
7275         if (!SIZE_ONLY && RExC_extralen) {
7276             reginsert(pRExC_state, BRANCHJ, br, depth+1);
7277         }
7278         else {                  /* MJD */
7279             reginsert(pRExC_state, BRANCH, br, depth+1);
7280             Set_Node_Length(br, paren != 0);
7281             Set_Node_Offset_To_R(br-RExC_emit_start, parse_start-RExC_start);
7282         }
7283         have_branch = 1;
7284         if (SIZE_ONLY)
7285             RExC_extralen += 1;         /* For BRANCHJ-BRANCH. */
7286     }
7287     else if (paren == ':') {
7288         *flagp |= flags&SIMPLE;
7289     }
7290     if (is_open) {                              /* Starts with OPEN. */
7291         REGTAIL(pRExC_state, ret, br);          /* OPEN -> first. */
7292     }
7293     else if (paren != '?')              /* Not Conditional */
7294         ret = br;
7295     *flagp |= flags & (SPSTART | HASWIDTH | POSTPONED);
7296     lastbr = br;
7297     while (*RExC_parse == '|') {
7298         if (!SIZE_ONLY && RExC_extralen) {
7299             ender = reganode(pRExC_state, LONGJMP,0);
7300             REGTAIL(pRExC_state, NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
7301         }
7302         if (SIZE_ONLY)
7303             RExC_extralen += 2;         /* Account for LONGJMP. */
7304         nextchar(pRExC_state);
7305         if (freeze_paren) {
7306             if (RExC_npar > after_freeze)
7307                 after_freeze = RExC_npar;
7308             RExC_npar = freeze_paren;       
7309         }
7310         br = regbranch(pRExC_state, &flags, 0, depth+1);
7311
7312         if (br == NULL)
7313             return(NULL);
7314         REGTAIL(pRExC_state, lastbr, br);               /* BRANCH -> BRANCH. */
7315         lastbr = br;
7316         *flagp |= flags & (SPSTART | HASWIDTH | POSTPONED);
7317     }
7318
7319     if (have_branch || paren != ':') {
7320         /* Make a closing node, and hook it on the end. */
7321         switch (paren) {
7322         case ':':
7323             ender = reg_node(pRExC_state, TAIL);
7324             break;
7325         case 1:
7326             ender = reganode(pRExC_state, CLOSE, parno);
7327             if (!SIZE_ONLY && RExC_seen & REG_SEEN_RECURSE) {
7328                 DEBUG_OPTIMISE_MORE_r(PerlIO_printf(Perl_debug_log,
7329                         "Setting close paren #%"IVdf" to %d\n", 
7330                         (IV)parno, REG_NODE_NUM(ender)));
7331                 RExC_close_parens[parno-1]= ender;
7332                 if (RExC_nestroot == parno) 
7333                     RExC_nestroot = 0;
7334             }       
7335             Set_Node_Offset(ender,RExC_parse+1); /* MJD */
7336             Set_Node_Length(ender,1); /* MJD */
7337             break;
7338         case '<':
7339         case ',':
7340         case '=':
7341         case '!':
7342             *flagp &= ~HASWIDTH;
7343             /* FALL THROUGH */
7344         case '>':
7345             ender = reg_node(pRExC_state, SUCCEED);
7346             break;
7347         case 0:
7348             ender = reg_node(pRExC_state, END);
7349             if (!SIZE_ONLY) {
7350                 assert(!RExC_opend); /* there can only be one! */
7351                 RExC_opend = ender;
7352             }
7353             break;
7354         }
7355         REGTAIL(pRExC_state, lastbr, ender);
7356
7357         if (have_branch && !SIZE_ONLY) {
7358             if (depth==1)
7359                 RExC_seen |= REG_TOP_LEVEL_BRANCHES;
7360
7361             /* Hook the tails of the branches to the closing node. */
7362             for (br = ret; br; br = regnext(br)) {
7363                 const U8 op = PL_regkind[OP(br)];
7364                 if (op == BRANCH) {
7365                     REGTAIL_STUDY(pRExC_state, NEXTOPER(br), ender);
7366                 }
7367                 else if (op == BRANCHJ) {
7368                     REGTAIL_STUDY(pRExC_state, NEXTOPER(NEXTOPER(br)), ender);
7369                 }
7370             }
7371         }
7372     }
7373
7374     {
7375         const char *p;
7376         static const char parens[] = "=!<,>";
7377
7378         if (paren && (p = strchr(parens, paren))) {
7379             U8 node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
7380             int flag = (p - parens) > 1;
7381
7382             if (paren == '>')
7383                 node = SUSPEND, flag = 0;
7384             reginsert(pRExC_state, node,ret, depth+1);
7385             Set_Node_Cur_Length(ret);
7386             Set_Node_Offset(ret, parse_start + 1);
7387             ret->flags = flag;
7388             REGTAIL_STUDY(pRExC_state, ret, reg_node(pRExC_state, TAIL));
7389         }
7390     }
7391
7392     /* Check for proper termination. */
7393     if (paren) {
7394         RExC_flags = oregflags;
7395         if (RExC_parse >= RExC_end || *nextchar(pRExC_state) != ')') {
7396             RExC_parse = oregcomp_parse;
7397             vFAIL("Unmatched (");
7398         }
7399     }
7400     else if (!paren && RExC_parse < RExC_end) {
7401         if (*RExC_parse == ')') {
7402             RExC_parse++;
7403             vFAIL("Unmatched )");
7404         }
7405         else
7406             FAIL("Junk on end of regexp");      /* "Can't happen". */
7407         /* NOTREACHED */
7408     }
7409
7410     if (RExC_in_lookbehind) {
7411         RExC_in_lookbehind--;
7412     }
7413     if (after_freeze > RExC_npar)
7414         RExC_npar = after_freeze;
7415     return(ret);
7416 }
7417
7418 /*
7419  - regbranch - one alternative of an | operator
7420  *
7421  * Implements the concatenation operator.
7422  */
7423 STATIC regnode *
7424 S_regbranch(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, I32 first, U32 depth)
7425 {
7426     dVAR;
7427     register regnode *ret;
7428     register regnode *chain = NULL;
7429     register regnode *latest;
7430     I32 flags = 0, c = 0;
7431     GET_RE_DEBUG_FLAGS_DECL;
7432
7433     PERL_ARGS_ASSERT_REGBRANCH;
7434
7435     DEBUG_PARSE("brnc");
7436
7437     if (first)
7438         ret = NULL;
7439     else {
7440         if (!SIZE_ONLY && RExC_extralen)
7441             ret = reganode(pRExC_state, BRANCHJ,0);
7442         else {
7443             ret = reg_node(pRExC_state, BRANCH);
7444             Set_Node_Length(ret, 1);
7445         }
7446     }
7447         
7448     if (!first && SIZE_ONLY)
7449         RExC_extralen += 1;                     /* BRANCHJ */
7450
7451     *flagp = WORST;                     /* Tentatively. */
7452
7453     RExC_parse--;
7454     nextchar(pRExC_state);
7455     while (RExC_parse < RExC_end && *RExC_parse != '|' && *RExC_parse != ')') {
7456         flags &= ~TRYAGAIN;
7457         latest = regpiece(pRExC_state, &flags,depth+1);
7458         if (latest == NULL) {
7459             if (flags & TRYAGAIN)
7460                 continue;
7461             return(NULL);
7462         }
7463         else if (ret == NULL)
7464             ret = latest;
7465         *flagp |= flags&(HASWIDTH|POSTPONED);
7466         if (chain == NULL)      /* First piece. */
7467             *flagp |= flags&SPSTART;
7468         else {
7469             RExC_naughty++;
7470             REGTAIL(pRExC_state, chain, latest);
7471         }
7472         chain = latest;
7473         c++;
7474     }
7475     if (chain == NULL) {        /* Loop ran zero times. */
7476         chain = reg_node(pRExC_state, NOTHING);
7477         if (ret == NULL)
7478             ret = chain;
7479     }
7480     if (c == 1) {
7481         *flagp |= flags&SIMPLE;
7482     }
7483
7484     return ret;
7485 }
7486
7487 /*
7488  - regpiece - something followed by possible [*+?]
7489  *
7490  * Note that the branching code sequences used for ? and the general cases
7491  * of * and + are somewhat optimized:  they use the same NOTHING node as
7492  * both the endmarker for their branch list and the body of the last branch.
7493  * It might seem that this node could be dispensed with entirely, but the
7494  * endmarker role is not redundant.
7495  */
7496 STATIC regnode *
7497 S_regpiece(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
7498 {
7499     dVAR;
7500     register regnode *ret;
7501     register char op;
7502     register char *next;
7503     I32 flags;
7504     const char * const origparse = RExC_parse;
7505     I32 min;
7506     I32 max = REG_INFTY;
7507     char *parse_start;
7508     const char *maxpos = NULL;
7509     GET_RE_DEBUG_FLAGS_DECL;
7510
7511     PERL_ARGS_ASSERT_REGPIECE;
7512
7513     DEBUG_PARSE("piec");
7514
7515     ret = regatom(pRExC_state, &flags,depth+1);
7516     if (ret == NULL) {
7517         if (flags & TRYAGAIN)
7518             *flagp |= TRYAGAIN;
7519         return(NULL);
7520     }
7521
7522     op = *RExC_parse;
7523
7524     if (op == '{' && regcurly(RExC_parse)) {
7525         maxpos = NULL;
7526         parse_start = RExC_parse; /* MJD */
7527         next = RExC_parse + 1;
7528         while (isDIGIT(*next) || *next == ',') {
7529             if (*next == ',') {
7530                 if (maxpos)
7531                     break;
7532                 else
7533                     maxpos = next;
7534             }
7535             next++;
7536         }
7537         if (*next == '}') {             /* got one */
7538             if (!maxpos)
7539                 maxpos = next;
7540             RExC_parse++;
7541             min = atoi(RExC_parse);
7542             if (*maxpos == ',')
7543                 maxpos++;
7544             else
7545                 maxpos = RExC_parse;
7546             max = atoi(maxpos);
7547             if (!max && *maxpos != '0')
7548                 max = REG_INFTY;                /* meaning "infinity" */
7549             else if (max >= REG_INFTY)
7550                 vFAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
7551             RExC_parse = next;
7552             nextchar(pRExC_state);
7553
7554         do_curly:
7555             if ((flags&SIMPLE)) {
7556                 RExC_naughty += 2 + RExC_naughty / 2;
7557                 reginsert(pRExC_state, CURLY, ret, depth+1);
7558                 Set_Node_Offset(ret, parse_start+1); /* MJD */
7559                 Set_Node_Cur_Length(ret);
7560             }
7561             else {
7562                 regnode * const w = reg_node(pRExC_state, WHILEM);
7563
7564                 w->flags = 0;
7565                 REGTAIL(pRExC_state, ret, w);
7566                 if (!SIZE_ONLY && RExC_extralen) {
7567                     reginsert(pRExC_state, LONGJMP,ret, depth+1);
7568                     reginsert(pRExC_state, NOTHING,ret, depth+1);
7569                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
7570                 }
7571                 reginsert(pRExC_state, CURLYX,ret, depth+1);
7572                                 /* MJD hk */
7573                 Set_Node_Offset(ret, parse_start+1);
7574                 Set_Node_Length(ret,
7575                                 op == '{' ? (RExC_parse - parse_start) : 1);
7576
7577                 if (!SIZE_ONLY && RExC_extralen)
7578                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
7579                 REGTAIL(pRExC_state, ret, reg_node(pRExC_state, NOTHING));
7580                 if (SIZE_ONLY)
7581                     RExC_whilem_seen++, RExC_extralen += 3;
7582                 RExC_naughty += 4 + RExC_naughty;       /* compound interest */
7583             }
7584             ret->flags = 0;
7585
7586             if (min > 0)
7587                 *flagp = WORST;
7588             if (max > 0)
7589                 *flagp |= HASWIDTH;
7590             if (max < min)
7591                 vFAIL("Can't do {n,m} with n > m");
7592             if (!SIZE_ONLY) {
7593                 ARG1_SET(ret, (U16)min);
7594                 ARG2_SET(ret, (U16)max);
7595             }
7596
7597             goto nest_check;
7598         }
7599     }
7600
7601     if (!ISMULT1(op)) {
7602         *flagp = flags;
7603         return(ret);
7604     }
7605
7606 #if 0                           /* Now runtime fix should be reliable. */
7607
7608     /* if this is reinstated, don't forget to put this back into perldiag:
7609
7610             =item Regexp *+ operand could be empty at {#} in regex m/%s/
7611
7612            (F) The part of the regexp subject to either the * or + quantifier
7613            could match an empty string. The {#} shows in the regular
7614            expression about where the problem was discovered.
7615
7616     */
7617
7618     if (!(flags&HASWIDTH) && op != '?')
7619       vFAIL("Regexp *+ operand could be empty");
7620 #endif
7621
7622     parse_start = RExC_parse;
7623     nextchar(pRExC_state);
7624
7625     *flagp = (op != '+') ? (WORST|SPSTART|HASWIDTH) : (WORST|HASWIDTH);
7626
7627     if (op == '*' && (flags&SIMPLE)) {
7628         reginsert(pRExC_state, STAR, ret, depth+1);
7629         ret->flags = 0;
7630         RExC_naughty += 4;
7631     }
7632     else if (op == '*') {
7633         min = 0;
7634         goto do_curly;
7635     }
7636     else if (op == '+' && (flags&SIMPLE)) {
7637         reginsert(pRExC_state, PLUS, ret, depth+1);
7638         ret->flags = 0;
7639         RExC_naughty += 3;
7640     }
7641     else if (op == '+') {
7642         min = 1;
7643         goto do_curly;
7644     }
7645     else if (op == '?') {
7646         min = 0; max = 1;
7647         goto do_curly;
7648     }
7649   nest_check:
7650     if (!SIZE_ONLY && !(flags&(HASWIDTH|POSTPONED)) && max > REG_INFTY/3) {
7651         ckWARN3reg(RExC_parse,
7652                    "%.*s matches null string many times",
7653                    (int)(RExC_parse >= origparse ? RExC_parse - origparse : 0),
7654                    origparse);
7655     }
7656
7657     if (RExC_parse < RExC_end && *RExC_parse == '?') {
7658         nextchar(pRExC_state);
7659         reginsert(pRExC_state, MINMOD, ret, depth+1);
7660         REGTAIL(pRExC_state, ret, ret + NODE_STEP_REGNODE);
7661     }
7662 #ifndef REG_ALLOW_MINMOD_SUSPEND
7663     else
7664 #endif
7665     if (RExC_parse < RExC_end && *RExC_parse == '+') {
7666         regnode *ender;
7667         nextchar(pRExC_state);
7668         ender = reg_node(pRExC_state, SUCCEED);
7669         REGTAIL(pRExC_state, ret, ender);
7670         reginsert(pRExC_state, SUSPEND, ret, depth+1);
7671         ret->flags = 0;
7672         ender = reg_node(pRExC_state, TAIL);
7673         REGTAIL(pRExC_state, ret, ender);
7674         /*ret= ender;*/
7675     }
7676
7677     if (RExC_parse < RExC_end && ISMULT2(RExC_parse)) {
7678         RExC_parse++;
7679         vFAIL("Nested quantifiers");
7680     }
7681
7682     return(ret);
7683 }
7684
7685
7686 /* reg_namedseq(pRExC_state,UVp, UV depth)
7687    
7688    This is expected to be called by a parser routine that has 
7689    recognized '\N' and needs to handle the rest. RExC_parse is
7690    expected to point at the first char following the N at the time
7691    of the call.
7692
7693    The \N may be inside (indicated by valuep not being NULL) or outside a
7694    character class.
7695
7696    \N may begin either a named sequence, or if outside a character class, mean
7697    to match a non-newline.  For non single-quoted regexes, the tokenizer has
7698    attempted to decide which, and in the case of a named sequence converted it
7699    into one of the forms: \N{} (if the sequence is null), or \N{U+c1.c2...},
7700    where c1... are the characters in the sequence.  For single-quoted regexes,
7701    the tokenizer passes the \N sequence through unchanged; this code will not
7702    attempt to determine this nor expand those.  The net effect is that if the
7703    beginning of the passed-in pattern isn't '{U+' or there is no '}', it
7704    signals that this \N occurrence means to match a non-newline.
7705    
7706    Only the \N{U+...} form should occur in a character class, for the same
7707    reason that '.' inside a character class means to just match a period: it
7708    just doesn't make sense.
7709    
7710    If valuep is non-null then it is assumed that we are parsing inside 
7711    of a charclass definition and the first codepoint in the resolved
7712    string is returned via *valuep and the routine will return NULL. 
7713    In this mode if a multichar string is returned from the charnames 
7714    handler, a warning will be issued, and only the first char in the 
7715    sequence will be examined. If the string returned is zero length
7716    then the value of *valuep is undefined and NON-NULL will 
7717    be returned to indicate failure. (This will NOT be a valid pointer 
7718    to a regnode.)
7719    
7720    If valuep is null then it is assumed that we are parsing normal text and a
7721    new EXACT node is inserted into the program containing the resolved string,
7722    and a pointer to the new node is returned.  But if the string is zero length
7723    a NOTHING node is emitted instead.
7724
7725    On success RExC_parse is set to the char following the endbrace.
7726    Parsing failures will generate a fatal error via vFAIL(...)
7727  */
7728 STATIC regnode *
7729 S_reg_namedseq(pTHX_ RExC_state_t *pRExC_state, UV *valuep, I32 *flagp, U32 depth)
7730 {
7731     char * endbrace;    /* '}' following the name */
7732     regnode *ret = NULL;
7733     char* p;
7734
7735     GET_RE_DEBUG_FLAGS_DECL;
7736  
7737     PERL_ARGS_ASSERT_REG_NAMEDSEQ;
7738
7739     GET_RE_DEBUG_FLAGS;
7740
7741     /* The [^\n] meaning of \N ignores spaces and comments under the /x
7742      * modifier.  The other meaning does not */
7743     p = (RExC_flags & RXf_PMf_EXTENDED)
7744         ? regwhite( pRExC_state, RExC_parse )
7745         : RExC_parse;
7746    
7747     /* Disambiguate between \N meaning a named character versus \N meaning
7748      * [^\n].  The former is assumed when it can't be the latter. */
7749     if (*p != '{' || regcurly(p)) {
7750         RExC_parse = p;
7751         if (valuep) {
7752             /* no bare \N in a charclass */
7753             vFAIL("\\N in a character class must be a named character: \\N{...}");
7754         }
7755         nextchar(pRExC_state);
7756         ret = reg_node(pRExC_state, REG_ANY);
7757         *flagp |= HASWIDTH|SIMPLE;
7758         RExC_naughty++;
7759         RExC_parse--;
7760         Set_Node_Length(ret, 1); /* MJD */
7761         return ret;
7762     }
7763
7764     /* Here, we have decided it should be a named sequence */
7765
7766     /* The test above made sure that the next real character is a '{', but
7767      * under the /x modifier, it could be separated by space (or a comment and
7768      * \n) and this is not allowed (for consistency with \x{...} and the
7769      * tokenizer handling of \N{NAME}). */
7770     if (*RExC_parse != '{') {
7771         vFAIL("Missing braces on \\N{}");
7772     }
7773
7774     RExC_parse++;       /* Skip past the '{' */
7775
7776     if (! (endbrace = strchr(RExC_parse, '}')) /* no trailing brace */
7777         || ! (endbrace == RExC_parse            /* nothing between the {} */
7778               || (endbrace - RExC_parse >= 2    /* U+ (bad hex is checked below */
7779                   && strnEQ(RExC_parse, "U+", 2)))) /* for a better error msg) */
7780     {
7781         if (endbrace) RExC_parse = endbrace;    /* position msg's '<--HERE' */
7782         vFAIL("\\N{NAME} must be resolved by the lexer");
7783     }
7784
7785     if (endbrace == RExC_parse) {   /* empty: \N{} */
7786         if (! valuep) {
7787             RExC_parse = endbrace + 1;  
7788             return reg_node(pRExC_state,NOTHING);
7789         }
7790
7791         if (SIZE_ONLY) {
7792             ckWARNreg(RExC_parse,
7793                     "Ignoring zero length \\N{} in character class"
7794             );
7795             RExC_parse = endbrace + 1;  
7796         }
7797         *valuep = 0;
7798         return (regnode *) &RExC_parse; /* Invalid regnode pointer */
7799     }
7800
7801     REQUIRE_UTF8;       /* named sequences imply Unicode semantics */
7802     RExC_parse += 2;    /* Skip past the 'U+' */
7803
7804     if (valuep) {   /* In a bracketed char class */
7805         /* We only pay attention to the first char of 
7806         multichar strings being returned. I kinda wonder
7807         if this makes sense as it does change the behaviour
7808         from earlier versions, OTOH that behaviour was broken
7809         as well. XXX Solution is to recharacterize as
7810         [rest-of-class]|multi1|multi2... */
7811
7812         STRLEN length_of_hex;
7813         I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
7814             | PERL_SCAN_DISALLOW_PREFIX
7815             | (SIZE_ONLY ? PERL_SCAN_SILENT_ILLDIGIT : 0);
7816     
7817         char * endchar = RExC_parse + strcspn(RExC_parse, ".}");
7818         if (endchar < endbrace) {
7819             ckWARNreg(endchar, "Using just the first character returned by \\N{} in character class");
7820         }
7821
7822         length_of_hex = (STRLEN)(endchar - RExC_parse);
7823         *valuep = grok_hex(RExC_parse, &length_of_hex, &flags, NULL);
7824
7825         /* The tokenizer should have guaranteed validity, but it's possible to
7826          * bypass it by using single quoting, so check */
7827         if (length_of_hex == 0
7828             || length_of_hex != (STRLEN)(endchar - RExC_parse) )
7829         {
7830             RExC_parse += length_of_hex;        /* Includes all the valid */
7831             RExC_parse += (RExC_orig_utf8)      /* point to after 1st invalid */
7832                             ? UTF8SKIP(RExC_parse)
7833                             : 1;
7834             /* Guard against malformed utf8 */
7835             if (RExC_parse >= endchar) RExC_parse = endchar;
7836             vFAIL("Invalid hexadecimal number in \\N{U+...}");
7837         }    
7838
7839         RExC_parse = endbrace + 1;
7840         if (endchar == endbrace) return NULL;
7841
7842         ret = (regnode *) &RExC_parse;  /* Invalid regnode pointer */
7843     }
7844     else {      /* Not a char class */
7845
7846         /* What is done here is to convert this to a sub-pattern of the form
7847          * (?:\x{char1}\x{char2}...)
7848          * and then call reg recursively.  That way, it retains its atomicness,
7849          * while not having to worry about special handling that some code
7850          * points may have.  toke.c has converted the original Unicode values
7851          * to native, so that we can just pass on the hex values unchanged.  We
7852          * do have to set a flag to keep recoding from happening in the
7853          * recursion */
7854
7855         SV * substitute_parse = newSVpvn_flags("?:", 2, SVf_UTF8|SVs_TEMP);
7856         STRLEN len;
7857         char *endchar;      /* Points to '.' or '}' ending cur char in the input
7858                                stream */
7859         char *orig_end = RExC_end;
7860
7861         while (RExC_parse < endbrace) {
7862
7863             /* Code points are separated by dots.  If none, there is only one
7864              * code point, and is terminated by the brace */
7865             endchar = RExC_parse + strcspn(RExC_parse, ".}");
7866
7867             /* Convert to notation the rest of the code understands */
7868             sv_catpv(substitute_parse, "\\x{");
7869             sv_catpvn(substitute_parse, RExC_parse, endchar - RExC_parse);
7870             sv_catpv(substitute_parse, "}");
7871
7872             /* Point to the beginning of the next character in the sequence. */
7873             RExC_parse = endchar + 1;
7874         }
7875         sv_catpv(substitute_parse, ")");
7876
7877         RExC_parse = SvPV(substitute_parse, len);
7878
7879         /* Don't allow empty number */
7880         if (len < 8) {
7881             vFAIL("Invalid hexadecimal number in \\N{U+...}");
7882         }
7883         RExC_end = RExC_parse + len;
7884
7885         /* The values are Unicode, and therefore not subject to recoding */
7886         RExC_override_recoding = 1;
7887
7888         ret = reg(pRExC_state, 1, flagp, depth+1);
7889
7890         RExC_parse = endbrace;
7891         RExC_end = orig_end;
7892         RExC_override_recoding = 0;
7893
7894         nextchar(pRExC_state);
7895     }
7896
7897     return ret;
7898 }
7899
7900
7901 /*
7902  * reg_recode
7903  *
7904  * It returns the code point in utf8 for the value in *encp.
7905  *    value: a code value in the source encoding
7906  *    encp:  a pointer to an Encode object
7907  *
7908  * If the result from Encode is not a single character,
7909  * it returns U+FFFD (Replacement character) and sets *encp to NULL.
7910  */
7911 STATIC UV
7912 S_reg_recode(pTHX_ const char value, SV **encp)
7913 {
7914     STRLEN numlen = 1;
7915     SV * const sv = newSVpvn_flags(&value, numlen, SVs_TEMP);
7916     const char * const s = *encp ? sv_recode_to_utf8(sv, *encp) : SvPVX(sv);
7917     const STRLEN newlen = SvCUR(sv);
7918     UV uv = UNICODE_REPLACEMENT;
7919
7920     PERL_ARGS_ASSERT_REG_RECODE;
7921
7922     if (newlen)
7923         uv = SvUTF8(sv)
7924              ? utf8n_to_uvchr((U8*)s, newlen, &numlen, UTF8_ALLOW_DEFAULT)
7925              : *(U8*)s;
7926
7927     if (!newlen || numlen != newlen) {
7928         uv = UNICODE_REPLACEMENT;
7929         *encp = NULL;
7930     }
7931     return uv;
7932 }
7933
7934
7935 /*
7936  - regatom - the lowest level
7937
7938    Try to identify anything special at the start of the pattern. If there
7939    is, then handle it as required. This may involve generating a single regop,
7940    such as for an assertion; or it may involve recursing, such as to
7941    handle a () structure.
7942
7943    If the string doesn't start with something special then we gobble up
7944    as much literal text as we can.
7945
7946    Once we have been able to handle whatever type of thing started the
7947    sequence, we return.
7948
7949    Note: we have to be careful with escapes, as they can be both literal
7950    and special, and in the case of \10 and friends can either, depending
7951    on context. Specifically there are two separate switches for handling
7952    escape sequences, with the one for handling literal escapes requiring
7953    a dummy entry for all of the special escapes that are actually handled
7954    by the other.
7955 */
7956
7957 STATIC regnode *
7958 S_regatom(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
7959 {
7960     dVAR;
7961     register regnode *ret = NULL;
7962     I32 flags;
7963     char *parse_start = RExC_parse;
7964     U8 op;
7965     GET_RE_DEBUG_FLAGS_DECL;
7966     DEBUG_PARSE("atom");
7967     *flagp = WORST;             /* Tentatively. */
7968
7969     PERL_ARGS_ASSERT_REGATOM;
7970
7971 tryagain:
7972     switch ((U8)*RExC_parse) {
7973     case '^':
7974         RExC_seen_zerolen++;
7975         nextchar(pRExC_state);
7976         if (RExC_flags & RXf_PMf_MULTILINE)
7977             ret = reg_node(pRExC_state, MBOL);
7978         else if (RExC_flags & RXf_PMf_SINGLELINE)
7979             ret = reg_node(pRExC_state, SBOL);
7980         else
7981             ret = reg_node(pRExC_state, BOL);
7982         Set_Node_Length(ret, 1); /* MJD */
7983         break;
7984     case '$':
7985         nextchar(pRExC_state);
7986         if (*RExC_parse)
7987             RExC_seen_zerolen++;
7988         if (RExC_flags & RXf_PMf_MULTILINE)
7989             ret = reg_node(pRExC_state, MEOL);
7990         else if (RExC_flags & RXf_PMf_SINGLELINE)
7991             ret = reg_node(pRExC_state, SEOL);
7992         else
7993             ret = reg_node(pRExC_state, EOL);
7994         Set_Node_Length(ret, 1); /* MJD */
7995         break;
7996     case '.':
7997         nextchar(pRExC_state);
7998         if (RExC_flags & RXf_PMf_SINGLELINE)
7999             ret = reg_node(pRExC_state, SANY);
8000         else
8001             ret = reg_node(pRExC_state, REG_ANY);
8002         *flagp |= HASWIDTH|SIMPLE;
8003         RExC_naughty++;
8004         Set_Node_Length(ret, 1); /* MJD */
8005         break;
8006     case '[':
8007     {
8008         char * const oregcomp_parse = ++RExC_parse;
8009         ret = regclass(pRExC_state,depth+1);
8010         if (*RExC_parse != ']') {
8011             RExC_parse = oregcomp_parse;
8012             vFAIL("Unmatched [");
8013         }
8014         nextchar(pRExC_state);
8015         *flagp |= HASWIDTH|SIMPLE;
8016         Set_Node_Length(ret, RExC_parse - oregcomp_parse + 1); /* MJD */
8017         break;
8018     }
8019     case '(':
8020         nextchar(pRExC_state);
8021         ret = reg(pRExC_state, 1, &flags,depth+1);
8022         if (ret == NULL) {
8023                 if (flags & TRYAGAIN) {
8024                     if (RExC_parse == RExC_end) {
8025                          /* Make parent create an empty node if needed. */
8026                         *flagp |= TRYAGAIN;
8027                         return(NULL);
8028                     }
8029                     goto tryagain;
8030                 }
8031                 return(NULL);
8032         }
8033         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE|POSTPONED);
8034         break;
8035     case '|':
8036     case ')':
8037         if (flags & TRYAGAIN) {
8038             *flagp |= TRYAGAIN;
8039             return NULL;
8040         }
8041         vFAIL("Internal urp");
8042                                 /* Supposed to be caught earlier. */
8043         break;
8044     case '{':
8045         if (!regcurly(RExC_parse)) {
8046             RExC_parse++;
8047             goto defchar;
8048         }
8049         /* FALL THROUGH */
8050     case '?':
8051     case '+':
8052     case '*':
8053         RExC_parse++;
8054         vFAIL("Quantifier follows nothing");
8055         break;
8056     case '\\':
8057         /* Special Escapes
8058
8059            This switch handles escape sequences that resolve to some kind
8060            of special regop and not to literal text. Escape sequnces that
8061            resolve to literal text are handled below in the switch marked
8062            "Literal Escapes".
8063
8064            Every entry in this switch *must* have a corresponding entry
8065            in the literal escape switch. However, the opposite is not
8066            required, as the default for this switch is to jump to the
8067            literal text handling code.
8068         */
8069         switch ((U8)*++RExC_parse) {
8070         /* Special Escapes */
8071         case 'A':
8072             RExC_seen_zerolen++;
8073             ret = reg_node(pRExC_state, SBOL);
8074             *flagp |= SIMPLE;
8075             goto finish_meta_pat;
8076         case 'G':
8077             ret = reg_node(pRExC_state, GPOS);
8078             RExC_seen |= REG_SEEN_GPOS;
8079             *flagp |= SIMPLE;
8080             goto finish_meta_pat;
8081         case 'K':
8082             RExC_seen_zerolen++;
8083             ret = reg_node(pRExC_state, KEEPS);
8084             *flagp |= SIMPLE;
8085             /* XXX:dmq : disabling in-place substitution seems to
8086              * be necessary here to avoid cases of memory corruption, as
8087              * with: C<$_="x" x 80; s/x\K/y/> -- rgs
8088              */
8089             RExC_seen |= REG_SEEN_LOOKBEHIND;
8090             goto finish_meta_pat;
8091         case 'Z':
8092             ret = reg_node(pRExC_state, SEOL);
8093             *flagp |= SIMPLE;
8094             RExC_seen_zerolen++;                /* Do not optimize RE away */
8095             goto finish_meta_pat;
8096         case 'z':
8097             ret = reg_node(pRExC_state, EOS);
8098             *flagp |= SIMPLE;
8099             RExC_seen_zerolen++;                /* Do not optimize RE away */
8100             goto finish_meta_pat;
8101         case 'C':
8102             ret = reg_node(pRExC_state, CANY);
8103             RExC_seen |= REG_SEEN_CANY;
8104             *flagp |= HASWIDTH|SIMPLE;
8105             goto finish_meta_pat;
8106         case 'X':
8107             ret = reg_node(pRExC_state, CLUMP);
8108             *flagp |= HASWIDTH;
8109             goto finish_meta_pat;
8110         case 'w':
8111             switch (get_regex_charset(RExC_flags)) {
8112                 case REGEX_LOCALE_CHARSET:
8113                     op = ALNUML;
8114                     break;
8115                 case REGEX_UNICODE_CHARSET:
8116                     op = ALNUMU;
8117                     break;
8118                 case REGEX_ASCII_RESTRICTED_CHARSET:
8119                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8120                     op = ALNUMA;
8121                     break;
8122                 case REGEX_DEPENDS_CHARSET:
8123                     op = ALNUM;
8124                     break;
8125                 default:
8126                     goto bad_charset;
8127             }
8128             ret = reg_node(pRExC_state, op);
8129             *flagp |= HASWIDTH|SIMPLE;
8130             goto finish_meta_pat;
8131         case 'W':
8132             switch (get_regex_charset(RExC_flags)) {
8133                 case REGEX_LOCALE_CHARSET:
8134                     op = NALNUML;
8135                     break;
8136                 case REGEX_UNICODE_CHARSET:
8137                     op = NALNUMU;
8138                     break;
8139                 case REGEX_ASCII_RESTRICTED_CHARSET:
8140                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8141                     op = NALNUMA;
8142                     break;
8143                 case REGEX_DEPENDS_CHARSET:
8144                     op = NALNUM;
8145                     break;
8146                 default:
8147                     goto bad_charset;
8148             }
8149             ret = reg_node(pRExC_state, op);
8150             *flagp |= HASWIDTH|SIMPLE;
8151             goto finish_meta_pat;
8152         case 'b':
8153             RExC_seen_zerolen++;
8154             RExC_seen |= REG_SEEN_LOOKBEHIND;
8155             switch (get_regex_charset(RExC_flags)) {
8156                 case REGEX_LOCALE_CHARSET:
8157                     op = BOUNDL;
8158                     break;
8159                 case REGEX_UNICODE_CHARSET:
8160                     op = BOUNDU;
8161                     break;
8162                 case REGEX_ASCII_RESTRICTED_CHARSET:
8163                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8164                     op = BOUNDA;
8165                     break;
8166                 case REGEX_DEPENDS_CHARSET:
8167                     op = BOUND;
8168                     break;
8169                 default:
8170                     goto bad_charset;
8171             }
8172             ret = reg_node(pRExC_state, op);
8173             FLAGS(ret) = get_regex_charset(RExC_flags);
8174             *flagp |= SIMPLE;
8175             if (! SIZE_ONLY && (U8) *(RExC_parse + 1) == '{') {
8176                 ckWARNregdep(RExC_parse, "\"\\b{\" is deprecated; use \"\\b\\{\" instead");
8177             }
8178             goto finish_meta_pat;
8179         case 'B':
8180             RExC_seen_zerolen++;
8181             RExC_seen |= REG_SEEN_LOOKBEHIND;
8182             switch (get_regex_charset(RExC_flags)) {
8183                 case REGEX_LOCALE_CHARSET:
8184                     op = NBOUNDL;
8185                     break;
8186                 case REGEX_UNICODE_CHARSET:
8187                     op = NBOUNDU;
8188                     break;
8189                 case REGEX_ASCII_RESTRICTED_CHARSET:
8190                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8191                     op = NBOUNDA;
8192                     break;
8193                 case REGEX_DEPENDS_CHARSET:
8194                     op = NBOUND;
8195                     break;
8196                 default:
8197                     goto bad_charset;
8198             }
8199             ret = reg_node(pRExC_state, op);
8200             FLAGS(ret) = get_regex_charset(RExC_flags);
8201             *flagp |= SIMPLE;
8202             if (! SIZE_ONLY && (U8) *(RExC_parse + 1) == '{') {
8203                 ckWARNregdep(RExC_parse, "\"\\B{\" is deprecated; use \"\\B\\{\" instead");
8204             }
8205             goto finish_meta_pat;
8206         case 's':
8207             switch (get_regex_charset(RExC_flags)) {
8208                 case REGEX_LOCALE_CHARSET:
8209                     op = SPACEL;
8210                     break;
8211                 case REGEX_UNICODE_CHARSET:
8212                     op = SPACEU;
8213                     break;
8214                 case REGEX_ASCII_RESTRICTED_CHARSET:
8215                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8216                     op = SPACEA;
8217                     break;
8218                 case REGEX_DEPENDS_CHARSET:
8219                     op = SPACE;
8220                     break;
8221                 default:
8222                     goto bad_charset;
8223             }
8224             ret = reg_node(pRExC_state, op);
8225             *flagp |= HASWIDTH|SIMPLE;
8226             goto finish_meta_pat;
8227         case 'S':
8228             switch (get_regex_charset(RExC_flags)) {
8229                 case REGEX_LOCALE_CHARSET:
8230                     op = NSPACEL;
8231                     break;
8232                 case REGEX_UNICODE_CHARSET:
8233                     op = NSPACEU;
8234                     break;
8235                 case REGEX_ASCII_RESTRICTED_CHARSET:
8236                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8237                     op = NSPACEA;
8238                     break;
8239                 case REGEX_DEPENDS_CHARSET:
8240                     op = NSPACE;
8241                     break;
8242                 default:
8243                     goto bad_charset;
8244             }
8245             ret = reg_node(pRExC_state, op);
8246             *flagp |= HASWIDTH|SIMPLE;
8247             goto finish_meta_pat;
8248         case 'd':
8249             switch (get_regex_charset(RExC_flags)) {
8250                 case REGEX_LOCALE_CHARSET:
8251                     op = DIGITL;
8252                     break;
8253                 case REGEX_ASCII_RESTRICTED_CHARSET:
8254                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8255                     op = DIGITA;
8256                     break;
8257                 case REGEX_DEPENDS_CHARSET: /* No difference between these */
8258                 case REGEX_UNICODE_CHARSET:
8259                     op = DIGIT;
8260                     break;
8261                 default:
8262                     goto bad_charset;
8263             }
8264             ret = reg_node(pRExC_state, op);
8265             *flagp |= HASWIDTH|SIMPLE;
8266             goto finish_meta_pat;
8267         case 'D':
8268             switch (get_regex_charset(RExC_flags)) {
8269                 case REGEX_LOCALE_CHARSET:
8270                     op = NDIGITL;
8271                     break;
8272                 case REGEX_ASCII_RESTRICTED_CHARSET:
8273                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
8274                     op = NDIGITA;
8275                     break;
8276                 case REGEX_DEPENDS_CHARSET: /* No difference between these */
8277                 case REGEX_UNICODE_CHARSET:
8278                     op = NDIGIT;
8279                     break;
8280                 default:
8281                     goto bad_charset;
8282             }
8283             ret = reg_node(pRExC_state, op);
8284             *flagp |= HASWIDTH|SIMPLE;
8285             goto finish_meta_pat;
8286         case 'R':
8287             ret = reg_node(pRExC_state, LNBREAK);
8288             *flagp |= HASWIDTH|SIMPLE;
8289             goto finish_meta_pat;
8290         case 'h':
8291             ret = reg_node(pRExC_state, HORIZWS);
8292             *flagp |= HASWIDTH|SIMPLE;
8293             goto finish_meta_pat;
8294         case 'H':
8295             ret = reg_node(pRExC_state, NHORIZWS);
8296             *flagp |= HASWIDTH|SIMPLE;
8297             goto finish_meta_pat;
8298         case 'v':
8299             ret = reg_node(pRExC_state, VERTWS);
8300             *flagp |= HASWIDTH|SIMPLE;
8301             goto finish_meta_pat;
8302         case 'V':
8303             ret = reg_node(pRExC_state, NVERTWS);
8304             *flagp |= HASWIDTH|SIMPLE;
8305          finish_meta_pat:           
8306             nextchar(pRExC_state);
8307             Set_Node_Length(ret, 2); /* MJD */
8308             break;          
8309         case 'p':
8310         case 'P':
8311             {   
8312                 char* const oldregxend = RExC_end;
8313 #ifdef DEBUGGING
8314                 char* parse_start = RExC_parse - 2;
8315 #endif
8316
8317                 if (RExC_parse[1] == '{') {
8318                   /* a lovely hack--pretend we saw [\pX] instead */
8319                     RExC_end = strchr(RExC_parse, '}');
8320                     if (!RExC_end) {
8321                         const U8 c = (U8)*RExC_parse;
8322                         RExC_parse += 2;
8323                         RExC_end = oldregxend;
8324                         vFAIL2("Missing right brace on \\%c{}", c);
8325                     }
8326                     RExC_end++;
8327                 }
8328                 else {
8329                     RExC_end = RExC_parse + 2;
8330                     if (RExC_end > oldregxend)
8331                         RExC_end = oldregxend;
8332                 }
8333                 RExC_parse--;
8334
8335                 ret = regclass(pRExC_state,depth+1);
8336
8337                 RExC_end = oldregxend;
8338                 RExC_parse--;
8339
8340                 Set_Node_Offset(ret, parse_start + 2);
8341                 Set_Node_Cur_Length(ret);
8342                 nextchar(pRExC_state);
8343                 *flagp |= HASWIDTH|SIMPLE;
8344             }
8345             break;
8346         case 'N': 
8347             /* Handle \N and \N{NAME} here and not below because it can be
8348             multicharacter. join_exact() will join them up later on. 
8349             Also this makes sure that things like /\N{BLAH}+/ and 
8350             \N{BLAH} being multi char Just Happen. dmq*/
8351             ++RExC_parse;
8352             ret= reg_namedseq(pRExC_state, NULL, flagp, depth);
8353             break;
8354         case 'k':    /* Handle \k<NAME> and \k'NAME' */
8355         parse_named_seq:
8356         {   
8357             char ch= RExC_parse[1];         
8358             if (ch != '<' && ch != '\'' && ch != '{') {
8359                 RExC_parse++;
8360                 vFAIL2("Sequence %.2s... not terminated",parse_start);
8361             } else {
8362                 /* this pretty much dupes the code for (?P=...) in reg(), if
8363                    you change this make sure you change that */
8364                 char* name_start = (RExC_parse += 2);
8365                 U32 num = 0;
8366                 SV *sv_dat = reg_scan_name(pRExC_state,
8367                     SIZE_ONLY ? REG_RSN_RETURN_NULL : REG_RSN_RETURN_DATA);
8368                 ch= (ch == '<') ? '>' : (ch == '{') ? '}' : '\'';
8369                 if (RExC_parse == name_start || *RExC_parse != ch)
8370                     vFAIL2("Sequence %.3s... not terminated",parse_start);
8371
8372                 if (!SIZE_ONLY) {
8373                     num = add_data( pRExC_state, 1, "S" );
8374                     RExC_rxi->data->data[num]=(void*)sv_dat;
8375                     SvREFCNT_inc_simple_void(sv_dat);
8376                 }
8377
8378                 RExC_sawback = 1;
8379                 ret = reganode(pRExC_state,
8380                                ((! FOLD)
8381                                  ? NREF
8382                                  : (MORE_ASCII_RESTRICTED)
8383                                    ? NREFFA
8384                                    : (AT_LEAST_UNI_SEMANTICS)
8385                                      ? NREFFU
8386                                      : (LOC)
8387                                        ? NREFFL
8388                                        : NREFF),
8389                                 num);
8390                 *flagp |= HASWIDTH;
8391
8392                 /* override incorrect value set in reganode MJD */
8393                 Set_Node_Offset(ret, parse_start+1);
8394                 Set_Node_Cur_Length(ret); /* MJD */
8395                 nextchar(pRExC_state);
8396
8397             }
8398             break;
8399         }
8400         case 'g': 
8401         case '1': case '2': case '3': case '4':
8402         case '5': case '6': case '7': case '8': case '9':
8403             {
8404                 I32 num;
8405                 bool isg = *RExC_parse == 'g';
8406                 bool isrel = 0; 
8407                 bool hasbrace = 0;
8408                 if (isg) {
8409                     RExC_parse++;
8410                     if (*RExC_parse == '{') {
8411                         RExC_parse++;
8412                         hasbrace = 1;
8413                     }
8414                     if (*RExC_parse == '-') {
8415                         RExC_parse++;
8416                         isrel = 1;
8417                     }
8418                     if (hasbrace && !isDIGIT(*RExC_parse)) {
8419                         if (isrel) RExC_parse--;
8420                         RExC_parse -= 2;                            
8421                         goto parse_named_seq;
8422                 }   }
8423                 num = atoi(RExC_parse);
8424                 if (isg && num == 0)
8425                     vFAIL("Reference to invalid group 0");
8426                 if (isrel) {
8427                     num = RExC_npar - num;
8428                     if (num < 1)
8429                         vFAIL("Reference to nonexistent or unclosed group");
8430                 }
8431                 if (!isg && num > 9 && num >= RExC_npar)
8432                     goto defchar;
8433                 else {
8434                     char * const parse_start = RExC_parse - 1; /* MJD */
8435                     while (isDIGIT(*RExC_parse))
8436                         RExC_parse++;
8437                     if (parse_start == RExC_parse - 1) 
8438                         vFAIL("Unterminated \\g... pattern");
8439                     if (hasbrace) {
8440                         if (*RExC_parse != '}') 
8441                             vFAIL("Unterminated \\g{...} pattern");
8442                         RExC_parse++;
8443                     }    
8444                     if (!SIZE_ONLY) {
8445                         if (num > (I32)RExC_rx->nparens)
8446                             vFAIL("Reference to nonexistent group");
8447                     }
8448                     RExC_sawback = 1;
8449                     ret = reganode(pRExC_state,
8450                                    ((! FOLD)
8451                                      ? REF
8452                                      : (MORE_ASCII_RESTRICTED)
8453                                        ? REFFA
8454                                        : (AT_LEAST_UNI_SEMANTICS)
8455                                          ? REFFU
8456                                          : (LOC)
8457                                            ? REFFL
8458                                            : REFF),
8459                                     num);
8460                     *flagp |= HASWIDTH;
8461
8462                     /* override incorrect value set in reganode MJD */
8463                     Set_Node_Offset(ret, parse_start+1);
8464                     Set_Node_Cur_Length(ret); /* MJD */
8465                     RExC_parse--;
8466                     nextchar(pRExC_state);
8467                 }
8468             }
8469             break;
8470         case '\0':
8471             if (RExC_parse >= RExC_end)
8472                 FAIL("Trailing \\");
8473             /* FALL THROUGH */
8474         default:
8475             /* Do not generate "unrecognized" warnings here, we fall
8476                back into the quick-grab loop below */
8477             parse_start--;
8478             goto defchar;
8479         }
8480         break;
8481
8482     case '#':
8483         if (RExC_flags & RXf_PMf_EXTENDED) {
8484             if ( reg_skipcomment( pRExC_state ) )
8485                 goto tryagain;
8486         }
8487         /* FALL THROUGH */
8488
8489     default:
8490
8491             parse_start = RExC_parse - 1;
8492
8493             RExC_parse++;
8494
8495         defchar: {
8496             typedef enum {
8497                 generic_char = 0,
8498                 char_s,
8499                 upsilon_1,
8500                 upsilon_2,
8501                 iota_1,
8502                 iota_2,
8503             } char_state;
8504             char_state latest_char_state = generic_char;
8505             register STRLEN len;
8506             register UV ender;
8507             register char *p;
8508             char *s;
8509             STRLEN foldlen;
8510             U8 tmpbuf[UTF8_MAXBYTES_CASE+1], *foldbuf;
8511             regnode * orig_emit;
8512
8513             ender = 0;
8514             orig_emit = RExC_emit; /* Save the original output node position in
8515                                       case we need to output a different node
8516                                       type */
8517             ret = reg_node(pRExC_state,
8518                            (U8) ((! FOLD) ? EXACT
8519                                           : (LOC)
8520                                              ? EXACTFL
8521                                              : (MORE_ASCII_RESTRICTED)
8522                                                ? EXACTFA
8523                                                : (AT_LEAST_UNI_SEMANTICS)
8524                                                  ? EXACTFU
8525                                                  : EXACTF)
8526                     );
8527             s = STRING(ret);
8528             for (len = 0, p = RExC_parse - 1;
8529               len < 127 && p < RExC_end;
8530               len++)
8531             {
8532                 char * const oldp = p;
8533
8534                 if (RExC_flags & RXf_PMf_EXTENDED)
8535                     p = regwhite( pRExC_state, p );
8536                 switch ((U8)*p) {
8537                 case '^':
8538                 case '$':
8539                 case '.':
8540                 case '[':
8541                 case '(':
8542                 case ')':
8543                 case '|':
8544                     goto loopdone;
8545                 case '\\':
8546                     /* Literal Escapes Switch
8547
8548                        This switch is meant to handle escape sequences that
8549                        resolve to a literal character.
8550
8551                        Every escape sequence that represents something
8552                        else, like an assertion or a char class, is handled
8553                        in the switch marked 'Special Escapes' above in this
8554                        routine, but also has an entry here as anything that
8555                        isn't explicitly mentioned here will be treated as
8556                        an unescaped equivalent literal.
8557                     */
8558
8559                     switch ((U8)*++p) {
8560                     /* These are all the special escapes. */
8561                     case 'A':             /* Start assertion */
8562                     case 'b': case 'B':   /* Word-boundary assertion*/
8563                     case 'C':             /* Single char !DANGEROUS! */
8564                     case 'd': case 'D':   /* digit class */
8565                     case 'g': case 'G':   /* generic-backref, pos assertion */
8566                     case 'h': case 'H':   /* HORIZWS */
8567                     case 'k': case 'K':   /* named backref, keep marker */
8568                     case 'N':             /* named char sequence */
8569                     case 'p': case 'P':   /* Unicode property */
8570                               case 'R':   /* LNBREAK */
8571                     case 's': case 'S':   /* space class */
8572                     case 'v': case 'V':   /* VERTWS */
8573                     case 'w': case 'W':   /* word class */
8574                     case 'X':             /* eXtended Unicode "combining character sequence" */
8575                     case 'z': case 'Z':   /* End of line/string assertion */
8576                         --p;
8577                         goto loopdone;
8578
8579                     /* Anything after here is an escape that resolves to a
8580                        literal. (Except digits, which may or may not)
8581                      */
8582                     case 'n':
8583                         ender = '\n';
8584                         p++;
8585                         break;
8586                     case 'r':
8587                         ender = '\r';
8588                         p++;
8589                         break;
8590                     case 't':
8591                         ender = '\t';
8592                         p++;
8593                         break;
8594                     case 'f':
8595                         ender = '\f';
8596                         p++;
8597                         break;
8598                     case 'e':
8599                           ender = ASCII_TO_NATIVE('\033');
8600                         p++;
8601                         break;
8602                     case 'a':
8603                           ender = ASCII_TO_NATIVE('\007');
8604                         p++;
8605                         break;
8606                     case 'o':
8607                         {
8608                             STRLEN brace_len = len;
8609                             UV result;
8610                             const char* error_msg;
8611
8612                             bool valid = grok_bslash_o(p,
8613                                                        &result,
8614                                                        &brace_len,
8615                                                        &error_msg,
8616                                                        1);
8617                             p += brace_len;
8618                             if (! valid) {
8619                                 RExC_parse = p; /* going to die anyway; point
8620                                                    to exact spot of failure */
8621                                 vFAIL(error_msg);
8622                             }
8623                             else
8624                             {
8625                                 ender = result;
8626                             }
8627                             if (PL_encoding && ender < 0x100) {
8628                                 goto recode_encoding;
8629                             }
8630                             if (ender > 0xff) {
8631                                 REQUIRE_UTF8;
8632                             }
8633                             break;
8634                         }
8635                     case 'x':
8636                         if (*++p == '{') {
8637                             char* const e = strchr(p, '}');
8638         
8639                             if (!e) {
8640                                 RExC_parse = p + 1;
8641                                 vFAIL("Missing right brace on \\x{}");
8642                             }
8643                             else {
8644                                 I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
8645                                     | PERL_SCAN_DISALLOW_PREFIX;
8646                                 STRLEN numlen = e - p - 1;
8647                                 ender = grok_hex(p + 1, &numlen, &flags, NULL);
8648                                 if (ender > 0xff)
8649                                     REQUIRE_UTF8;
8650                                 p = e + 1;
8651                             }
8652                         }
8653                         else {
8654                             I32 flags = PERL_SCAN_DISALLOW_PREFIX;
8655                             STRLEN numlen = 2;
8656                             ender = grok_hex(p, &numlen, &flags, NULL);
8657                             p += numlen;
8658                         }
8659                         if (PL_encoding && ender < 0x100)
8660                             goto recode_encoding;
8661                         break;
8662                     case 'c':
8663                         p++;
8664                         ender = grok_bslash_c(*p++, UTF, SIZE_ONLY);
8665                         break;
8666                     case '0': case '1': case '2': case '3':case '4':
8667                     case '5': case '6': case '7': case '8':case '9':
8668                         if (*p == '0' ||
8669                             (isDIGIT(p[1]) && atoi(p) >= RExC_npar))
8670                         {
8671                             I32 flags = PERL_SCAN_SILENT_ILLDIGIT;
8672                             STRLEN numlen = 3;
8673                             ender = grok_oct(p, &numlen, &flags, NULL);
8674                             if (ender > 0xff) {
8675                                 REQUIRE_UTF8;
8676                             }
8677                             p += numlen;
8678                         }
8679                         else {
8680                             --p;
8681                             goto loopdone;
8682                         }
8683                         if (PL_encoding && ender < 0x100)
8684                             goto recode_encoding;
8685                         break;
8686                     recode_encoding:
8687                         if (! RExC_override_recoding) {
8688                             SV* enc = PL_encoding;
8689                             ender = reg_recode((const char)(U8)ender, &enc);
8690                             if (!enc && SIZE_ONLY)
8691                                 ckWARNreg(p, "Invalid escape in the specified encoding");
8692                             REQUIRE_UTF8;
8693                         }
8694                         break;
8695                     case '\0':
8696                         if (p >= RExC_end)
8697                             FAIL("Trailing \\");
8698                         /* FALL THROUGH */
8699                     default:
8700                         if (!SIZE_ONLY&& isALPHA(*p)) {
8701                             /* Include any { following the alpha to emphasize
8702                              * that it could be part of an escape at some point
8703                              * in the future */
8704                             int len = (*(p + 1) == '{') ? 2 : 1;
8705                             ckWARN3reg(p + len, "Unrecognized escape \\%.*s passed through", len, p);
8706                         }
8707                         goto normal_default;
8708                     }
8709                     break;
8710                 default:
8711                   normal_default:
8712                     if (UTF8_IS_START(*p) && UTF) {
8713                         STRLEN numlen;
8714                         ender = utf8n_to_uvchr((U8*)p, RExC_end - p,
8715                                                &numlen, UTF8_ALLOW_DEFAULT);
8716                         p += numlen;
8717                     }
8718                     else
8719                         ender = (U8) *p++;
8720                     break;
8721                 } /* End of switch on the literal */
8722
8723                 /* Certain characters are problematic because their folded
8724                  * length is so different from their original length that it
8725                  * isn't handleable by the optimizer.  They are therefore not
8726                  * placed in an EXACTish node; and are here handled specially.
8727                  * (Even if the optimizer handled LATIN_SMALL_LETTER_SHARP_S,
8728                  * putting it in a special node keeps regexec from having to
8729                  * deal with a non-utf8 multi-char fold */
8730                 if (FOLD
8731                     && (ender > 255 || (! MORE_ASCII_RESTRICTED && ! LOC)))
8732                 {
8733                     /* We look for either side of the fold.  For example \xDF
8734                      * folds to 'ss'.  We look for both the single character
8735                      * \xDF and the sequence 'ss'.  When we find something that
8736                      * could be one of those, we stop and flush whatever we
8737                      * have output so far into the EXACTish node that was being
8738                      * built.  Then restore the input pointer to what it was.
8739                      * regatom will return that EXACT node, and will be called
8740                      * again, positioned so the first character is the one in
8741                      * question, which we return in a different node type.
8742                      * The multi-char folds are a sequence, so the occurrence
8743                      * of the first character in that sequence doesn't
8744                      * necessarily mean that what follows is the rest of the
8745                      * sequence.  We keep track of that with a state machine,
8746                      * with the state being set to the latest character
8747                      * processed before the current one.  Most characters will
8748                      * set the state to 0, but if one occurs that is part of a
8749                      * potential tricky fold sequence, the state is set to that
8750                      * character, and the next loop iteration sees if the state
8751                      * should progress towards the final folded-from character,
8752                      * or if it was a false alarm.  If it turns out to be a
8753                      * false alarm, the character(s) will be output in a new
8754                      * EXACTish node, and join_exact() will later combine them.
8755                      * In the case of the 'ss' sequence, which is more common
8756                      * and more easily checked, some look-ahead is done to
8757                      * save time by ruling-out some false alarms */
8758                     switch (ender) {
8759                         default:
8760                             latest_char_state = generic_char;
8761                             break;
8762                         case 's':
8763                         case 'S':
8764                              if (AT_LEAST_UNI_SEMANTICS) {
8765                                 if (latest_char_state == char_s) {  /* 'ss' */
8766                                     ender = LATIN_SMALL_LETTER_SHARP_S;
8767                                     goto do_tricky;
8768                                 }
8769                                 else if (p < RExC_end) {
8770
8771                                     /* Look-ahead at the next character.  If it
8772                                      * is also an s, we handle as a sharp s
8773                                      * tricky regnode.  */
8774                                     if (*p == 's' || *p == 'S') {
8775
8776                                         /* But first flush anything in the
8777                                          * EXACTish buffer */
8778                                         if (len != 0) {
8779                                             p = oldp;
8780                                             goto loopdone;
8781                                         }
8782                                         p++;    /* Account for swallowing this
8783                                                    's' up */
8784                                         ender = LATIN_SMALL_LETTER_SHARP_S;
8785                                         goto do_tricky;
8786                                     }
8787                                         /* Here, the next character is not a
8788                                          * literal 's', but still could
8789                                          * evaluate to one if part of a \o{},
8790                                          * \x or \OCTAL-DIGIT.  The minimum
8791                                          * length required for that is 4, eg
8792                                          * \x53 or \123 */
8793                                     else if (*p == '\\'
8794                                              && p < RExC_end - 4
8795                                              && (isDIGIT(*(p + 1))
8796                                                  || *(p + 1) == 'x'
8797                                                  || *(p + 1) == 'o' ))
8798                                     {
8799
8800                                         /* Here, it could be an 's', too much
8801                                          * bother to figure it out here.  Flush
8802                                          * the buffer if any; when come back
8803                                          * here, set the state so know that the
8804                                          * previous char was an 's' */
8805                                         if (len != 0) {
8806                                             latest_char_state = generic_char;
8807                                             p = oldp;
8808                                             goto loopdone;
8809                                         }
8810                                         latest_char_state = char_s;
8811                                         break;
8812                                     }
8813                                 }
8814                             }
8815
8816                             /* Here, can't be an 'ss' sequence, or at least not
8817                              * one that could fold to/from the sharp ss */
8818                             latest_char_state = generic_char;
8819                             break;
8820                         case 0x03C5:    /* First char in upsilon series */
8821                             if (p < RExC_end - 4) { /* Need >= 4 bytes left */
8822                                 latest_char_state = upsilon_1;
8823                                 if (len != 0) {
8824                                     p = oldp;
8825                                     goto loopdone;
8826                                 }
8827                             }
8828                             else {
8829                                 latest_char_state = generic_char;
8830                             }
8831                             break;
8832                         case 0x03B9:    /* First char in iota series */
8833                             if (p < RExC_end - 4) {
8834                                 latest_char_state = iota_1;
8835                                 if (len != 0) {
8836                                     p = oldp;
8837                                     goto loopdone;
8838                                 }
8839                             }
8840                             else {
8841                                 latest_char_state = generic_char;
8842                             }
8843                             break;
8844                         case 0x0308:
8845                             if (latest_char_state == upsilon_1) {
8846                                 latest_char_state = upsilon_2;
8847                             }
8848                             else if (latest_char_state == iota_1) {
8849                                 latest_char_state = iota_2;
8850                             }
8851                             else {
8852                                 latest_char_state = generic_char;
8853                             }
8854                             break;
8855                         case 0x301:
8856                             if (latest_char_state == upsilon_2) {
8857                                 ender = GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS;
8858                                 goto do_tricky;
8859                             }
8860                             else if (latest_char_state == iota_2) {
8861                                 ender = GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS;
8862                                 goto do_tricky;
8863                             }
8864                             latest_char_state = generic_char;
8865                             break;
8866
8867                         /* These are the tricky fold characters.  Flush any
8868                          * buffer first. */
8869                         case GREEK_SMALL_LETTER_UPSILON_WITH_DIALYTIKA_AND_TONOS:
8870                         case GREEK_SMALL_LETTER_IOTA_WITH_DIALYTIKA_AND_TONOS:
8871                         case LATIN_SMALL_LETTER_SHARP_S:
8872                         case LATIN_CAPITAL_LETTER_SHARP_S:
8873                         case 0x1FD3:
8874                         case 0x1FE3:
8875                             if (len != 0) {
8876                                 p = oldp;
8877                                 goto loopdone;
8878                             }
8879                             /* FALL THROUGH */
8880                         do_tricky: {
8881                             char* const oldregxend = RExC_end;
8882                             U8 tmpbuf[UTF8_MAXBYTES+1];
8883
8884                             /* Here, we know we need to generate a special
8885                              * regnode, and 'ender' contains the tricky
8886                              * character.  What's done is to pretend it's in a
8887                              * [bracketed] class, and let the code that deals
8888                              * with those handle it, as that code has all the
8889                              * intelligence necessary.  First save the current
8890                              * parse state, get rid of the already allocated
8891                              * but empty EXACT node that the ANYOFV node will
8892                              * replace, and point the parse to a buffer which
8893                              * we fill with the character we want the regclass
8894                              * code to think is being parsed */
8895                             RExC_emit = orig_emit;
8896                             RExC_parse = (char *) tmpbuf;
8897                             if (UTF) {
8898                                 U8 *d = uvchr_to_utf8(tmpbuf, ender);
8899                                 *d = '\0';
8900                                 RExC_end = (char *) d;
8901                             }
8902                             else {  /* ender above 255 already excluded */
8903                                 tmpbuf[0] = (U8) ender;
8904                                 tmpbuf[1] = '\0';
8905                                 RExC_end = RExC_parse + 1;
8906                             }
8907
8908                             ret = regclass(pRExC_state,depth+1);
8909
8910                             /* Here, have parsed the buffer.  Reset the parse to
8911                              * the actual input, and return */
8912                             RExC_end = oldregxend;
8913                             RExC_parse = p - 1;
8914
8915                             Set_Node_Offset(ret, RExC_parse);
8916                             Set_Node_Cur_Length(ret);
8917                             nextchar(pRExC_state);
8918                             *flagp |= HASWIDTH|SIMPLE;
8919                             return ret;
8920                         }
8921                     }
8922                 }
8923
8924                 if ( RExC_flags & RXf_PMf_EXTENDED)
8925                     p = regwhite( pRExC_state, p );
8926                 if (UTF && FOLD) {
8927                     /* Prime the casefolded buffer.  Locale rules, which apply
8928                      * only to code points < 256, aren't known until execution,
8929                      * so for them, just output the original character using
8930                      * utf8 */
8931                     if (LOC && ender < 256) {
8932                         if (UNI_IS_INVARIANT(ender)) {
8933                             *tmpbuf = (U8) ender;
8934                             foldlen = 1;
8935                         } else {
8936                             *tmpbuf = UTF8_TWO_BYTE_HI(ender);
8937                             *(tmpbuf + 1) = UTF8_TWO_BYTE_LO(ender);
8938                             foldlen = 2;
8939                         }
8940                     }
8941                     else if (isASCII(ender)) {  /* Note: Here can't also be LOC
8942                                                  */
8943                         ender = toLOWER(ender);
8944                         *tmpbuf = (U8) ender;
8945                         foldlen = 1;
8946                     }
8947                     else if (! MORE_ASCII_RESTRICTED && ! LOC) {
8948
8949                         /* Locale and /aa require more selectivity about the
8950                          * fold, so are handled below.  Otherwise, here, just
8951                          * use the fold */
8952                         ender = toFOLD_uni(ender, tmpbuf, &foldlen);
8953                     }
8954                     else {
8955                         /* Under locale rules or /aa we are not to mix,
8956                          * respectively, ords < 256 or ASCII with non-.  So
8957                          * reject folds that mix them, using only the
8958                          * non-folded code point.  So do the fold to a
8959                          * temporary, and inspect each character in it. */
8960                         U8 trialbuf[UTF8_MAXBYTES_CASE+1];
8961                         U8* s = trialbuf;
8962                         UV tmpender = toFOLD_uni(ender, trialbuf, &foldlen);
8963                         U8* e = s + foldlen;
8964                         bool fold_ok = TRUE;
8965
8966                         while (s < e) {
8967                             if (isASCII(*s)
8968                                 || (LOC && (UTF8_IS_INVARIANT(*s)
8969                                            || UTF8_IS_DOWNGRADEABLE_START(*s))))
8970                             {
8971                                 fold_ok = FALSE;
8972                                 break;
8973                             }
8974                             s += UTF8SKIP(s);
8975                         }
8976                         if (fold_ok) {
8977                             Copy(trialbuf, tmpbuf, foldlen, U8);
8978                             ender = tmpender;
8979                         }
8980                         else {
8981                             uvuni_to_utf8(tmpbuf, ender);
8982                             foldlen = UNISKIP(ender);
8983                         }
8984                     }
8985                 }
8986                 if (p < RExC_end && ISMULT2(p)) { /* Back off on ?+*. */
8987                     if (len)
8988                         p = oldp;
8989                     else if (UTF) {
8990                          if (FOLD) {
8991                               /* Emit all the Unicode characters. */
8992                               STRLEN numlen;
8993                               for (foldbuf = tmpbuf;
8994                                    foldlen;
8995                                    foldlen -= numlen) {
8996                                    ender = utf8_to_uvchr(foldbuf, &numlen);
8997                                    if (numlen > 0) {
8998                                         const STRLEN unilen = reguni(pRExC_state, ender, s);
8999                                         s       += unilen;
9000                                         len     += unilen;
9001                                         /* In EBCDIC the numlen
9002                                          * and unilen can differ. */
9003                                         foldbuf += numlen;
9004                                         if (numlen >= foldlen)
9005                                              break;
9006                                    }
9007                                    else
9008                                         break; /* "Can't happen." */
9009                               }
9010                          }
9011                          else {
9012                               const STRLEN unilen = reguni(pRExC_state, ender, s);
9013                               if (unilen > 0) {
9014                                    s   += unilen;
9015                                    len += unilen;
9016                               }
9017                          }
9018                     }
9019                     else {
9020                         len++;
9021                         REGC((char)ender, s++);
9022                     }
9023                     break;
9024                 }
9025                 if (UTF) {
9026                      if (FOLD) {
9027                           /* Emit all the Unicode characters. */
9028                           STRLEN numlen;
9029                           for (foldbuf = tmpbuf;
9030                                foldlen;
9031                                foldlen -= numlen) {
9032                                ender = utf8_to_uvchr(foldbuf, &numlen);
9033                                if (numlen > 0) {
9034                                     const STRLEN unilen = reguni(pRExC_state, ender, s);
9035                                     len     += unilen;
9036                                     s       += unilen;
9037                                     /* In EBCDIC the numlen
9038                                      * and unilen can differ. */
9039                                     foldbuf += numlen;
9040                                     if (numlen >= foldlen)
9041                                          break;
9042                                }
9043                                else
9044                                     break;
9045                           }
9046                      }
9047                      else {
9048                           const STRLEN unilen = reguni(pRExC_state, ender, s);
9049                           if (unilen > 0) {
9050                                s   += unilen;
9051                                len += unilen;
9052                           }
9053                      }
9054                      len--;
9055                 }
9056                 else {
9057                     REGC((char)ender, s++);
9058                 }
9059             }
9060         loopdone:   /* Jumped to when encounters something that shouldn't be in
9061                        the node */
9062             RExC_parse = p - 1;
9063             Set_Node_Cur_Length(ret); /* MJD */
9064             nextchar(pRExC_state);
9065             {
9066                 /* len is STRLEN which is unsigned, need to copy to signed */
9067                 IV iv = len;
9068                 if (iv < 0)
9069                     vFAIL("Internal disaster");
9070             }
9071             if (len > 0)
9072                 *flagp |= HASWIDTH;
9073             if (len == 1 && UNI_IS_INVARIANT(ender))
9074                 *flagp |= SIMPLE;
9075                 
9076             if (SIZE_ONLY)
9077                 RExC_size += STR_SZ(len);
9078             else {
9079                 STR_LEN(ret) = len;
9080                 RExC_emit += STR_SZ(len);
9081             }
9082         }
9083         break;
9084     }
9085
9086     return(ret);
9087
9088 /* Jumped to when an unrecognized character set is encountered */
9089 bad_charset:
9090     Perl_croak(aTHX_ "panic: Unknown regex character set encoding: %u", get_regex_charset(RExC_flags));
9091     return(NULL);
9092 }
9093
9094 STATIC char *
9095 S_regwhite( RExC_state_t *pRExC_state, char *p )
9096 {
9097     const char *e = RExC_end;
9098
9099     PERL_ARGS_ASSERT_REGWHITE;
9100
9101     while (p < e) {
9102         if (isSPACE(*p))
9103             ++p;
9104         else if (*p == '#') {
9105             bool ended = 0;
9106             do {
9107                 if (*p++ == '\n') {
9108                     ended = 1;
9109                     break;
9110                 }
9111             } while (p < e);
9112             if (!ended)
9113                 RExC_seen |= REG_SEEN_RUN_ON_COMMENT;
9114         }
9115         else
9116             break;
9117     }
9118     return p;
9119 }
9120
9121 /* Parse POSIX character classes: [[:foo:]], [[=foo=]], [[.foo.]].
9122    Character classes ([:foo:]) can also be negated ([:^foo:]).
9123    Returns a named class id (ANYOF_XXX) if successful, -1 otherwise.
9124    Equivalence classes ([=foo=]) and composites ([.foo.]) are parsed,
9125    but trigger failures because they are currently unimplemented. */
9126
9127 #define POSIXCC_DONE(c)   ((c) == ':')
9128 #define POSIXCC_NOTYET(c) ((c) == '=' || (c) == '.')
9129 #define POSIXCC(c) (POSIXCC_DONE(c) || POSIXCC_NOTYET(c))
9130
9131 STATIC I32
9132 S_regpposixcc(pTHX_ RExC_state_t *pRExC_state, I32 value)
9133 {
9134     dVAR;
9135     I32 namedclass = OOB_NAMEDCLASS;
9136
9137     PERL_ARGS_ASSERT_REGPPOSIXCC;
9138
9139     if (value == '[' && RExC_parse + 1 < RExC_end &&
9140         /* I smell either [: or [= or [. -- POSIX has been here, right? */
9141         POSIXCC(UCHARAT(RExC_parse))) {
9142         const char c = UCHARAT(RExC_parse);
9143         char* const s = RExC_parse++;
9144         
9145         while (RExC_parse < RExC_end && UCHARAT(RExC_parse) != c)
9146             RExC_parse++;
9147         if (RExC_parse == RExC_end)
9148             /* Grandfather lone [:, [=, [. */
9149             RExC_parse = s;
9150         else {
9151             const char* const t = RExC_parse++; /* skip over the c */
9152             assert(*t == c);
9153
9154             if (UCHARAT(RExC_parse) == ']') {
9155                 const char *posixcc = s + 1;
9156                 RExC_parse++; /* skip over the ending ] */
9157
9158                 if (*s == ':') {
9159                     const I32 complement = *posixcc == '^' ? *posixcc++ : 0;
9160                     const I32 skip = t - posixcc;
9161
9162                     /* Initially switch on the length of the name.  */
9163                     switch (skip) {
9164                     case 4:
9165                         if (memEQ(posixcc, "word", 4)) /* this is not POSIX, this is the Perl \w */
9166                             namedclass = complement ? ANYOF_NALNUM : ANYOF_ALNUM;
9167                         break;
9168                     case 5:
9169                         /* Names all of length 5.  */
9170                         /* alnum alpha ascii blank cntrl digit graph lower
9171                            print punct space upper  */
9172                         /* Offset 4 gives the best switch position.  */
9173                         switch (posixcc[4]) {
9174                         case 'a':
9175                             if (memEQ(posixcc, "alph", 4)) /* alpha */
9176                                 namedclass = complement ? ANYOF_NALPHA : ANYOF_ALPHA;
9177                             break;
9178                         case 'e':
9179                             if (memEQ(posixcc, "spac", 4)) /* space */
9180                                 namedclass = complement ? ANYOF_NPSXSPC : ANYOF_PSXSPC;
9181                             break;
9182                         case 'h':
9183                             if (memEQ(posixcc, "grap", 4)) /* graph */
9184                                 namedclass = complement ? ANYOF_NGRAPH : ANYOF_GRAPH;
9185                             break;
9186                         case 'i':
9187                             if (memEQ(posixcc, "asci", 4)) /* ascii */
9188                                 namedclass = complement ? ANYOF_NASCII : ANYOF_ASCII;
9189                             break;
9190                         case 'k':
9191                             if (memEQ(posixcc, "blan", 4)) /* blank */
9192                                 namedclass = complement ? ANYOF_NBLANK : ANYOF_BLANK;
9193                             break;
9194                         case 'l':
9195                             if (memEQ(posixcc, "cntr", 4)) /* cntrl */
9196                                 namedclass = complement ? ANYOF_NCNTRL : ANYOF_CNTRL;
9197                             break;
9198                         case 'm':
9199                             if (memEQ(posixcc, "alnu", 4)) /* alnum */
9200                                 namedclass = complement ? ANYOF_NALNUMC : ANYOF_ALNUMC;
9201                             break;
9202                         case 'r':
9203                             if (memEQ(posixcc, "lowe", 4)) /* lower */
9204                                 namedclass = complement ? ANYOF_NLOWER : ANYOF_LOWER;
9205                             else if (memEQ(posixcc, "uppe", 4)) /* upper */
9206                                 namedclass = complement ? ANYOF_NUPPER : ANYOF_UPPER;
9207                             break;
9208                         case 't':
9209                             if (memEQ(posixcc, "digi", 4)) /* digit */
9210                                 namedclass = complement ? ANYOF_NDIGIT : ANYOF_DIGIT;
9211                             else if (memEQ(posixcc, "prin", 4)) /* print */
9212                                 namedclass = complement ? ANYOF_NPRINT : ANYOF_PRINT;
9213                             else if (memEQ(posixcc, "punc", 4)) /* punct */
9214                                 namedclass = complement ? ANYOF_NPUNCT : ANYOF_PUNCT;
9215                             break;
9216                         }
9217                         break;
9218                     case 6:
9219                         if (memEQ(posixcc, "xdigit", 6))
9220                             namedclass = complement ? ANYOF_NXDIGIT : ANYOF_XDIGIT;
9221                         break;
9222                     }
9223
9224                     if (namedclass == OOB_NAMEDCLASS)
9225                         Simple_vFAIL3("POSIX class [:%.*s:] unknown",
9226                                       t - s - 1, s + 1);
9227                     assert (posixcc[skip] == ':');
9228                     assert (posixcc[skip+1] == ']');
9229                 } else if (!SIZE_ONLY) {
9230                     /* [[=foo=]] and [[.foo.]] are still future. */
9231
9232                     /* adjust RExC_parse so the warning shows after
9233                        the class closes */
9234                     while (UCHARAT(RExC_parse) && UCHARAT(RExC_parse) != ']')
9235                         RExC_parse++;
9236                     Simple_vFAIL3("POSIX syntax [%c %c] is reserved for future extensions", c, c);
9237                 }
9238             } else {
9239                 /* Maternal grandfather:
9240                  * "[:" ending in ":" but not in ":]" */
9241                 RExC_parse = s;
9242             }
9243         }
9244     }
9245
9246     return namedclass;
9247 }
9248
9249 STATIC void
9250 S_checkposixcc(pTHX_ RExC_state_t *pRExC_state)
9251 {
9252     dVAR;
9253
9254     PERL_ARGS_ASSERT_CHECKPOSIXCC;
9255
9256     if (POSIXCC(UCHARAT(RExC_parse))) {
9257         const char *s = RExC_parse;
9258         const char  c = *s++;
9259
9260         while (isALNUM(*s))
9261             s++;
9262         if (*s && c == *s && s[1] == ']') {
9263             ckWARN3reg(s+2,
9264                        "POSIX syntax [%c %c] belongs inside character classes",
9265                        c, c);
9266
9267             /* [[=foo=]] and [[.foo.]] are still future. */
9268             if (POSIXCC_NOTYET(c)) {
9269                 /* adjust RExC_parse so the error shows after
9270                    the class closes */
9271                 while (UCHARAT(RExC_parse) && UCHARAT(RExC_parse++) != ']')
9272                     NOOP;
9273                 Simple_vFAIL3("POSIX syntax [%c %c] is reserved for future extensions", c, c);
9274             }
9275         }
9276     }
9277 }
9278
9279 /* No locale test, and always Unicode semantics */
9280 #define _C_C_T_NOLOC_(NAME,TEST,WORD)                                          \
9281 ANYOF_##NAME:                                                                  \
9282         for (value = 0; value < 256; value++)                                  \
9283             if (TEST)                                                          \
9284             stored += set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9285     yesno = '+';                                                               \
9286     what = WORD;                                                               \
9287     break;                                                                     \
9288 case ANYOF_N##NAME:                                                            \
9289         for (value = 0; value < 256; value++)                                  \
9290             if (!TEST)                                                         \
9291             stored += set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9292     yesno = '!';                                                               \
9293     what = WORD;                                                               \
9294     break
9295
9296 /* Like the above, but there are differences if we are in uni-8-bit or not, so
9297  * there are two tests passed in, to use depending on that. There aren't any
9298  * cases where the label is different from the name, so no need for that
9299  * parameter */
9300 #define _C_C_T_(NAME, TEST_8, TEST_7, WORD)                                    \
9301 ANYOF_##NAME:                                                                  \
9302     if (LOC) ANYOF_CLASS_SET(ret, ANYOF_##NAME);                               \
9303     else if (UNI_SEMANTICS) {                                                  \
9304         for (value = 0; value < 256; value++) {                                \
9305             if (TEST_8(value)) stored +=                                       \
9306                       set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);  \
9307         }                                                                      \
9308     }                                                                          \
9309     else {                                                                     \
9310         for (value = 0; value < 128; value++) {                                \
9311             if (TEST_7(UNI_TO_NATIVE(value))) stored +=                        \
9312                 set_regclass_bit(pRExC_state, ret,                     \
9313                                    (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);                 \
9314         }                                                                      \
9315     }                                                                          \
9316     yesno = '+';                                                               \
9317     what = WORD;                                                               \
9318     break;                                                                     \
9319 case ANYOF_N##NAME:                                                            \
9320     if (LOC) ANYOF_CLASS_SET(ret, ANYOF_N##NAME);                              \
9321     else if (UNI_SEMANTICS) {                                                  \
9322         for (value = 0; value < 256; value++) {                                \
9323             if (! TEST_8(value)) stored +=                                     \
9324                     set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);    \
9325         }                                                                      \
9326     }                                                                          \
9327     else {                                                                     \
9328         for (value = 0; value < 128; value++) {                                \
9329             if (! TEST_7(UNI_TO_NATIVE(value))) stored += set_regclass_bit(  \
9330                         pRExC_state, ret, (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);    \
9331         }                                                                      \
9332         if (AT_LEAST_ASCII_RESTRICTED) {                                       \
9333             for (value = 128; value < 256; value++) {                          \
9334              stored += set_regclass_bit(                                     \
9335                            pRExC_state, ret, (U8) UNI_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate); \
9336             }                                                                  \
9337             ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;                             \
9338         }                                                                      \
9339         else {                                                                 \
9340             /* For a non-ut8 target string with DEPENDS semantics, all above   \
9341              * ASCII Latin1 code points match the complement of any of the     \
9342              * classes.  But in utf8, they have their Unicode semantics, so    \
9343              * can't just set them in the bitmap, or else regexec.c will think \
9344              * they matched when they shouldn't. */                            \
9345             ANYOF_FLAGS(ret) |= ANYOF_NON_UTF8_LATIN1_ALL;                     \
9346         }                                                                      \
9347     }                                                                          \
9348     yesno = '!';                                                               \
9349     what = WORD;                                                               \
9350     break
9351
9352 STATIC U8
9353 S_set_regclass_bit_fold(pTHX_ RExC_state_t *pRExC_state, regnode* node, const U8 value, HV** invlist_ptr, AV** alternate_ptr)
9354 {
9355
9356     /* Handle the setting of folds in the bitmap for non-locale ANYOF nodes.
9357      * Locale folding is done at run-time, so this function should not be
9358      * called for nodes that are for locales.
9359      *
9360      * This function sets the bit corresponding to the fold of the input
9361      * 'value', if not already set.  The fold of 'f' is 'F', and the fold of
9362      * 'F' is 'f'.
9363      *
9364      * It also knows about the characters that are in the bitmap that have
9365      * folds that are matchable only outside it, and sets the appropriate lists
9366      * and flags.
9367      *
9368      * It returns the number of bits that actually changed from 0 to 1 */
9369
9370     U8 stored = 0;
9371     U8 fold;
9372
9373     PERL_ARGS_ASSERT_SET_REGCLASS_BIT_FOLD;
9374
9375     fold = (AT_LEAST_UNI_SEMANTICS) ? PL_fold_latin1[value]
9376                                     : PL_fold[value];
9377
9378     /* It assumes the bit for 'value' has already been set */
9379     if (fold != value && ! ANYOF_BITMAP_TEST(node, fold)) {
9380         ANYOF_BITMAP_SET(node, fold);
9381         stored++;
9382     }
9383     if (_HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(value) && (! isASCII(value) || ! MORE_ASCII_RESTRICTED)) {
9384         /* Certain Latin1 characters have matches outside the bitmap.  To get
9385          * here, 'value' is one of those characters.   None of these matches is
9386          * valid for ASCII characters under /aa, which have been excluded by
9387          * the 'if' above.  The matches fall into three categories:
9388          * 1) They are singly folded-to or -from an above 255 character, as
9389          *    LATIN SMALL LETTER Y WITH DIAERESIS and LATIN CAPITAL LETTER Y
9390          *    WITH DIAERESIS;
9391          * 2) They are part of a multi-char fold with another character in the
9392          *    bitmap, only LATIN SMALL LETTER SHARP S => "ss" fits that bill;
9393          * 3) They are part of a multi-char fold with a character not in the
9394          *    bitmap, such as various ligatures.
9395          * We aren't dealing fully with multi-char folds, except we do deal
9396          * with the pattern containing a character that has a multi-char fold
9397          * (not so much the inverse).
9398          * For types 1) and 3), the matches only happen when the target string
9399          * is utf8; that's not true for 2), and we set a flag for it.
9400          *
9401          * The code below adds to the passed in inversion list the single fold
9402          * closures for 'value'.  The values are hard-coded here so that an
9403          * innocent-looking character class, like /[ks]/i won't have to go out
9404          * to disk to find the possible matches.  XXX It would be better to
9405          * generate these via regen, in case a new version of the Unicode
9406          * standard adds new mappings, though that is not really likely. */
9407         switch (value) {
9408             case 'k':
9409             case 'K':
9410                 /* KELVIN SIGN */
9411                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x212A);
9412                 break;
9413             case 's':
9414             case 'S':
9415                 /* LATIN SMALL LETTER LONG S */
9416                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x017F);
9417                 break;
9418             case MICRO_SIGN:
9419                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9420                                                  GREEK_SMALL_LETTER_MU);
9421                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9422                                                  GREEK_CAPITAL_LETTER_MU);
9423                 break;
9424             case LATIN_CAPITAL_LETTER_A_WITH_RING_ABOVE:
9425             case LATIN_SMALL_LETTER_A_WITH_RING_ABOVE:
9426                 /* ANGSTROM SIGN */
9427                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr, 0x212B);
9428                 if (DEPENDS_SEMANTICS) {    /* See DEPENDS comment below */
9429                     *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9430                                                      PL_fold_latin1[value]);
9431                 }
9432                 break;
9433             case LATIN_SMALL_LETTER_Y_WITH_DIAERESIS:
9434                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9435                                         LATIN_CAPITAL_LETTER_Y_WITH_DIAERESIS);
9436                 break;
9437             case LATIN_SMALL_LETTER_SHARP_S:
9438                 *invlist_ptr = add_cp_to_invlist(*invlist_ptr,
9439                                         LATIN_CAPITAL_LETTER_SHARP_S);
9440
9441                 /* Under /a, /d, and /u, this can match the two chars "ss" */
9442                 if (! MORE_ASCII_RESTRICTED) {
9443                     add_alternate(alternate_ptr, (U8 *) "ss", 2);
9444
9445                     /* And under /u or /a, it can match even if the target is
9446                      * not utf8 */
9447                     if (AT_LEAST_UNI_SEMANTICS) {
9448                         ANYOF_FLAGS(node) |= ANYOF_NONBITMAP_NON_UTF8;
9449                     }
9450                 }
9451                 break;
9452             case 'F': case 'f':
9453             case 'I': case 'i':
9454             case 'L': case 'l':
9455             case 'T': case 't':
9456             case 'A': case 'a':
9457             case 'H': case 'h':
9458             case 'J': case 'j':
9459             case 'N': case 'n':
9460             case 'W': case 'w':
9461             case 'Y': case 'y':
9462                 /* These all are targets of multi-character folds from code
9463                  * points that require UTF8 to express, so they can't match
9464                  * unless the target string is in UTF-8, so no action here is
9465                  * necessary, as regexec.c properly handles the general case
9466                  * for UTF-8 matching */
9467                 break;
9468             default:
9469                 /* Use deprecated warning to increase the chances of this
9470                  * being output */
9471                 ckWARN2regdep(RExC_parse, "Perl folding rules are not up-to-date for 0x%x; please use the perlbug utility to report;", value);
9472                 break;
9473         }
9474     }
9475     else if (DEPENDS_SEMANTICS
9476             && ! isASCII(value)
9477             && PL_fold_latin1[value] != value)
9478     {
9479            /* Under DEPENDS rules, non-ASCII Latin1 characters match their
9480             * folds only when the target string is in UTF-8.  We add the fold
9481             * here to the list of things to match outside the bitmap, which
9482             * won't be looked at unless it is UTF8 (or else if something else
9483             * says to look even if not utf8, but those things better not happen
9484             * under DEPENDS semantics. */
9485         *invlist_ptr = add_cp_to_invlist(*invlist_ptr, PL_fold_latin1[value]);
9486     }
9487
9488     return stored;
9489 }
9490
9491
9492 PERL_STATIC_INLINE U8
9493 S_set_regclass_bit(pTHX_ RExC_state_t *pRExC_state, regnode* node, const U8 value, HV** invlist_ptr, AV** alternate_ptr)
9494 {
9495     /* This inline function sets a bit in the bitmap if not already set, and if
9496      * appropriate, its fold, returning the number of bits that actually
9497      * changed from 0 to 1 */
9498
9499     U8 stored;
9500
9501     PERL_ARGS_ASSERT_SET_REGCLASS_BIT;
9502
9503     if (ANYOF_BITMAP_TEST(node, value)) {   /* Already set */
9504         return 0;
9505     }
9506
9507     ANYOF_BITMAP_SET(node, value);
9508     stored = 1;
9509
9510     if (FOLD && ! LOC) {        /* Locale folds aren't known until runtime */
9511         stored += set_regclass_bit_fold(pRExC_state, node, value, invlist_ptr, alternate_ptr);
9512     }
9513
9514     return stored;
9515 }
9516
9517 STATIC void
9518 S_add_alternate(pTHX_ AV** alternate_ptr, U8* string, STRLEN len)
9519 {
9520     /* Adds input 'string' with length 'len' to the ANYOF node's unicode
9521      * alternate list, pointed to by 'alternate_ptr'.  This is an array of
9522      * the multi-character folds of characters in the node */
9523     SV *sv;
9524
9525     PERL_ARGS_ASSERT_ADD_ALTERNATE;
9526
9527     if (! *alternate_ptr) {
9528         *alternate_ptr = newAV();
9529     }
9530     sv = newSVpvn_utf8((char*)string, len, TRUE);
9531     av_push(*alternate_ptr, sv);
9532     return;
9533 }
9534
9535 /*
9536    parse a class specification and produce either an ANYOF node that
9537    matches the pattern or perhaps will be optimized into an EXACTish node
9538    instead. The node contains a bit map for the first 256 characters, with the
9539    corresponding bit set if that character is in the list.  For characters
9540    above 255, a range list is used */
9541
9542 STATIC regnode *
9543 S_regclass(pTHX_ RExC_state_t *pRExC_state, U32 depth)
9544 {
9545     dVAR;
9546     register UV nextvalue;
9547     register IV prevvalue = OOB_UNICODE;
9548     register IV range = 0;
9549     UV value = 0; /* XXX:dmq: needs to be referenceable (unfortunately) */
9550     register regnode *ret;
9551     STRLEN numlen;
9552     IV namedclass;
9553     char *rangebegin = NULL;
9554     bool need_class = 0;
9555     bool allow_full_fold = TRUE;   /* Assume wants multi-char folding */
9556     SV *listsv = NULL;
9557     STRLEN initial_listsv_len = 0; /* Kind of a kludge to see if it is more
9558                                       than just initialized.  */
9559     UV n;
9560
9561     /* code points this node matches that can't be stored in the bitmap */
9562     HV* nonbitmap = NULL;
9563
9564     /* The items that are to match that aren't stored in the bitmap, but are a
9565      * result of things that are stored there.  This is the fold closure of
9566      * such a character, either because it has DEPENDS semantics and shouldn't
9567      * be matched unless the target string is utf8, or is a code point that is
9568      * too large for the bit map, as for example, the fold of the MICRO SIGN is
9569      * above 255.  This all is solely for performance reasons.  By having this
9570      * code know the outside-the-bitmap folds that the bitmapped characters are
9571      * involved with, we don't have to go out to disk to find the list of
9572      * matches, unless the character class includes code points that aren't
9573      * storable in the bit map.  That means that a character class with an 's'
9574      * in it, for example, doesn't need to go out to disk to find everything
9575      * that matches.  A 2nd list is used so that the 'nonbitmap' list is kept
9576      * empty unless there is something whose fold we don't know about, and will
9577      * have to go out to the disk to find. */
9578     HV* l1_fold_invlist = NULL;
9579
9580     /* List of multi-character folds that are matched by this node */
9581     AV* unicode_alternate  = NULL;
9582 #ifdef EBCDIC
9583     UV literal_endpoint = 0;
9584 #endif
9585     UV stored = 0;  /* how many chars stored in the bitmap */
9586
9587     regnode * const orig_emit = RExC_emit; /* Save the original RExC_emit in
9588         case we need to change the emitted regop to an EXACT. */
9589     const char * orig_parse = RExC_parse;
9590     GET_RE_DEBUG_FLAGS_DECL;
9591
9592     PERL_ARGS_ASSERT_REGCLASS;
9593 #ifndef DEBUGGING
9594     PERL_UNUSED_ARG(depth);
9595 #endif
9596
9597     DEBUG_PARSE("clas");
9598
9599     /* Assume we are going to generate an ANYOF node. */
9600     ret = reganode(pRExC_state, ANYOF, 0);
9601
9602
9603     if (!SIZE_ONLY) {
9604         ANYOF_FLAGS(ret) = 0;
9605     }
9606
9607     if (UCHARAT(RExC_parse) == '^') {   /* Complement of range. */
9608         RExC_naughty++;
9609         RExC_parse++;
9610         if (!SIZE_ONLY)
9611             ANYOF_FLAGS(ret) |= ANYOF_INVERT;
9612
9613         /* We have decided to not allow multi-char folds in inverted character
9614          * classes, due to the confusion that can happen, even with classes
9615          * that are designed for a non-Unicode world:  You have the peculiar
9616          * case that:
9617             "s s" =~ /^[^\xDF]+$/i => Y
9618             "ss"  =~ /^[^\xDF]+$/i => N
9619          *
9620          * See [perl #89750] */
9621         allow_full_fold = FALSE;
9622     }
9623
9624     if (SIZE_ONLY) {
9625         RExC_size += ANYOF_SKIP;
9626         listsv = &PL_sv_undef; /* For code scanners: listsv always non-NULL. */
9627     }
9628     else {
9629         RExC_emit += ANYOF_SKIP;
9630         if (LOC) {
9631             ANYOF_FLAGS(ret) |= ANYOF_LOCALE;
9632         }
9633         ANYOF_BITMAP_ZERO(ret);
9634         listsv = newSVpvs("# comment\n");
9635         initial_listsv_len = SvCUR(listsv);
9636     }
9637
9638     nextvalue = RExC_parse < RExC_end ? UCHARAT(RExC_parse) : 0;
9639
9640     if (!SIZE_ONLY && POSIXCC(nextvalue))
9641         checkposixcc(pRExC_state);
9642
9643     /* allow 1st char to be ] (allowing it to be - is dealt with later) */
9644     if (UCHARAT(RExC_parse) == ']')
9645         goto charclassloop;
9646
9647 parseit:
9648     while (RExC_parse < RExC_end && UCHARAT(RExC_parse) != ']') {
9649
9650     charclassloop:
9651
9652         namedclass = OOB_NAMEDCLASS; /* initialize as illegal */
9653
9654         if (!range)
9655             rangebegin = RExC_parse;
9656         if (UTF) {
9657             value = utf8n_to_uvchr((U8*)RExC_parse,
9658                                    RExC_end - RExC_parse,
9659                                    &numlen, UTF8_ALLOW_DEFAULT);
9660             RExC_parse += numlen;
9661         }
9662         else
9663             value = UCHARAT(RExC_parse++);
9664
9665         nextvalue = RExC_parse < RExC_end ? UCHARAT(RExC_parse) : 0;
9666         if (value == '[' && POSIXCC(nextvalue))
9667             namedclass = regpposixcc(pRExC_state, value);
9668         else if (value == '\\') {
9669             if (UTF) {
9670                 value = utf8n_to_uvchr((U8*)RExC_parse,
9671                                    RExC_end - RExC_parse,
9672                                    &numlen, UTF8_ALLOW_DEFAULT);
9673                 RExC_parse += numlen;
9674             }
9675             else
9676                 value = UCHARAT(RExC_parse++);
9677             /* Some compilers cannot handle switching on 64-bit integer
9678              * values, therefore value cannot be an UV.  Yes, this will
9679              * be a problem later if we want switch on Unicode.
9680              * A similar issue a little bit later when switching on
9681              * namedclass. --jhi */
9682             switch ((I32)value) {
9683             case 'w':   namedclass = ANYOF_ALNUM;       break;
9684             case 'W':   namedclass = ANYOF_NALNUM;      break;
9685             case 's':   namedclass = ANYOF_SPACE;       break;
9686             case 'S':   namedclass = ANYOF_NSPACE;      break;
9687             case 'd':   namedclass = ANYOF_DIGIT;       break;
9688             case 'D':   namedclass = ANYOF_NDIGIT;      break;
9689             case 'v':   namedclass = ANYOF_VERTWS;      break;
9690             case 'V':   namedclass = ANYOF_NVERTWS;     break;
9691             case 'h':   namedclass = ANYOF_HORIZWS;     break;
9692             case 'H':   namedclass = ANYOF_NHORIZWS;    break;
9693             case 'N':  /* Handle \N{NAME} in class */
9694                 {
9695                     /* We only pay attention to the first char of 
9696                     multichar strings being returned. I kinda wonder
9697                     if this makes sense as it does change the behaviour
9698                     from earlier versions, OTOH that behaviour was broken
9699                     as well. */
9700                     UV v; /* value is register so we cant & it /grrr */
9701                     if (reg_namedseq(pRExC_state, &v, NULL, depth)) {
9702                         goto parseit;
9703                     }
9704                     value= v; 
9705                 }
9706                 break;
9707             case 'p':
9708             case 'P':
9709                 {
9710                 char *e;
9711                 if (RExC_parse >= RExC_end)
9712                     vFAIL2("Empty \\%c{}", (U8)value);
9713                 if (*RExC_parse == '{') {
9714                     const U8 c = (U8)value;
9715                     e = strchr(RExC_parse++, '}');
9716                     if (!e)
9717                         vFAIL2("Missing right brace on \\%c{}", c);
9718                     while (isSPACE(UCHARAT(RExC_parse)))
9719                         RExC_parse++;
9720                     if (e == RExC_parse)
9721                         vFAIL2("Empty \\%c{}", c);
9722                     n = e - RExC_parse;
9723                     while (isSPACE(UCHARAT(RExC_parse + n - 1)))
9724                         n--;
9725                 }
9726                 else {
9727                     e = RExC_parse;
9728                     n = 1;
9729                 }
9730                 if (!SIZE_ONLY) {
9731                     if (UCHARAT(RExC_parse) == '^') {
9732                          RExC_parse++;
9733                          n--;
9734                          value = value == 'p' ? 'P' : 'p'; /* toggle */
9735                          while (isSPACE(UCHARAT(RExC_parse))) {
9736                               RExC_parse++;
9737                               n--;
9738                          }
9739                     }
9740
9741                     /* Add the property name to the list.  If /i matching, give
9742                      * a different name which consists of the normal name
9743                      * sandwiched between two underscores and '_i'.  The design
9744                      * is discussed in the commit message for this. */
9745                     Perl_sv_catpvf(aTHX_ listsv, "%cutf8::%s%.*s%s\n",
9746                                         (value=='p' ? '+' : '!'),
9747                                         (FOLD) ? "__" : "",
9748                                         (int)n,
9749                                         RExC_parse,
9750                                         (FOLD) ? "_i" : ""
9751                                     );
9752                 }
9753                 RExC_parse = e + 1;
9754
9755                 /* The \p could match something in the Latin1 range, hence
9756                  * something that isn't utf8 */
9757                 ANYOF_FLAGS(ret) |= ANYOF_NONBITMAP_NON_UTF8;
9758                 namedclass = ANYOF_MAX;  /* no official name, but it's named */
9759
9760                 /* \p means they want Unicode semantics */
9761                 RExC_uni_semantics = 1;
9762                 }
9763                 break;
9764             case 'n':   value = '\n';                   break;
9765             case 'r':   value = '\r';                   break;
9766             case 't':   value = '\t';                   break;
9767             case 'f':   value = '\f';                   break;
9768             case 'b':   value = '\b';                   break;
9769             case 'e':   value = ASCII_TO_NATIVE('\033');break;
9770             case 'a':   value = ASCII_TO_NATIVE('\007');break;
9771             case 'o':
9772                 RExC_parse--;   /* function expects to be pointed at the 'o' */
9773                 {
9774                     const char* error_msg;
9775                     bool valid = grok_bslash_o(RExC_parse,
9776                                                &value,
9777                                                &numlen,
9778                                                &error_msg,
9779                                                SIZE_ONLY);
9780                     RExC_parse += numlen;
9781                     if (! valid) {
9782                         vFAIL(error_msg);
9783                     }
9784                 }
9785                 if (PL_encoding && value < 0x100) {
9786                     goto recode_encoding;
9787                 }
9788                 break;
9789             case 'x':
9790                 if (*RExC_parse == '{') {
9791                     I32 flags = PERL_SCAN_ALLOW_UNDERSCORES
9792                         | PERL_SCAN_DISALLOW_PREFIX;
9793                     char * const e = strchr(RExC_parse++, '}');
9794                     if (!e)
9795                         vFAIL("Missing right brace on \\x{}");
9796
9797                     numlen = e - RExC_parse;
9798                     value = grok_hex(RExC_parse, &numlen, &flags, NULL);
9799                     RExC_parse = e + 1;
9800                 }
9801                 else {
9802                     I32 flags = PERL_SCAN_DISALLOW_PREFIX;
9803                     numlen = 2;
9804                     value = grok_hex(RExC_parse, &numlen, &flags, NULL);
9805                     RExC_parse += numlen;
9806                 }
9807                 if (PL_encoding && value < 0x100)
9808                     goto recode_encoding;
9809                 break;
9810             case 'c':
9811                 value = grok_bslash_c(*RExC_parse++, UTF, SIZE_ONLY);
9812                 break;
9813             case '0': case '1': case '2': case '3': case '4':
9814             case '5': case '6': case '7':
9815                 {
9816                     /* Take 1-3 octal digits */
9817                     I32 flags = PERL_SCAN_SILENT_ILLDIGIT;
9818                     numlen = 3;
9819                     value = grok_oct(--RExC_parse, &numlen, &flags, NULL);
9820                     RExC_parse += numlen;
9821                     if (PL_encoding && value < 0x100)
9822                         goto recode_encoding;
9823                     break;
9824                 }
9825             recode_encoding:
9826                 if (! RExC_override_recoding) {
9827                     SV* enc = PL_encoding;
9828                     value = reg_recode((const char)(U8)value, &enc);
9829                     if (!enc && SIZE_ONLY)
9830                         ckWARNreg(RExC_parse,
9831                                   "Invalid escape in the specified encoding");
9832                     break;
9833                 }
9834             default:
9835                 /* Allow \_ to not give an error */
9836                 if (!SIZE_ONLY && isALNUM(value) && value != '_') {
9837                     ckWARN2reg(RExC_parse,
9838                                "Unrecognized escape \\%c in character class passed through",
9839                                (int)value);
9840                 }
9841                 break;
9842             }
9843         } /* end of \blah */
9844 #ifdef EBCDIC
9845         else
9846             literal_endpoint++;
9847 #endif
9848
9849         if (namedclass > OOB_NAMEDCLASS) { /* this is a named class \blah */
9850
9851             /* What matches in a locale is not known until runtime, so need to
9852              * (one time per class) allocate extra space to pass to regexec.
9853              * The space will contain a bit for each named class that is to be
9854              * matched against.  This isn't needed for \p{} and pseudo-classes,
9855              * as they are not affected by locale, and hence are dealt with
9856              * separately */
9857             if (LOC && namedclass < ANYOF_MAX && ! need_class) {
9858                 need_class = 1;
9859                 if (SIZE_ONLY) {
9860                     RExC_size += ANYOF_CLASS_SKIP - ANYOF_SKIP;
9861                 }
9862                 else {
9863                     RExC_emit += ANYOF_CLASS_SKIP - ANYOF_SKIP;
9864                     ANYOF_CLASS_ZERO(ret);
9865                 }
9866                 ANYOF_FLAGS(ret) |= ANYOF_CLASS;
9867             }
9868
9869             /* a bad range like a-\d, a-[:digit:].  The '-' is taken as a
9870              * literal, as is the character that began the false range, i.e.
9871              * the 'a' in the examples */
9872             if (range) {
9873                 if (!SIZE_ONLY) {
9874                     const int w =
9875                         RExC_parse >= rangebegin ?
9876                         RExC_parse - rangebegin : 0;
9877                     ckWARN4reg(RExC_parse,
9878                                "False [] range \"%*.*s\"",
9879                                w, w, rangebegin);
9880
9881                     stored +=
9882                          set_regclass_bit(pRExC_state, ret, '-', &l1_fold_invlist, &unicode_alternate);
9883                     if (prevvalue < 256) {
9884                         stored +=
9885                          set_regclass_bit(pRExC_state, ret, (U8) prevvalue, &l1_fold_invlist, &unicode_alternate);
9886                     }
9887                     else {
9888                         nonbitmap = add_cp_to_invlist(nonbitmap, prevvalue);
9889                     }
9890                 }
9891
9892                 range = 0; /* this was not a true range */
9893             }
9894
9895
9896     
9897             if (!SIZE_ONLY) {
9898                 const char *what = NULL;
9899                 char yesno = 0;
9900
9901                 /* Possible truncation here but in some 64-bit environments
9902                  * the compiler gets heartburn about switch on 64-bit values.
9903                  * A similar issue a little earlier when switching on value.
9904                  * --jhi */
9905                 switch ((I32)namedclass) {
9906                 
9907                 case _C_C_T_(ALNUMC, isALNUMC_L1, isALNUMC, "XPosixAlnum");
9908                 case _C_C_T_(ALPHA, isALPHA_L1, isALPHA, "XPosixAlpha");
9909                 case _C_C_T_(BLANK, isBLANK_L1, isBLANK, "XPosixBlank");
9910                 case _C_C_T_(CNTRL, isCNTRL_L1, isCNTRL, "XPosixCntrl");
9911                 case _C_C_T_(GRAPH, isGRAPH_L1, isGRAPH, "XPosixGraph");
9912                 case _C_C_T_(LOWER, isLOWER_L1, isLOWER, "XPosixLower");
9913                 case _C_C_T_(PRINT, isPRINT_L1, isPRINT, "XPosixPrint");
9914                 case _C_C_T_(PSXSPC, isPSXSPC_L1, isPSXSPC, "XPosixSpace");
9915                 case _C_C_T_(PUNCT, isPUNCT_L1, isPUNCT, "XPosixPunct");
9916                 case _C_C_T_(UPPER, isUPPER_L1, isUPPER, "XPosixUpper");
9917                 /* \s, \w match all unicode if utf8. */
9918                 case _C_C_T_(SPACE, isSPACE_L1, isSPACE, "SpacePerl");
9919                 case _C_C_T_(ALNUM, isWORDCHAR_L1, isALNUM, "Word");
9920                 case _C_C_T_(XDIGIT, isXDIGIT_L1, isXDIGIT, "XPosixXDigit");
9921                 case _C_C_T_NOLOC_(VERTWS, is_VERTWS_latin1(&value), "VertSpace");
9922                 case _C_C_T_NOLOC_(HORIZWS, is_HORIZWS_latin1(&value), "HorizSpace");
9923                 case ANYOF_ASCII:
9924                     if (LOC)
9925                         ANYOF_CLASS_SET(ret, ANYOF_ASCII);
9926                     else {
9927                         for (value = 0; value < 128; value++)
9928                             stored +=
9929                               set_regclass_bit(pRExC_state, ret, (U8) ASCII_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);
9930                     }
9931                     yesno = '+';
9932                     what = NULL;        /* Doesn't match outside ascii, so
9933                                            don't want to add +utf8:: */
9934                     break;
9935                 case ANYOF_NASCII:
9936                     if (LOC)
9937                         ANYOF_CLASS_SET(ret, ANYOF_NASCII);
9938                     else {
9939                         for (value = 128; value < 256; value++)
9940                             stored +=
9941                               set_regclass_bit(pRExC_state, ret, (U8) ASCII_TO_NATIVE(value), &l1_fold_invlist, &unicode_alternate);
9942                     }
9943                     ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;
9944                     yesno = '!';
9945                     what = "ASCII";
9946                     break;              
9947                 case ANYOF_DIGIT:
9948                     if (LOC)
9949                         ANYOF_CLASS_SET(ret, ANYOF_DIGIT);
9950                     else {
9951                         /* consecutive digits assumed */
9952                         for (value = '0'; value <= '9'; value++)
9953                             stored +=
9954                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
9955                     }
9956                     yesno = '+';
9957                     what = "Digit";
9958                     break;
9959                 case ANYOF_NDIGIT:
9960                     if (LOC)
9961                         ANYOF_CLASS_SET(ret, ANYOF_NDIGIT);
9962                     else {
9963                         /* consecutive digits assumed */
9964                         for (value = 0; value < '0'; value++)
9965                             stored +=
9966                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
9967                         for (value = '9' + 1; value < 256; value++)
9968                             stored +=
9969                               set_regclass_bit(pRExC_state, ret, (U8) value, &l1_fold_invlist, &unicode_alternate);
9970                     }
9971                     yesno = '!';
9972                     what = "Digit";
9973                     if (AT_LEAST_ASCII_RESTRICTED ) {
9974                         ANYOF_FLAGS(ret) |= ANYOF_UNICODE_ALL;
9975                     }
9976                     break;              
9977                 case ANYOF_MAX:
9978                     /* this is to handle \p and \P */
9979                     break;
9980                 default:
9981                     vFAIL("Invalid [::] class");
9982                     break;
9983                 }
9984                 if (what && ! (AT_LEAST_ASCII_RESTRICTED)) {
9985                     /* Strings such as "+utf8::isWord\n" */
9986                     Perl_sv_catpvf(aTHX_ listsv, "%cutf8::Is%s\n", yesno, what);
9987                 }
9988
9989                 continue;
9990             }
9991         } /* end of namedclass \blah */
9992
9993         if (range) {
9994             if (prevvalue > (IV)value) /* b-a */ {
9995                 const int w = RExC_parse - rangebegin;
9996                 Simple_vFAIL4("Invalid [] range \"%*.*s\"", w, w, rangebegin);
9997                 range = 0; /* not a valid range */
9998             }
9999         }
10000         else {
10001             prevvalue = value; /* save the beginning of the range */
10002             if (RExC_parse+1 < RExC_end
10003                 && *RExC_parse == '-'
10004                 && RExC_parse[1] != ']')
10005             {
10006                 RExC_parse++;
10007
10008                 /* a bad range like \w-, [:word:]- ? */
10009                 if (namedclass > OOB_NAMEDCLASS) {
10010                     if (ckWARN(WARN_REGEXP)) {
10011                         const int w =
10012                             RExC_parse >= rangebegin ?
10013                             RExC_parse - rangebegin : 0;
10014                         vWARN4(RExC_parse,
10015                                "False [] range \"%*.*s\"",
10016                                w, w, rangebegin);
10017                     }
10018                     if (!SIZE_ONLY)
10019                         stored +=
10020                             set_regclass_bit(pRExC_state, ret, '-', &l1_fold_invlist, &unicode_alternate);
10021                 } else
10022                     range = 1;  /* yeah, it's a range! */
10023                 continue;       /* but do it the next time */
10024             }
10025         }
10026
10027         /* non-Latin1 code point implies unicode semantics.  Must be set in
10028          * pass1 so is there for the whole of pass 2 */
10029         if (value > 255) {
10030             RExC_uni_semantics = 1;
10031         }
10032
10033         /* now is the next time */
10034         if (!SIZE_ONLY) {
10035             if (prevvalue < 256) {
10036                 const IV ceilvalue = value < 256 ? value : 255;
10037                 IV i;
10038 #ifdef EBCDIC
10039                 /* In EBCDIC [\x89-\x91] should include
10040                  * the \x8e but [i-j] should not. */
10041                 if (literal_endpoint == 2 &&
10042                     ((isLOWER(prevvalue) && isLOWER(ceilvalue)) ||
10043                      (isUPPER(prevvalue) && isUPPER(ceilvalue))))
10044                 {
10045                     if (isLOWER(prevvalue)) {
10046                         for (i = prevvalue; i <= ceilvalue; i++)
10047                             if (isLOWER(i) && !ANYOF_BITMAP_TEST(ret,i)) {
10048                                 stored +=
10049                                   set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10050                             }
10051                     } else {
10052                         for (i = prevvalue; i <= ceilvalue; i++)
10053                             if (isUPPER(i) && !ANYOF_BITMAP_TEST(ret,i)) {
10054                                 stored +=
10055                                   set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10056                             }
10057                     }
10058                 }
10059                 else
10060 #endif
10061                       for (i = prevvalue; i <= ceilvalue; i++) {
10062                         stored += set_regclass_bit(pRExC_state, ret, (U8) i, &l1_fold_invlist, &unicode_alternate);
10063                       }
10064           }
10065           if (value > 255) {
10066             const UV prevnatvalue  = NATIVE_TO_UNI(prevvalue);
10067             const UV natvalue      = NATIVE_TO_UNI(value);
10068             nonbitmap = add_range_to_invlist(nonbitmap, prevnatvalue, natvalue);
10069         }
10070 #ifdef EBCDIC
10071             literal_endpoint = 0;
10072 #endif
10073         }
10074
10075         range = 0; /* this range (if it was one) is done now */
10076     }
10077
10078
10079
10080     if (SIZE_ONLY)
10081         return ret;
10082     /****** !SIZE_ONLY AFTER HERE *********/
10083
10084     /* If folding and there are code points above 255, we calculate all
10085      * characters that could fold to or from the ones already on the list */
10086     if (FOLD && nonbitmap) {
10087         UV i;
10088
10089         HV* fold_intersection;
10090         UV* fold_list;
10091
10092         /* This is a list of all the characters that participate in folds
10093             * (except marks, etc in multi-char folds */
10094         if (! PL_utf8_foldable) {
10095             SV* swash = swash_init("utf8", "Cased", &PL_sv_undef, 1, 0);
10096             PL_utf8_foldable = _swash_to_invlist(swash);
10097         }
10098
10099         /* This is a hash that for a particular fold gives all characters
10100             * that are involved in it */
10101         if (! PL_utf8_foldclosures) {
10102
10103             /* If we were unable to find any folds, then we likely won't be
10104              * able to find the closures.  So just create an empty list.
10105              * Folding will effectively be restricted to the non-Unicode rules
10106              * hard-coded into Perl.  (This case happens legitimately during
10107              * compilation of Perl itself before the Unicode tables are
10108              * generated) */
10109             if (invlist_len(PL_utf8_foldable) == 0) {
10110                 PL_utf8_foldclosures = _new_invlist(0);
10111             } else {
10112                 /* If the folds haven't been read in, call a fold function
10113                     * to force that */
10114                 if (! PL_utf8_tofold) {
10115                     U8 dummy[UTF8_MAXBYTES+1];
10116                     STRLEN dummy_len;
10117                     to_utf8_fold((U8*) "A", dummy, &dummy_len);
10118                 }
10119                 PL_utf8_foldclosures = _swash_inversion_hash(PL_utf8_tofold);
10120             }
10121         }
10122
10123         /* Only the characters in this class that participate in folds need
10124             * be checked.  Get the intersection of this class and all the
10125             * possible characters that are foldable.  This can quickly narrow
10126             * down a large class */
10127         fold_intersection = invlist_intersection(PL_utf8_foldable, nonbitmap);
10128
10129         /* Now look at the foldable characters in this class individually */
10130         fold_list = invlist_array(fold_intersection);
10131         for (i = 0; i < invlist_len(fold_intersection); i++) {
10132             UV j;
10133
10134             /* The next entry is the beginning of the range that is in the
10135              * class */
10136             UV start = fold_list[i++];
10137
10138
10139             /* The next entry is the beginning of the next range, which
10140                 * isn't in the class, so the end of the current range is one
10141                 * less than that */
10142             UV end = fold_list[i] - 1;
10143
10144             /* Look at every character in the range */
10145             for (j = start; j <= end; j++) {
10146
10147                 /* Get its fold */
10148                 U8 foldbuf[UTF8_MAXBYTES_CASE+1];
10149                 STRLEN foldlen;
10150                 const UV f =
10151                     _to_uni_fold_flags(j, foldbuf, &foldlen, allow_full_fold);
10152
10153                 if (foldlen > (STRLEN)UNISKIP(f)) {
10154
10155                     /* Any multicharacter foldings (disallowed in
10156                         * lookbehind patterns) require the following
10157                         * transform: [ABCDEF] -> (?:[ABCabcDEFd]|pq|rst) where
10158                         * E folds into "pq" and F folds into "rst", all other
10159                         * characters fold to single characters.  We save away
10160                         * these multicharacter foldings, to be later saved as
10161                         * part of the additional "s" data. */
10162                     if (! RExC_in_lookbehind) {
10163                         U8* loc = foldbuf;
10164                         U8* e = foldbuf + foldlen;
10165
10166                         /* If any of the folded characters of this are in
10167                             * the Latin1 range, tell the regex engine that
10168                             * this can match a non-utf8 target string.  The
10169                             * only multi-byte fold whose source is in the
10170                             * Latin1 range (U+00DF) applies only when the
10171                             * target string is utf8, or under unicode rules */
10172                         if (j > 255 || AT_LEAST_UNI_SEMANTICS) {
10173                             while (loc < e) {
10174
10175                                 /* Can't mix ascii with non- under /aa */
10176                                 if (MORE_ASCII_RESTRICTED
10177                                     && (isASCII(*loc) != isASCII(j)))
10178                                 {
10179                                     goto end_multi_fold;
10180                                 }
10181                                 if (UTF8_IS_INVARIANT(*loc)
10182                                     || UTF8_IS_DOWNGRADEABLE_START(*loc))
10183                                 {
10184                                     /* Can't mix above and below 256 under
10185                                         * LOC */
10186                                     if (LOC) {
10187                                         goto end_multi_fold;
10188                                     }
10189                                     ANYOF_FLAGS(ret)
10190                                             |= ANYOF_NONBITMAP_NON_UTF8;
10191                                     break;
10192                                 }
10193                                 loc += UTF8SKIP(loc);
10194                             }
10195                         }
10196
10197                         add_alternate(&unicode_alternate, foldbuf, foldlen);
10198                     end_multi_fold: ;
10199                     }
10200
10201                     /* This is special-cased, as it is the only letter which
10202                      * has both a multi-fold and single-fold in Latin1.  All
10203                      * the other chars that have single and multi-folds are
10204                      * always in utf8, and the utf8 folding algorithm catches
10205                      * them */
10206                     if (! LOC && j == LATIN_CAPITAL_LETTER_SHARP_S) {
10207                         stored += set_regclass_bit(pRExC_state,
10208                                         ret,
10209                                         LATIN_SMALL_LETTER_SHARP_S,
10210                                         &l1_fold_invlist, &unicode_alternate);
10211                     }
10212                 }
10213                 else {
10214                     /* Single character fold.  Add everything in its fold
10215                         * closure to the list that this node should match */
10216                     SV** listp;
10217
10218                     /* The fold closures data structure is a hash with the
10219                         * keys being every character that is folded to, like
10220                         * 'k', and the values each an array of everything that
10221                         * folds to its key.  e.g. [ 'k', 'K', KELVIN_SIGN ] */
10222                     if ((listp = hv_fetch(PL_utf8_foldclosures,
10223                                     (char *) foldbuf, foldlen, FALSE)))
10224                     {
10225                         AV* list = (AV*) *listp;
10226                         IV k;
10227                         for (k = 0; k <= av_len(list); k++) {
10228                             SV** c_p = av_fetch(list, k, FALSE);
10229                             UV c;
10230                             if (c_p == NULL) {
10231                                 Perl_croak(aTHX_ "panic: invalid PL_utf8_foldclosures structure");
10232                             }
10233                             c = SvUV(*c_p);
10234
10235                             /* /aa doesn't allow folds between ASCII and
10236                                 * non-; /l doesn't allow them between above
10237                                 * and below 256 */
10238                             if ((MORE_ASCII_RESTRICTED
10239                                  && (isASCII(c) != isASCII(j)))
10240                                     || (LOC && ((c < 256) != (j < 256))))
10241                             {
10242                                 continue;
10243                             }
10244
10245                             if (c < 256 && AT_LEAST_UNI_SEMANTICS) {
10246                                 stored += set_regclass_bit(pRExC_state,
10247                                         ret,
10248                                         (U8) c,
10249                                         &l1_fold_invlist, &unicode_alternate);
10250                             }
10251                                 /* It may be that the code point is already
10252                                     * in this range or already in the bitmap,
10253                                     * in which case we need do nothing */
10254                             else if ((c < start || c > end)
10255                                         && (c > 255
10256                                             || ! ANYOF_BITMAP_TEST(ret, c)))
10257                             {
10258                                 nonbitmap = add_cp_to_invlist(nonbitmap, c);
10259                             }
10260                         }
10261                     }
10262                 }
10263             }
10264         }
10265         invlist_destroy(fold_intersection);
10266     }
10267
10268     /* Combine the two lists into one. */
10269     if (l1_fold_invlist) {
10270         if (nonbitmap) {
10271             nonbitmap = invlist_union(nonbitmap, l1_fold_invlist);
10272         }
10273         else {
10274             nonbitmap = l1_fold_invlist;
10275         }
10276     }
10277
10278     /* Here, we have calculated what code points should be in the character
10279      * class.   Now we can see about various optimizations.  Fold calculation
10280      * needs to take place before inversion.  Otherwise /[^k]/i would invert to
10281      * include K, which under /i would match k. */
10282
10283     /* Optimize inverted simple patterns (e.g. [^a-z]).  Note that we haven't
10284      * set the FOLD flag yet, so this this does optimize those.  It doesn't
10285      * optimize locale.  Doing so perhaps could be done as long as there is
10286      * nothing like \w in it; some thought also would have to be given to the
10287      * interaction with above 0x100 chars */
10288     if (! LOC
10289         && (ANYOF_FLAGS(ret) & ANYOF_FLAGS_ALL) == ANYOF_INVERT
10290         && ! unicode_alternate
10291         && ! nonbitmap
10292         && SvCUR(listsv) == initial_listsv_len)
10293     {
10294         for (value = 0; value < ANYOF_BITMAP_SIZE; ++value)
10295             ANYOF_BITMAP(ret)[value] ^= 0xFF;
10296         stored = 256 - stored;
10297
10298         /* The inversion means that everything above 255 is matched; and at the
10299          * same time we clear the invert flag */
10300         ANYOF_FLAGS(ret) = ANYOF_UNICODE_ALL;
10301     }
10302
10303     /* Folding in the bitmap is taken care of above, but not for locale (for
10304      * which we have to wait to see what folding is in effect at runtime), and
10305      * for things not in the bitmap.  Set run-time fold flag for these */
10306     if (FOLD && (LOC || nonbitmap || unicode_alternate)) {
10307         ANYOF_FLAGS(ret) |= ANYOF_LOC_NONBITMAP_FOLD;
10308     }
10309
10310     /* A single character class can be "optimized" into an EXACTish node.
10311      * Note that since we don't currently count how many characters there are
10312      * outside the bitmap, we are XXX missing optimization possibilities for
10313      * them.  This optimization can't happen unless this is a truly single
10314      * character class, which means that it can't be an inversion into a
10315      * many-character class, and there must be no possibility of there being
10316      * things outside the bitmap.  'stored' (only) for locales doesn't include
10317      * \w, etc, so have to make a special test that they aren't present
10318      *
10319      * Similarly A 2-character class of the very special form like [bB] can be
10320      * optimized into an EXACTFish node, but only for non-locales, and for
10321      * characters which only have the two folds; so things like 'fF' and 'Ii'
10322      * wouldn't work because they are part of the fold of 'LATIN SMALL LIGATURE
10323      * FI'. */
10324     if (! nonbitmap
10325         && ! unicode_alternate
10326         && SvCUR(listsv) == initial_listsv_len
10327         && ! (ANYOF_FLAGS(ret) & (ANYOF_INVERT|ANYOF_UNICODE_ALL))
10328         && (((stored == 1 && ((! (ANYOF_FLAGS(ret) & ANYOF_LOCALE))
10329                               || (! ANYOF_CLASS_TEST_ANY_SET(ret)))))
10330             || (stored == 2 && ((! (ANYOF_FLAGS(ret) & ANYOF_LOCALE))
10331                                  && (! _HAS_NONLATIN1_FOLD_CLOSURE_ONLY_FOR_USE_BY_REGCOMP_DOT_C_AND_REGEXEC_DOT_C(value))
10332                                  /* If the latest code point has a fold whose
10333                                   * bit is set, it must be the only other one */
10334                                 && ((prevvalue = PL_fold_latin1[value]) != (IV)value)
10335                                  && ANYOF_BITMAP_TEST(ret, prevvalue)))))
10336     {
10337         /* Note that the information needed to decide to do this optimization
10338          * is not currently available until the 2nd pass, and that the actually
10339          * used EXACTish node takes less space than the calculated ANYOF node,
10340          * and hence the amount of space calculated in the first pass is larger
10341          * than actually used, so this optimization doesn't gain us any space.
10342          * But an EXACT node is faster than an ANYOF node, and can be combined
10343          * with any adjacent EXACT nodes later by the optimizer for further
10344          * gains.  The speed of executing an EXACTF is similar to an ANYOF
10345          * node, so the optimization advantage comes from the ability to join
10346          * it to adjacent EXACT nodes */
10347
10348         const char * cur_parse= RExC_parse;
10349         U8 op;
10350         RExC_emit = (regnode *)orig_emit;
10351         RExC_parse = (char *)orig_parse;
10352
10353         if (stored == 1) {
10354
10355             /* A locale node with one point can be folded; all the other cases
10356              * with folding will have two points, since we calculate them above
10357              */
10358             if (ANYOF_FLAGS(ret) & ANYOF_LOC_NONBITMAP_FOLD) {
10359                  op = EXACTFL;
10360             }
10361             else {
10362                 op = EXACT;
10363             }
10364         }   /* else 2 chars in the bit map: the folds of each other */
10365         else if (AT_LEAST_UNI_SEMANTICS || !isASCII(value)) {
10366
10367             /* To join adjacent nodes, they must be the exact EXACTish type.
10368              * Try to use the most likely type, by using EXACTFU if the regex
10369              * calls for them, or is required because the character is
10370              * non-ASCII */
10371             op = EXACTFU;
10372         }
10373         else {    /* Otherwise, more likely to be EXACTF type */
10374             op = EXACTF;
10375         }
10376
10377         ret = reg_node(pRExC_state, op);
10378         RExC_parse = (char *)cur_parse;
10379         if (UTF && ! NATIVE_IS_INVARIANT(value)) {
10380             *STRING(ret)= UTF8_EIGHT_BIT_HI((U8) value);
10381             *(STRING(ret) + 1)= UTF8_EIGHT_BIT_LO((U8) value);
10382             STR_LEN(ret)= 2;
10383             RExC_emit += STR_SZ(2);
10384         }
10385         else {
10386             *STRING(ret)= (char)value;
10387             STR_LEN(ret)= 1;
10388             RExC_emit += STR_SZ(1);
10389         }
10390         SvREFCNT_dec(listsv);
10391         return ret;
10392     }
10393
10394     if (nonbitmap) {
10395         UV* nonbitmap_array = invlist_array(nonbitmap);
10396         UV nonbitmap_len = invlist_len(nonbitmap);
10397         UV i;
10398
10399         /*  Here have the full list of items to match that aren't in the
10400          *  bitmap.  Convert to the structure that the rest of the code is
10401          *  expecting.   XXX That rest of the code should convert to this
10402          *  structure */
10403         for (i = 0; i < nonbitmap_len; i++) {
10404
10405             /* The next entry is the beginning of the range that is in the
10406              * class */
10407             UV start = nonbitmap_array[i++];
10408             UV end;
10409
10410             /* The next entry is the beginning of the next range, which isn't
10411              * in the class, so the end of the current range is one less than
10412              * that.  But if there is no next range, it means that the range
10413              * begun by 'start' extends to infinity, which for this platform
10414              * ends at UV_MAX */
10415             if (i == nonbitmap_len) {
10416                 end = UV_MAX;
10417             }
10418             else {
10419                 end = nonbitmap_array[i] - 1;
10420             }
10421
10422             if (start == end) {
10423                 Perl_sv_catpvf(aTHX_ listsv, "%04"UVxf"\n", start);
10424             }
10425             else {
10426                 /* The \t sets the whole range */
10427                 Perl_sv_catpvf(aTHX_ listsv, "%04"UVxf"\t%04"UVxf"\n",
10428                         /* XXX EBCDIC */
10429                                    start, end);
10430             }
10431         }
10432         invlist_destroy(nonbitmap);
10433     }
10434
10435     if (SvCUR(listsv) == initial_listsv_len && ! unicode_alternate) {
10436         ARG_SET(ret, ANYOF_NONBITMAP_EMPTY);
10437         SvREFCNT_dec(listsv);
10438         SvREFCNT_dec(unicode_alternate);
10439     }
10440     else {
10441
10442         AV * const av = newAV();
10443         SV *rv;
10444         /* The 0th element stores the character class description
10445          * in its textual form: used later (regexec.c:Perl_regclass_swash())
10446          * to initialize the appropriate swash (which gets stored in
10447          * the 1st element), and also useful for dumping the regnode.
10448          * The 2nd element stores the multicharacter foldings,
10449          * used later (regexec.c:S_reginclass()). */
10450         av_store(av, 0, listsv);
10451         av_store(av, 1, NULL);
10452
10453         /* Store any computed multi-char folds only if we are allowing
10454          * them */
10455         if (allow_full_fold) {
10456             av_store(av, 2, MUTABLE_SV(unicode_alternate));
10457             if (unicode_alternate) { /* This node is variable length */
10458                 OP(ret) = ANYOFV;
10459             }
10460         }
10461         else {
10462             av_store(av, 2, NULL);
10463         }
10464         rv = newRV_noinc(MUTABLE_SV(av));
10465         n = add_data(pRExC_state, 1, "s");
10466         RExC_rxi->data->data[n] = (void*)rv;
10467         ARG_SET(ret, n);
10468     }
10469     return ret;
10470 }
10471 #undef _C_C_T_
10472
10473
10474 /* reg_skipcomment()
10475
10476    Absorbs an /x style # comments from the input stream.
10477    Returns true if there is more text remaining in the stream.
10478    Will set the REG_SEEN_RUN_ON_COMMENT flag if the comment
10479    terminates the pattern without including a newline.
10480
10481    Note its the callers responsibility to ensure that we are
10482    actually in /x mode
10483
10484 */
10485
10486 STATIC bool
10487 S_reg_skipcomment(pTHX_ RExC_state_t *pRExC_state)
10488 {
10489     bool ended = 0;
10490
10491     PERL_ARGS_ASSERT_REG_SKIPCOMMENT;
10492
10493     while (RExC_parse < RExC_end)
10494         if (*RExC_parse++ == '\n') {
10495             ended = 1;
10496             break;
10497         }
10498     if (!ended) {
10499         /* we ran off the end of the pattern without ending
10500            the comment, so we have to add an \n when wrapping */
10501         RExC_seen |= REG_SEEN_RUN_ON_COMMENT;
10502         return 0;
10503     } else
10504         return 1;
10505 }
10506
10507 /* nextchar()
10508
10509    Advances the parse position, and optionally absorbs
10510    "whitespace" from the inputstream.
10511
10512    Without /x "whitespace" means (?#...) style comments only,
10513    with /x this means (?#...) and # comments and whitespace proper.
10514
10515    Returns the RExC_parse point from BEFORE the scan occurs.
10516
10517    This is the /x friendly way of saying RExC_parse++.
10518 */
10519
10520 STATIC char*
10521 S_nextchar(pTHX_ RExC_state_t *pRExC_state)
10522 {
10523     char* const retval = RExC_parse++;
10524
10525     PERL_ARGS_ASSERT_NEXTCHAR;
10526
10527     for (;;) {
10528         if (*RExC_parse == '(' && RExC_parse[1] == '?' &&
10529                 RExC_parse[2] == '#') {
10530             while (*RExC_parse != ')') {
10531                 if (RExC_parse == RExC_end)
10532                     FAIL("Sequence (?#... not terminated");
10533                 RExC_parse++;
10534             }
10535             RExC_parse++;
10536             continue;
10537         }
10538         if (RExC_flags & RXf_PMf_EXTENDED) {
10539             if (isSPACE(*RExC_parse)) {
10540                 RExC_parse++;
10541                 continue;
10542             }
10543             else if (*RExC_parse == '#') {
10544                 if ( reg_skipcomment( pRExC_state ) )
10545                     continue;
10546             }
10547         }
10548         return retval;
10549     }
10550 }
10551
10552 /*
10553 - reg_node - emit a node
10554 */
10555 STATIC regnode *                        /* Location. */
10556 S_reg_node(pTHX_ RExC_state_t *pRExC_state, U8 op)
10557 {
10558     dVAR;
10559     register regnode *ptr;
10560     regnode * const ret = RExC_emit;
10561     GET_RE_DEBUG_FLAGS_DECL;
10562
10563     PERL_ARGS_ASSERT_REG_NODE;
10564
10565     if (SIZE_ONLY) {
10566         SIZE_ALIGN(RExC_size);
10567         RExC_size += 1;
10568         return(ret);
10569     }
10570     if (RExC_emit >= RExC_emit_bound)
10571         Perl_croak(aTHX_ "panic: reg_node overrun trying to emit %d", op);
10572
10573     NODE_ALIGN_FILL(ret);
10574     ptr = ret;
10575     FILL_ADVANCE_NODE(ptr, op);
10576     REH_CALL_REGCOMP_HOOK(pRExC_state->rx, (ptr) - 1);
10577 #ifdef RE_TRACK_PATTERN_OFFSETS
10578     if (RExC_offsets) {         /* MJD */
10579         MJD_OFFSET_DEBUG(("%s:%d: (op %s) %s %"UVuf" (len %"UVuf") (max %"UVuf").\n", 
10580               "reg_node", __LINE__, 
10581               PL_reg_name[op],
10582               (UV)(RExC_emit - RExC_emit_start) > RExC_offsets[0] 
10583                 ? "Overwriting end of array!\n" : "OK",
10584               (UV)(RExC_emit - RExC_emit_start),
10585               (UV)(RExC_parse - RExC_start),
10586               (UV)RExC_offsets[0])); 
10587         Set_Node_Offset(RExC_emit, RExC_parse + (op == END));
10588     }
10589 #endif
10590     RExC_emit = ptr;
10591     return(ret);
10592 }
10593
10594 /*
10595 - reganode - emit a node with an argument
10596 */
10597 STATIC regnode *                        /* Location. */
10598 S_reganode(pTHX_ RExC_state_t *pRExC_state, U8 op, U32 arg)
10599 {
10600     dVAR;
10601     register regnode *ptr;
10602     regnode * const ret = RExC_emit;
10603     GET_RE_DEBUG_FLAGS_DECL;
10604
10605     PERL_ARGS_ASSERT_REGANODE;
10606
10607     if (SIZE_ONLY) {
10608         SIZE_ALIGN(RExC_size);
10609         RExC_size += 2;
10610         /* 
10611            We can't do this:
10612            
10613            assert(2==regarglen[op]+1); 
10614         
10615            Anything larger than this has to allocate the extra amount.
10616            If we changed this to be:
10617            
10618            RExC_size += (1 + regarglen[op]);
10619            
10620            then it wouldn't matter. Its not clear what side effect
10621            might come from that so its not done so far.
10622            -- dmq
10623         */
10624         return(ret);
10625     }
10626     if (RExC_emit >= RExC_emit_bound)
10627         Perl_croak(aTHX_ "panic: reg_node overrun trying to emit %d", op);
10628
10629     NODE_ALIGN_FILL(ret);
10630     ptr = ret;
10631     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
10632     REH_CALL_REGCOMP_HOOK(pRExC_state->rx, (ptr) - 2);
10633 #ifdef RE_TRACK_PATTERN_OFFSETS
10634     if (RExC_offsets) {         /* MJD */
10635         MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s %"UVuf" <- %"UVuf" (max %"UVuf").\n", 
10636               "reganode",
10637               __LINE__,
10638               PL_reg_name[op],
10639               (UV)(RExC_emit - RExC_emit_start) > RExC_offsets[0] ? 
10640               "Overwriting end of array!\n" : "OK",
10641               (UV)(RExC_emit - RExC_emit_start),
10642               (UV)(RExC_parse - RExC_start),
10643               (UV)RExC_offsets[0])); 
10644         Set_Cur_Node_Offset;
10645     }
10646 #endif            
10647     RExC_emit = ptr;
10648     return(ret);
10649 }
10650
10651 /*
10652 - reguni - emit (if appropriate) a Unicode character
10653 */
10654 STATIC STRLEN
10655 S_reguni(pTHX_ const RExC_state_t *pRExC_state, UV uv, char* s)
10656 {
10657     dVAR;
10658
10659     PERL_ARGS_ASSERT_REGUNI;
10660
10661     return SIZE_ONLY ? UNISKIP(uv) : (uvchr_to_utf8((U8*)s, uv) - (U8*)s);
10662 }
10663
10664 /*
10665 - reginsert - insert an operator in front of already-emitted operand
10666 *
10667 * Means relocating the operand.
10668 */
10669 STATIC void
10670 S_reginsert(pTHX_ RExC_state_t *pRExC_state, U8 op, regnode *opnd, U32 depth)
10671 {
10672     dVAR;
10673     register regnode *src;
10674     register regnode *dst;
10675     register regnode *place;
10676     const int offset = regarglen[(U8)op];
10677     const int size = NODE_STEP_REGNODE + offset;
10678     GET_RE_DEBUG_FLAGS_DECL;
10679
10680     PERL_ARGS_ASSERT_REGINSERT;
10681     PERL_UNUSED_ARG(depth);
10682 /* (PL_regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
10683     DEBUG_PARSE_FMT("inst"," - %s",PL_reg_name[op]);
10684     if (SIZE_ONLY) {
10685         RExC_size += size;
10686         return;
10687     }
10688
10689     src = RExC_emit;
10690     RExC_emit += size;
10691     dst = RExC_emit;
10692     if (RExC_open_parens) {
10693         int paren;
10694         /*DEBUG_PARSE_FMT("inst"," - %"IVdf, (IV)RExC_npar);*/
10695         for ( paren=0 ; paren < RExC_npar ; paren++ ) {
10696             if ( RExC_open_parens[paren] >= opnd ) {
10697                 /*DEBUG_PARSE_FMT("open"," - %d",size);*/
10698                 RExC_open_parens[paren] += size;
10699             } else {
10700                 /*DEBUG_PARSE_FMT("open"," - %s","ok");*/
10701             }
10702             if ( RExC_close_parens[paren] >= opnd ) {
10703                 /*DEBUG_PARSE_FMT("close"," - %d",size);*/
10704                 RExC_close_parens[paren] += size;
10705             } else {
10706                 /*DEBUG_PARSE_FMT("close"," - %s","ok");*/
10707             }
10708         }
10709     }
10710
10711     while (src > opnd) {
10712         StructCopy(--src, --dst, regnode);
10713 #ifdef RE_TRACK_PATTERN_OFFSETS
10714         if (RExC_offsets) {     /* MJD 20010112 */
10715             MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s copy %"UVuf" -> %"UVuf" (max %"UVuf").\n",
10716                   "reg_insert",
10717                   __LINE__,
10718                   PL_reg_name[op],
10719                   (UV)(dst - RExC_emit_start) > RExC_offsets[0] 
10720                     ? "Overwriting end of array!\n" : "OK",
10721                   (UV)(src - RExC_emit_start),
10722                   (UV)(dst - RExC_emit_start),
10723                   (UV)RExC_offsets[0])); 
10724             Set_Node_Offset_To_R(dst-RExC_emit_start, Node_Offset(src));
10725             Set_Node_Length_To_R(dst-RExC_emit_start, Node_Length(src));
10726         }
10727 #endif
10728     }
10729     
10730
10731     place = opnd;               /* Op node, where operand used to be. */
10732 #ifdef RE_TRACK_PATTERN_OFFSETS
10733     if (RExC_offsets) {         /* MJD */
10734         MJD_OFFSET_DEBUG(("%s(%d): (op %s) %s %"UVuf" <- %"UVuf" (max %"UVuf").\n", 
10735               "reginsert",
10736               __LINE__,
10737               PL_reg_name[op],
10738               (UV)(place - RExC_emit_start) > RExC_offsets[0] 
10739               ? "Overwriting end of array!\n" : "OK",
10740               (UV)(place - RExC_emit_start),
10741               (UV)(RExC_parse - RExC_start),
10742               (UV)RExC_offsets[0]));
10743         Set_Node_Offset(place, RExC_parse);
10744         Set_Node_Length(place, 1);
10745     }
10746 #endif    
10747     src = NEXTOPER(place);
10748     FILL_ADVANCE_NODE(place, op);
10749     REH_CALL_REGCOMP_HOOK(pRExC_state->rx, (place) - 1);
10750     Zero(src, offset, regnode);
10751 }
10752
10753 /*
10754 - regtail - set the next-pointer at the end of a node chain of p to val.
10755 - SEE ALSO: regtail_study
10756 */
10757 /* TODO: All three parms should be const */
10758 STATIC void
10759 S_regtail(pTHX_ RExC_state_t *pRExC_state, regnode *p, const regnode *val,U32 depth)
10760 {
10761     dVAR;
10762     register regnode *scan;
10763     GET_RE_DEBUG_FLAGS_DECL;
10764
10765     PERL_ARGS_ASSERT_REGTAIL;
10766 #ifndef DEBUGGING
10767     PERL_UNUSED_ARG(depth);
10768 #endif
10769
10770     if (SIZE_ONLY)
10771         return;
10772
10773     /* Find last node. */
10774     scan = p;
10775     for (;;) {
10776         regnode * const temp = regnext(scan);
10777         DEBUG_PARSE_r({
10778             SV * const mysv=sv_newmortal();
10779             DEBUG_PARSE_MSG((scan==p ? "tail" : ""));
10780             regprop(RExC_rx, mysv, scan);
10781             PerlIO_printf(Perl_debug_log, "~ %s (%d) %s %s\n",
10782                 SvPV_nolen_const(mysv), REG_NODE_NUM(scan),
10783                     (temp == NULL ? "->" : ""),
10784                     (temp == NULL ? PL_reg_name[OP(val)] : "")
10785             );
10786         });
10787         if (temp == NULL)
10788             break;
10789         scan = temp;
10790     }
10791
10792     if (reg_off_by_arg[OP(scan)]) {
10793         ARG_SET(scan, val - scan);
10794     }
10795     else {
10796         NEXT_OFF(scan) = val - scan;
10797     }
10798 }
10799
10800 #ifdef DEBUGGING
10801 /*
10802 - regtail_study - set the next-pointer at the end of a node chain of p to val.
10803 - Look for optimizable sequences at the same time.
10804 - currently only looks for EXACT chains.
10805
10806 This is experimental code. The idea is to use this routine to perform 
10807 in place optimizations on branches and groups as they are constructed,
10808 with the long term intention of removing optimization from study_chunk so
10809 that it is purely analytical.
10810
10811 Currently only used when in DEBUG mode. The macro REGTAIL_STUDY() is used
10812 to control which is which.
10813
10814 */
10815 /* TODO: All four parms should be const */
10816
10817 STATIC U8
10818 S_regtail_study(pTHX_ RExC_state_t *pRExC_state, regnode *p, const regnode *val,U32 depth)
10819 {
10820     dVAR;
10821     register regnode *scan;
10822     U8 exact = PSEUDO;
10823 #ifdef EXPERIMENTAL_INPLACESCAN
10824     I32 min = 0;
10825 #endif
10826     GET_RE_DEBUG_FLAGS_DECL;
10827
10828     PERL_ARGS_ASSERT_REGTAIL_STUDY;
10829
10830
10831     if (SIZE_ONLY)
10832         return exact;
10833
10834     /* Find last node. */
10835
10836     scan = p;
10837     for (;;) {
10838         regnode * const temp = regnext(scan);
10839 #ifdef EXPERIMENTAL_INPLACESCAN
10840         if (PL_regkind[OP(scan)] == EXACT)
10841             if (join_exact(pRExC_state,scan,&min,1,val,depth+1))
10842                 return EXACT;
10843 #endif
10844         if ( exact ) {
10845             switch (OP(scan)) {
10846                 case EXACT:
10847                 case EXACTF:
10848                 case EXACTFA:
10849                 case EXACTFU:
10850                 case EXACTFL:
10851                         if( exact == PSEUDO )
10852                             exact= OP(scan);
10853                         else if ( exact != OP(scan) )
10854                             exact= 0;
10855                 case NOTHING:
10856                     break;
10857                 default:
10858                     exact= 0;
10859             }
10860         }
10861         DEBUG_PARSE_r({
10862             SV * const mysv=sv_newmortal();
10863             DEBUG_PARSE_MSG((scan==p ? "tsdy" : ""));
10864             regprop(RExC_rx, mysv, scan);
10865             PerlIO_printf(Perl_debug_log, "~ %s (%d) -> %s\n",
10866                 SvPV_nolen_const(mysv),
10867                 REG_NODE_NUM(scan),
10868                 PL_reg_name[exact]);
10869         });
10870         if (temp == NULL)
10871             break;
10872         scan = temp;
10873     }
10874     DEBUG_PARSE_r({
10875         SV * const mysv_val=sv_newmortal();
10876         DEBUG_PARSE_MSG("");
10877         regprop(RExC_rx, mysv_val, val);
10878         PerlIO_printf(Perl_debug_log, "~ attach to %s (%"IVdf") offset to %"IVdf"\n",
10879                       SvPV_nolen_const(mysv_val),
10880                       (IV)REG_NODE_NUM(val),
10881                       (IV)(val - scan)
10882         );
10883     });
10884     if (reg_off_by_arg[OP(scan)]) {
10885         ARG_SET(scan, val - scan);
10886     }
10887     else {
10888         NEXT_OFF(scan) = val - scan;
10889     }
10890
10891     return exact;
10892 }
10893 #endif
10894
10895 /*
10896  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
10897  */
10898 #ifdef DEBUGGING
10899 static void 
10900 S_regdump_extflags(pTHX_ const char *lead, const U32 flags)
10901 {
10902     int bit;
10903     int set=0;
10904     regex_charset cs;
10905
10906     for (bit=0; bit<32; bit++) {
10907         if (flags & (1<<bit)) {
10908             if ((1<<bit) & RXf_PMf_CHARSET) {   /* Output separately, below */
10909                 continue;
10910             }
10911             if (!set++ && lead) 
10912                 PerlIO_printf(Perl_debug_log, "%s",lead);
10913             PerlIO_printf(Perl_debug_log, "%s ",PL_reg_extflags_name[bit]);
10914         }               
10915     }      
10916     if ((cs = get_regex_charset(flags)) != REGEX_DEPENDS_CHARSET) {
10917             if (!set++ && lead) {
10918                 PerlIO_printf(Perl_debug_log, "%s",lead);
10919             }
10920             switch (cs) {
10921                 case REGEX_UNICODE_CHARSET:
10922                     PerlIO_printf(Perl_debug_log, "UNICODE");
10923                     break;
10924                 case REGEX_LOCALE_CHARSET:
10925                     PerlIO_printf(Perl_debug_log, "LOCALE");
10926                     break;
10927                 case REGEX_ASCII_RESTRICTED_CHARSET:
10928                     PerlIO_printf(Perl_debug_log, "ASCII-RESTRICTED");
10929                     break;
10930                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
10931                     PerlIO_printf(Perl_debug_log, "ASCII-MORE_RESTRICTED");
10932                     break;
10933                 default:
10934                     PerlIO_printf(Perl_debug_log, "UNKNOWN CHARACTER SET");
10935                     break;
10936             }
10937     }
10938     if (lead)  {
10939         if (set) 
10940             PerlIO_printf(Perl_debug_log, "\n");
10941         else 
10942             PerlIO_printf(Perl_debug_log, "%s[none-set]\n",lead);
10943     }            
10944 }   
10945 #endif
10946
10947 void
10948 Perl_regdump(pTHX_ const regexp *r)
10949 {
10950 #ifdef DEBUGGING
10951     dVAR;
10952     SV * const sv = sv_newmortal();
10953     SV *dsv= sv_newmortal();
10954     RXi_GET_DECL(r,ri);
10955     GET_RE_DEBUG_FLAGS_DECL;
10956
10957     PERL_ARGS_ASSERT_REGDUMP;
10958
10959     (void)dumpuntil(r, ri->program, ri->program + 1, NULL, NULL, sv, 0, 0);
10960
10961     /* Header fields of interest. */
10962     if (r->anchored_substr) {
10963         RE_PV_QUOTED_DECL(s, 0, dsv, SvPVX_const(r->anchored_substr), 
10964             RE_SV_DUMPLEN(r->anchored_substr), 30);
10965         PerlIO_printf(Perl_debug_log,
10966                       "anchored %s%s at %"IVdf" ",
10967                       s, RE_SV_TAIL(r->anchored_substr),
10968                       (IV)r->anchored_offset);
10969     } else if (r->anchored_utf8) {
10970         RE_PV_QUOTED_DECL(s, 1, dsv, SvPVX_const(r->anchored_utf8), 
10971             RE_SV_DUMPLEN(r->anchored_utf8), 30);
10972         PerlIO_printf(Perl_debug_log,
10973                       "anchored utf8 %s%s at %"IVdf" ",
10974                       s, RE_SV_TAIL(r->anchored_utf8),
10975                       (IV)r->anchored_offset);
10976     }                 
10977     if (r->float_substr) {
10978         RE_PV_QUOTED_DECL(s, 0, dsv, SvPVX_const(r->float_substr), 
10979             RE_SV_DUMPLEN(r->float_substr), 30);
10980         PerlIO_printf(Perl_debug_log,
10981                       "floating %s%s at %"IVdf"..%"UVuf" ",
10982                       s, RE_SV_TAIL(r->float_substr),
10983                       (IV)r->float_min_offset, (UV)r->float_max_offset);
10984     } else if (r->float_utf8) {
10985         RE_PV_QUOTED_DECL(s, 1, dsv, SvPVX_const(r->float_utf8), 
10986             RE_SV_DUMPLEN(r->float_utf8), 30);
10987         PerlIO_printf(Perl_debug_log,
10988                       "floating utf8 %s%s at %"IVdf"..%"UVuf" ",
10989                       s, RE_SV_TAIL(r->float_utf8),
10990                       (IV)r->float_min_offset, (UV)r->float_max_offset);
10991     }
10992     if (r->check_substr || r->check_utf8)
10993         PerlIO_printf(Perl_debug_log,
10994                       (const char *)
10995                       (r->check_substr == r->float_substr
10996                        && r->check_utf8 == r->float_utf8
10997                        ? "(checking floating" : "(checking anchored"));
10998     if (r->extflags & RXf_NOSCAN)
10999         PerlIO_printf(Perl_debug_log, " noscan");
11000     if (r->extflags & RXf_CHECK_ALL)
11001         PerlIO_printf(Perl_debug_log, " isall");
11002     if (r->check_substr || r->check_utf8)
11003         PerlIO_printf(Perl_debug_log, ") ");
11004
11005     if (ri->regstclass) {
11006         regprop(r, sv, ri->regstclass);
11007         PerlIO_printf(Perl_debug_log, "stclass %s ", SvPVX_const(sv));
11008     }
11009     if (r->extflags & RXf_ANCH) {
11010         PerlIO_printf(Perl_debug_log, "anchored");
11011         if (r->extflags & RXf_ANCH_BOL)
11012             PerlIO_printf(Perl_debug_log, "(BOL)");
11013         if (r->extflags & RXf_ANCH_MBOL)
11014             PerlIO_printf(Perl_debug_log, "(MBOL)");
11015         if (r->extflags & RXf_ANCH_SBOL)
11016             PerlIO_printf(Perl_debug_log, "(SBOL)");
11017         if (r->extflags & RXf_ANCH_GPOS)
11018             PerlIO_printf(Perl_debug_log, "(GPOS)");
11019         PerlIO_putc(Perl_debug_log, ' ');
11020     }
11021     if (r->extflags & RXf_GPOS_SEEN)
11022         PerlIO_printf(Perl_debug_log, "GPOS:%"UVuf" ", (UV)r->gofs);
11023     if (r->intflags & PREGf_SKIP)
11024         PerlIO_printf(Perl_debug_log, "plus ");
11025     if (r->intflags & PREGf_IMPLICIT)
11026         PerlIO_printf(Perl_debug_log, "implicit ");
11027     PerlIO_printf(Perl_debug_log, "minlen %"IVdf" ", (IV)r->minlen);
11028     if (r->extflags & RXf_EVAL_SEEN)
11029         PerlIO_printf(Perl_debug_log, "with eval ");
11030     PerlIO_printf(Perl_debug_log, "\n");
11031     DEBUG_FLAGS_r(regdump_extflags("r->extflags: ",r->extflags));            
11032 #else
11033     PERL_ARGS_ASSERT_REGDUMP;
11034     PERL_UNUSED_CONTEXT;
11035     PERL_UNUSED_ARG(r);
11036 #endif  /* DEBUGGING */
11037 }
11038
11039 /*
11040 - regprop - printable representation of opcode
11041 */
11042 #define EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags) \
11043 STMT_START { \
11044         if (do_sep) {                           \
11045             Perl_sv_catpvf(aTHX_ sv,"%s][%s",PL_colors[1],PL_colors[0]); \
11046             if (flags & ANYOF_INVERT)           \
11047                 /*make sure the invert info is in each */ \
11048                 sv_catpvs(sv, "^");             \
11049             do_sep = 0;                         \
11050         }                                       \
11051 } STMT_END
11052
11053 void
11054 Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o)
11055 {
11056 #ifdef DEBUGGING
11057     dVAR;
11058     register int k;
11059     RXi_GET_DECL(prog,progi);
11060     GET_RE_DEBUG_FLAGS_DECL;
11061     
11062     PERL_ARGS_ASSERT_REGPROP;
11063
11064     sv_setpvs(sv, "");
11065
11066     if (OP(o) > REGNODE_MAX)            /* regnode.type is unsigned */
11067         /* It would be nice to FAIL() here, but this may be called from
11068            regexec.c, and it would be hard to supply pRExC_state. */
11069         Perl_croak(aTHX_ "Corrupted regexp opcode %d > %d", (int)OP(o), (int)REGNODE_MAX);
11070     sv_catpv(sv, PL_reg_name[OP(o)]); /* Take off const! */
11071
11072     k = PL_regkind[OP(o)];
11073
11074     if (k == EXACT) {
11075         sv_catpvs(sv, " ");
11076         /* Using is_utf8_string() (via PERL_PV_UNI_DETECT) 
11077          * is a crude hack but it may be the best for now since 
11078          * we have no flag "this EXACTish node was UTF-8" 
11079          * --jhi */
11080         pv_pretty(sv, STRING(o), STR_LEN(o), 60, PL_colors[0], PL_colors[1],
11081                   PERL_PV_ESCAPE_UNI_DETECT |
11082                   PERL_PV_ESCAPE_NONASCII   |
11083                   PERL_PV_PRETTY_ELLIPSES   |
11084                   PERL_PV_PRETTY_LTGT       |
11085                   PERL_PV_PRETTY_NOCLEAR
11086                   );
11087     } else if (k == TRIE) {
11088         /* print the details of the trie in dumpuntil instead, as
11089          * progi->data isn't available here */
11090         const char op = OP(o);
11091         const U32 n = ARG(o);
11092         const reg_ac_data * const ac = IS_TRIE_AC(op) ?
11093                (reg_ac_data *)progi->data->data[n] :
11094                NULL;
11095         const reg_trie_data * const trie
11096             = (reg_trie_data*)progi->data->data[!IS_TRIE_AC(op) ? n : ac->trie];
11097         
11098         Perl_sv_catpvf(aTHX_ sv, "-%s",PL_reg_name[o->flags]);
11099         DEBUG_TRIE_COMPILE_r(
11100             Perl_sv_catpvf(aTHX_ sv,
11101                 "<S:%"UVuf"/%"IVdf" W:%"UVuf" L:%"UVuf"/%"UVuf" C:%"UVuf"/%"UVuf">",
11102                 (UV)trie->startstate,
11103                 (IV)trie->statecount-1, /* -1 because of the unused 0 element */
11104                 (UV)trie->wordcount,
11105                 (UV)trie->minlen,
11106                 (UV)trie->maxlen,
11107                 (UV)TRIE_CHARCOUNT(trie),
11108                 (UV)trie->uniquecharcount
11109             )
11110         );
11111         if ( IS_ANYOF_TRIE(op) || trie->bitmap ) {
11112             int i;
11113             int rangestart = -1;
11114             U8* bitmap = IS_ANYOF_TRIE(op) ? (U8*)ANYOF_BITMAP(o) : (U8*)TRIE_BITMAP(trie);
11115             sv_catpvs(sv, "[");
11116             for (i = 0; i <= 256; i++) {
11117                 if (i < 256 && BITMAP_TEST(bitmap,i)) {
11118                     if (rangestart == -1)
11119                         rangestart = i;
11120                 } else if (rangestart != -1) {
11121                     if (i <= rangestart + 3)
11122                         for (; rangestart < i; rangestart++)
11123                             put_byte(sv, rangestart);
11124                     else {
11125                         put_byte(sv, rangestart);
11126                         sv_catpvs(sv, "-");
11127                         put_byte(sv, i - 1);
11128                     }
11129                     rangestart = -1;
11130                 }
11131             }
11132             sv_catpvs(sv, "]");
11133         } 
11134          
11135     } else if (k == CURLY) {
11136         if (OP(o) == CURLYM || OP(o) == CURLYN || OP(o) == CURLYX)
11137             Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags); /* Parenth number */
11138         Perl_sv_catpvf(aTHX_ sv, " {%d,%d}", ARG1(o), ARG2(o));
11139     }
11140     else if (k == WHILEM && o->flags)                   /* Ordinal/of */
11141         Perl_sv_catpvf(aTHX_ sv, "[%d/%d]", o->flags & 0xf, o->flags>>4);
11142     else if (k == REF || k == OPEN || k == CLOSE || k == GROUPP || OP(o)==ACCEPT) {
11143         Perl_sv_catpvf(aTHX_ sv, "%d", (int)ARG(o));    /* Parenth number */
11144         if ( RXp_PAREN_NAMES(prog) ) {
11145             if ( k != REF || (OP(o) < NREF)) {
11146                 AV *list= MUTABLE_AV(progi->data->data[progi->name_list_idx]);
11147                 SV **name= av_fetch(list, ARG(o), 0 );
11148                 if (name)
11149                     Perl_sv_catpvf(aTHX_ sv, " '%"SVf"'", SVfARG(*name));
11150             }       
11151             else {
11152                 AV *list= MUTABLE_AV(progi->data->data[ progi->name_list_idx ]);
11153                 SV *sv_dat= MUTABLE_SV(progi->data->data[ ARG( o ) ]);
11154                 I32 *nums=(I32*)SvPVX(sv_dat);
11155                 SV **name= av_fetch(list, nums[0], 0 );
11156                 I32 n;
11157                 if (name) {
11158                     for ( n=0; n<SvIVX(sv_dat); n++ ) {
11159                         Perl_sv_catpvf(aTHX_ sv, "%s%"IVdf,
11160                                     (n ? "," : ""), (IV)nums[n]);
11161                     }
11162                     Perl_sv_catpvf(aTHX_ sv, " '%"SVf"'", SVfARG(*name));
11163                 }
11164             }
11165         }            
11166     } else if (k == GOSUB) 
11167         Perl_sv_catpvf(aTHX_ sv, "%d[%+d]", (int)ARG(o),(int)ARG2L(o)); /* Paren and offset */
11168     else if (k == VERB) {
11169         if (!o->flags) 
11170             Perl_sv_catpvf(aTHX_ sv, ":%"SVf, 
11171                            SVfARG((MUTABLE_SV(progi->data->data[ ARG( o ) ]))));
11172     } else if (k == LOGICAL)
11173         Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags);     /* 2: embedded, otherwise 1 */
11174     else if (k == FOLDCHAR)
11175         Perl_sv_catpvf(aTHX_ sv, "[0x%"UVXf"]", PTR2UV(ARG(o)) );
11176     else if (k == ANYOF) {
11177         int i, rangestart = -1;
11178         const U8 flags = ANYOF_FLAGS(o);
11179         int do_sep = 0;
11180
11181         /* Should be synchronized with * ANYOF_ #xdefines in regcomp.h */
11182         static const char * const anyofs[] = {
11183             "\\w",
11184             "\\W",
11185             "\\s",
11186             "\\S",
11187             "\\d",
11188             "\\D",
11189             "[:alnum:]",
11190             "[:^alnum:]",
11191             "[:alpha:]",
11192             "[:^alpha:]",
11193             "[:ascii:]",
11194             "[:^ascii:]",
11195             "[:cntrl:]",
11196             "[:^cntrl:]",
11197             "[:graph:]",
11198             "[:^graph:]",
11199             "[:lower:]",
11200             "[:^lower:]",
11201             "[:print:]",
11202             "[:^print:]",
11203             "[:punct:]",
11204             "[:^punct:]",
11205             "[:upper:]",
11206             "[:^upper:]",
11207             "[:xdigit:]",
11208             "[:^xdigit:]",
11209             "[:space:]",
11210             "[:^space:]",
11211             "[:blank:]",
11212             "[:^blank:]"
11213         };
11214
11215         if (flags & ANYOF_LOCALE)
11216             sv_catpvs(sv, "{loc}");
11217         if (flags & ANYOF_LOC_NONBITMAP_FOLD)
11218             sv_catpvs(sv, "{i}");
11219         Perl_sv_catpvf(aTHX_ sv, "[%s", PL_colors[0]);
11220         if (flags & ANYOF_INVERT)
11221             sv_catpvs(sv, "^");
11222         
11223         /* output what the standard cp 0-255 bitmap matches */
11224         for (i = 0; i <= 256; i++) {
11225             if (i < 256 && ANYOF_BITMAP_TEST(o,i)) {
11226                 if (rangestart == -1)
11227                     rangestart = i;
11228             } else if (rangestart != -1) {
11229                 if (i <= rangestart + 3)
11230                     for (; rangestart < i; rangestart++)
11231                         put_byte(sv, rangestart);
11232                 else {
11233                     put_byte(sv, rangestart);
11234                     sv_catpvs(sv, "-");
11235                     put_byte(sv, i - 1);
11236                 }
11237                 do_sep = 1;
11238                 rangestart = -1;
11239             }
11240         }
11241         
11242         EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags);
11243         /* output any special charclass tests (used entirely under use locale) */
11244         if (ANYOF_CLASS_TEST_ANY_SET(o))
11245             for (i = 0; i < (int)(sizeof(anyofs)/sizeof(char*)); i++)
11246                 if (ANYOF_CLASS_TEST(o,i)) {
11247                     sv_catpv(sv, anyofs[i]);
11248                     do_sep = 1;
11249                 }
11250         
11251         EMIT_ANYOF_TEST_SEPARATOR(do_sep,sv,flags);
11252         
11253         if (flags & ANYOF_NON_UTF8_LATIN1_ALL) {
11254             sv_catpvs(sv, "{non-utf8-latin1-all}");
11255         }
11256
11257         /* output information about the unicode matching */
11258         if (flags & ANYOF_UNICODE_ALL)
11259             sv_catpvs(sv, "{unicode_all}");
11260         else if (ANYOF_NONBITMAP(o))
11261             sv_catpvs(sv, "{unicode}");
11262         if (flags & ANYOF_NONBITMAP_NON_UTF8)
11263             sv_catpvs(sv, "{outside bitmap}");
11264
11265         if (ANYOF_NONBITMAP(o)) {
11266             SV *lv;
11267             SV * const sw = regclass_swash(prog, o, FALSE, &lv, 0);
11268         
11269             if (lv) {
11270                 if (sw) {
11271                     U8 s[UTF8_MAXBYTES_CASE+1];
11272
11273                     for (i = 0; i <= 256; i++) { /* just the first 256 */
11274                         uvchr_to_utf8(s, i);
11275                         
11276                         if (i < 256 && swash_fetch(sw, s, TRUE)) {
11277                             if (rangestart == -1)
11278                                 rangestart = i;
11279                         } else if (rangestart != -1) {
11280                             if (i <= rangestart + 3)
11281                                 for (; rangestart < i; rangestart++) {
11282                                     const U8 * const e = uvchr_to_utf8(s,rangestart);
11283                                     U8 *p;
11284                                     for(p = s; p < e; p++)
11285                                         put_byte(sv, *p);
11286                                 }
11287                             else {
11288                                 const U8 *e = uvchr_to_utf8(s,rangestart);
11289                                 U8 *p;
11290                                 for (p = s; p < e; p++)
11291                                     put_byte(sv, *p);
11292                                 sv_catpvs(sv, "-");
11293                                 e = uvchr_to_utf8(s, i-1);
11294                                 for (p = s; p < e; p++)
11295                                     put_byte(sv, *p);
11296                                 }
11297                                 rangestart = -1;
11298                             }
11299                         }
11300                         
11301                     sv_catpvs(sv, "..."); /* et cetera */
11302                 }
11303
11304                 {
11305                     char *s = savesvpv(lv);
11306                     char * const origs = s;
11307                 
11308                     while (*s && *s != '\n')
11309                         s++;
11310                 
11311                     if (*s == '\n') {
11312                         const char * const t = ++s;
11313                         
11314                         while (*s) {
11315                             if (*s == '\n')
11316                                 *s = ' ';
11317                             s++;
11318                         }
11319                         if (s[-1] == ' ')
11320                             s[-1] = 0;
11321                         
11322                         sv_catpv(sv, t);
11323                     }
11324                 
11325                     Safefree(origs);
11326                 }
11327             }
11328         }
11329
11330         Perl_sv_catpvf(aTHX_ sv, "%s]", PL_colors[1]);
11331     }
11332     else if (k == BRANCHJ && (OP(o) == UNLESSM || OP(o) == IFMATCH))
11333         Perl_sv_catpvf(aTHX_ sv, "[%d]", -(o->flags));
11334 #else
11335     PERL_UNUSED_CONTEXT;
11336     PERL_UNUSED_ARG(sv);
11337     PERL_UNUSED_ARG(o);
11338     PERL_UNUSED_ARG(prog);
11339 #endif  /* DEBUGGING */
11340 }
11341
11342 SV *
11343 Perl_re_intuit_string(pTHX_ REGEXP * const r)
11344 {                               /* Assume that RE_INTUIT is set */
11345     dVAR;
11346     struct regexp *const prog = (struct regexp *)SvANY(r);
11347     GET_RE_DEBUG_FLAGS_DECL;
11348
11349     PERL_ARGS_ASSERT_RE_INTUIT_STRING;
11350     PERL_UNUSED_CONTEXT;
11351
11352     DEBUG_COMPILE_r(
11353         {
11354             const char * const s = SvPV_nolen_const(prog->check_substr
11355                       ? prog->check_substr : prog->check_utf8);
11356
11357             if (!PL_colorset) reginitcolors();
11358             PerlIO_printf(Perl_debug_log,
11359                       "%sUsing REx %ssubstr:%s \"%s%.60s%s%s\"\n",
11360                       PL_colors[4],
11361                       prog->check_substr ? "" : "utf8 ",
11362                       PL_colors[5],PL_colors[0],
11363                       s,
11364                       PL_colors[1],
11365                       (strlen(s) > 60 ? "..." : ""));
11366         } );
11367
11368     return prog->check_substr ? prog->check_substr : prog->check_utf8;
11369 }
11370
11371 /* 
11372    pregfree() 
11373    
11374    handles refcounting and freeing the perl core regexp structure. When 
11375    it is necessary to actually free the structure the first thing it 
11376    does is call the 'free' method of the regexp_engine associated to
11377    the regexp, allowing the handling of the void *pprivate; member 
11378    first. (This routine is not overridable by extensions, which is why 
11379    the extensions free is called first.)
11380    
11381    See regdupe and regdupe_internal if you change anything here. 
11382 */
11383 #ifndef PERL_IN_XSUB_RE
11384 void
11385 Perl_pregfree(pTHX_ REGEXP *r)
11386 {
11387     SvREFCNT_dec(r);
11388 }
11389
11390 void
11391 Perl_pregfree2(pTHX_ REGEXP *rx)
11392 {
11393     dVAR;
11394     struct regexp *const r = (struct regexp *)SvANY(rx);
11395     GET_RE_DEBUG_FLAGS_DECL;
11396
11397     PERL_ARGS_ASSERT_PREGFREE2;
11398
11399     if (r->mother_re) {
11400         ReREFCNT_dec(r->mother_re);
11401     } else {
11402         CALLREGFREE_PVT(rx); /* free the private data */
11403         SvREFCNT_dec(RXp_PAREN_NAMES(r));
11404     }        
11405     if (r->substrs) {
11406         SvREFCNT_dec(r->anchored_substr);
11407         SvREFCNT_dec(r->anchored_utf8);
11408         SvREFCNT_dec(r->float_substr);
11409         SvREFCNT_dec(r->float_utf8);
11410         Safefree(r->substrs);
11411     }
11412     RX_MATCH_COPY_FREE(rx);
11413 #ifdef PERL_OLD_COPY_ON_WRITE
11414     SvREFCNT_dec(r->saved_copy);
11415 #endif
11416     Safefree(r->offs);
11417 }
11418
11419 /*  reg_temp_copy()
11420     
11421     This is a hacky workaround to the structural issue of match results
11422     being stored in the regexp structure which is in turn stored in
11423     PL_curpm/PL_reg_curpm. The problem is that due to qr// the pattern
11424     could be PL_curpm in multiple contexts, and could require multiple
11425     result sets being associated with the pattern simultaneously, such
11426     as when doing a recursive match with (??{$qr})
11427     
11428     The solution is to make a lightweight copy of the regexp structure 
11429     when a qr// is returned from the code executed by (??{$qr}) this
11430     lightweight copy doesn't actually own any of its data except for
11431     the starp/end and the actual regexp structure itself. 
11432     
11433 */    
11434     
11435     
11436 REGEXP *
11437 Perl_reg_temp_copy (pTHX_ REGEXP *ret_x, REGEXP *rx)
11438 {
11439     struct regexp *ret;
11440     struct regexp *const r = (struct regexp *)SvANY(rx);
11441     register const I32 npar = r->nparens+1;
11442
11443     PERL_ARGS_ASSERT_REG_TEMP_COPY;
11444
11445     if (!ret_x)
11446         ret_x = (REGEXP*) newSV_type(SVt_REGEXP);
11447     ret = (struct regexp *)SvANY(ret_x);
11448     
11449     (void)ReREFCNT_inc(rx);
11450     /* We can take advantage of the existing "copied buffer" mechanism in SVs
11451        by pointing directly at the buffer, but flagging that the allocated
11452        space in the copy is zero. As we've just done a struct copy, it's now
11453        a case of zero-ing that, rather than copying the current length.  */
11454     SvPV_set(ret_x, RX_WRAPPED(rx));
11455     SvFLAGS(ret_x) |= SvFLAGS(rx) & (SVf_POK|SVp_POK|SVf_UTF8);
11456     memcpy(&(ret->xpv_cur), &(r->xpv_cur),
11457            sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur));
11458     SvLEN_set(ret_x, 0);
11459     SvSTASH_set(ret_x, NULL);
11460     SvMAGIC_set(ret_x, NULL);
11461     Newx(ret->offs, npar, regexp_paren_pair);
11462     Copy(r->offs, ret->offs, npar, regexp_paren_pair);
11463     if (r->substrs) {
11464         Newx(ret->substrs, 1, struct reg_substr_data);
11465         StructCopy(r->substrs, ret->substrs, struct reg_substr_data);
11466
11467         SvREFCNT_inc_void(ret->anchored_substr);
11468         SvREFCNT_inc_void(ret->anchored_utf8);
11469         SvREFCNT_inc_void(ret->float_substr);
11470         SvREFCNT_inc_void(ret->float_utf8);
11471
11472         /* check_substr and check_utf8, if non-NULL, point to either their
11473            anchored or float namesakes, and don't hold a second reference.  */
11474     }
11475     RX_MATCH_COPIED_off(ret_x);
11476 #ifdef PERL_OLD_COPY_ON_WRITE
11477     ret->saved_copy = NULL;
11478 #endif
11479     ret->mother_re = rx;
11480     
11481     return ret_x;
11482 }
11483 #endif
11484
11485 /* regfree_internal() 
11486
11487    Free the private data in a regexp. This is overloadable by 
11488    extensions. Perl takes care of the regexp structure in pregfree(), 
11489    this covers the *pprivate pointer which technically perl doesn't 
11490    know about, however of course we have to handle the 
11491    regexp_internal structure when no extension is in use. 
11492    
11493    Note this is called before freeing anything in the regexp 
11494    structure. 
11495  */
11496  
11497 void
11498 Perl_regfree_internal(pTHX_ REGEXP * const rx)
11499 {
11500     dVAR;
11501     struct regexp *const r = (struct regexp *)SvANY(rx);
11502     RXi_GET_DECL(r,ri);
11503     GET_RE_DEBUG_FLAGS_DECL;
11504
11505     PERL_ARGS_ASSERT_REGFREE_INTERNAL;
11506
11507     DEBUG_COMPILE_r({
11508         if (!PL_colorset)
11509             reginitcolors();
11510         {
11511             SV *dsv= sv_newmortal();
11512             RE_PV_QUOTED_DECL(s, RX_UTF8(rx),
11513                 dsv, RX_PRECOMP(rx), RX_PRELEN(rx), 60);
11514             PerlIO_printf(Perl_debug_log,"%sFreeing REx:%s %s\n", 
11515                 PL_colors[4],PL_colors[5],s);
11516         }
11517     });
11518 #ifdef RE_TRACK_PATTERN_OFFSETS
11519     if (ri->u.offsets)
11520         Safefree(ri->u.offsets);             /* 20010421 MJD */
11521 #endif
11522     if (ri->data) {
11523         int n = ri->data->count;
11524         PAD* new_comppad = NULL;
11525         PAD* old_comppad;
11526         PADOFFSET refcnt;
11527
11528         while (--n >= 0) {
11529           /* If you add a ->what type here, update the comment in regcomp.h */
11530             switch (ri->data->what[n]) {
11531             case 'a':
11532             case 's':
11533             case 'S':
11534             case 'u':
11535                 SvREFCNT_dec(MUTABLE_SV(ri->data->data[n]));
11536                 break;
11537             case 'f':
11538                 Safefree(ri->data->data[n]);
11539                 break;
11540             case 'p':
11541                 new_comppad = MUTABLE_AV(ri->data->data[n]);
11542                 break;
11543             case 'o':
11544                 if (new_comppad == NULL)
11545                     Perl_croak(aTHX_ "panic: pregfree comppad");
11546                 PAD_SAVE_LOCAL(old_comppad,
11547                     /* Watch out for global destruction's random ordering. */
11548                     (SvTYPE(new_comppad) == SVt_PVAV) ? new_comppad : NULL
11549                 );
11550                 OP_REFCNT_LOCK;
11551                 refcnt = OpREFCNT_dec((OP_4tree*)ri->data->data[n]);
11552                 OP_REFCNT_UNLOCK;
11553                 if (!refcnt)
11554                     op_free((OP_4tree*)ri->data->data[n]);
11555
11556                 PAD_RESTORE_LOCAL(old_comppad);
11557                 SvREFCNT_dec(MUTABLE_SV(new_comppad));
11558                 new_comppad = NULL;
11559                 break;
11560             case 'n':
11561                 break;
11562             case 'T':           
11563                 { /* Aho Corasick add-on structure for a trie node.
11564                      Used in stclass optimization only */
11565                     U32 refcount;
11566                     reg_ac_data *aho=(reg_ac_data*)ri->data->data[n];
11567                     OP_REFCNT_LOCK;
11568                     refcount = --aho->refcount;
11569                     OP_REFCNT_UNLOCK;
11570                     if ( !refcount ) {
11571                         PerlMemShared_free(aho->states);
11572                         PerlMemShared_free(aho->fail);
11573                          /* do this last!!!! */
11574                         PerlMemShared_free(ri->data->data[n]);
11575                         PerlMemShared_free(ri->regstclass);
11576                     }
11577                 }
11578                 break;
11579             case 't':
11580                 {
11581                     /* trie structure. */
11582                     U32 refcount;
11583                     reg_trie_data *trie=(reg_trie_data*)ri->data->data[n];
11584                     OP_REFCNT_LOCK;
11585                     refcount = --trie->refcount;
11586                     OP_REFCNT_UNLOCK;
11587                     if ( !refcount ) {
11588                         PerlMemShared_free(trie->charmap);
11589                         PerlMemShared_free(trie->states);
11590                         PerlMemShared_free(trie->trans);
11591                         if (trie->bitmap)
11592                             PerlMemShared_free(trie->bitmap);
11593                         if (trie->jump)
11594                             PerlMemShared_free(trie->jump);
11595                         PerlMemShared_free(trie->wordinfo);
11596                         /* do this last!!!! */
11597                         PerlMemShared_free(ri->data->data[n]);
11598                     }
11599                 }
11600                 break;
11601             default:
11602                 Perl_croak(aTHX_ "panic: regfree data code '%c'", ri->data->what[n]);
11603             }
11604         }
11605         Safefree(ri->data->what);
11606         Safefree(ri->data);
11607     }
11608
11609     Safefree(ri);
11610 }
11611
11612 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
11613 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
11614 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
11615
11616 /* 
11617    re_dup - duplicate a regexp. 
11618    
11619    This routine is expected to clone a given regexp structure. It is only
11620    compiled under USE_ITHREADS.
11621
11622    After all of the core data stored in struct regexp is duplicated
11623    the regexp_engine.dupe method is used to copy any private data
11624    stored in the *pprivate pointer. This allows extensions to handle
11625    any duplication it needs to do.
11626
11627    See pregfree() and regfree_internal() if you change anything here. 
11628 */
11629 #if defined(USE_ITHREADS)
11630 #ifndef PERL_IN_XSUB_RE
11631 void
11632 Perl_re_dup_guts(pTHX_ const REGEXP *sstr, REGEXP *dstr, CLONE_PARAMS *param)
11633 {
11634     dVAR;
11635     I32 npar;
11636     const struct regexp *r = (const struct regexp *)SvANY(sstr);
11637     struct regexp *ret = (struct regexp *)SvANY(dstr);
11638     
11639     PERL_ARGS_ASSERT_RE_DUP_GUTS;
11640
11641     npar = r->nparens+1;
11642     Newx(ret->offs, npar, regexp_paren_pair);
11643     Copy(r->offs, ret->offs, npar, regexp_paren_pair);
11644     if(ret->swap) {
11645         /* no need to copy these */
11646         Newx(ret->swap, npar, regexp_paren_pair);
11647     }
11648
11649     if (ret->substrs) {
11650         /* Do it this way to avoid reading from *r after the StructCopy().
11651            That way, if any of the sv_dup_inc()s dislodge *r from the L1
11652            cache, it doesn't matter.  */
11653         const bool anchored = r->check_substr
11654             ? r->check_substr == r->anchored_substr
11655             : r->check_utf8 == r->anchored_utf8;
11656         Newx(ret->substrs, 1, struct reg_substr_data);
11657         StructCopy(r->substrs, ret->substrs, struct reg_substr_data);
11658
11659         ret->anchored_substr = sv_dup_inc(ret->anchored_substr, param);
11660         ret->anchored_utf8 = sv_dup_inc(ret->anchored_utf8, param);
11661         ret->float_substr = sv_dup_inc(ret->float_substr, param);
11662         ret->float_utf8 = sv_dup_inc(ret->float_utf8, param);
11663
11664         /* check_substr and check_utf8, if non-NULL, point to either their
11665            anchored or float namesakes, and don't hold a second reference.  */
11666
11667         if (ret->check_substr) {
11668             if (anchored) {
11669                 assert(r->check_utf8 == r->anchored_utf8);
11670                 ret->check_substr = ret->anchored_substr;
11671                 ret->check_utf8 = ret->anchored_utf8;
11672             } else {
11673                 assert(r->check_substr == r->float_substr);
11674                 assert(r->check_utf8 == r->float_utf8);
11675                 ret->check_substr = ret->float_substr;
11676                 ret->check_utf8 = ret->float_utf8;
11677             }
11678         } else if (ret->check_utf8) {
11679             if (anchored) {
11680                 ret->check_utf8 = ret->anchored_utf8;
11681             } else {
11682                 ret->check_utf8 = ret->float_utf8;
11683             }
11684         }
11685     }
11686
11687     RXp_PAREN_NAMES(ret) = hv_dup_inc(RXp_PAREN_NAMES(ret), param);
11688
11689     if (ret->pprivate)
11690         RXi_SET(ret,CALLREGDUPE_PVT(dstr,param));
11691
11692     if (RX_MATCH_COPIED(dstr))
11693         ret->subbeg  = SAVEPVN(ret->subbeg, ret->sublen);
11694     else
11695         ret->subbeg = NULL;
11696 #ifdef PERL_OLD_COPY_ON_WRITE
11697     ret->saved_copy = NULL;
11698 #endif
11699
11700     if (ret->mother_re) {
11701         if (SvPVX_const(dstr) == SvPVX_const(ret->mother_re)) {
11702             /* Our storage points directly to our mother regexp, but that's
11703                1: a buffer in a different thread
11704                2: something we no longer hold a reference on
11705                so we need to copy it locally.  */
11706             /* Note we need to sue SvCUR() on our mother_re, because it, in
11707                turn, may well be pointing to its own mother_re.  */
11708             SvPV_set(dstr, SAVEPVN(SvPVX_const(ret->mother_re),
11709                                    SvCUR(ret->mother_re)+1));
11710             SvLEN_set(dstr, SvCUR(ret->mother_re)+1);
11711         }
11712         ret->mother_re      = NULL;
11713     }
11714     ret->gofs = 0;
11715 }
11716 #endif /* PERL_IN_XSUB_RE */
11717
11718 /*
11719    regdupe_internal()
11720    
11721    This is the internal complement to regdupe() which is used to copy
11722    the structure pointed to by the *pprivate pointer in the regexp.
11723    This is the core version of the extension overridable cloning hook.
11724    The regexp structure being duplicated will be copied by perl prior
11725    to this and will be provided as the regexp *r argument, however 
11726    with the /old/ structures pprivate pointer value. Thus this routine
11727    may override any copying normally done by perl.
11728    
11729    It returns a pointer to the new regexp_internal structure.
11730 */
11731
11732 void *
11733 Perl_regdupe_internal(pTHX_ REGEXP * const rx, CLONE_PARAMS *param)
11734 {
11735     dVAR;
11736     struct regexp *const r = (struct regexp *)SvANY(rx);
11737     regexp_internal *reti;
11738     int len, npar;
11739     RXi_GET_DECL(r,ri);
11740
11741     PERL_ARGS_ASSERT_REGDUPE_INTERNAL;
11742     
11743     npar = r->nparens+1;
11744     len = ProgLen(ri);
11745     
11746     Newxc(reti, sizeof(regexp_internal) + len*sizeof(regnode), char, regexp_internal);
11747     Copy(ri->program, reti->program, len+1, regnode);
11748     
11749
11750     reti->regstclass = NULL;
11751
11752     if (ri->data) {
11753         struct reg_data *d;
11754         const int count = ri->data->count;
11755         int i;
11756
11757         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
11758                 char, struct reg_data);
11759         Newx(d->what, count, U8);
11760
11761         d->count = count;
11762         for (i = 0; i < count; i++) {
11763             d->what[i] = ri->data->what[i];
11764             switch (d->what[i]) {
11765                 /* legal options are one of: sSfpontTua
11766                    see also regcomp.h and pregfree() */
11767             case 'a': /* actually an AV, but the dup function is identical.  */
11768             case 's':
11769             case 'S':
11770             case 'p': /* actually an AV, but the dup function is identical.  */
11771             case 'u': /* actually an HV, but the dup function is identical.  */
11772                 d->data[i] = sv_dup_inc((const SV *)ri->data->data[i], param);
11773                 break;
11774             case 'f':
11775                 /* This is cheating. */
11776                 Newx(d->data[i], 1, struct regnode_charclass_class);
11777                 StructCopy(ri->data->data[i], d->data[i],
11778                             struct regnode_charclass_class);
11779                 reti->regstclass = (regnode*)d->data[i];
11780                 break;
11781             case 'o':
11782                 /* Compiled op trees are readonly and in shared memory,
11783                    and can thus be shared without duplication. */
11784                 OP_REFCNT_LOCK;
11785                 d->data[i] = (void*)OpREFCNT_inc((OP*)ri->data->data[i]);
11786                 OP_REFCNT_UNLOCK;
11787                 break;
11788             case 'T':
11789                 /* Trie stclasses are readonly and can thus be shared
11790                  * without duplication. We free the stclass in pregfree
11791                  * when the corresponding reg_ac_data struct is freed.
11792                  */
11793                 reti->regstclass= ri->regstclass;
11794                 /* Fall through */
11795             case 't':
11796                 OP_REFCNT_LOCK;
11797                 ((reg_trie_data*)ri->data->data[i])->refcount++;
11798                 OP_REFCNT_UNLOCK;
11799                 /* Fall through */
11800             case 'n':
11801                 d->data[i] = ri->data->data[i];
11802                 break;
11803             default:
11804                 Perl_croak(aTHX_ "panic: re_dup unknown data code '%c'", ri->data->what[i]);
11805             }
11806         }
11807
11808         reti->data = d;
11809     }
11810     else
11811         reti->data = NULL;
11812
11813     reti->name_list_idx = ri->name_list_idx;
11814
11815 #ifdef RE_TRACK_PATTERN_OFFSETS
11816     if (ri->u.offsets) {
11817         Newx(reti->u.offsets, 2*len+1, U32);
11818         Copy(ri->u.offsets, reti->u.offsets, 2*len+1, U32);
11819     }
11820 #else
11821     SetProgLen(reti,len);
11822 #endif
11823
11824     return (void*)reti;
11825 }
11826
11827 #endif    /* USE_ITHREADS */
11828
11829 #ifndef PERL_IN_XSUB_RE
11830
11831 /*
11832  - regnext - dig the "next" pointer out of a node
11833  */
11834 regnode *
11835 Perl_regnext(pTHX_ register regnode *p)
11836 {
11837     dVAR;
11838     register I32 offset;
11839
11840     if (!p)
11841         return(NULL);
11842
11843     if (OP(p) > REGNODE_MAX) {          /* regnode.type is unsigned */
11844         Perl_croak(aTHX_ "Corrupted regexp opcode %d > %d", (int)OP(p), (int)REGNODE_MAX);
11845     }
11846
11847     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
11848     if (offset == 0)
11849         return(NULL);
11850
11851     return(p+offset);
11852 }
11853 #endif
11854
11855 STATIC void     
11856 S_re_croak2(pTHX_ const char* pat1,const char* pat2,...)
11857 {
11858     va_list args;
11859     STRLEN l1 = strlen(pat1);
11860     STRLEN l2 = strlen(pat2);
11861     char buf[512];
11862     SV *msv;
11863     const char *message;
11864
11865     PERL_ARGS_ASSERT_RE_CROAK2;
11866
11867     if (l1 > 510)
11868         l1 = 510;
11869     if (l1 + l2 > 510)
11870         l2 = 510 - l1;
11871     Copy(pat1, buf, l1 , char);
11872     Copy(pat2, buf + l1, l2 , char);
11873     buf[l1 + l2] = '\n';
11874     buf[l1 + l2 + 1] = '\0';
11875 #ifdef I_STDARG
11876     /* ANSI variant takes additional second argument */
11877     va_start(args, pat2);
11878 #else
11879     va_start(args);
11880 #endif
11881     msv = vmess(buf, &args);
11882     va_end(args);
11883     message = SvPV_const(msv,l1);
11884     if (l1 > 512)
11885         l1 = 512;
11886     Copy(message, buf, l1 , char);
11887     buf[l1-1] = '\0';                   /* Overwrite \n */
11888     Perl_croak(aTHX_ "%s", buf);
11889 }
11890
11891 /* XXX Here's a total kludge.  But we need to re-enter for swash routines. */
11892
11893 #ifndef PERL_IN_XSUB_RE
11894 void
11895 Perl_save_re_context(pTHX)
11896 {
11897     dVAR;
11898
11899     struct re_save_state *state;
11900
11901     SAVEVPTR(PL_curcop);
11902     SSGROW(SAVESTACK_ALLOC_FOR_RE_SAVE_STATE + 1);
11903
11904     state = (struct re_save_state *)(PL_savestack + PL_savestack_ix);
11905     PL_savestack_ix += SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11906     SSPUSHUV(SAVEt_RE_STATE);
11907
11908     Copy(&PL_reg_state, state, 1, struct re_save_state);
11909
11910     PL_reg_start_tmp = 0;
11911     PL_reg_start_tmpl = 0;
11912     PL_reg_oldsaved = NULL;
11913     PL_reg_oldsavedlen = 0;
11914     PL_reg_maxiter = 0;
11915     PL_reg_leftiter = 0;
11916     PL_reg_poscache = NULL;
11917     PL_reg_poscache_size = 0;
11918 #ifdef PERL_OLD_COPY_ON_WRITE
11919     PL_nrs = NULL;
11920 #endif
11921
11922     /* Save $1..$n (#18107: UTF-8 s/(\w+)/uc($1)/e); AMS 20021106. */
11923     if (PL_curpm) {
11924         const REGEXP * const rx = PM_GETRE(PL_curpm);
11925         if (rx) {
11926             U32 i;
11927             for (i = 1; i <= RX_NPARENS(rx); i++) {
11928                 char digits[TYPE_CHARS(long)];
11929                 const STRLEN len = my_snprintf(digits, sizeof(digits), "%lu", (long)i);
11930                 GV *const *const gvp
11931                     = (GV**)hv_fetch(PL_defstash, digits, len, 0);
11932
11933                 if (gvp) {
11934                     GV * const gv = *gvp;
11935                     if (SvTYPE(gv) == SVt_PVGV && GvSV(gv))
11936                         save_scalar(gv);
11937                 }
11938             }
11939         }
11940     }
11941 }
11942 #endif
11943
11944 static void
11945 clear_re(pTHX_ void *r)
11946 {
11947     dVAR;
11948     ReREFCNT_dec((REGEXP *)r);
11949 }
11950
11951 #ifdef DEBUGGING
11952
11953 STATIC void
11954 S_put_byte(pTHX_ SV *sv, int c)
11955 {
11956     PERL_ARGS_ASSERT_PUT_BYTE;
11957
11958     /* Our definition of isPRINT() ignores locales, so only bytes that are
11959        not part of UTF-8 are considered printable. I assume that the same
11960        holds for UTF-EBCDIC.
11961        Also, code point 255 is not printable in either (it's E0 in EBCDIC,
11962        which Wikipedia says:
11963
11964        EO, or Eight Ones, is an 8-bit EBCDIC character code represented as all
11965        ones (binary 1111 1111, hexadecimal FF). It is similar, but not
11966        identical, to the ASCII delete (DEL) or rubout control character.
11967        ) So the old condition can be simplified to !isPRINT(c)  */
11968     if (!isPRINT(c)) {
11969         if (c < 256) {
11970             Perl_sv_catpvf(aTHX_ sv, "\\x%02x", c);
11971         }
11972         else {
11973             Perl_sv_catpvf(aTHX_ sv, "\\x{%x}", c);
11974         }
11975     }
11976     else {
11977         const char string = c;
11978         if (c == '-' || c == ']' || c == '\\' || c == '^')
11979             sv_catpvs(sv, "\\");
11980         sv_catpvn(sv, &string, 1);
11981     }
11982 }
11983
11984
11985 #define CLEAR_OPTSTART \
11986     if (optstart) STMT_START { \
11987             DEBUG_OPTIMISE_r(PerlIO_printf(Perl_debug_log, " (%"IVdf" nodes)\n", (IV)(node - optstart))); \
11988             optstart=NULL; \
11989     } STMT_END
11990
11991 #define DUMPUNTIL(b,e) CLEAR_OPTSTART; node=dumpuntil(r,start,(b),(e),last,sv,indent+1,depth+1);
11992
11993 STATIC const regnode *
11994 S_dumpuntil(pTHX_ const regexp *r, const regnode *start, const regnode *node,
11995             const regnode *last, const regnode *plast, 
11996             SV* sv, I32 indent, U32 depth)
11997 {
11998     dVAR;
11999     register U8 op = PSEUDO;    /* Arbitrary non-END op. */
12000     register const regnode *next;
12001     const regnode *optstart= NULL;
12002     
12003     RXi_GET_DECL(r,ri);
12004     GET_RE_DEBUG_FLAGS_DECL;
12005
12006     PERL_ARGS_ASSERT_DUMPUNTIL;
12007
12008 #ifdef DEBUG_DUMPUNTIL
12009     PerlIO_printf(Perl_debug_log, "--- %d : %d - %d - %d\n",indent,node-start,
12010         last ? last-start : 0,plast ? plast-start : 0);
12011 #endif
12012             
12013     if (plast && plast < last) 
12014         last= plast;
12015
12016     while (PL_regkind[op] != END && (!last || node < last)) {
12017         /* While that wasn't END last time... */
12018         NODE_ALIGN(node);
12019         op = OP(node);
12020         if (op == CLOSE || op == WHILEM)
12021             indent--;
12022         next = regnext((regnode *)node);
12023
12024         /* Where, what. */
12025         if (OP(node) == OPTIMIZED) {
12026             if (!optstart && RE_DEBUG_FLAG(RE_DEBUG_COMPILE_OPTIMISE))
12027                 optstart = node;
12028             else
12029                 goto after_print;
12030         } else
12031             CLEAR_OPTSTART;
12032         
12033         regprop(r, sv, node);
12034         PerlIO_printf(Perl_debug_log, "%4"IVdf":%*s%s", (IV)(node - start),
12035                       (int)(2*indent + 1), "", SvPVX_const(sv));
12036         
12037         if (OP(node) != OPTIMIZED) {                  
12038             if (next == NULL)           /* Next ptr. */
12039                 PerlIO_printf(Perl_debug_log, " (0)");
12040             else if (PL_regkind[(U8)op] == BRANCH && PL_regkind[OP(next)] != BRANCH )
12041                 PerlIO_printf(Perl_debug_log, " (FAIL)");
12042             else 
12043                 PerlIO_printf(Perl_debug_log, " (%"IVdf")", (IV)(next - start));
12044             (void)PerlIO_putc(Perl_debug_log, '\n'); 
12045         }
12046         
12047       after_print:
12048         if (PL_regkind[(U8)op] == BRANCHJ) {
12049             assert(next);
12050             {
12051                 register const regnode *nnode = (OP(next) == LONGJMP
12052                                              ? regnext((regnode *)next)
12053                                              : next);
12054                 if (last && nnode > last)
12055                     nnode = last;
12056                 DUMPUNTIL(NEXTOPER(NEXTOPER(node)), nnode);
12057             }
12058         }
12059         else if (PL_regkind[(U8)op] == BRANCH) {
12060             assert(next);
12061             DUMPUNTIL(NEXTOPER(node), next);
12062         }
12063         else if ( PL_regkind[(U8)op]  == TRIE ) {
12064             const regnode *this_trie = node;
12065             const char op = OP(node);
12066             const U32 n = ARG(node);
12067             const reg_ac_data * const ac = op>=AHOCORASICK ?
12068                (reg_ac_data *)ri->data->data[n] :
12069                NULL;
12070             const reg_trie_data * const trie =
12071                 (reg_trie_data*)ri->data->data[op<AHOCORASICK ? n : ac->trie];
12072 #ifdef DEBUGGING
12073             AV *const trie_words = MUTABLE_AV(ri->data->data[n + TRIE_WORDS_OFFSET]);
12074 #endif
12075             const regnode *nextbranch= NULL;
12076             I32 word_idx;
12077             sv_setpvs(sv, "");
12078             for (word_idx= 0; word_idx < (I32)trie->wordcount; word_idx++) {
12079                 SV ** const elem_ptr = av_fetch(trie_words,word_idx,0);
12080                 
12081                 PerlIO_printf(Perl_debug_log, "%*s%s ",
12082                    (int)(2*(indent+3)), "",
12083                     elem_ptr ? pv_pretty(sv, SvPV_nolen_const(*elem_ptr), SvCUR(*elem_ptr), 60,
12084                             PL_colors[0], PL_colors[1],
12085                             (SvUTF8(*elem_ptr) ? PERL_PV_ESCAPE_UNI : 0) |
12086                             PERL_PV_PRETTY_ELLIPSES    |
12087                             PERL_PV_PRETTY_LTGT
12088                             )
12089                             : "???"
12090                 );
12091                 if (trie->jump) {
12092                     U16 dist= trie->jump[word_idx+1];
12093                     PerlIO_printf(Perl_debug_log, "(%"UVuf")\n",
12094                                   (UV)((dist ? this_trie + dist : next) - start));
12095                     if (dist) {
12096                         if (!nextbranch)
12097                             nextbranch= this_trie + trie->jump[0];    
12098                         DUMPUNTIL(this_trie + dist, nextbranch);
12099                     }
12100                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
12101                         nextbranch= regnext((regnode *)nextbranch);
12102                 } else {
12103                     PerlIO_printf(Perl_debug_log, "\n");
12104                 }
12105             }
12106             if (last && next > last)
12107                 node= last;
12108             else
12109                 node= next;
12110         }
12111         else if ( op == CURLY ) {   /* "next" might be very big: optimizer */
12112             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS,
12113                     NEXTOPER(node) + EXTRA_STEP_2ARGS + 1);
12114         }
12115         else if (PL_regkind[(U8)op] == CURLY && op != CURLYX) {
12116             assert(next);
12117             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS, next);
12118         }
12119         else if ( op == PLUS || op == STAR) {
12120             DUMPUNTIL(NEXTOPER(node), NEXTOPER(node) + 1);
12121         }
12122         else if (PL_regkind[(U8)op] == ANYOF) {
12123             /* arglen 1 + class block */
12124             node += 1 + ((ANYOF_FLAGS(node) & ANYOF_CLASS)
12125                     ? ANYOF_CLASS_SKIP : ANYOF_SKIP);
12126             node = NEXTOPER(node);
12127         }
12128         else if (PL_regkind[(U8)op] == EXACT) {
12129             /* Literal string, where present. */
12130             node += NODE_SZ_STR(node) - 1;
12131             node = NEXTOPER(node);
12132         }
12133         else {
12134             node = NEXTOPER(node);
12135             node += regarglen[(U8)op];
12136         }
12137         if (op == CURLYX || op == OPEN)
12138             indent++;
12139     }
12140     CLEAR_OPTSTART;
12141 #ifdef DEBUG_DUMPUNTIL    
12142     PerlIO_printf(Perl_debug_log, "--- %d\n", (int)indent);
12143 #endif
12144     return node;
12145 }
12146
12147 #endif  /* DEBUGGING */
12148
12149 /*
12150  * Local variables:
12151  * c-indentation-style: bsd
12152  * c-basic-offset: 4
12153  * indent-tabs-mode: t
12154  * End:
12155  *
12156  * ex: set ts=8 sts=4 sw=4 noet:
12157  */