]> git.vpit.fr Git - perl/modules/autovivification.git/blobdiff - autovivification.xs
Don't cleanup thread local storage before END blocks are executed
[perl/modules/autovivification.git] / autovivification.xs
index be15816d12a40fa059521177fc3c8195c6460822..d92b0b7b01bb92d6a94d7cc92f545ca2b79a609c 100644 (file)
 
 #define A_HAS_PERL(R, V, S) (PERL_REVISION > (R) || (PERL_REVISION == (R) && (PERL_VERSION > (V) || (PERL_VERSION == (V) && (PERL_SUBVERSION >= (S))))))
 
-#undef ENTERn
-#if defined(ENTER_with_name) && !A_HAS_PERL(5, 11, 4)
-# define ENTERn(N) ENTER_with_name(N)
-#else
-# define ENTERn(N) ENTER
-#endif
-
-#undef LEAVEn
-#if defined(LEAVE_with_name) && !A_HAS_PERL(5, 11, 4)
-# define LEAVEn(N) LEAVE_with_name(N)
-#else
-# define LEAVEn(N) LEAVE
-#endif
-
 #ifndef A_WORKAROUND_REQUIRE_PROPAGATION
 # define A_WORKAROUND_REQUIRE_PROPAGATION !A_HAS_PERL(5, 10, 1)
 #endif
 
+#ifndef A_HAS_RPEEP
+# define A_HAS_RPEEP A_HAS_PERL(5, 13, 5)
+#endif
+
 /* ... Thread safety and multiplicity ...................................... */
 
 /* Always safe when the workaround isn't needed */
@@ -57,7 +47,8 @@
 #  define A_MULTIPLICITY 0
 # endif
 #endif
-#if A_MULTIPLICITY && !defined(tTHX)
+
+#ifndef tTHX
 # define tTHX PerlInterpreter*
 #endif
 
 # define MY_CXT_CLONE NOOP
 #endif
 
+#if defined(OP_CHECK_MUTEX_LOCK) && defined(OP_CHECK_MUTEX_UNLOCK)
+# define A_CHECK_MUTEX_LOCK   OP_CHECK_MUTEX_LOCK
+# define A_CHECK_MUTEX_UNLOCK OP_CHECK_MUTEX_UNLOCK
+#else
+# define A_CHECK_MUTEX_LOCK   OP_REFCNT_LOCK
+# define A_CHECK_MUTEX_UNLOCK OP_REFCNT_UNLOCK
+#endif
+
+typedef OP *(*a_ck_t)(pTHX_ OP *);
+
+#ifdef wrap_op_checker
+
+# define a_ck_replace(T, NC, OCP) wrap_op_checker((T), (NC), (OCP))
+
+#else
+
+STATIC void a_ck_replace(pTHX_ OPCODE type, a_ck_t new_ck, a_ck_t *old_ck_p) {
+#define a_ck_replace(T, NC, OCP) a_ck_replace(aTHX_ (T), (NC), (OCP))
+ A_CHECK_MUTEX_LOCK;
+ if (!*old_ck_p) {
+  *old_ck_p      = PL_check[type];
+  PL_check[type] = new_ck;
+ }
+ A_CHECK_MUTEX_UNLOCK;
+}
+
+#endif
+
+STATIC void a_ck_restore(pTHX_ OPCODE type, a_ck_t *old_ck_p) {
+#define a_ck_restore(T, OCP) a_ck_restore(aTHX_ (T), (OCP))
+ A_CHECK_MUTEX_LOCK;
+ if (*old_ck_p) {
+  PL_check[type] = *old_ck_p;
+  *old_ck_p      = 0;
+ }
+ A_CHECK_MUTEX_UNLOCK;
+}
+
 /* --- Helpers ------------------------------------------------------------- */
 
 /* ... Thread-safe hints ................................................... */
@@ -112,21 +141,42 @@ typedef struct {
 #define ptable_hints_store(T, K, V) ptable_hints_store(aTHX_ (T), (K), (V))
 #define ptable_hints_free(T)        ptable_hints_free(aTHX_ (T))
 
+#endif /* A_THREADSAFE */
+
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
+
+#define PTABLE_NAME        ptable_seen
+#define PTABLE_VAL_FREE(V) NOOP
+
+#include "ptable.h"
+
+/* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
+#define ptable_seen_store(T, K, V) ptable_seen_store(aPTBLMS_ (T), (K), (V))
+#define ptable_seen_clear(T)       ptable_seen_clear(aPTBLMS_ (T))
+#define ptable_seen_free(T)        ptable_seen_free(aPTBLMS_ (T))
+
 #define MY_CXT_KEY __PACKAGE__ "::_guts" XS_VERSION
 
 typedef struct {
+#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
  ptable *tbl;   /* It really is a ptable_hints */
  tTHX    owner;
+#endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+ ptable *seen;  /* It really is a ptable_seen */
 } my_cxt_t;
 
 START_MY_CXT
 
+#if A_THREADSAFE
+
+#if A_WORKAROUND_REQUIRE_PROPAGATION
+
 typedef struct {
- ptable *tbl;
+ ptable       *tbl;
 #if A_HAS_PERL(5, 13, 2)
  CLONE_PARAMS *params;
 #else
- CLONE_PARAMS params;
+ CLONE_PARAMS  params;
 #endif
 } a_ptable_clone_ud;
 
@@ -158,16 +208,44 @@ STATIC void a_ptable_clone(pTHX_ ptable_ent *ent, void *ud_) {
  ptable_hints_store(ud->tbl, ent->key, h2);
 }
 
-#include "reap.h"
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
 
 STATIC void a_thread_cleanup(pTHX_ void *ud) {
  dMY_CXT;
 
+#if A_WORKAROUND_REQUIRE_PROPAGATION
  ptable_hints_free(MY_CXT.tbl);
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
+ ptable_seen_free(MY_CXT.seen);
 }
 
+STATIC int a_endav_free(pTHX_ SV *sv, MAGIC *mg) {
+ SAVEDESTRUCTOR_X(a_thread_cleanup, NULL);
+
+ return 0;
+}
+
+STATIC MGVTBL a_endav_vtbl = {
+ 0,
+ 0,
+ 0,
+ 0,
+ a_endav_free
+#if MGf_COPY
+ , 0
+#endif
+#if MGf_DUP
+ , 0
+#endif
+#if MGf_LOCAL
+ , 0
+#endif
+};
+
 #endif /* A_THREADSAFE */
 
+#if A_WORKAROUND_REQUIRE_PROPAGATION
+
 STATIC IV a_require_tag(pTHX) {
 #define a_require_tag() a_require_tag(aTHX)
  const CV *cv, *outside;
@@ -215,17 +293,19 @@ get_enclosing_cv:
 STATIC SV *a_tag(pTHX_ UV bits) {
 #define a_tag(B) a_tag(aTHX_ (B))
  a_hint_t *h;
- dMY_CXT;
 
  h              = PerlMemShared_malloc(sizeof *h);
  h->bits        = bits;
  h->require_tag = a_require_tag();
 
 #if A_THREADSAFE
- /* We only need for the key to be an unique tag for looking up the value later.
-  * Allocated memory provides convenient unique identifiers, so that's why we
-  * use the hint as the key itself. */
- ptable_hints_store(MY_CXT.tbl, h, h);
+ {
+  dMY_CXT;
+  /* We only need for the key to be an unique tag for looking up the value later
+   * Allocated memory provides convenient unique identifiers, so that's why we
+   * use the hint as the key itself. */
+  ptable_hints_store(MY_CXT.tbl, h, h);
+ }
 #endif /* A_THREADSAFE */
 
  return newSViv(PTR2IV(h));
@@ -234,14 +314,16 @@ STATIC SV *a_tag(pTHX_ UV bits) {
 STATIC UV a_detag(pTHX_ const SV *hint) {
 #define a_detag(H) a_detag(aTHX_ (H))
  a_hint_t *h;
- dMY_CXT;
 
  if (!(hint && SvIOK(hint)))
   return 0;
 
  h = INT2PTR(a_hint_t *, SvIVX(hint));
 #if A_THREADSAFE
- h = ptable_fetch(MY_CXT.tbl, h);
+ {
+  dMY_CXT;
+  h = ptable_fetch(MY_CXT.tbl, h);
+ }
 #endif /* A_THREADSAFE */
 
  if (a_require_tag() != h->require_tag)
@@ -261,7 +343,7 @@ STATIC UV a_detag(pTHX_ const SV *hint) {
      ? SvUVX(H)    \
      : (SvPOK(H)   \
         ? sv_2uv(SvLEN(H) ? (H) : sv_mortalcopy(H)) \
-       : 0        \
+        : 0        \
        )           \
      )             \
   : 0)
@@ -288,14 +370,16 @@ STATIC U32 a_hash = 0;
 STATIC UV a_hint(pTHX) {
 #define a_hint() a_hint(aTHX)
  SV *hint;
-#if A_HAS_PERL(5, 9, 5)
+#ifdef cop_hints_fetch_pvn
+ hint = cop_hints_fetch_pvn(PL_curcop, __PACKAGE__, __PACKAGE_LEN__, a_hash, 0);
+#elif A_HAS_PERL(5, 9, 5)
  hint = Perl_refcounted_he_fetch(aTHX_ PL_curcop->cop_hints_hash,
                                        NULL,
                                        __PACKAGE__, __PACKAGE_LEN__,
                                        0,
                                        a_hash);
 #else
- SV **val = hv_fetch(GvHV(PL_hintgv), __PACKAGE__, __PACKAGE_LEN__, a_hash);
+ SV **val = hv_fetch(GvHV(PL_hintgv), __PACKAGE__, __PACKAGE_LEN__, 0);
  if (!val)
   return 0;
  hint = *val;
@@ -306,9 +390,9 @@ STATIC UV a_hint(pTHX) {
 /* ... op => info map ...................................................... */
 
 typedef struct {
- OP *(*old_pp)(pTHX);
UV flags;
void *next;
+ OP   *(*old_pp)(pTHX);
void   *next;
UV      flags;
 } a_op_info;
 
 #define PTABLE_NAME        ptable_map
@@ -318,6 +402,7 @@ typedef struct {
 
 /* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
 #define ptable_map_store(T, K, V) ptable_map_store(aPTBLMS_ (T), (K), (V))
+#define ptable_map_delete(T, K)   ptable_map_delete(aPTBLMS_ (T), (K))
 
 STATIC ptable *a_op_map = NULL;
 
@@ -327,10 +412,13 @@ STATIC ptable *a_op_map = NULL;
 
 STATIC perl_mutex a_op_map_mutex;
 
+#define A_LOCK(M)   MUTEX_LOCK(M)
+#define A_UNLOCK(M) MUTEX_UNLOCK(M)
+
 STATIC const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
  const a_op_info *val;
 
MUTEX_LOCK(&a_op_map_mutex);
A_LOCK(&a_op_map_mutex);
 
  val = ptable_fetch(a_op_map, o);
  if (val) {
@@ -338,7 +426,7 @@ STATIC const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
   val = oi;
  }
 
MUTEX_UNLOCK(&a_op_map_mutex);
A_UNLOCK(&a_op_map_mutex);
 
  return val;
 }
@@ -349,6 +437,9 @@ STATIC const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
 
 #define dA_MAP_THX dNOOP
 
+#define A_LOCK(M)   NOOP
+#define A_UNLOCK(M) NOOP
+
 #define a_map_fetch(O) ptable_fetch(a_op_map, (O))
 
 #endif /* !USE_ITHREADS */
@@ -371,29 +462,20 @@ STATIC const a_op_info *a_map_store_locked(pPTBLMS_ const OP *o, OP *(*old_pp)(p
 
 STATIC void a_map_store(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
 #define a_map_store(O, PP, N, F) a_map_store(aPTBLMS_ (O), (PP), (N), (F))
-
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  a_map_store_locked(o, old_pp, next, flags);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 }
 
 STATIC void a_map_delete(pTHX_ const OP *o) {
 #define a_map_delete(O) a_map_delete(aTHX_ (O))
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
- ptable_map_store(a_op_map, o, NULL);
+ ptable_map_delete(a_op_map, o);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 }
 
 STATIC const OP *a_map_descend(const OP *o) {
@@ -417,9 +499,7 @@ STATIC void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV fl
  a_op_info *oi;
  const OP *o = root;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  roi = a_map_store_locked(o, old_pp, (OP *) root, flags | A_HINT_ROOT);
 
@@ -434,9 +514,7 @@ STATIC void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV fl
   }
  }
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
@@ -445,9 +523,7 @@ STATIC void a_map_update_flags_topdown(const OP *root, UV flags) {
  a_op_info *oi;
  const OP *o = root;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  flags &= ~A_HINT_ROOT;
 
@@ -459,9 +535,7 @@ STATIC void a_map_update_flags_topdown(const OP *root, UV flags) {
   o = a_map_descend(o);
  } while (o);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
@@ -471,9 +545,7 @@ STATIC void a_map_update_flags_topdown(const OP *root, UV flags) {
 STATIC void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
  a_op_info *oi;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  flags  &= ~A_HINT_ROOT;
  rflags |=  A_HINT_ROOT;
@@ -485,9 +557,7 @@ STATIC void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
  }
  oi->flags = rflags;
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
@@ -575,16 +645,14 @@ STATIC OP *a_pp_rv2av(pTHX) {
    /* We always need to push an empty array to fool the pp_aelem() that comes
     * later. */
    SV *av;
-   POPs;
+   (void) POPs;
    av = sv_2mortal((SV *) newAV());
    PUSHs(av);
    RETURN;
   }
- } else {
-  PL_op->op_ppaddr = oi->old_pp;
  }
 
- return CALL_FPTR(oi->old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_rv2hv ............................................................ */
@@ -599,11 +667,9 @@ STATIC OP *a_pp_rv2hv_simple(pTHX) {
  if (oi->flags & A_HINT_DEREF) {
   if (a_undef(TOPs))
    RETURN;
- } else {
-  PL_op->op_ppaddr = oi->old_pp;
  }
 
- return CALL_FPTR(oi->old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 STATIC OP *a_pp_rv2hv(pTHX) {
@@ -616,16 +682,14 @@ STATIC OP *a_pp_rv2hv(pTHX) {
  if (oi->flags & A_HINT_DEREF) {
   if (a_undef(TOPs)) {
    SV *hv;
-   POPs;
+   (void) POPs;
    hv = sv_2mortal((SV *) newHV());
    PUSHs(hv);
    RETURN;
   }
- } else {
-  PL_op->op_ppaddr = oi->old_pp;
  }
 
- return CALL_FPTR(oi->old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_deref (aelem,helem,rv2sv,padsv) .................................. */
@@ -637,17 +701,12 @@ STATIC OP *a_pp_deref(pTHX) {
  dSP;
 
  oi = a_map_fetch(PL_op);
- flags = oi->flags;
 
+ flags = oi->flags;
  if (flags & A_HINT_DEREF) {
   OP *o;
-  U8 old_private;
 
-deref:
-  old_private       = PL_op->op_private;
-  PL_op->op_private = ((old_private & ~OPpDEREF) | OPpLVAL_DEFER);
-  o = CALL_FPTR(oi->old_pp)(aTHX);
-  PL_op->op_private = old_private;
+  o = oi->old_pp(aTHX);
 
   if (flags & (A_HINT_NOTIFY|A_HINT_STORE)) {
    SPAGAIN;
@@ -662,22 +721,9 @@ deref:
   }
 
   return o;
- } else if ((flags & ~A_HINT_ROOT)
-                    && (PL_op->op_private & OPpDEREF || flags & A_HINT_ROOT)) {
-  /* Decide if the expression must autovivify or not.
-   * This branch should be called only once by expression. */
-  flags = a_map_resolve(PL_op, oi);
-
-  /* We need the updated flags value in the deref branch. */
-  if (flags & A_HINT_DEREF)
-   goto deref;
  }
 
- /* This op doesn't need to skip autovivification, so restore the original
-  * state. */
- PL_op->op_ppaddr = oi->old_pp;
-
- return CALL_FPTR(oi->old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_root (exists,delete,keys,values) ................................. */
@@ -686,7 +732,7 @@ STATIC OP *a_pp_root_unop(pTHX) {
  dSP;
 
  if (a_undef(TOPs)) {
-  POPs;
+  (void) POPs;
   /* Can only be reached by keys or values */
   if (GIMME_V == G_SCALAR) {
    dTARGET;
@@ -698,7 +744,7 @@ STATIC OP *a_pp_root_unop(pTHX) {
  {
   dA_MAP_THX;
   const a_op_info *oi = a_map_fetch(PL_op);
-  return CALL_FPTR(oi->old_pp)(aTHX);
+  return oi->old_pp(aTHX);
  }
 }
 
@@ -706,8 +752,8 @@ STATIC OP *a_pp_root_binop(pTHX) {
  dSP;
 
  if (a_undef(TOPm1s)) {
-  POPs;
-  POPs;
+  (void) POPs;
+  (void) POPs;
   if (PL_op->op_type == OP_EXISTS)
    RETPUSHNO;
   else
@@ -717,7 +763,7 @@ STATIC OP *a_pp_root_binop(pTHX) {
  {
   dA_MAP_THX;
   const a_op_info *oi = a_map_fetch(PL_op);
-  return CALL_FPTR(oi->old_pp)(aTHX);
+  return oi->old_pp(aTHX);
  }
 }
 
@@ -741,49 +787,22 @@ STATIC void a_recheck_rv2xv(pTHX_ OP *o, OPCODE type, OP *(*new_pp)(pTHX)) {
 
 /* ... ck_pad{any,sv} ...................................................... */
 
-/* Sadly, the PADSV OPs we are interested in don't trigger the padsv check
- * function, but are instead manually mutated from a PADANY. This is why we set
- * PL_ppaddr[OP_PADSV] in the padany check function so that PADSV OPs will have
- * their op_ppaddr set to our pp_padsv. PL_ppaddr[OP_PADSV] is then reset at the
- * beginning of every ck_pad{any,sv}. Some unwanted OPs can still call our
- * pp_padsv, but much less than if we would have set PL_ppaddr[OP_PADSV]
- * globally. */
-
-STATIC OP *(*a_pp_padsv_saved)(pTHX) = 0;
-
-STATIC void a_pp_padsv_save(void) {
- if (a_pp_padsv_saved)
-  return;
-
- a_pp_padsv_saved    = PL_ppaddr[OP_PADSV];
- PL_ppaddr[OP_PADSV] = a_pp_deref;
-}
-
-STATIC void a_pp_padsv_restore(OP *o) {
- if (!a_pp_padsv_saved)
-  return;
-
- if (o->op_ppaddr == a_pp_deref)
-  o->op_ppaddr = a_pp_padsv_saved;
-
- PL_ppaddr[OP_PADSV] = a_pp_padsv_saved;
- a_pp_padsv_saved    = 0;
-}
+/* Sadly, the padsv OPs we are interested in don't trigger the padsv check
+ * function, but are instead manually mutated from a padany. So we store
+ * the op entry in the op map in the padany check function, and we set their
+ * op_ppaddr member in our peephole optimizer replacement below. */
 
 STATIC OP *(*a_old_ck_padany)(pTHX_ OP *) = 0;
 
 STATIC OP *a_ck_padany(pTHX_ OP *o) {
  UV hint;
 
- a_pp_padsv_restore(o);
-
- o = CALL_FPTR(a_old_ck_padany)(aTHX_ o);
+ o = a_old_ck_padany(aTHX_ o);
 
  hint = a_hint();
- if (hint & A_HINT_DO) {
-  a_pp_padsv_save();
-  a_map_store_root(o, a_pp_padsv_saved, hint);
- } else
+ if (hint & A_HINT_DO)
+  a_map_store_root(o, o->op_ppaddr, hint);
+ else
   a_map_delete(o);
 
  return o;
@@ -794,9 +813,7 @@ STATIC OP *(*a_old_ck_padsv)(pTHX_ OP *) = 0;
 STATIC OP *a_ck_padsv(pTHX_ OP *o) {
  UV hint;
 
- a_pp_padsv_restore(o);
-
- o = CALL_FPTR(a_old_ck_padsv)(aTHX_ o);
+ o = a_old_ck_padsv(aTHX_ o);
 
  hint = a_hint();
  if (hint & A_HINT_DO) {
@@ -838,7 +855,7 @@ STATIC OP *a_ck_deref(pTHX_ OP *o) {
    old_ck = a_old_ck_rv2sv;
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
   a_map_store_root(o, o->op_ppaddr, hint);
@@ -868,7 +885,7 @@ STATIC OP *a_ck_rv2xv(pTHX_ OP *o) {
   case OP_RV2AV: old_ck = a_old_ck_rv2av; new_pp = a_pp_rv2av; break;
   case OP_RV2HV: old_ck = a_old_ck_rv2hv; new_pp = a_pp_rv2hv_simple; break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (cUNOPo->op_first->op_type == OP_GV)
   return o;
@@ -907,7 +924,7 @@ STATIC OP *a_ck_xslice(pTHX_ OP *o) {
     a_recheck_rv2xv(cUNOPo->op_first->op_sibling, OP_RV2HV, a_pp_rv2hv);
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
   a_map_store_root(o, 0, hint);
@@ -955,7 +972,7 @@ STATIC OP *a_ck_root(pTHX_ OP *o) {
    enabled = hint & A_HINT_FETCH;
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
   if (enabled) {
@@ -971,6 +988,130 @@ STATIC OP *a_ck_root(pTHX_ OP *o) {
  return o;
 }
 
+/* ... Our peephole optimizer .............................................. */
+
+STATIC peep_t a_old_peep = 0; /* This is actually the rpeep past 5.13.5 */
+
+STATIC void a_peep_rec(pTHX_ OP *o, ptable *seen);
+
+STATIC void a_peep_rec(pTHX_ OP *o, ptable *seen) {
+#define a_peep_rec(O) a_peep_rec(aTHX_ (O), seen)
+ for (; o; o = o->op_next) {
+  dA_MAP_THX;
+  const a_op_info *oi = NULL;
+  UV flags = 0;
+
+#if !A_HAS_RPEEP
+  if (ptable_fetch(seen, o))
+   break;
+  ptable_seen_store(seen, o, o);
+#endif
+
+  switch (o->op_type) {
+#if A_HAS_RPEEP
+   case OP_NEXTSTATE:
+   case OP_DBSTATE:
+   case OP_STUB:
+    if (ptable_fetch(seen, o))
+     return;
+    ptable_seen_store(seen, o, o);
+    break;
+#endif
+   case OP_PADSV:
+    if (o->op_ppaddr != a_pp_deref) {
+     oi = a_map_fetch(o);
+     if (oi && (oi->flags & A_HINT_DO)) {
+      a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
+      o->op_ppaddr = a_pp_deref;
+     }
+    }
+    /* FALLTHROUGH */
+   case OP_AELEM:
+   case OP_AELEMFAST:
+   case OP_HELEM:
+   case OP_RV2SV:
+    if (o->op_ppaddr != a_pp_deref)
+     break;
+    oi = a_map_fetch(o);
+    if (!oi)
+     break;
+    flags = oi->flags;
+    if (!(flags & A_HINT_DEREF)
+        && (flags & A_HINT_DO)
+        && (o->op_private & OPpDEREF || flags & A_HINT_ROOT)) {
+     /* Decide if the expression must autovivify or not. */
+     flags = a_map_resolve(o, oi);
+    }
+    if (flags & A_HINT_DEREF)
+     o->op_private = ((o->op_private & ~OPpDEREF) | OPpLVAL_DEFER);
+    else
+     o->op_ppaddr  = oi->old_pp;
+    break;
+   case OP_RV2AV:
+   case OP_RV2HV:
+    if (   o->op_ppaddr != a_pp_rv2av
+        && o->op_ppaddr != a_pp_rv2hv
+        && o->op_ppaddr != a_pp_rv2hv_simple)
+     break;
+    oi = a_map_fetch(o);
+    if (!oi)
+     break;
+    if (!(oi->flags & A_HINT_DEREF))
+     o->op_ppaddr  = oi->old_pp;
+    break;
+#if !A_HAS_RPEEP
+   case OP_MAPWHILE:
+   case OP_GREPWHILE:
+   case OP_AND:
+   case OP_OR:
+   case OP_ANDASSIGN:
+   case OP_ORASSIGN:
+   case OP_COND_EXPR:
+   case OP_RANGE:
+# if A_HAS_PERL(5, 10, 0)
+   case OP_ONCE:
+   case OP_DOR:
+   case OP_DORASSIGN:
+# endif
+    a_peep_rec(cLOGOPo->op_other);
+    break;
+   case OP_ENTERLOOP:
+   case OP_ENTERITER:
+    a_peep_rec(cLOOPo->op_redoop);
+    a_peep_rec(cLOOPo->op_nextop);
+    a_peep_rec(cLOOPo->op_lastop);
+    break;
+# if A_HAS_PERL(5, 9, 5)
+   case OP_SUBST:
+    a_peep_rec(cPMOPo->op_pmstashstartu.op_pmreplstart);
+    break;
+# else
+   case OP_QR:
+   case OP_MATCH:
+   case OP_SUBST:
+    a_peep_rec(cPMOPo->op_pmreplstart);
+    break;
+# endif
+#endif /* !A_HAS_RPEEP */
+   default:
+    break;
+  }
+ }
+}
+
+STATIC void a_peep(pTHX_ OP *o) {
+ dMY_CXT;
+ ptable *seen = MY_CXT.seen;
+
+ a_old_peep(aTHX_ o);
+
+ ptable_seen_clear(seen);
+ a_peep_rec(o);
+ ptable_seen_clear(seen);
+}
+
+/* --- Interpreter setup/teardown ------------------------------------------ */
+
 STATIC U32 a_initialized = 0;
 
 STATIC void a_teardown(pTHX_ void *root) {
@@ -983,48 +1124,38 @@ STATIC void a_teardown(pTHX_ void *root) {
   return;
 #endif
 
-#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
  {
   dMY_CXT;
+# if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
   ptable_hints_free(MY_CXT.tbl);
+# endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+  ptable_seen_free(MY_CXT.seen);
  }
-#endif
 
- PL_check[OP_PADANY] = MEMBER_TO_FPTR(a_old_ck_padany);
- a_old_ck_padany     = 0;
- PL_check[OP_PADSV]  = MEMBER_TO_FPTR(a_old_ck_padsv);
- a_old_ck_padsv      = 0;
-
- PL_check[OP_AELEM]  = MEMBER_TO_FPTR(a_old_ck_aelem);
- a_old_ck_aelem      = 0;
- PL_check[OP_HELEM]  = MEMBER_TO_FPTR(a_old_ck_helem);
- a_old_ck_helem      = 0;
- PL_check[OP_RV2SV]  = MEMBER_TO_FPTR(a_old_ck_rv2sv);
- a_old_ck_rv2sv      = 0;
-
- PL_check[OP_RV2AV]  = MEMBER_TO_FPTR(a_old_ck_rv2av);
- a_old_ck_rv2av      = 0;
- PL_check[OP_RV2HV]  = MEMBER_TO_FPTR(a_old_ck_rv2hv);
- a_old_ck_rv2hv      = 0;
-
- PL_check[OP_ASLICE] = MEMBER_TO_FPTR(a_old_ck_aslice);
- a_old_ck_aslice     = 0;
- PL_check[OP_HSLICE] = MEMBER_TO_FPTR(a_old_ck_hslice);
- a_old_ck_hslice     = 0;
-
- PL_check[OP_EXISTS] = MEMBER_TO_FPTR(a_old_ck_exists);
- a_old_ck_exists     = 0;
- PL_check[OP_DELETE] = MEMBER_TO_FPTR(a_old_ck_delete);
- a_old_ck_delete     = 0;
- PL_check[OP_KEYS]   = MEMBER_TO_FPTR(a_old_ck_keys);
- a_old_ck_keys       = 0;
- PL_check[OP_VALUES] = MEMBER_TO_FPTR(a_old_ck_values);
- a_old_ck_values     = 0;
-
- if (a_pp_padsv_saved) {
-  PL_ppaddr[OP_PADSV] = a_pp_padsv_saved;
-  a_pp_padsv_saved    = 0;
- }
+ a_ck_restore(OP_PADANY, &a_old_ck_padany);
+ a_ck_restore(OP_PADSV,  &a_old_ck_padsv);
+
+ a_ck_restore(OP_AELEM,  &a_old_ck_aelem);
+ a_ck_restore(OP_HELEM,  &a_old_ck_helem);
+ a_ck_restore(OP_RV2SV,  &a_old_ck_rv2sv);
+
+ a_ck_restore(OP_RV2AV,  &a_old_ck_rv2av);
+ a_ck_restore(OP_RV2HV,  &a_old_ck_rv2hv);
+
+ a_ck_restore(OP_ASLICE, &a_old_ck_aslice);
+ a_ck_restore(OP_HSLICE, &a_old_ck_hslice);
+
+ a_ck_restore(OP_EXISTS, &a_old_ck_exists);
+ a_ck_restore(OP_DELETE, &a_old_ck_delete);
+ a_ck_restore(OP_KEYS,   &a_old_ck_keys);
+ a_ck_restore(OP_VALUES, &a_old_ck_values);
+
+#if A_HAS_RPEEP
+ PL_rpeepp  = a_old_peep;
+#else
+ PL_peepp   = a_old_peep;
+#endif
+ a_old_peep = 0;
 
  a_initialized = 0;
 }
@@ -1034,44 +1165,40 @@ STATIC void a_setup(pTHX) {
  if (a_initialized)
   return;
 
-#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
  {
   MY_CXT_INIT;
+# if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
   MY_CXT.tbl   = ptable_new();
   MY_CXT.owner = aTHX;
+# endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+  MY_CXT.seen  = ptable_new();
  }
-#endif
 
- a_old_ck_padany     = PL_check[OP_PADANY];
- PL_check[OP_PADANY] = MEMBER_TO_FPTR(a_ck_padany);
- a_old_ck_padsv      = PL_check[OP_PADSV];
- PL_check[OP_PADSV]  = MEMBER_TO_FPTR(a_ck_padsv);
-
- a_old_ck_aelem      = PL_check[OP_AELEM];
- PL_check[OP_AELEM]  = MEMBER_TO_FPTR(a_ck_deref);
- a_old_ck_helem      = PL_check[OP_HELEM];
- PL_check[OP_HELEM]  = MEMBER_TO_FPTR(a_ck_deref);
- a_old_ck_rv2sv      = PL_check[OP_RV2SV];
- PL_check[OP_RV2SV]  = MEMBER_TO_FPTR(a_ck_deref);
-
- a_old_ck_rv2av      = PL_check[OP_RV2AV];
- PL_check[OP_RV2AV]  = MEMBER_TO_FPTR(a_ck_rv2xv);
- a_old_ck_rv2hv      = PL_check[OP_RV2HV];
- PL_check[OP_RV2HV]  = MEMBER_TO_FPTR(a_ck_rv2xv);
-
- a_old_ck_aslice     = PL_check[OP_ASLICE];
- PL_check[OP_ASLICE] = MEMBER_TO_FPTR(a_ck_xslice);
- a_old_ck_hslice     = PL_check[OP_HSLICE];
- PL_check[OP_HSLICE] = MEMBER_TO_FPTR(a_ck_xslice);
-
- a_old_ck_exists     = PL_check[OP_EXISTS];
- PL_check[OP_EXISTS] = MEMBER_TO_FPTR(a_ck_root);
- a_old_ck_delete     = PL_check[OP_DELETE];
- PL_check[OP_DELETE] = MEMBER_TO_FPTR(a_ck_root);
- a_old_ck_keys       = PL_check[OP_KEYS];
- PL_check[OP_KEYS]   = MEMBER_TO_FPTR(a_ck_root);
- a_old_ck_values     = PL_check[OP_VALUES];
- PL_check[OP_VALUES] = MEMBER_TO_FPTR(a_ck_root);
+ a_ck_replace(OP_PADANY, a_ck_padany, &a_old_ck_padany);
+ a_ck_replace(OP_PADSV,  a_ck_padsv,  &a_old_ck_padsv);
+
+ a_ck_replace(OP_AELEM,  a_ck_deref,  &a_old_ck_aelem);
+ a_ck_replace(OP_HELEM,  a_ck_deref,  &a_old_ck_helem);
+ a_ck_replace(OP_RV2SV,  a_ck_deref,  &a_old_ck_rv2sv);
+
+ a_ck_replace(OP_RV2AV,  a_ck_rv2xv,  &a_old_ck_rv2av);
+ a_ck_replace(OP_RV2HV,  a_ck_rv2xv,  &a_old_ck_rv2hv);
+
+ a_ck_replace(OP_ASLICE, a_ck_xslice, &a_old_ck_aslice);
+ a_ck_replace(OP_HSLICE, a_ck_xslice, &a_old_ck_hslice);
+
+ a_ck_replace(OP_EXISTS, a_ck_root,   &a_old_ck_exists);
+ a_ck_replace(OP_DELETE, a_ck_root,   &a_old_ck_delete);
+ a_ck_replace(OP_KEYS,   a_ck_root,   &a_old_ck_keys);
+ a_ck_replace(OP_VALUES, a_ck_root,   &a_old_ck_values);
+
+#if A_HAS_RPEEP
+ a_old_peep = PL_rpeepp;
+ PL_rpeepp  = a_peep;
+#else
+ a_old_peep = PL_peepp;
+ PL_peepp   = a_peep;
+#endif
 
 #if A_MULTIPLICITY
  call_atexit(a_teardown, aTHX);
@@ -1090,8 +1217,8 @@ MODULE = autovivification      PACKAGE = autovivification
 
 PROTOTYPES: ENABLE
 
-BOOT: 
-{                                    
+BOOT:
+{
  if (!a_booted++) {
   HV *stash;
 
@@ -1117,32 +1244,60 @@ BOOT:
  a_setup();
 }
 
-#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
+#if A_THREADSAFE
 
 void
 CLONE(...)
 PROTOTYPE: DISABLE
 PREINIT:
+#if A_WORKAROUND_REQUIRE_PROPAGATION
  ptable *t;
+#endif
+ ptable *s;
+ GV     *gv;
 PPCODE:
  {
-  a_ptable_clone_ud ud;
   dMY_CXT;
+#if A_WORKAROUND_REQUIRE_PROPAGATION
+  {
+   a_ptable_clone_ud ud;
 
-  t = ptable_new();
-  a_ptable_clone_ud_init(ud, t, MY_CXT.owner);
-  ptable_walk(MY_CXT.tbl, a_ptable_clone, &ud);
-  a_ptable_clone_ud_deinit(ud);
+   t = ptable_new();
+   a_ptable_clone_ud_init(ud, t, MY_CXT.owner);
+   ptable_walk(MY_CXT.tbl, a_ptable_clone, &ud);
+   a_ptable_clone_ud_deinit(ud);
+  }
+#endif
+  s = ptable_new();
  }
  {
   MY_CXT_CLONE;
+#if A_WORKAROUND_REQUIRE_PROPAGATION
   MY_CXT.tbl   = t;
   MY_CXT.owner = aTHX;
+#endif
+  MY_CXT.seen  = s;
+ }
+ gv = gv_fetchpv(__PACKAGE__ "::_THREAD_CLEANUP", 0, SVt_PVCV);
+ if (gv) {
+  CV *cv = GvCV(gv);
+  if (!PL_endav)
+   PL_endav = newAV();
+  SvREFCNT_inc(cv);
+  if (!av_store(PL_endav, av_len(PL_endav) + 1, (SV *) cv))
+   SvREFCNT_dec(cv);
+  sv_magicext((SV *) PL_endav, NULL, PERL_MAGIC_ext, &a_endav_vtbl, NULL, 0);
  }
- reap(3, a_thread_cleanup, NULL);
  XSRETURN(0);
 
-#endif
+void
+_THREAD_CLEANUP(...)
+PROTOTYPE: DISABLE
+PPCODE:
+ a_thread_cleanup(aTHX_ NULL);
+ XSRETURN(0);
+
+#endif /* A_THREADSAFE */
 
 SV *
 _tag(SV *hint)