]> git.vpit.fr Git - perl/modules/autovivification.git/blobdiff - autovivification.xs
Add support for OP_MULTIDEREF
[perl/modules/autovivification.git] / autovivification.xs
index d078674ce8b6a0901bb9f4489b30d6749f0f503d..b9843fb38ebc08628975f29c20dc75685e595300 100644 (file)
 
 #define A_HAS_PERL(R, V, S) (PERL_REVISION > (R) || (PERL_REVISION == (R) && (PERL_VERSION > (V) || (PERL_VERSION == (V) && (PERL_SUBVERSION >= (S))))))
 
-#undef ENTERn
-#if defined(ENTER_with_name) && !A_HAS_PERL(5, 11, 4)
-# define ENTERn(N) ENTER_with_name(N)
-#else
-# define ENTERn(N) ENTER
+#ifndef A_WORKAROUND_REQUIRE_PROPAGATION
+# define A_WORKAROUND_REQUIRE_PROPAGATION !A_HAS_PERL(5, 10, 1)
 #endif
 
-#undef LEAVEn
-#if defined(LEAVE_with_name) && !A_HAS_PERL(5, 11, 4)
-# define LEAVEn(N) LEAVE_with_name(N)
-#else
-# define LEAVEn(N) LEAVE
+#ifndef A_HAS_RPEEP
+# define A_HAS_RPEEP A_HAS_PERL(5, 13, 5)
 #endif
 
-#ifndef A_WORKAROUND_REQUIRE_PROPAGATION
-# define A_WORKAROUND_REQUIRE_PROPAGATION !A_HAS_PERL(5, 10, 1)
+#ifndef A_HAS_MULTIDEREF
+# define A_HAS_MULTIDEREF A_HAS_PERL(5, 21, 7)
+#endif
+
+#ifndef OpSIBLING
+# ifdef OP_SIBLING
+#  define OpSIBLING(O) OP_SIBLING(O)
+# else
+#  define OpSIBLING(O) ((O)->op_sibling)
+# endif
 #endif
 
 /* ... Thread safety and multiplicity ...................................... */
 
+/* Always safe when the workaround isn't needed */
+#if !A_WORKAROUND_REQUIRE_PROPAGATION
+# undef A_FORKSAFE
+# define A_FORKSAFE 1
+/* Otherwise, safe unless Makefile.PL says it's Win32 */
+#elif !defined(A_FORKSAFE)
+# define A_FORKSAFE 1
+#endif
+
 #ifndef A_MULTIPLICITY
-# if defined(MULTIPLICITY) || defined(PERL_IMPLICIT_CONTEXT)
+# if defined(MULTIPLICITY)
 #  define A_MULTIPLICITY 1
 # else
 #  define A_MULTIPLICITY 0
 # endif
 #endif
-#if A_MULTIPLICITY && !defined(tTHX)
+#if A_MULTIPLICITY
+# ifndef PERL_IMPLICIT_CONTEXT
+#  error MULTIPLICITY builds must set PERL_IMPLICIT_CONTEXT
+# endif
+#endif
+
+#ifndef tTHX
 # define tTHX PerlInterpreter*
 #endif
 
 # undef  MY_CXT
 # define MY_CXT       a_globaldata
 # undef  START_MY_CXT
-# define START_MY_CXT STATIC my_cxt_t MY_CXT;
+# define START_MY_CXT static my_cxt_t MY_CXT;
 # undef  MY_CXT_INIT
 # define MY_CXT_INIT  NOOP
 # undef  MY_CXT_CLONE
 # define MY_CXT_CLONE NOOP
 #endif
 
+#if defined(OP_CHECK_MUTEX_LOCK) && defined(OP_CHECK_MUTEX_UNLOCK)
+# define A_CHECK_MUTEX_LOCK   OP_CHECK_MUTEX_LOCK
+# define A_CHECK_MUTEX_UNLOCK OP_CHECK_MUTEX_UNLOCK
+#else
+# define A_CHECK_MUTEX_LOCK   OP_REFCNT_LOCK
+# define A_CHECK_MUTEX_UNLOCK OP_REFCNT_UNLOCK
+#endif
+
+typedef OP *(*a_ck_t)(pTHX_ OP *);
+
+#ifdef wrap_op_checker
+
+# define a_ck_replace(T, NC, OCP) wrap_op_checker((T), (NC), (OCP))
+
+#else
+
+static void a_ck_replace(pTHX_ OPCODE type, a_ck_t new_ck, a_ck_t *old_ck_p) {
+#define a_ck_replace(T, NC, OCP) a_ck_replace(aTHX_ (T), (NC), (OCP))
+ A_CHECK_MUTEX_LOCK;
+ if (!*old_ck_p) {
+  *old_ck_p      = PL_check[type];
+  PL_check[type] = new_ck;
+ }
+ A_CHECK_MUTEX_UNLOCK;
+}
+
+#endif
+
+static void a_ck_restore(pTHX_ OPCODE type, a_ck_t *old_ck_p) {
+#define a_ck_restore(T, OCP) a_ck_restore(aTHX_ (T), (OCP))
+ A_CHECK_MUTEX_LOCK;
+ if (*old_ck_p) {
+  PL_check[type] = *old_ck_p;
+  *old_ck_p      = 0;
+ }
+ A_CHECK_MUTEX_UNLOCK;
+}
+
 /* --- Helpers ------------------------------------------------------------- */
 
 /* ... Thread-safe hints ................................................... */
@@ -103,73 +158,114 @@ typedef struct {
 #define ptable_hints_store(T, K, V) ptable_hints_store(aTHX_ (T), (K), (V))
 #define ptable_hints_free(T)        ptable_hints_free(aTHX_ (T))
 
+#endif /* A_THREADSAFE */
+
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
+
+#define PTABLE_NAME        ptable_seen
+#define PTABLE_VAL_FREE(V) NOOP
+
+#include "ptable.h"
+
+/* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
+#define ptable_seen_store(T, K, V) ptable_seen_store(aPTBLMS_ (T), (K), (V))
+#define ptable_seen_clear(T)       ptable_seen_clear(aPTBLMS_ (T))
+#define ptable_seen_free(T)        ptable_seen_free(aPTBLMS_ (T))
+
 #define MY_CXT_KEY __PACKAGE__ "::_guts" XS_VERSION
 
 typedef struct {
+#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
  ptable *tbl;   /* It really is a ptable_hints */
  tTHX    owner;
+#endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+ ptable *seen;  /* It really is a ptable_seen */
 } my_cxt_t;
 
 START_MY_CXT
 
-STATIC SV *a_clone(pTHX_ SV *sv, tTHX owner) {
-#define a_clone(S, O) a_clone(aTHX_ (S), (O))
- CLONE_PARAMS  param;
- AV           *stashes = NULL;
- SV           *dupsv;
-
- if (SvTYPE(sv) == SVt_PVHV && HvNAME_get(sv))
-  stashes = newAV();
-
- param.stashes    = stashes;
- param.flags      = 0;
- param.proto_perl = owner;
-
- dupsv = sv_dup(sv, &param);
+#if A_THREADSAFE
 
- if (stashes) {
-  av_undef(stashes);
-  SvREFCNT_dec(stashes);
- }
+#if A_WORKAROUND_REQUIRE_PROPAGATION
 
- return SvREFCNT_inc(dupsv);
-}
+typedef struct {
+ ptable       *tbl;
+#if A_HAS_PERL(5, 13, 2)
+ CLONE_PARAMS *params;
+#else
+ CLONE_PARAMS  params;
+#endif
+} a_ptable_clone_ud;
+
+#if A_HAS_PERL(5, 13, 2)
+# define a_ptable_clone_ud_init(U, T, O) \
+   (U).tbl    = (T); \
+   (U).params = Perl_clone_params_new((O), aTHX)
+# define a_ptable_clone_ud_deinit(U) Perl_clone_params_del((U).params)
+# define a_dup_inc(S, U)             SvREFCNT_inc(sv_dup((S), (U)->params))
+#else
+# define a_ptable_clone_ud_init(U, T, O) \
+   (U).tbl               = (T);     \
+   (U).params.stashes    = newAV(); \
+   (U).params.flags      = 0;       \
+   (U).params.proto_perl = (O)
+# define a_ptable_clone_ud_deinit(U) SvREFCNT_dec((U).params.stashes)
+# define a_dup_inc(S, U)             SvREFCNT_inc(sv_dup((S), &((U)->params)))
+#endif
 
-STATIC void a_ptable_clone(pTHX_ ptable_ent *ent, void *ud_) {
my_cxt_t *ud = ud_;
+static void a_ptable_clone(pTHX_ ptable_ent *ent, void *ud_) {
a_ptable_clone_ud *ud = ud_;
  a_hint_t *h1 = ent->val;
  a_hint_t *h2;
 
- if (ud->owner == aTHX)
-  return;
-
  h2              = PerlMemShared_malloc(sizeof *h2);
  h2->bits        = h1->bits;
- h2->require_tag = PTR2IV(a_clone(INT2PTR(SV *, h1->require_tag), ud->owner));
+ h2->require_tag = PTR2IV(a_dup_inc(INT2PTR(SV *, h1->require_tag), ud));
 
  ptable_hints_store(ud->tbl, ent->key, h2);
 }
 
-STATIC void a_thread_cleanup(pTHX_ void *);
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
 
-STATIC void a_thread_cleanup(pTHX_ void *ud) {
int *level = ud;
+static void a_thread_cleanup(pTHX_ void *ud) {
dMY_CXT;
 
- if (*level) {
-  *level = 0;
-  LEAVE;
-  SAVEDESTRUCTOR_X(a_thread_cleanup, level);
-  ENTER;
- } else {
-  dMY_CXT;
-  PerlMemShared_free(level);
-  ptable_hints_free(MY_CXT.tbl);
- }
+#if A_WORKAROUND_REQUIRE_PROPAGATION
+ ptable_hints_free(MY_CXT.tbl);
+ MY_CXT.tbl  = NULL;
+#endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
+ ptable_seen_free(MY_CXT.seen);
+ MY_CXT.seen = NULL;
 }
 
+static int a_endav_free(pTHX_ SV *sv, MAGIC *mg) {
+ SAVEDESTRUCTOR_X(a_thread_cleanup, NULL);
+
+ return 0;
+}
+
+static MGVTBL a_endav_vtbl = {
+ 0,
+ 0,
+ 0,
+ 0,
+ a_endav_free
+#if MGf_COPY
+ , 0
+#endif
+#if MGf_DUP
+ , 0
+#endif
+#if MGf_LOCAL
+ , 0
+#endif
+};
+
 #endif /* A_THREADSAFE */
 
-STATIC IV a_require_tag(pTHX) {
+#if A_WORKAROUND_REQUIRE_PROPAGATION
+
+static IV a_require_tag(pTHX) {
 #define a_require_tag() a_require_tag(aTHX)
  const CV *cv, *outside;
 
@@ -213,17 +309,22 @@ get_enclosing_cv:
  return PTR2IV(cv);
 }
 
-STATIC SV *a_tag(pTHX_ UV bits) {
+static SV *a_tag(pTHX_ UV bits) {
 #define a_tag(B) a_tag(aTHX_ (B))
  a_hint_t *h;
+#if A_THREADSAFE
  dMY_CXT;
 
+ if (!MY_CXT.tbl)
+  return newSViv(0);
+#endif /* A_THREADSAFE */
+
  h              = PerlMemShared_malloc(sizeof *h);
  h->bits        = bits;
  h->require_tag = a_require_tag();
 
 #if A_THREADSAFE
- /* We only need for the key to be an unique tag for looking up the value later.
+ /* We only need for the key to be an unique tag for looking up the value later
   * Allocated memory provides convenient unique identifiers, so that's why we
   * use the hint as the key itself. */
  ptable_hints_store(MY_CXT.tbl, h, h);
@@ -232,11 +333,16 @@ STATIC SV *a_tag(pTHX_ UV bits) {
  return newSViv(PTR2IV(h));
 }
 
-STATIC UV a_detag(pTHX_ const SV *hint) {
+static UV a_detag(pTHX_ const SV *hint) {
 #define a_detag(H) a_detag(aTHX_ (H))
  a_hint_t *h;
+#if A_THREADSAFE
  dMY_CXT;
 
+ if (!MY_CXT.tbl)
+  return 0;
+#endif /* A_THREADSAFE */
+
  if (!(hint && SvIOK(hint)))
   return 0;
 
@@ -262,7 +368,7 @@ STATIC UV a_detag(pTHX_ const SV *hint) {
      ? SvUVX(H)    \
      : (SvPOK(H)   \
         ? sv_2uv(SvLEN(H) ? (H) : sv_mortalcopy(H)) \
-       : 0        \
+        : 0        \
        )           \
      )             \
   : 0)
@@ -284,19 +390,21 @@ STATIC UV a_detag(pTHX_ const SV *hint) {
 #define A_HINT_ROOT   64
 #define A_HINT_DEREF  128
 
-STATIC U32 a_hash = 0;
+static U32 a_hash = 0;
 
-STATIC UV a_hint(pTHX) {
+static UV a_hint(pTHX) {
 #define a_hint() a_hint(aTHX)
  SV *hint;
-#if A_HAS_PERL(5, 9, 5)
+#ifdef cop_hints_fetch_pvn
+ hint = cop_hints_fetch_pvn(PL_curcop, __PACKAGE__, __PACKAGE_LEN__, a_hash, 0);
+#elif A_HAS_PERL(5, 9, 5)
  hint = Perl_refcounted_he_fetch(aTHX_ PL_curcop->cop_hints_hash,
                                        NULL,
                                        __PACKAGE__, __PACKAGE_LEN__,
                                        0,
                                        a_hash);
 #else
- SV **val = hv_fetch(GvHV(PL_hintgv), __PACKAGE__, __PACKAGE_LEN__, a_hash);
+ SV **val = hv_fetch(GvHV(PL_hintgv), __PACKAGE__, __PACKAGE_LEN__, 0);
  if (!val)
   return 0;
  hint = *val;
@@ -307,9 +415,9 @@ STATIC UV a_hint(pTHX) {
 /* ... op => info map ...................................................... */
 
 typedef struct {
- OP *(*old_pp)(pTHX);
UV flags;
void *next;
+ OP   *(*old_pp)(pTHX);
void   *next;
UV      flags;
 } a_op_info;
 
 #define PTABLE_NAME        ptable_map
@@ -319,19 +427,23 @@ typedef struct {
 
 /* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
 #define ptable_map_store(T, K, V) ptable_map_store(aPTBLMS_ (T), (K), (V))
+#define ptable_map_delete(T, K)   ptable_map_delete(aPTBLMS_ (T), (K))
 
-STATIC ptable *a_op_map = NULL;
+static ptable *a_op_map = NULL;
 
 #ifdef USE_ITHREADS
-STATIC perl_mutex a_op_map_mutex;
-#endif
 
-STATIC const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
+#define dA_MAP_THX a_op_info a_op_map_tmp_oi
+
+static perl_mutex a_op_map_mutex;
+
+#define A_LOCK(M)   MUTEX_LOCK(M)
+#define A_UNLOCK(M) MUTEX_UNLOCK(M)
+
+static const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
  const a_op_info *val;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  val = ptable_fetch(a_op_map, o);
  if (val) {
@@ -339,14 +451,25 @@ STATIC const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
   val = oi;
  }
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return val;
 }
 
-STATIC const a_op_info *a_map_store_locked(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
+#define a_map_fetch(O) a_map_fetch((O), &a_op_map_tmp_oi)
+
+#else /* USE_ITHREADS */
+
+#define dA_MAP_THX dNOOP
+
+#define A_LOCK(M)   NOOP
+#define A_UNLOCK(M) NOOP
+
+#define a_map_fetch(O) ptable_fetch(a_op_map, (O))
+
+#endif /* !USE_ITHREADS */
+
+static const a_op_info *a_map_store_locked(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
 #define a_map_store_locked(O, PP, N, F) a_map_store_locked(aPTBLMS_ (O), (PP), (N), (F))
  a_op_info *oi;
 
@@ -362,34 +485,25 @@ STATIC const a_op_info *a_map_store_locked(pPTBLMS_ const OP *o, OP *(*old_pp)(p
  return oi;
 }
 
-STATIC void a_map_store(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
+static void a_map_store(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
 #define a_map_store(O, PP, N, F) a_map_store(aPTBLMS_ (O), (PP), (N), (F))
-
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  a_map_store_locked(o, old_pp, next, flags);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 }
 
-STATIC void a_map_delete(pTHX_ const OP *o) {
+static void a_map_delete(pTHX_ const OP *o) {
 #define a_map_delete(O) a_map_delete(aTHX_ (O))
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
- ptable_map_store(a_op_map, o, NULL);
+ ptable_map_delete(a_op_map, o);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 }
 
-STATIC const OP *a_map_descend(const OP *o) {
+static const OP *a_map_descend(const OP *o) {
  switch (PL_opargs[o->op_type] & OA_CLASS_MASK) {
   case OA_BASEOP:
   case OA_UNOP:
@@ -404,15 +518,13 @@ STATIC const OP *a_map_descend(const OP *o) {
  return NULL;
 }
 
-STATIC void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV flags) {
+static void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV flags) {
 #define a_map_store_root(R, PP, F) a_map_store_root(aPTBLMS_ (R), (PP), (F))
  const a_op_info *roi;
  a_op_info *oi;
  const OP *o = root;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  roi = a_map_store_locked(o, old_pp, (OP *) root, flags | A_HINT_ROOT);
 
@@ -427,20 +539,16 @@ STATIC void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV fl
   }
  }
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
 
-STATIC void a_map_update_flags_topdown(const OP *root, UV flags) {
+static void a_map_update_flags_topdown(const OP *root, UV flags) {
  a_op_info *oi;
  const OP *o = root;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  flags &= ~A_HINT_ROOT;
 
@@ -452,21 +560,17 @@ STATIC void a_map_update_flags_topdown(const OP *root, UV flags) {
   o = a_map_descend(o);
  } while (o);
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
 
 #define a_map_cancel(R) a_map_update_flags_topdown((R), 0)
 
-STATIC void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
+static void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
  a_op_info *oi;
 
-#ifdef USE_ITHREADS
- MUTEX_LOCK(&a_op_map_mutex);
-#endif
+ A_LOCK(&a_op_map_mutex);
 
  flags  &= ~A_HINT_ROOT;
  rflags |=  A_HINT_ROOT;
@@ -478,19 +582,17 @@ STATIC void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
  }
  oi->flags = rflags;
 
-#ifdef USE_ITHREADS
- MUTEX_UNLOCK(&a_op_map_mutex);
-#endif
+ A_UNLOCK(&a_op_map_mutex);
 
  return;
 }
 
 /* ... Decide whether this expression should be autovivified or not ........ */
 
-STATIC UV a_map_resolve(const OP *o, a_op_info *oi) {
+static UV a_map_resolve(const OP *o, const a_op_info *oi) {
  UV flags = 0, rflags;
  const OP *root;
- a_op_info *roi = oi;
const a_op_info *roi = oi;
 
  while (!(roi->flags & A_HINT_ROOT))
   roi = roi->next;
@@ -520,30 +622,30 @@ cancel:
  return oi->flags & A_HINT_ROOT ? 0 : flags;
 }
 
-/* ... Lightweight pp_defined() ............................................ */
-
-STATIC bool a_defined(pTHX_ SV *sv) {
-#define a_defined(S) a_defined(aTHX_ (S))
- bool defined = FALSE;
+/* ... Inspired from pp_defined() .......................................... */
 
+static int a_undef(pTHX_ SV *sv) {
+#define a_undef(S) a_undef(aTHX_ (S))
  switch (SvTYPE(sv)) {
+  case SVt_NULL:
+   return 1;
   case SVt_PVAV:
    if (AvMAX(sv) >= 0 || SvGMAGICAL(sv)
                       || (SvRMAGICAL(sv) && mg_find(sv, PERL_MAGIC_tied)))
-    defined = TRUE;
+    return 0;
    break;
   case SVt_PVHV:
    if (HvARRAY(sv) || SvGMAGICAL(sv)
                    || (SvRMAGICAL(sv) && mg_find(sv, PERL_MAGIC_tied)))
-    defined = TRUE;
+    return 0;
    break;
   default:
    SvGETMAGIC(sv);
    if (SvOK(sv))
-    defined = TRUE;
+    return 0;
  }
 
- return defined;
+ return 1;
 }
 
 /* --- PP functions -------------------------------------------------------- */
@@ -556,133 +658,110 @@ STATIC bool a_defined(pTHX_ SV *sv) {
 
 /* ... pp_rv2av ............................................................ */
 
-STATIC OP *a_pp_rv2av(pTHX) {
a_op_info oi;
UV flags;
+static OP *a_pp_rv2av(pTHX) {
dA_MAP_THX;
const a_op_info *oi;
  dSP;
 
- a_map_fetch(PL_op, &oi);
- flags = oi.flags;
+ oi = a_map_fetch(PL_op);
 
- if (flags & A_HINT_DEREF) {
-  if (!a_defined(TOPs)) {
+ if (oi->flags & A_HINT_DEREF) {
+  if (a_undef(TOPs)) {
    /* We always need to push an empty array to fool the pp_aelem() that comes
     * later. */
    SV *av;
-   POPs;
+   (void) POPs;
    av = sv_2mortal((SV *) newAV());
    PUSHs(av);
    RETURN;
   }
- } else {
-  PL_op->op_ppaddr = oi.old_pp;
  }
 
- return CALL_FPTR(oi.old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_rv2hv ............................................................ */
 
-STATIC OP *a_pp_rv2hv_simple(pTHX) {
a_op_info oi;
UV flags;
+static OP *a_pp_rv2hv_simple(pTHX) {
dA_MAP_THX;
const a_op_info *oi;
  dSP;
 
- a_map_fetch(PL_op, &oi);
- flags = oi.flags;
+ oi = a_map_fetch(PL_op);
 
- if (flags & A_HINT_DEREF) {
-  if (!a_defined(TOPs))
+ if (oi->flags & A_HINT_DEREF) {
+  if (a_undef(TOPs))
    RETURN;
- } else {
-  PL_op->op_ppaddr = oi.old_pp;
  }
 
- return CALL_FPTR(oi.old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
-STATIC OP *a_pp_rv2hv(pTHX) {
a_op_info oi;
UV flags;
+static OP *a_pp_rv2hv(pTHX) {
dA_MAP_THX;
const a_op_info *oi;
  dSP;
 
- a_map_fetch(PL_op, &oi);
- flags = oi.flags;
+ oi = a_map_fetch(PL_op);
 
- if (flags & A_HINT_DEREF) {
-  if (!a_defined(TOPs)) {
+ if (oi->flags & A_HINT_DEREF) {
+  if (a_undef(TOPs)) {
    SV *hv;
-   POPs;
+   (void) POPs;
    hv = sv_2mortal((SV *) newHV());
    PUSHs(hv);
    RETURN;
   }
- } else {
-  PL_op->op_ppaddr = oi.old_pp;
  }
 
- return CALL_FPTR(oi.old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_deref (aelem,helem,rv2sv,padsv) .................................. */
 
-STATIC OP *a_pp_deref(pTHX) {
- a_op_info oi;
+static void a_cannot_vivify(pTHX_ UV flags) {
+#define a_cannot_vivify(F) a_cannot_vivify(aTHX_ (F))
+ if (flags & A_HINT_STRICT)
+  croak("Reference vivification forbidden");
+ else if (flags & A_HINT_WARN)
+  warn("Reference was vivified");
+ else /* A_HINT_STORE */
+  croak("Can't vivify reference");
+}
+
+static OP *a_pp_deref(pTHX) {
+ dA_MAP_THX;
+ const a_op_info *oi;
  UV flags;
  dSP;
 
- a_map_fetch(PL_op, &oi);
- flags = oi.flags;
+ oi = a_map_fetch(PL_op);
 
+ flags = oi->flags;
  if (flags & A_HINT_DEREF) {
   OP *o;
-  U8 old_private;
 
-deref:
-  old_private       = PL_op->op_private;
-  PL_op->op_private = ((old_private & ~OPpDEREF) | OPpLVAL_DEFER);
-  o = CALL_FPTR(oi.old_pp)(aTHX);
-  PL_op->op_private = old_private;
+  o = oi->old_pp(aTHX);
 
   if (flags & (A_HINT_NOTIFY|A_HINT_STORE)) {
    SPAGAIN;
-   if (!a_defined(TOPs)) {
-    if (flags & A_HINT_STRICT)
-     croak("Reference vivification forbidden");
-    else if (flags & A_HINT_WARN)
-      warn("Reference was vivified");
-    else /* A_HINT_STORE */
-     croak("Can't vivify reference");
-   }
+   if (a_undef(TOPs))
+    a_cannot_vivify(flags);
   }
 
   return o;
- } else if ((flags & ~A_HINT_ROOT)
-                    && (PL_op->op_private & OPpDEREF || flags & A_HINT_ROOT)) {
-  /* Decide if the expression must autovivify or not.
-   * This branch should be called only once by expression. */
-  flags = a_map_resolve(PL_op, &oi);
-
-  /* We need the updated flags value in the deref branch. */
-  if (flags & A_HINT_DEREF)
-   goto deref;
  }
 
- /* This op doesn't need to skip autovivification, so restore the original
-  * state. */
- PL_op->op_ppaddr = oi.old_pp;
-
- return CALL_FPTR(oi.old_pp)(aTHX);
+ return oi->old_pp(aTHX);
 }
 
 /* ... pp_root (exists,delete,keys,values) ................................. */
 
-STATIC OP *a_pp_root_unop(pTHX) {
- a_op_info oi;
+static OP *a_pp_root_unop(pTHX) {
  dSP;
 
- if (!a_defined(TOPs)) {
-  POPs;
+ if (a_undef(TOPs)) {
+  (void) POPs;
   /* Can only be reached by keys or values */
   if (GIMME_V == G_SCALAR) {
    dTARGET;
@@ -691,103 +770,346 @@ STATIC OP *a_pp_root_unop(pTHX) {
   RETURN;
  }
 
- a_map_fetch(PL_op, &oi);
-
- return CALL_FPTR(oi.old_pp)(aTHX);
+ {
+  dA_MAP_THX;
+  const a_op_info *oi = a_map_fetch(PL_op);
+  return oi->old_pp(aTHX);
+ }
 }
 
-STATIC OP *a_pp_root_binop(pTHX) {
- a_op_info oi;
+static OP *a_pp_root_binop(pTHX) {
  dSP;
 
- if (!a_defined(TOPm1s)) {
-  POPs;
-  POPs;
+ if (a_undef(TOPm1s)) {
+  (void) POPs;
+  (void) POPs;
   if (PL_op->op_type == OP_EXISTS)
    RETPUSHNO;
   else
    RETPUSHUNDEF;
  }
 
- a_map_fetch(PL_op, &oi);
-
- return CALL_FPTR(oi.old_pp)(aTHX);
+ {
+  dA_MAP_THX;
+  const a_op_info *oi = a_map_fetch(PL_op);
+  return oi->old_pp(aTHX);
+ }
 }
 
-/* --- Check functions ----------------------------------------------------- */
+#if A_HAS_MULTIDEREF
 
-STATIC void a_recheck_rv2xv(pTHX_ OP *o, OPCODE type, OP *(*new_pp)(pTHX)) {
-#define a_recheck_rv2xv(O, T, PP) a_recheck_rv2xv(aTHX_ (O), (T), (PP))
- a_op_info oi;
+/* ... pp_multideref ....................................................... */
 
- if (o->op_type == type && o->op_ppaddr != new_pp
-                        && cUNOPo->op_first->op_type != OP_GV
-                        && a_map_fetch(o, &oi)) {
-  a_map_store(o, o->op_ppaddr, oi.next, oi.flags);
-  o->op_ppaddr = new_pp;
+static SV *a_do_fake_pp(pTHX_ OP *op) {
+#define a_do_fake_pp(O) a_do_fake_pp(aTHX_ (O))
+ {
+  OP *o = PL_op;
+  ENTER;
+  SAVEOP();
+  PL_op = op;
+  PL_op->op_ppaddr(aTHX);
+  PL_op = o;
+  LEAVE;
  }
 
- return;
+ {
+  SV *ret;
+  dSP;
+  ret = POPs;
+  PUTBACK;
+  return ret;
+ }
 }
 
-/* ... ck_pad{any,sv} ...................................................... */
+static void a_do_fake_pp_unop_init(pTHX_ UNOP *unop, U32 type, U32 flags) {
+#define a_do_fake_pp_unop_init(O, T, F) a_do_fake_pp_unop_init(aTHX_ (O), (T), (F))
+ unop->op_type    = type;
+ unop->op_flags   = OPf_WANT_SCALAR | (~OPf_WANT & flags);
+ unop->op_private = 0;
+ unop->op_first   = NULL;
+ unop->op_ppaddr  = PL_ppaddr[type];
+}
 
-/* Sadly, the PADSV OPs we are interested in don't trigger the padsv check
- * function, but are instead manually mutated from a PADANY. This is why we set
- * PL_ppaddr[OP_PADSV] in the padany check function so that PADSV OPs will have
- * their op_ppaddr set to our pp_padsv. PL_ppaddr[OP_PADSV] is then reset at the
- * beginning of every ck_pad{any,sv}. Some unwanted OPs can still call our
- * pp_padsv, but much less than if we would have set PL_ppaddr[OP_PADSV]
- * globally. */
+static SV *a_do_fake_pp_unop_arg1(pTHX_ U32 type, U32 flags, SV *arg) {
+#define a_do_fake_pp_unop_arg1(T, F, A) a_do_fake_pp_unop_arg1(aTHX_ (T), (F), (A))
+ UNOP unop;
+ dSP;
 
-STATIC OP *(*a_pp_padsv_saved)(pTHX) = 0;
+ a_do_fake_pp_unop_init(&unop, type, flags);
 
-STATIC void a_pp_padsv_save(void) {
- if (a_pp_padsv_saved)
 return;
+ EXTEND(SP, 1);
+ PUSHs(arg);
PUTBACK;
 
- a_pp_padsv_saved    = PL_ppaddr[OP_PADSV];
- PL_ppaddr[OP_PADSV] = a_pp_deref;
+ return a_do_fake_pp(&unop);
 }
 
-STATIC void a_pp_padsv_restore(OP *o) {
- if (!a_pp_padsv_saved)
-  return;
+static SV *a_do_fake_pp_unop_arg2(pTHX_ U32 type, U32 flags, SV *arg1, SV *arg2) {
+#define a_do_fake_pp_unop_arg2(T, F, A1, A2) a_do_fake_pp_unop_arg2(aTHX_ (T), (F), (A1), (A2))
+ UNOP unop;
+ dSP;
+
+ a_do_fake_pp_unop_init(&unop, type, flags);
 
- if (o->op_ppaddr == a_pp_deref)
-  o->op_ppaddr = a_pp_padsv_saved;
+ EXTEND(SP, 2);
+ PUSHs(arg1);
+ PUSHs(arg2);
+ PUTBACK;
 
- PL_ppaddr[OP_PADSV] = a_pp_padsv_saved;
- a_pp_padsv_saved    = 0;
+ return a_do_fake_pp(&unop);
 }
 
-STATIC OP *(*a_old_ck_padany)(pTHX_ OP *) = 0;
+#define a_do_pp_rv2av(R)      a_do_fake_pp_unop_arg1(OP_RV2AV,  OPf_REF, (R))
+#define a_do_pp_aexists(A, I) a_do_fake_pp_unop_arg2(OP_EXISTS, OPf_SPECIAL, (A), (I))
+#define a_do_pp_adelete(A, I) a_do_fake_pp_unop_arg2(OP_DELETE, OPf_SPECIAL, (A), (I))
+#define a_do_pp_aelem(A, I)   a_do_fake_pp_unop_arg2(OP_AELEM,  0,  (A), (I))
+
+#define a_do_pp_rv2hv(R)      a_do_fake_pp_unop_arg1(OP_RV2HV,  OPf_REF, (R))
+#define a_do_pp_hexists(H, K) a_do_fake_pp_unop_arg2(OP_EXISTS, 0,  (H), (K))
+#define a_do_pp_hdelete(H, K) a_do_fake_pp_unop_arg2(OP_DELETE, 0,  (H), (K))
+#define a_do_pp_helem(H, K)   a_do_fake_pp_unop_arg2(OP_HELEM,  0,  (H), (K))
+
+static OP *a_pp_multideref(pTHX) {
+ UNOP_AUX_item *items = cUNOP_AUXx(PL_op)->op_aux;
+ UV  actions = items->uv;
+ U8  isexdel = PL_op->op_private & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE);
+ UV  flags   = 0;
+ SV *sv      = NULL;
+ dSP;
 
-STATIC OP *a_ck_padany(pTHX_ OP *o) {
- UV hint;
+ {
+  dA_MAP_THX;
+  const a_op_info *oi = a_map_fetch(PL_op);
+  flags = oi->flags;
+  if (isexdel) {
+   if (isexdel & OPpMULTIDEREF_EXISTS) {
+    if (flags & A_HINT_EXISTS)
+     goto hijack;
+   } else if (flags & A_HINT_DELETE) {
+    assert(isexdel & OPpMULTIDEREF_DELETE);
+    goto hijack;
+   }
+  } else if (flags & A_HINT_FETCH) {
+   goto hijack;
+  }
+  return oi->old_pp(aTHX);
+ }
+
+hijack:
+ PL_multideref_pc = items;
+
+ while (1) {
+  switch (actions & MDEREF_ACTION_MASK) {
+   case MDEREF_reload:
+    actions = (++items)->uv;
+    continue;
+   case MDEREF_AV_padav_aelem: /* $lex[...] */
+    sv = PAD_SVl((++items)->pad_offset);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_AV_aelem;
+   case MDEREF_AV_gvav_aelem: /* $pkg[...] */
+    sv = UNOP_AUX_item_sv(++items);
+    assert(isGV_with_GP(sv));
+    sv = (SV *) GvAVn((GV *) sv);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_AV_aelem;
+   case MDEREF_AV_pop_rv2av_aelem: /* expr->[...] */
+    sv = POPs;
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_AV_rv2av_aelem;
+   case MDEREF_AV_gvsv_vivify_rv2av_aelem: /* $pkg->[...] */
+    sv = UNOP_AUX_item_sv(++items);
+    assert(isGV_with_GP(sv));
+    sv = GvSVn((GV *) sv);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_AV_vivify_rv2av_aelem;
+   case MDEREF_AV_padsv_vivify_rv2av_aelem: /* $lex->[...] */
+    sv = PAD_SVl((++items)->pad_offset);
+    if (a_undef(sv))
+     goto ret_undef;
+    /* FALLTHROUGH */
+   case MDEREF_AV_vivify_rv2av_aelem: /* vivify, ->[...] */
+do_AV_vivify_rv2av_aelem:
+    sv = Perl_vivify_ref(aTHX_ sv, OPpDEREF_AV);
+do_AV_rv2av_aelem:
+    sv = a_do_pp_rv2av(sv);
+do_AV_aelem:
+    {
+     SV *esv;
+     assert(SvTYPE(sv) == SVt_PVAV);
+     switch (actions & MDEREF_INDEX_MASK) {
+      case MDEREF_INDEX_none:
+       goto finish;
+      case MDEREF_INDEX_const:
+       esv = sv_2mortal(newSViv((++items)->iv));
+       break;
+      case MDEREF_INDEX_padsv:
+       esv = PAD_SVl((++items)->pad_offset);
+       goto check_elem;
+      case MDEREF_INDEX_gvsv:
+       esv = UNOP_AUX_item_sv(++items);
+       assert(isGV_with_GP(esv));
+       esv = GvSVn((GV *) esv);
+check_elem:
+       if (UNLIKELY(SvROK(esv) && !SvGAMAGIC(esv) && ckWARN(WARN_MISC)))
+        Perl_warner(aTHX_ packWARN(WARN_MISC),
+                          "Use of reference \"%"SVf"\" as array index",
+                          SVfARG(esv));
+       break;
+     }
+     PL_multideref_pc = items;
+     if (actions & MDEREF_FLAG_last) {
+      if (isexdel) {
+       if (isexdel & OPpMULTIDEREF_EXISTS)
+        sv = a_do_pp_aexists(sv, esv);
+       else
+        sv = a_do_pp_adelete(sv, esv);
+      } else {
+       sv = a_do_pp_aelem(sv, esv);
+      }
+      goto finish;
+     } else {
+      sv = a_do_pp_aelem(sv, esv);
+     }
+    }
+   case MDEREF_HV_padhv_helem: /* $lex{...} */
+    sv = PAD_SVl((++items)->pad_offset);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_HV_helem;
+   case MDEREF_HV_gvhv_helem: /* $pkg{...} */
+    sv = UNOP_AUX_item_sv(++items);
+    assert(isGV_with_GP(sv));
+    sv = (SV *) GvHVn((GV *) sv);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_HV_helem;
+   case MDEREF_HV_pop_rv2hv_helem: /* expr->{...} */
+    sv = POPs;
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_HV_rv2hv_helem;
+   case MDEREF_HV_gvsv_vivify_rv2hv_helem: /* $pkg->{...} */
+    sv = UNOP_AUX_item_sv(++items);
+    assert(isGV_with_GP(sv));
+    sv = GvSVn((GV *) sv);
+    if (a_undef(sv))
+     goto ret_undef;
+    goto do_HV_vivify_rv2hv_helem;
+   case MDEREF_HV_padsv_vivify_rv2hv_helem: /* $lex->{...} */
+    sv = PAD_SVl((++items)->pad_offset);
+    if (a_undef(sv))
+     goto ret_undef;
+    /* FALLTHROUGH */
+   case MDEREF_HV_vivify_rv2hv_helem: /* vivify, ->{...} */
+do_HV_vivify_rv2hv_helem:
+    sv = Perl_vivify_ref(aTHX_ sv, OPpDEREF_HV);
+do_HV_rv2hv_helem:
+    sv = a_do_pp_rv2hv(sv);
+do_HV_helem:
+    {
+     SV *key;
+     assert(SvTYPE(sv) == SVt_PVHV);
+     switch (actions & MDEREF_INDEX_MASK) {
+      case MDEREF_INDEX_none:
+       goto finish;
+      case MDEREF_INDEX_const:
+       key = UNOP_AUX_item_sv(++items);
+       break;
+      case MDEREF_INDEX_padsv:
+       key = PAD_SVl((++items)->pad_offset);
+       break;
+      case MDEREF_INDEX_gvsv:
+       key = UNOP_AUX_item_sv(++items);
+       assert(isGV_with_GP(key));
+       key = GvSVn((GV *) key);
+       break;
+     }
+     PL_multideref_pc = items;
+     if (actions & MDEREF_FLAG_last) {
+      if (isexdel) {
+       if (isexdel & OPpMULTIDEREF_EXISTS)
+        sv = a_do_pp_hexists(sv, key);
+       else
+        sv = a_do_pp_hdelete(sv, key);
+      } else {
+       sv = a_do_pp_helem(sv, key);
+      }
+      goto finish;
+     } else {
+      sv = a_do_pp_helem(sv, key);
+     }
+    }
+  }
+
+  actions >>= MDEREF_SHIFT;
+ }
+
+ret_undef:
+ if (flags & (A_HINT_NOTIFY|A_HINT_STORE))
+  a_cannot_vivify(flags);
+ if (isexdel & OPpMULTIDEREF_EXISTS)
+  sv = &PL_sv_no;
+ else
+  sv = &PL_sv_undef;
+finish:
+ XPUSHs(sv);
+ RETURN;
+}
+
+#endif /* A_HAS_MULTIDEREF */
+
+/* --- Check functions ----------------------------------------------------- */
+
+static void a_recheck_rv2xv(pTHX_ OP *o, OPCODE type, OP *(*new_pp)(pTHX)) {
+#define a_recheck_rv2xv(O, T, PP) a_recheck_rv2xv(aTHX_ (O), (T), (PP))
+
+ if (o->op_type == type && o->op_ppaddr != new_pp
+                        && cUNOPo->op_first->op_type != OP_GV) {
+  dA_MAP_THX;
+  const a_op_info *oi = a_map_fetch(o);
+  if (oi) {
+   a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
+   o->op_ppaddr = new_pp;
+  }
+ }
+
+ return;
+}
+
+/* ... ck_pad{any,sv} ...................................................... */
+
+/* Sadly, the padsv OPs we are interested in don't trigger the padsv check
+ * function, but are instead manually mutated from a padany. So we store
+ * the op entry in the op map in the padany check function, and we set their
+ * op_ppaddr member in our peephole optimizer replacement below. */
 
- a_pp_padsv_restore(o);
+static OP *(*a_old_ck_padany)(pTHX_ OP *) = 0;
 
- o = CALL_FPTR(a_old_ck_padany)(aTHX_ o);
+static OP *a_ck_padany(pTHX_ OP *o) {
+ UV hint;
+
+ o = a_old_ck_padany(aTHX_ o);
 
  hint = a_hint();
- if (hint & A_HINT_DO) {
-  a_pp_padsv_save();
-  a_map_store_root(o, a_pp_padsv_saved, hint);
- } else
+ if (hint & A_HINT_DO)
+  a_map_store_root(o, o->op_ppaddr, hint);
+ else
   a_map_delete(o);
 
  return o;
 }
 
-STATIC OP *(*a_old_ck_padsv)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_padsv)(pTHX_ OP *) = 0;
 
-STATIC OP *a_ck_padsv(pTHX_ OP *o) {
+static OP *a_ck_padsv(pTHX_ OP *o) {
  UV hint;
 
- a_pp_padsv_restore(o);
-
- o = CALL_FPTR(a_old_ck_padsv)(aTHX_ o);
+ o = a_old_ck_padsv(aTHX_ o);
 
  hint = a_hint();
  if (hint & A_HINT_DO) {
@@ -806,11 +1128,11 @@ STATIC OP *a_ck_padsv(pTHX_ OP *o) {
  * modifying context, so the expression can't be resolved yet. It will be at the
  * first invocation of a_pp_deref() for this expression. */
 
-STATIC OP *(*a_old_ck_aelem)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_helem)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_rv2sv)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_aelem)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_helem)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_rv2sv)(pTHX_ OP *) = 0;
 
-STATIC OP *a_ck_deref(pTHX_ OP *o) {
+static OP *a_ck_deref(pTHX_ OP *o) {
  OP * (*old_ck)(pTHX_ OP *o) = 0;
  UV hint = a_hint();
 
@@ -829,9 +1151,16 @@ STATIC OP *a_ck_deref(pTHX_ OP *o) {
    old_ck = a_old_ck_rv2sv;
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
+#if A_HAS_MULTIDEREF
+  if (old_ck == a_old_ck_rv2sv && o->op_flags & OPf_KIDS) {
+   OP *kid = cUNOPo->op_first;
+   if (kid && kid->op_type == OP_GV)
+    a_map_store(kid, kid->op_ppaddr, NULL, hint);
+  }
+#endif
   a_map_store_root(o, o->op_ppaddr, hint);
   o->op_ppaddr = a_pp_deref;
  } else
@@ -847,10 +1176,10 @@ STATIC OP *a_ck_deref(pTHX_ OP *o) {
  * rv2[ah]v, resolution is handled by the first call to a_pp_deref() in the
  * expression. */
 
-STATIC OP *(*a_old_ck_rv2av)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_rv2hv)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_rv2av)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_rv2hv)(pTHX_ OP *) = 0;
 
-STATIC OP *a_ck_rv2xv(pTHX_ OP *o) {
+static OP *a_ck_rv2xv(pTHX_ OP *o) {
  OP * (*old_ck)(pTHX_ OP *o) = 0;
  OP * (*new_pp)(pTHX)        = 0;
  UV hint;
@@ -859,7 +1188,7 @@ STATIC OP *a_ck_rv2xv(pTHX_ OP *o) {
   case OP_RV2AV: old_ck = a_old_ck_rv2av; new_pp = a_pp_rv2av; break;
   case OP_RV2HV: old_ck = a_old_ck_rv2hv; new_pp = a_pp_rv2hv_simple; break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (cUNOPo->op_first->op_type == OP_GV)
   return o;
@@ -881,10 +1210,10 @@ STATIC OP *a_ck_rv2xv(pTHX_ OP *o) {
  * root so that the rest of the expression will see the right context when
  * resolving. That's why we don't replace the ppaddr. */
 
-STATIC OP *(*a_old_ck_aslice)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_hslice)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_aslice)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_hslice)(pTHX_ OP *) = 0;
 
-STATIC OP *a_ck_xslice(pTHX_ OP *o) {
+static OP *a_ck_xslice(pTHX_ OP *o) {
  OP * (*old_ck)(pTHX_ OP *o) = 0;
  UV hint = a_hint();
 
@@ -895,10 +1224,10 @@ STATIC OP *a_ck_xslice(pTHX_ OP *o) {
   case OP_HSLICE:
    old_ck = a_old_ck_hslice;
    if (hint & A_HINT_DO)
-    a_recheck_rv2xv(cUNOPo->op_first->op_sibling, OP_RV2HV, a_pp_rv2hv);
+    a_recheck_rv2xv(OpSIBLING(cUNOPo->op_first), OP_RV2HV, a_pp_rv2hv);
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
   a_map_store_root(o, 0, hint);
@@ -913,12 +1242,12 @@ STATIC OP *a_ck_xslice(pTHX_ OP *o) {
 /* Those ops are only found at the root of a dereferencing expression. We can
  * then resolve at compile time if vivification must take place or not. */
 
-STATIC OP *(*a_old_ck_exists)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_delete)(pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_keys)  (pTHX_ OP *) = 0;
-STATIC OP *(*a_old_ck_values)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_exists)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_delete)(pTHX_ OP *) = 0;
+static OP *(*a_old_ck_keys)  (pTHX_ OP *) = 0;
+static OP *(*a_old_ck_values)(pTHX_ OP *) = 0;
 
-STATIC OP *a_ck_root(pTHX_ OP *o) {
+static OP *a_ck_root(pTHX_ OP *o) {
  OP * (*old_ck)(pTHX_ OP *o) = 0;
  OP * (*new_pp)(pTHX)        = 0;
  bool enabled = FALSE;
@@ -946,7 +1275,7 @@ STATIC OP *a_ck_root(pTHX_ OP *o) {
    enabled = hint & A_HINT_FETCH;
    break;
  }
- o = CALL_FPTR(old_ck)(aTHX_ o);
+ o = old_ck(aTHX_ o);
 
  if (hint & A_HINT_DO) {
   if (enabled) {
@@ -962,24 +1291,263 @@ STATIC OP *a_ck_root(pTHX_ OP *o) {
  return o;
 }
 
-STATIC U32 a_initialized = 0;
+/* ... Our peephole optimizer .............................................. */
 
-/* --- XS ------------------------------------------------------------------ */
+static peep_t a_old_peep = 0; /* This is actually the rpeep past 5.13.5 */
 
-MODULE = autovivification      PACKAGE = autovivification
+static void a_peep_rec(pTHX_ OP *o, ptable *seen);
 
-PROTOTYPES: ENABLE
+static void a_peep_rec(pTHX_ OP *o, ptable *seen) {
+#define a_peep_rec(O) a_peep_rec(aTHX_ (O), seen)
+ for (; o; o = o->op_next) {
+  dA_MAP_THX;
+  const a_op_info *oi = NULL;
+  UV flags = 0;
 
-BOOT: 
-{                                    
- if (!a_initialized++) {
-  HV *stash;
-#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
+#if !A_HAS_RPEEP
+  if (ptable_fetch(seen, o))
+   break;
+  ptable_seen_store(seen, o, o);
+#endif
+
+  switch (o->op_type) {
+#if A_HAS_RPEEP
+   case OP_NEXTSTATE:
+   case OP_DBSTATE:
+   case OP_STUB:
+   case OP_UNSTACK:
+    if (ptable_fetch(seen, o))
+     return;
+    ptable_seen_store(seen, o, o);
+    break;
+#endif
+   case OP_PADSV:
+    if (o->op_ppaddr != a_pp_deref) {
+     oi = a_map_fetch(o);
+     if (oi && (oi->flags & A_HINT_DO)) {
+      a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
+      o->op_ppaddr = a_pp_deref;
+     }
+    }
+    /* FALLTHROUGH */
+   case OP_AELEM:
+   case OP_AELEMFAST:
+   case OP_HELEM:
+   case OP_RV2SV:
+    if (o->op_ppaddr != a_pp_deref)
+     break;
+    oi = a_map_fetch(o);
+    if (!oi)
+     break;
+    flags = oi->flags;
+    if (!(flags & A_HINT_DEREF)
+        && (flags & A_HINT_DO)
+        && (o->op_private & OPpDEREF || flags & A_HINT_ROOT)) {
+     /* Decide if the expression must autovivify or not. */
+     flags = a_map_resolve(o, oi);
+    }
+    if (flags & A_HINT_DEREF)
+     o->op_private = ((o->op_private & ~OPpDEREF) | OPpLVAL_DEFER);
+    else
+     o->op_ppaddr  = oi->old_pp;
+    break;
+   case OP_RV2AV:
+   case OP_RV2HV:
+    if (   o->op_ppaddr != a_pp_rv2av
+        && o->op_ppaddr != a_pp_rv2hv
+        && o->op_ppaddr != a_pp_rv2hv_simple)
+     break;
+    oi = a_map_fetch(o);
+    if (!oi)
+     break;
+    if (!(oi->flags & A_HINT_DEREF))
+     o->op_ppaddr  = oi->old_pp;
+    break;
+#if A_HAS_MULTIDEREF
+   case OP_MULTIDEREF:
+    if (o->op_ppaddr != a_pp_multideref) {
+     UV isexdel;
+     oi = a_map_fetch(cUNOPo->op_first);
+     if (!oi)
+      break;
+     flags   = oi->flags;
+     isexdel = o->op_private & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE);
+     if (  ((flags & A_HINT_FETCH)  && !isexdel)
+         || (flags & A_HINT_EXISTS) && (isexdel & OPpMULTIDEREF_EXISTS)
+         || (flags & A_HINT_DELETE) && (isexdel & OPpMULTIDEREF_DELETE)) {
+      a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
+      o->op_ppaddr = a_pp_multideref;
+     }
+    }
+    break;
+#endif
+#if !A_HAS_RPEEP
+   case OP_MAPWHILE:
+   case OP_GREPWHILE:
+   case OP_AND:
+   case OP_OR:
+   case OP_ANDASSIGN:
+   case OP_ORASSIGN:
+   case OP_COND_EXPR:
+   case OP_RANGE:
+# if A_HAS_PERL(5, 10, 0)
+   case OP_ONCE:
+   case OP_DOR:
+   case OP_DORASSIGN:
+# endif
+    a_peep_rec(cLOGOPo->op_other);
+    break;
+   case OP_ENTERLOOP:
+   case OP_ENTERITER:
+    a_peep_rec(cLOOPo->op_redoop);
+    a_peep_rec(cLOOPo->op_nextop);
+    a_peep_rec(cLOOPo->op_lastop);
+    break;
+# if A_HAS_PERL(5, 9, 5)
+   case OP_SUBST:
+    a_peep_rec(cPMOPo->op_pmstashstartu.op_pmreplstart);
+    break;
+# else
+   case OP_QR:
+   case OP_MATCH:
+   case OP_SUBST:
+    a_peep_rec(cPMOPo->op_pmreplstart);
+    break;
+# endif
+#endif /* !A_HAS_RPEEP */
+   default:
+    break;
+  }
+ }
+}
+
+static void a_peep(pTHX_ OP *o) {
+ dMY_CXT;
+ ptable *seen = MY_CXT.seen;
+
+ a_old_peep(aTHX_ o);
+
+ if (seen) {
+  ptable_seen_clear(seen);
+  a_peep_rec(o);
+  ptable_seen_clear(seen);
+ }
+}
+
+/* --- Interpreter setup/teardown ------------------------------------------ */
+
+static U32 a_initialized = 0;
+
+static void a_teardown(pTHX_ void *root) {
+
+ if (!a_initialized)
+  return;
+
+#if A_MULTIPLICITY
+ if (aTHX != root)
+  return;
+#endif
+
+ {
+  dMY_CXT;
+# if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
+  ptable_hints_free(MY_CXT.tbl);
+  MY_CXT.tbl  = NULL;
+# endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+  ptable_seen_free(MY_CXT.seen);
+  MY_CXT.seen = NULL;
+ }
+
+ a_ck_restore(OP_PADANY, &a_old_ck_padany);
+ a_ck_restore(OP_PADSV,  &a_old_ck_padsv);
+
+ a_ck_restore(OP_AELEM,  &a_old_ck_aelem);
+ a_ck_restore(OP_HELEM,  &a_old_ck_helem);
+ a_ck_restore(OP_RV2SV,  &a_old_ck_rv2sv);
+
+ a_ck_restore(OP_RV2AV,  &a_old_ck_rv2av);
+ a_ck_restore(OP_RV2HV,  &a_old_ck_rv2hv);
+
+ a_ck_restore(OP_ASLICE, &a_old_ck_aslice);
+ a_ck_restore(OP_HSLICE, &a_old_ck_hslice);
+
+ a_ck_restore(OP_EXISTS, &a_old_ck_exists);
+ a_ck_restore(OP_DELETE, &a_old_ck_delete);
+ a_ck_restore(OP_KEYS,   &a_old_ck_keys);
+ a_ck_restore(OP_VALUES, &a_old_ck_values);
+
+#if A_HAS_RPEEP
+ PL_rpeepp  = a_old_peep;
+#else
+ PL_peepp   = a_old_peep;
+#endif
+ a_old_peep = 0;
+
+ a_initialized = 0;
+}
+
+static void a_setup(pTHX) {
+#define a_setup() a_setup(aTHX)
+ if (a_initialized)
+  return;
+
+ {
   MY_CXT_INIT;
+# if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
   MY_CXT.tbl   = ptable_new();
   MY_CXT.owner = aTHX;
+# endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
+  MY_CXT.seen  = ptable_new();
+ }
+
+ a_ck_replace(OP_PADANY, a_ck_padany, &a_old_ck_padany);
+ a_ck_replace(OP_PADSV,  a_ck_padsv,  &a_old_ck_padsv);
+
+ a_ck_replace(OP_AELEM,  a_ck_deref,  &a_old_ck_aelem);
+ a_ck_replace(OP_HELEM,  a_ck_deref,  &a_old_ck_helem);
+ a_ck_replace(OP_RV2SV,  a_ck_deref,  &a_old_ck_rv2sv);
+
+ a_ck_replace(OP_RV2AV,  a_ck_rv2xv,  &a_old_ck_rv2av);
+ a_ck_replace(OP_RV2HV,  a_ck_rv2xv,  &a_old_ck_rv2hv);
+
+ a_ck_replace(OP_ASLICE, a_ck_xslice, &a_old_ck_aslice);
+ a_ck_replace(OP_HSLICE, a_ck_xslice, &a_old_ck_hslice);
+
+ a_ck_replace(OP_EXISTS, a_ck_root,   &a_old_ck_exists);
+ a_ck_replace(OP_DELETE, a_ck_root,   &a_old_ck_delete);
+ a_ck_replace(OP_KEYS,   a_ck_root,   &a_old_ck_keys);
+ a_ck_replace(OP_VALUES, a_ck_root,   &a_old_ck_values);
+
+#if A_HAS_RPEEP
+ a_old_peep = PL_rpeepp;
+ PL_rpeepp  = a_peep;
+#else
+ a_old_peep = PL_peepp;
+ PL_peepp   = a_peep;
 #endif
 
+#if A_MULTIPLICITY
+ call_atexit(a_teardown, aTHX);
+#else
+ call_atexit(a_teardown, NULL);
+#endif
+
+ a_initialized = 1;
+}
+
+static U32 a_booted = 0;
+
+/* --- XS ------------------------------------------------------------------ */
+
+MODULE = autovivification      PACKAGE = autovivification
+
+PROTOTYPES: ENABLE
+
+BOOT:
+{
+ if (!a_booted++) {
+  HV *stash;
+
   a_op_map = ptable_new();
 #ifdef USE_ITHREADS
   MUTEX_INIT(&a_op_map_mutex);
@@ -987,37 +1555,6 @@ BOOT:
 
   PERL_HASH(a_hash, __PACKAGE__, __PACKAGE_LEN__);
 
-  a_old_ck_padany     = PL_check[OP_PADANY];
-  PL_check[OP_PADANY] = MEMBER_TO_FPTR(a_ck_padany);
-  a_old_ck_padsv      = PL_check[OP_PADSV];
-  PL_check[OP_PADSV]  = MEMBER_TO_FPTR(a_ck_padsv);
-
-  a_old_ck_aelem      = PL_check[OP_AELEM];
-  PL_check[OP_AELEM]  = MEMBER_TO_FPTR(a_ck_deref);
-  a_old_ck_helem      = PL_check[OP_HELEM];
-  PL_check[OP_HELEM]  = MEMBER_TO_FPTR(a_ck_deref);
-  a_old_ck_rv2sv      = PL_check[OP_RV2SV];
-  PL_check[OP_RV2SV]  = MEMBER_TO_FPTR(a_ck_deref);
-
-  a_old_ck_rv2av      = PL_check[OP_RV2AV];
-  PL_check[OP_RV2AV]  = MEMBER_TO_FPTR(a_ck_rv2xv);
-  a_old_ck_rv2hv      = PL_check[OP_RV2HV];
-  PL_check[OP_RV2HV]  = MEMBER_TO_FPTR(a_ck_rv2xv);
-
-  a_old_ck_aslice     = PL_check[OP_ASLICE];
-  PL_check[OP_ASLICE] = MEMBER_TO_FPTR(a_ck_xslice);
-  a_old_ck_hslice     = PL_check[OP_HSLICE];
-  PL_check[OP_HSLICE] = MEMBER_TO_FPTR(a_ck_xslice);
-
-  a_old_ck_exists     = PL_check[OP_EXISTS];
-  PL_check[OP_EXISTS] = MEMBER_TO_FPTR(a_ck_root);
-  a_old_ck_delete     = PL_check[OP_DELETE];
-  PL_check[OP_DELETE] = MEMBER_TO_FPTR(a_ck_root);
-  a_old_ck_keys       = PL_check[OP_KEYS];
-  PL_check[OP_KEYS]   = MEMBER_TO_FPTR(a_ck_root);
-  a_old_ck_values     = PL_check[OP_VALUES];
-  PL_check[OP_VALUES] = MEMBER_TO_FPTR(a_ck_root);
-
   stash = gv_stashpvn(__PACKAGE__, __PACKAGE_LEN__, 1);
   newCONSTSUB(stash, "A_HINT_STRICT", newSVuv(A_HINT_STRICT));
   newCONSTSUB(stash, "A_HINT_WARN",   newSVuv(A_HINT_WARN));
@@ -1026,39 +1563,67 @@ BOOT:
   newCONSTSUB(stash, "A_HINT_EXISTS", newSVuv(A_HINT_EXISTS));
   newCONSTSUB(stash, "A_HINT_DELETE", newSVuv(A_HINT_DELETE));
   newCONSTSUB(stash, "A_HINT_MASK",   newSVuv(A_HINT_MASK));
+  newCONSTSUB(stash, "A_THREADSAFE",  newSVuv(A_THREADSAFE));
+  newCONSTSUB(stash, "A_FORKSAFE",    newSVuv(A_FORKSAFE));
  }
+
+ a_setup();
 }
 
-#if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
+#if A_THREADSAFE
 
 void
 CLONE(...)
 PROTOTYPE: DISABLE
 PREINIT:
+#if A_WORKAROUND_REQUIRE_PROPAGATION
  ptable *t;
- int    *level;
-CODE:
+#endif
+ ptable *s;
+ GV     *gv;
+PPCODE:
  {
-  my_cxt_t ud;
+#if A_WORKAROUND_REQUIRE_PROPAGATION
   dMY_CXT;
-  ud.tbl   = t = ptable_new();
-  ud.owner = MY_CXT.owner;
-  ptable_walk(MY_CXT.tbl, a_ptable_clone, &ud);
+  {
+   a_ptable_clone_ud ud;
+
+   t = ptable_new();
+   a_ptable_clone_ud_init(ud, t, MY_CXT.owner);
+   ptable_walk(MY_CXT.tbl, a_ptable_clone, &ud);
+   a_ptable_clone_ud_deinit(ud);
+  }
+#endif
+  s = ptable_new();
  }
  {
   MY_CXT_CLONE;
+#if A_WORKAROUND_REQUIRE_PROPAGATION
   MY_CXT.tbl   = t;
   MY_CXT.owner = aTHX;
+#endif
+  MY_CXT.seen  = s;
  }
- {
-  level = PerlMemShared_malloc(sizeof *level);
-  *level = 1;
-  LEAVEn("sub");
-  SAVEDESTRUCTOR_X(a_thread_cleanup, level);
-  ENTERn("sub");
+ gv = gv_fetchpv(__PACKAGE__ "::_THREAD_CLEANUP", 0, SVt_PVCV);
+ if (gv) {
+  CV *cv = GvCV(gv);
+  if (!PL_endav)
+   PL_endav = newAV();
+  SvREFCNT_inc(cv);
+  if (!av_store(PL_endav, av_len(PL_endav) + 1, (SV *) cv))
+   SvREFCNT_dec(cv);
+  sv_magicext((SV *) PL_endav, NULL, PERL_MAGIC_ext, &a_endav_vtbl, NULL, 0);
  }
+ XSRETURN(0);
 
-#endif
+void
+_THREAD_CLEANUP(...)
+PROTOTYPE: DISABLE
+PPCODE:
+ a_thread_cleanup(aTHX_ NULL);
+ XSRETURN(0);
+
+#endif /* A_THREADSAFE */
 
 SV *
 _tag(SV *hint)