autovivification.xs

   1 /* This file is part of the autovivification Perl module.
   2  * See http://search.cpan.org/dist/autovivification/ */
   3
   4 #define PERL_NO_GET_CONTEXT
   5 #include "EXTERN.h"
   6 #include "perl.h"
   7 #include "XSUB.h"
   8
   9 #define __PACKAGE__     "autovivification"
  10 #define __PACKAGE_LEN__ (sizeof(__PACKAGE__)-1)
  11
  12 /* --- Compatibility wrappers ---------------------------------------------- */
  13
  14 #ifndef HvNAME_get
  15 # define HvNAME_get(H) HvNAME(H)
  16 #endif
  17
  18 #ifndef HvNAMELEN_get
  19 # define HvNAMELEN_get(H) strlen(HvNAME_get(H))
  20 #endif
  21
  22 #define A_HAS_PERL(R, V, S) (PERL_REVISION > (R) || (PERL_REVISION == (R) && (PERL_VERSION > (V) || (PERL_VERSION == (V) && (PERL_SUBVERSION >= (S))))))
  23
  24 #ifndef A_WORKAROUND_REQUIRE_PROPAGATION
  25 # define A_WORKAROUND_REQUIRE_PROPAGATION !A_HAS_PERL(5, 10, 1)
  26 #endif
  27
  28 #ifndef A_HAS_RPEEP
  29 # define A_HAS_RPEEP A_HAS_PERL(5, 13, 5)
  30 #endif
  31
  32 #ifndef A_HAS_MULTIDEREF
  33 # define A_HAS_MULTIDEREF A_HAS_PERL(5, 21, 7)
  34 #endif
  35
  36 #ifndef OpSIBLING
  37 # ifdef OP_SIBLING
  38 #  define OpSIBLING(O) OP_SIBLING(O)
  39 # else
  40 #  define OpSIBLING(O) ((O)->op_sibling)
  41 # endif
  42 #endif
  43
  44 /* ... Thread safety and multiplicity ...................................... */
  45
  46 /* Always safe when the workaround isn't needed */
  47 #if !A_WORKAROUND_REQUIRE_PROPAGATION
  48 # undef A_FORKSAFE
  49 # define A_FORKSAFE 1
  50 /* Otherwise, safe unless Makefile.PL says it's Win32 */
  51 #elif !defined(A_FORKSAFE)
  52 # define A_FORKSAFE 1
  53 #endif
  54
  55 #ifndef A_MULTIPLICITY
  56 # if defined(MULTIPLICITY)
  57 #  define A_MULTIPLICITY 1
  58 # else
  59 #  define A_MULTIPLICITY 0
  60 # endif
  61 #endif
  62 #if A_MULTIPLICITY
  63 # ifndef PERL_IMPLICIT_CONTEXT
  64 #  error MULTIPLICITY builds must set PERL_IMPLICIT_CONTEXT
  65 # endif
  66 #endif
  67
  68 #ifndef tTHX
  69 # define tTHX PerlInterpreter*
  70 #endif
  71
  72 #if A_MULTIPLICITY && defined(USE_ITHREADS) && defined(dMY_CXT) && defined(MY_CXT) && defined(START_MY_CXT) && defined(MY_CXT_INIT) && (defined(MY_CXT_CLONE) || defined(dMY_CXT_SV))
  73 # define A_THREADSAFE 1
  74 # ifndef MY_CXT_CLONE
  75 #  define MY_CXT_CLONE \
  76     dMY_CXT_SV;                                                      \
  77     my_cxt_t *my_cxtp = (my_cxt_t*)SvPVX(newSV(sizeof(my_cxt_t)-1)); \
  78     Copy(INT2PTR(my_cxt_t*, SvUV(my_cxt_sv)), my_cxtp, 1, my_cxt_t); \
  79     sv_setuv(my_cxt_sv, PTR2UV(my_cxtp))
  80 # endif
  81 #else
  82 # define A_THREADSAFE 0
  83 # undef  dMY_CXT
  84 # define dMY_CXT      dNOOP
  85 # undef  MY_CXT
  86 # define MY_CXT       a_globaldata
  87 # undef  START_MY_CXT
  88 # define START_MY_CXT static my_cxt_t MY_CXT;
  89 # undef  MY_CXT_INIT
  90 # define MY_CXT_INIT  NOOP
  91 # undef  MY_CXT_CLONE
  92 # define MY_CXT_CLONE NOOP
  93 #endif
  94
  95 #if A_THREADSAFE
  96 /* We must use preexistent global mutexes or we will never be able to destroy
  97  * them. */
  98 # if A_HAS_PERL(5, 9, 3)
  99 #  define A_LOADED_LOCK   MUTEX_LOCK(&PL_my_ctx_mutex)
 100 #  define A_LOADED_UNLOCK MUTEX_UNLOCK(&PL_my_ctx_mutex)
 101 # else
 102 #  define A_LOADED_LOCK   OP_REFCNT_LOCK
 103 #  define A_LOADED_UNLOCK OP_REFCNT_UNLOCK
 104 # endif
 105 #else
 106 # define A_LOADED_LOCK   NOOP
 107 # define A_LOADED_UNLOCK NOOP
 108 #endif
 109
 110 #if defined(OP_CHECK_MUTEX_LOCK) && defined(OP_CHECK_MUTEX_UNLOCK)
 111 # define A_CHECK_LOCK   OP_CHECK_MUTEX_LOCK
 112 # define A_CHECK_UNLOCK OP_CHECK_MUTEX_UNLOCK
 113 #elif A_HAS_PERL(5, 9, 3)
 114 # define A_CHECK_LOCK   OP_REFCNT_LOCK
 115 # define A_CHECK_UNLOCK OP_REFCNT_UNLOCK
 116 #else
 117 /* Before perl 5.9.3, indirect_ck_*() calls are already protected by the
 118  * A_LOADED mutex, which falls back to the OP_REFCNT mutex. Make sure we don't
 119  * lock it twice. */
 120 # define A_CHECK_LOCK   NOOP
 121 # define A_CHECK_UNLOCK NOOP
 122 #endif
 123
 124 typedef OP *(*a_ck_t)(pTHX_ OP *);
 125
 126 #ifdef wrap_op_checker
 127
 128 # define a_ck_replace(T, NC, OCP) wrap_op_checker((T), (NC), (OCP))
 129
 130 #else
 131
 132 static void a_ck_replace(pTHX_ OPCODE type, a_ck_t new_ck, a_ck_t *old_ck_p) {
 133 #define a_ck_replace(T, NC, OCP) a_ck_replace(aTHX_ (T), (NC), (OCP))
 134  A_CHECK_LOCK;
 135  if (!*old_ck_p) {
 136   *old_ck_p      = PL_check[type];
 137   PL_check[type] = new_ck;
 138  }
 139  A_CHECK_UNLOCK;
 140 }
 141
 142 #endif
 143
 144 static void a_ck_restore(pTHX_ OPCODE type, a_ck_t *old_ck_p) {
 145 #define a_ck_restore(T, OCP) a_ck_restore(aTHX_ (T), (OCP))
 146  A_CHECK_LOCK;
 147  if (*old_ck_p) {
 148   PL_check[type] = *old_ck_p;
 149   *old_ck_p      = 0;
 150  }
 151  A_CHECK_UNLOCK;
 152 }
 153
 154 /* --- Helpers ------------------------------------------------------------- */
 155
 156 /* ... Check if the module is loaded ....................................... */
 157
 158 static I32 a_loaded = 0;
 159
 160 #if A_THREADSAFE
 161
 162 #define PTABLE_NAME        ptable_loaded
 163 #define PTABLE_VAL_FREE(V) NOOP
 164
 165 #include "ptable.h"
 166
 167 #define ptable_loaded_store(T, K, V) ptable_loaded_store(aPTBLMS_ (T), (K), (V))
 168 #define ptable_loaded_delete(T, K)   ptable_loaded_delete(aPTBLMS_ (T), (K))
 169 #define ptable_loaded_free(T)        ptable_loaded_free(aPTBLMS_ (T))
 170
 171 static ptable *a_loaded_cxts = NULL;
 172
 173 static int a_is_loaded(pTHX_ void *cxt) {
 174 #define a_is_loaded(C) a_is_loaded(aTHX_ (C))
 175  int res = 0;
 176
 177  A_LOADED_LOCK;
 178  if (a_loaded_cxts && ptable_fetch(a_loaded_cxts, cxt))
 179   res = 1;
 180  A_LOADED_UNLOCK;
 181
 182  return res;
 183 }
 184
 185 static int a_set_loaded_locked(pTHX_ void *cxt) {
 186 #define a_set_loaded_locked(C) a_set_loaded_locked(aTHX_ (C))
 187  int global_setup = 0;
 188
 189  if (a_loaded <= 0) {
 190   assert(a_loaded == 0);
 191   assert(!a_loaded_cxts);
 192   a_loaded_cxts = ptable_new();
 193   global_setup  = 1;
 194  }
 195  ++a_loaded;
 196  assert(a_loaded_cxts);
 197  ptable_loaded_store(a_loaded_cxts, cxt, cxt);
 198
 199  return global_setup;
 200 }
 201
 202 static int a_clear_loaded_locked(pTHX_ void *cxt) {
 203 #define a_clear_loaded_locked(C) a_clear_loaded_locked(aTHX_ (C))
 204  int global_teardown = 0;
 205
 206  if (a_loaded > 1) {
 207   assert(a_loaded_cxts);
 208   ptable_loaded_delete(a_loaded_cxts, cxt);
 209   --a_loaded;
 210  } else if (a_loaded_cxts) {
 211   assert(a_loaded == 1);
 212   ptable_loaded_free(a_loaded_cxts);
 213   a_loaded_cxts   = NULL;
 214   a_loaded        = 0;
 215   global_teardown = 1;
 216  }
 217
 218  return global_teardown;
 219 }
 220
 221 #else
 222
 223 #define a_is_loaded(C)           (a_loaded > 0)
 224 #define a_set_loaded_locked(C)   ((a_loaded++ <= 0) ? 1 : 0)
 225 #define a_clear_loaded_locked(C) ((--a_loaded <= 0) ? 1 : 0)
 226
 227 #endif
 228
 229 /* ... Thread-safe hints ................................................... */
 230
 231 #if A_WORKAROUND_REQUIRE_PROPAGATION
 232
 233 typedef struct {
 234  U32 bits;
 235  IV  require_tag;
 236 } a_hint_t;
 237
 238 #define A_HINT_FREE(H) PerlMemShared_free(H)
 239
 240 #if A_THREADSAFE
 241
 242 #define PTABLE_NAME        ptable_hints
 243 #define PTABLE_VAL_FREE(V) A_HINT_FREE(V)
 244
 245 #define pPTBL  pTHX
 246 #define pPTBL_ pTHX_
 247 #define aPTBL  aTHX
 248 #define aPTBL_ aTHX_
 249
 250 #include "ptable.h"
 251
 252 #define ptable_hints_store(T, K, V) ptable_hints_store(aTHX_ (T), (K), (V))
 253 #define ptable_hints_free(T)        ptable_hints_free(aTHX_ (T))
 254
 255 #endif /* A_THREADSAFE */
 256
 257 #endif /* A_WORKAROUND_REQUIRE_PROPAGATION */
 258
 259 #define PTABLE_NAME        ptable_seen
 260 #define PTABLE_VAL_FREE(V) NOOP
 261
 262 #include "ptable.h"
 263
 264 /* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
 265 #define ptable_seen_store(T, K, V) ptable_seen_store(aPTBLMS_ (T), (K), (V))
 266 #define ptable_seen_clear(T)       ptable_seen_clear(aPTBLMS_ (T))
 267 #define ptable_seen_free(T)        ptable_seen_free(aPTBLMS_ (T))
 268
 269 #define MY_CXT_KEY __PACKAGE__ "::_guts" XS_VERSION
 270
 271 typedef struct {
 272  peep_t  old_peep; /* This is actually the rpeep past 5.13.5 */
 273  ptable *seen;     /* It really is a ptable_seen */
 274 #if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
 275  ptable *tbl;      /* It really is a ptable_hints */
 276  tTHX    owner;
 277 #endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
 278 } my_cxt_t;
 279
 280 START_MY_CXT
 281
 282 #if A_WORKAROUND_REQUIRE_PROPAGATION
 283
 284 #if A_THREADSAFE
 285
 286 typedef struct {
 287  ptable       *tbl;
 288 #if A_HAS_PERL(5, 13, 2)
 289  CLONE_PARAMS *params;
 290 #else
 291  CLONE_PARAMS  params;
 292 #endif
 293 } a_ptable_clone_ud;
 294
 295 #if A_HAS_PERL(5, 13, 2)
 296 # define a_ptable_clone_ud_init(U, T, O) \
 297    (U).tbl    = (T); \
 298    (U).params = Perl_clone_params_new((O), aTHX)
 299 # define a_ptable_clone_ud_deinit(U) Perl_clone_params_del((U).params)
 300 # define a_dup_inc(S, U)             SvREFCNT_inc(sv_dup((S), (U)->params))
 301 #else
 302 # define a_ptable_clone_ud_init(U, T, O) \
 303    (U).tbl               = (T);     \
 304    (U).params.stashes    = newAV(); \
 305    (U).params.flags      = 0;       \
 306    (U).params.proto_perl = (O)
 307 # define a_ptable_clone_ud_deinit(U) SvREFCNT_dec((U).params.stashes)
 308 # define a_dup_inc(S, U)             SvREFCNT_inc(sv_dup((S), &((U)->params)))
 309 #endif
 310
 311 static void a_ptable_clone(pTHX_ ptable_ent *ent, void *ud_) {
 312  a_ptable_clone_ud *ud = ud_;
 313  a_hint_t *h1 = ent->val;
 314  a_hint_t *h2;
 315
 316  h2              = PerlMemShared_malloc(sizeof *h2);
 317  h2->bits        = h1->bits;
 318  h2->require_tag = PTR2IV(a_dup_inc(INT2PTR(SV *, h1->require_tag), ud));
 319
 320  ptable_hints_store(ud->tbl, ent->key, h2);
 321 }
 322
 323 #endif /* A_THREADSAFE */
 324
 325 static IV a_require_tag(pTHX) {
 326 #define a_require_tag() a_require_tag(aTHX)
 327  const CV *cv, *outside;
 328
 329  cv = PL_compcv;
 330
 331  if (!cv) {
 332   /* If for some reason the pragma is operational at run-time, try to discover
 333    * the current cv in use. */
 334   const PERL_SI *si;
 335
 336   for (si = PL_curstackinfo; si; si = si->si_prev) {
 337    I32 cxix;
 338
 339    for (cxix = si->si_cxix; cxix >= 0; --cxix) {
 340     const PERL_CONTEXT *cx = si->si_cxstack + cxix;
 341
 342     switch (CxTYPE(cx)) {
 343      case CXt_SUB:
 344      case CXt_FORMAT:
 345       /* The propagation workaround is only needed up to 5.10.0 and at that
 346        * time format and sub contexts were still identical. And even later the
 347        * cv members offsets should have been kept the same. */
 348       cv = cx->blk_sub.cv;
 349       goto get_enclosing_cv;
 350      case CXt_EVAL:
 351       cv = cx->blk_eval.cv;
 352       goto get_enclosing_cv;
 353      default:
 354       break;
 355     }
 356    }
 357   }
 358
 359   cv = PL_main_cv;
 360  }
 361
 362 get_enclosing_cv:
 363  for (outside = CvOUTSIDE(cv); outside; outside = CvOUTSIDE(cv))
 364   cv = outside;
 365
 366  return PTR2IV(cv);
 367 }
 368
 369 static SV *a_tag(pTHX_ UV bits) {
 370 #define a_tag(B) a_tag(aTHX_ (B))
 371  a_hint_t *h;
 372 #if A_THREADSAFE
 373  dMY_CXT;
 374
 375  if (!MY_CXT.tbl)
 376   return newSViv(0);
 377 #endif /* A_THREADSAFE */
 378
 379  h              = PerlMemShared_malloc(sizeof *h);
 380  h->bits        = bits;
 381  h->require_tag = a_require_tag();
 382
 383 #if A_THREADSAFE
 384  /* We only need for the key to be an unique tag for looking up the value later
 385   * Allocated memory provides convenient unique identifiers, so that's why we
 386   * use the hint as the key itself. */
 387  ptable_hints_store(MY_CXT.tbl, h, h);
 388 #endif /* A_THREADSAFE */
 389
 390  return newSViv(PTR2IV(h));
 391 }
 392
 393 static UV a_detag(pTHX_ const SV *hint) {
 394 #define a_detag(H) a_detag(aTHX_ (H))
 395  a_hint_t *h;
 396 #if A_THREADSAFE
 397  dMY_CXT;
 398
 399  if (!MY_CXT.tbl)
 400   return 0;
 401 #endif /* A_THREADSAFE */
 402
 403  if (!(hint && SvIOK(hint)))
 404   return 0;
 405
 406  h = INT2PTR(a_hint_t *, SvIVX(hint));
 407 #if A_THREADSAFE
 408  h = ptable_fetch(MY_CXT.tbl, h);
 409 #endif /* A_THREADSAFE */
 410
 411  if (a_require_tag() != h->require_tag)
 412   return 0;
 413
 414  return h->bits;
 415 }
 416
 417 #else /* A_WORKAROUND_REQUIRE_PROPAGATION */
 418
 419 #define a_tag(B)   newSVuv(B)
 420 /* PVs fetched from the hints chain have their SvLEN set to zero, so get the UV
 421  * from a copy. */
 422 #define a_detag(H) \
 423  ((H)              \
 424   ? (SvIOK(H)      \
 425      ? SvUVX(H)    \
 426      : (SvPOK(H)   \
 427         ? sv_2uv(SvLEN(H) ? (H) : sv_mortalcopy(H)) \
 428         : 0        \
 429        )           \
 430      )             \
 431   : 0)
 432
 433 #endif /* !A_WORKAROUND_REQUIRE_PROPAGATION */
 434
 435 /* Used both for hints and op flags */
 436 #define A_HINT_STRICT 1
 437 #define A_HINT_WARN   2
 438 #define A_HINT_FETCH  4
 439 #define A_HINT_STORE  8
 440 #define A_HINT_EXISTS 16
 441 #define A_HINT_DELETE 32
 442 #define A_HINT_NOTIFY (A_HINT_STRICT|A_HINT_WARN)
 443 #define A_HINT_DO     (A_HINT_FETCH|A_HINT_STORE|A_HINT_EXISTS|A_HINT_DELETE)
 444 #define A_HINT_MASK   (A_HINT_NOTIFY|A_HINT_DO)
 445
 446 /* Only used in op flags */
 447 #define A_HINT_ROOT   64
 448 #define A_HINT_DEREF  128
 449
 450 static VOL U32 a_hash = 0;
 451
 452 static UV a_hint(pTHX) {
 453 #define a_hint() a_hint(aTHX)
 454  SV *hint;
 455 #ifdef cop_hints_fetch_pvn
 456  hint = cop_hints_fetch_pvn(PL_curcop, __PACKAGE__, __PACKAGE_LEN__, a_hash, 0);
 457 #elif A_HAS_PERL(5, 9, 5)
 458  hint = Perl_refcounted_he_fetch(aTHX_ PL_curcop->cop_hints_hash,
 459                                        NULL,
 460                                        __PACKAGE__, __PACKAGE_LEN__,
 461                                        0,
 462                                        a_hash);
 463 #else
 464  SV **val = hv_fetch(GvHV(PL_hintgv), __PACKAGE__, __PACKAGE_LEN__, 0);
 465  if (!val)
 466   return 0;
 467  hint = *val;
 468 #endif
 469  return a_detag(hint);
 470 }
 471
 472 /* ... op => info map ...................................................... */
 473
 474 typedef struct {
 475  OP   *(*old_pp)(pTHX);
 476  void   *next;
 477  UV      flags;
 478 } a_op_info;
 479
 480 #define PTABLE_NAME        ptable_map
 481 #define PTABLE_VAL_FREE(V) PerlMemShared_free(V)
 482
 483 #include "ptable.h"
 484
 485 /* PerlMemShared_free() needs the [ap]PTBLMS_? default values */
 486 #define ptable_map_store(T, K, V) ptable_map_store(aPTBLMS_ (T), (K), (V))
 487 #define ptable_map_delete(T, K)   ptable_map_delete(aPTBLMS_ (T), (K))
 488
 489 static ptable *a_op_map = NULL;
 490
 491 #ifdef USE_ITHREADS
 492
 493 #define dA_MAP_THX a_op_info a_op_map_tmp_oi
 494
 495 static perl_mutex a_op_map_mutex;
 496
 497 #define A_LOCK(M)   MUTEX_LOCK(M)
 498 #define A_UNLOCK(M) MUTEX_UNLOCK(M)
 499
 500 static const a_op_info *a_map_fetch(const OP *o, a_op_info *oi) {
 501  const a_op_info *val;
 502
 503  A_LOCK(&a_op_map_mutex);
 504
 505  val = ptable_fetch(a_op_map, o);
 506  if (val) {
 507   *oi = *val;
 508   val = oi;
 509  }
 510
 511  A_UNLOCK(&a_op_map_mutex);
 512
 513  return val;
 514 }
 515
 516 #define a_map_fetch(O) a_map_fetch((O), &a_op_map_tmp_oi)
 517
 518 #else /* USE_ITHREADS */
 519
 520 #define dA_MAP_THX dNOOP
 521
 522 #define A_LOCK(M)   NOOP
 523 #define A_UNLOCK(M) NOOP
 524
 525 #define a_map_fetch(O) ptable_fetch(a_op_map, (O))
 526
 527 #endif /* !USE_ITHREADS */
 528
 529 static const a_op_info *a_map_store_locked(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
 530 #define a_map_store_locked(O, PP, N, F) a_map_store_locked(aPTBLMS_ (O), (PP), (N), (F))
 531  a_op_info *oi;
 532
 533  if (!(oi = ptable_fetch(a_op_map, o))) {
 534   oi = PerlMemShared_malloc(sizeof *oi);
 535   ptable_map_store(a_op_map, o, oi);
 536  }
 537
 538  oi->old_pp = old_pp;
 539  oi->next   = next;
 540  oi->flags  = flags;
 541
 542  return oi;
 543 }
 544
 545 static void a_map_store(pPTBLMS_ const OP *o, OP *(*old_pp)(pTHX), void *next, UV flags) {
 546 #define a_map_store(O, PP, N, F) a_map_store(aPTBLMS_ (O), (PP), (N), (F))
 547  A_LOCK(&a_op_map_mutex);
 548
 549  a_map_store_locked(o, old_pp, next, flags);
 550
 551  A_UNLOCK(&a_op_map_mutex);
 552 }
 553
 554 static void a_map_delete(pTHX_ const OP *o) {
 555 #define a_map_delete(O) a_map_delete(aTHX_ (O))
 556  A_LOCK(&a_op_map_mutex);
 557
 558  ptable_map_delete(a_op_map, o);
 559
 560  A_UNLOCK(&a_op_map_mutex);
 561 }
 562
 563 static const OP *a_map_descend(const OP *o) {
 564  switch (PL_opargs[o->op_type] & OA_CLASS_MASK) {
 565   case OA_BASEOP:
 566   case OA_UNOP:
 567   case OA_BINOP:
 568   case OA_BASEOP_OR_UNOP:
 569    return cUNOPo->op_first;
 570   case OA_LIST:
 571   case OA_LISTOP:
 572    return cLISTOPo->op_last;
 573  }
 574
 575  return NULL;
 576 }
 577
 578 static void a_map_store_root(pPTBLMS_ const OP *root, OP *(*old_pp)(pTHX), UV flags) {
 579 #define a_map_store_root(R, PP, F) a_map_store_root(aPTBLMS_ (R), (PP), (F))
 580  const a_op_info *roi;
 581  a_op_info *oi;
 582  const OP *o = root;
 583
 584  A_LOCK(&a_op_map_mutex);
 585
 586  roi = a_map_store_locked(o, old_pp, (OP *) root, flags | A_HINT_ROOT);
 587
 588  while (o->op_flags & OPf_KIDS) {
 589   o = a_map_descend(o);
 590   if (!o)
 591    break;
 592   if ((oi = ptable_fetch(a_op_map, o))) {
 593    oi->flags &= ~A_HINT_ROOT;
 594    oi->next   = (a_op_info *) roi;
 595    break;
 596   }
 597  }
 598
 599  A_UNLOCK(&a_op_map_mutex);
 600
 601  return;
 602 }
 603
 604 static void a_map_update_flags_topdown(const OP *root, UV flags) {
 605  a_op_info *oi;
 606  const OP *o = root;
 607
 608  A_LOCK(&a_op_map_mutex);
 609
 610  flags &= ~A_HINT_ROOT;
 611
 612  do {
 613   if ((oi = ptable_fetch(a_op_map, o)))
 614    oi->flags = (oi->flags & A_HINT_ROOT) | flags;
 615   if (!(o->op_flags & OPf_KIDS))
 616    break;
 617   o = a_map_descend(o);
 618  } while (o);
 619
 620  A_UNLOCK(&a_op_map_mutex);
 621
 622  return;
 623 }
 624
 625 #define a_map_cancel(R) a_map_update_flags_topdown((R), 0)
 626
 627 static void a_map_update_flags_bottomup(const OP *o, UV flags, UV rflags) {
 628  a_op_info *oi;
 629
 630  A_LOCK(&a_op_map_mutex);
 631
 632  flags  &= ~A_HINT_ROOT;
 633  rflags |=  A_HINT_ROOT;
 634
 635  oi = ptable_fetch(a_op_map, o);
 636  while (!(oi->flags & A_HINT_ROOT)) {
 637   oi->flags = flags;
 638   oi        = oi->next;
 639  }
 640  oi->flags = rflags;
 641
 642  A_UNLOCK(&a_op_map_mutex);
 643
 644  return;
 645 }
 646
 647 /* ... Decide whether this expression should be autovivified or not ........ */
 648
 649 static UV a_map_resolve(const OP *o, const a_op_info *oi) {
 650  UV flags = 0, rflags;
 651  const OP *root;
 652  const a_op_info *roi = oi;
 653
 654  while (!(roi->flags & A_HINT_ROOT))
 655   roi = roi->next;
 656  if (!roi)
 657   goto cancel;
 658
 659  rflags = roi->flags & ~A_HINT_ROOT;
 660  if (!rflags)
 661   goto cancel;
 662
 663  root = roi->next;
 664  if (root->op_flags & OPf_MOD) {
 665   if (rflags & A_HINT_STORE)
 666    flags = (A_HINT_STORE|A_HINT_DEREF);
 667  } else if (rflags & A_HINT_FETCH)
 668    flags = (A_HINT_FETCH|A_HINT_DEREF);
 669
 670  if (!flags) {
 671 cancel:
 672   a_map_update_flags_bottomup(o, 0, 0);
 673   return 0;
 674  }
 675
 676  flags |= (rflags & A_HINT_NOTIFY);
 677  a_map_update_flags_bottomup(o, flags, 0);
 678
 679  return oi->flags & A_HINT_ROOT ? 0 : flags;
 680 }
 681
 682 /* ... Inspired from pp_defined() .......................................... */
 683
 684 static int a_undef(pTHX_ SV *sv) {
 685 #define a_undef(S) a_undef(aTHX_ (S))
 686  switch (SvTYPE(sv)) {
 687   case SVt_NULL:
 688    return 1;
 689   case SVt_PVAV:
 690    if (AvMAX(sv) >= 0 || SvGMAGICAL(sv)
 691                       || (SvRMAGICAL(sv) && mg_find(sv, PERL_MAGIC_tied)))
 692     return 0;
 693    break;
 694   case SVt_PVHV:
 695    if (HvARRAY(sv) || SvGMAGICAL(sv)
 696                    || (SvRMAGICAL(sv) && mg_find(sv, PERL_MAGIC_tied)))
 697     return 0;
 698    break;
 699   default:
 700    SvGETMAGIC(sv);
 701    if (SvOK(sv))
 702     return 0;
 703  }
 704
 705  return 1;
 706 }
 707
 708 /* --- PP functions -------------------------------------------------------- */
 709
 710 /* Be aware that we restore PL_op->op_ppaddr from the pointer table old_pp
 711  * value, another extension might have saved our pp replacement as the ppaddr
 712  * for this op, so this doesn't ensure that our function will never be called
 713  * again. That's why we don't remove the op info from our map, so that it can
 714  * still run correctly if required. */
 715
 716 /* ... pp_rv2av ............................................................ */
 717
 718 static OP *a_pp_rv2av(pTHX) {
 719  dA_MAP_THX;
 720  const a_op_info *oi;
 721  dSP;
 722
 723  oi = a_map_fetch(PL_op);
 724
 725  if (oi->flags & A_HINT_DEREF) {
 726   if (a_undef(TOPs)) {
 727    /* We always need to push an empty array to fool the pp_aelem() that comes
 728     * later. */
 729    SV *av;
 730    (void) POPs;
 731    av = sv_2mortal((SV *) newAV());
 732    PUSHs(av);
 733    RETURN;
 734   }
 735  }
 736
 737  return oi->old_pp(aTHX);
 738 }
 739
 740 /* ... pp_rv2hv ............................................................ */
 741
 742 static OP *a_pp_rv2hv_simple(pTHX) {
 743  dA_MAP_THX;
 744  const a_op_info *oi;
 745  dSP;
 746
 747  oi = a_map_fetch(PL_op);
 748
 749  if (oi->flags & A_HINT_DEREF) {
 750   if (a_undef(TOPs))
 751    RETURN;
 752  }
 753
 754  return oi->old_pp(aTHX);
 755 }
 756
 757 static OP *a_pp_rv2hv(pTHX) {
 758  dA_MAP_THX;
 759  const a_op_info *oi;
 760  dSP;
 761
 762  oi = a_map_fetch(PL_op);
 763
 764  if (oi->flags & A_HINT_DEREF) {
 765   if (a_undef(TOPs)) {
 766    SV *hv;
 767    (void) POPs;
 768    hv = sv_2mortal((SV *) newHV());
 769    PUSHs(hv);
 770    RETURN;
 771   }
 772  }
 773
 774  return oi->old_pp(aTHX);
 775 }
 776
 777 /* ... pp_deref (aelem,helem,rv2sv,padsv) .................................. */
 778
 779 static void a_cannot_vivify(pTHX_ UV flags) {
 780 #define a_cannot_vivify(F) a_cannot_vivify(aTHX_ (F))
 781  if (flags & A_HINT_STRICT)
 782   croak("Reference vivification forbidden");
 783  else if (flags & A_HINT_WARN)
 784   warn("Reference was vivified");
 785  else /* A_HINT_STORE */
 786   croak("Can't vivify reference");
 787 }
 788
 789 static OP *a_pp_deref(pTHX) {
 790  dA_MAP_THX;
 791  const a_op_info *oi;
 792  UV flags;
 793  dSP;
 794
 795  oi = a_map_fetch(PL_op);
 796
 797  flags = oi->flags;
 798  if (flags & A_HINT_DEREF) {
 799   OP *o;
 800
 801   o = oi->old_pp(aTHX);
 802
 803   if (flags & (A_HINT_NOTIFY|A_HINT_STORE)) {
 804    SPAGAIN;
 805    if (a_undef(TOPs))
 806     a_cannot_vivify(flags);
 807   }
 808
 809   return o;
 810  }
 811
 812  return oi->old_pp(aTHX);
 813 }
 814
 815 /* ... pp_root (exists,delete,keys,values) ................................. */
 816
 817 static OP *a_pp_root_unop(pTHX) {
 818  dSP;
 819
 820  if (a_undef(TOPs)) {
 821   (void) POPs;
 822   /* Can only be reached by keys or values */
 823   if (GIMME_V == G_SCALAR) {
 824    dTARGET;
 825    PUSHi(0);
 826   }
 827   RETURN;
 828  }
 829
 830  {
 831   dA_MAP_THX;
 832   const a_op_info *oi = a_map_fetch(PL_op);
 833   return oi->old_pp(aTHX);
 834  }
 835 }
 836
 837 static OP *a_pp_root_binop(pTHX) {
 838  dSP;
 839
 840  if (a_undef(TOPm1s)) {
 841   (void) POPs;
 842   (void) POPs;
 843   if (PL_op->op_type == OP_EXISTS)
 844    RETPUSHNO;
 845   else
 846    RETPUSHUNDEF;
 847  }
 848
 849  {
 850   dA_MAP_THX;
 851   const a_op_info *oi = a_map_fetch(PL_op);
 852   return oi->old_pp(aTHX);
 853  }
 854 }
 855
 856 #if A_HAS_MULTIDEREF
 857
 858 /* ... pp_multideref ....................................................... */
 859
 860 /* This pp replacement is actually only called for topmost exists/delete ops,
 861  * because we hijack the [ah]elem check functions and this disables the
 862  * optimization for lvalue and rvalue dereferencing. In particular, the
 863  * OPf_MOD branches should never be covered. In the future, the multideref
 864  * optimization might also be disabled for custom exists/delete check functions,
 865  * which will make this section unnecessary. However, the code tries to be as
 866  * general as possible in case I think of a way to reenable the multideref
 867  * optimization even when this module is in use. */
 868
 869 static UV a_do_multideref(const OP *o, UV flags) {
 870  UV isexdel, other_flags;
 871
 872  assert(o->op_type == OP_MULTIDEREF);
 873
 874  other_flags = flags & ~A_HINT_DO;
 875
 876  isexdel = o->op_private & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE);
 877  if (isexdel) {
 878   if (isexdel & OPpMULTIDEREF_EXISTS) {
 879    flags &= A_HINT_EXISTS;
 880   } else {
 881    flags &= A_HINT_DELETE;
 882   }
 883  } else {
 884   if (o->op_flags & OPf_MOD) {
 885    flags &= A_HINT_STORE;
 886   } else {
 887    flags &= A_HINT_FETCH;
 888   }
 889  }
 890
 891  return flags ? (flags | other_flags) : 0;
 892 }
 893
 894 static SV *a_do_fake_pp(pTHX_ OP *op) {
 895 #define a_do_fake_pp(O) a_do_fake_pp(aTHX_ (O))
 896  {
 897   OP *o = PL_op;
 898   ENTER;
 899   SAVEOP();
 900   PL_op = op;
 901   PL_op->op_ppaddr(aTHX);
 902   PL_op = o;
 903   LEAVE;
 904  }
 905
 906  {
 907   SV *ret;
 908   dSP;
 909   ret = POPs;
 910   PUTBACK;
 911   return ret;
 912  }
 913 }
 914
 915 static void a_do_fake_pp_unop_init(pTHX_ UNOP *unop, U32 type, U32 flags) {
 916 #define a_do_fake_pp_unop_init(O, T, F) a_do_fake_pp_unop_init(aTHX_ (O), (T), (F))
 917  unop->op_type    = type;
 918  unop->op_flags   = OPf_WANT_SCALAR | (~OPf_WANT & flags);
 919  unop->op_private = 0;
 920  unop->op_first   = NULL;
 921  unop->op_ppaddr  = PL_ppaddr[type];
 922 }
 923
 924 static SV *a_do_fake_pp_unop_arg1(pTHX_ U32 type, U32 flags, SV *arg) {
 925 #define a_do_fake_pp_unop_arg1(T, F, A) a_do_fake_pp_unop_arg1(aTHX_ (T), (F), (A))
 926  UNOP unop;
 927  dSP;
 928
 929  a_do_fake_pp_unop_init(&unop, type, flags);
 930
 931  EXTEND(SP, 1);
 932  PUSHs(arg);
 933  PUTBACK;
 934
 935  return a_do_fake_pp((OP *) &unop);
 936 }
 937
 938 static SV *a_do_fake_pp_unop_arg2(pTHX_ U32 type, U32 flags, SV *arg1, SV *arg2) {
 939 #define a_do_fake_pp_unop_arg2(T, F, A1, A2) a_do_fake_pp_unop_arg2(aTHX_ (T), (F), (A1), (A2))
 940  UNOP unop;
 941  dSP;
 942
 943  a_do_fake_pp_unop_init(&unop, type, flags);
 944
 945  EXTEND(SP, 2);
 946  PUSHs(arg1);
 947  PUSHs(arg2);
 948  PUTBACK;
 949
 950  return a_do_fake_pp((OP *) &unop);
 951 }
 952
 953 #define a_do_pp_rv2av(R)        a_do_fake_pp_unop_arg1(OP_RV2AV,  OPf_REF,     (R))
 954 #define a_do_pp_afetch(A, I)    a_do_fake_pp_unop_arg2(OP_AELEM,  0,           (A), (I))
 955 #define a_do_pp_afetch_lv(A, I) a_do_fake_pp_unop_arg2(OP_AELEM,  OPf_MOD,     (A), (I))
 956 #define a_do_pp_aexists(A, I)   a_do_fake_pp_unop_arg2(OP_EXISTS, OPf_SPECIAL, (A), (I))
 957 #define a_do_pp_adelete(A, I)   a_do_fake_pp_unop_arg2(OP_DELETE, OPf_SPECIAL, (A), (I))
 958
 959 #define a_do_pp_rv2hv(R)        a_do_fake_pp_unop_arg1(OP_RV2HV,  OPf_REF, (R))
 960 #define a_do_pp_hfetch(H, K)    a_do_fake_pp_unop_arg2(OP_HELEM,  0,       (H), (K))
 961 #define a_do_pp_hfetch_lv(H, K) a_do_fake_pp_unop_arg2(OP_HELEM,  OPf_MOD, (H), (K))
 962 #define a_do_pp_hexists(H, K)   a_do_fake_pp_unop_arg2(OP_EXISTS, 0,  (H), (K))
 963 #define a_do_pp_hdelete(H, K)   a_do_fake_pp_unop_arg2(OP_DELETE, 0,  (H), (K))
 964
 965 static OP *a_pp_multideref(pTHX) {
 966  UNOP_AUX_item *items;
 967  UV  actions;
 968  UV  flags = 0;
 969  SV *sv    = NULL;
 970  dSP;
 971
 972  {
 973   dA_MAP_THX;
 974   const a_op_info *oi = a_map_fetch(PL_op);
 975   assert(oi);
 976   flags = a_do_multideref(PL_op, oi->flags);
 977   if (!flags)
 978    return oi->old_pp(aTHX);
 979  }
 980
 981  items   = cUNOP_AUXx(PL_op)->op_aux;
 982  actions = items->uv;
 983
 984  PL_multideref_pc = items;
 985
 986  while (1) {
 987   switch (actions & MDEREF_ACTION_MASK) {
 988    case MDEREF_reload:
 989     actions = (++items)->uv;
 990     continue;
 991    case MDEREF_AV_padav_aelem: /* $lex[...] */
 992     sv = PAD_SVl((++items)->pad_offset);
 993     if (a_undef(sv))
 994      goto ret_undef;
 995     goto do_AV_aelem;
 996    case MDEREF_AV_gvav_aelem: /* $pkg[...] */
 997     sv = UNOP_AUX_item_sv(++items);
 998     assert(isGV_with_GP(sv));
 999     sv = (SV *) GvAVn((GV *) sv);
1000     if (a_undef(sv))
1001      goto ret_undef;
1002     goto do_AV_aelem;
1003    case MDEREF_AV_pop_rv2av_aelem: /* expr->[...] */
1004     sv = POPs;
1005     if (a_undef(sv))
1006      goto ret_undef;
1007     goto do_AV_rv2av_aelem;
1008    case MDEREF_AV_gvsv_vivify_rv2av_aelem: /* $pkg->[...] */
1009     sv = UNOP_AUX_item_sv(++items);
1010     assert(isGV_with_GP(sv));
1011     sv = GvSVn((GV *) sv);
1012     if (a_undef(sv))
1013      goto ret_undef;
1014     goto do_AV_vivify_rv2av_aelem;
1015    case MDEREF_AV_padsv_vivify_rv2av_aelem: /* $lex->[...] */
1016     sv = PAD_SVl((++items)->pad_offset);
1017     /* FALLTHROUGH */
1018    case MDEREF_AV_vivify_rv2av_aelem: /* vivify, ->[...] */
1019     if (a_undef(sv))
1020      goto ret_undef;
1021 do_AV_vivify_rv2av_aelem:
1022     sv = Perl_vivify_ref(aTHX_ sv, OPpDEREF_AV);
1023 do_AV_rv2av_aelem:
1024     sv = a_do_pp_rv2av(sv);
1025 do_AV_aelem:
1026     {
1027      SV *esv;
1028      assert(SvTYPE(sv) == SVt_PVAV);
1029      switch (actions & MDEREF_INDEX_MASK) {
1030       case MDEREF_INDEX_none:
1031        goto finish;
1032       case MDEREF_INDEX_const:
1033        esv = sv_2mortal(newSViv((++items)->iv));
1034        break;
1035       case MDEREF_INDEX_padsv:
1036        esv = PAD_SVl((++items)->pad_offset);
1037        goto check_elem;
1038       case MDEREF_INDEX_gvsv:
1039        esv = UNOP_AUX_item_sv(++items);
1040        assert(isGV_with_GP(esv));
1041        esv = GvSVn((GV *) esv);
1042 check_elem:
1043        if (UNLIKELY(SvROK(esv) && !SvGAMAGIC(esv) && ckWARN(WARN_MISC)))
1044         Perl_warner(aTHX_ packWARN(WARN_MISC),
1045                           "Use of reference \"%"SVf"\" as array index",
1046                           SVfARG(esv));
1047        break;
1048      }
1049      PL_multideref_pc = items;
1050      if (actions & MDEREF_FLAG_last) {
1051       switch (flags & A_HINT_DO) {
1052        case A_HINT_FETCH:
1053         sv = a_do_pp_afetch(sv, esv);
1054         break;
1055        case A_HINT_STORE:
1056         sv = a_do_pp_afetch_lv(sv, esv);
1057         break;
1058        case A_HINT_EXISTS:
1059         sv = a_do_pp_aexists(sv, esv);
1060         break;
1061        case A_HINT_DELETE:
1062         sv = a_do_pp_adelete(sv, esv);
1063         break;
1064       }
1065       goto finish;
1066      }
1067      sv = a_do_pp_afetch(sv, esv);
1068      break;
1069     }
1070    case MDEREF_HV_padhv_helem: /* $lex{...} */
1071     sv = PAD_SVl((++items)->pad_offset);
1072     if (a_undef(sv))
1073      goto ret_undef;
1074     goto do_HV_helem;
1075    case MDEREF_HV_gvhv_helem: /* $pkg{...} */
1076     sv = UNOP_AUX_item_sv(++items);
1077     assert(isGV_with_GP(sv));
1078     sv = (SV *) GvHVn((GV *) sv);
1079     if (a_undef(sv))
1080      goto ret_undef;
1081     goto do_HV_helem;
1082    case MDEREF_HV_pop_rv2hv_helem: /* expr->{...} */
1083     sv = POPs;
1084     if (a_undef(sv))
1085      goto ret_undef;
1086     goto do_HV_rv2hv_helem;
1087    case MDEREF_HV_gvsv_vivify_rv2hv_helem: /* $pkg->{...} */
1088     sv = UNOP_AUX_item_sv(++items);
1089     assert(isGV_with_GP(sv));
1090     sv = GvSVn((GV *) sv);
1091     if (a_undef(sv))
1092      goto ret_undef;
1093     goto do_HV_vivify_rv2hv_helem;
1094    case MDEREF_HV_padsv_vivify_rv2hv_helem: /* $lex->{...} */
1095     sv = PAD_SVl((++items)->pad_offset);
1096     /* FALLTHROUGH */
1097    case MDEREF_HV_vivify_rv2hv_helem: /* vivify, ->{...} */
1098     if (a_undef(sv))
1099      goto ret_undef;
1100 do_HV_vivify_rv2hv_helem:
1101     sv = Perl_vivify_ref(aTHX_ sv, OPpDEREF_HV);
1102 do_HV_rv2hv_helem:
1103     sv = a_do_pp_rv2hv(sv);
1104 do_HV_helem:
1105     {
1106      SV *key;
1107      assert(SvTYPE(sv) == SVt_PVHV);
1108      switch (actions & MDEREF_INDEX_MASK) {
1109       case MDEREF_INDEX_none:
1110        goto finish;
1111       case MDEREF_INDEX_const:
1112        key = UNOP_AUX_item_sv(++items);
1113        break;
1114       case MDEREF_INDEX_padsv:
1115        key = PAD_SVl((++items)->pad_offset);
1116        break;
1117       case MDEREF_INDEX_gvsv:
1118        key = UNOP_AUX_item_sv(++items);
1119        assert(isGV_with_GP(key));
1120        key = GvSVn((GV *) key);
1121        break;
1122      }
1123      PL_multideref_pc = items;
1124      if (actions & MDEREF_FLAG_last) {
1125       switch (flags & A_HINT_DO) {
1126        case A_HINT_FETCH:
1127         sv = a_do_pp_hfetch(sv, key);
1128         break;
1129        case A_HINT_STORE:
1130         sv = a_do_pp_hfetch_lv(sv, key);
1131         break;
1132        case A_HINT_EXISTS:
1133         sv = a_do_pp_hexists(sv, key);
1134         break;
1135        case A_HINT_DELETE:
1136         sv = a_do_pp_hdelete(sv, key);
1137         break;
1138        default:
1139         break;
1140       }
1141       goto finish;
1142      }
1143      sv = a_do_pp_hfetch(sv, key);
1144      break;
1145     }
1146   }
1147
1148   actions >>= MDEREF_SHIFT;
1149  }
1150
1151 ret_undef:
1152  if (flags & (A_HINT_NOTIFY|A_HINT_STORE))
1153   a_cannot_vivify(flags);
1154  if (flags & A_HINT_EXISTS)
1155   sv = &PL_sv_no;
1156  else
1157   sv = &PL_sv_undef;
1158 finish:
1159  XPUSHs(sv);
1160  RETURN;
1161 }
1162
1163 #endif /* A_HAS_MULTIDEREF */
1164
1165 /* --- Check functions ----------------------------------------------------- */
1166
1167 static void a_recheck_rv2xv(pTHX_ OP *o, OPCODE type, OP *(*new_pp)(pTHX)) {
1168 #define a_recheck_rv2xv(O, T, PP) a_recheck_rv2xv(aTHX_ (O), (T), (PP))
1169
1170  if (o->op_type == type && o->op_ppaddr != new_pp
1171                         && cUNOPo->op_first->op_type != OP_GV) {
1172   dA_MAP_THX;
1173   const a_op_info *oi = a_map_fetch(o);
1174   if (oi) {
1175    a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
1176    o->op_ppaddr = new_pp;
1177   }
1178  }
1179
1180  return;
1181 }
1182
1183 /* ... ck_pad{any,sv} ...................................................... */
1184
1185 /* Sadly, the padsv OPs we are interested in don't trigger the padsv check
1186  * function, but are instead manually mutated from a padany. So we store
1187  * the op entry in the op map in the padany check function, and we set their
1188  * op_ppaddr member in our peephole optimizer replacement below. */
1189
1190 static OP *(*a_old_ck_padany)(pTHX_ OP *) = 0;
1191
1192 static OP *a_ck_padany(pTHX_ OP *o) {
1193  UV hint;
1194
1195  o = a_old_ck_padany(aTHX_ o);
1196
1197  hint = a_hint();
1198  if (hint & A_HINT_DO)
1199   a_map_store_root(o, o->op_ppaddr, hint);
1200  else
1201   a_map_delete(o);
1202
1203  return o;
1204 }
1205
1206 static OP *(*a_old_ck_padsv)(pTHX_ OP *) = 0;
1207
1208 static OP *a_ck_padsv(pTHX_ OP *o) {
1209  UV hint;
1210
1211  o = a_old_ck_padsv(aTHX_ o);
1212
1213  hint = a_hint();
1214  if (hint & A_HINT_DO) {
1215   a_map_store_root(o, o->op_ppaddr, hint);
1216   o->op_ppaddr = a_pp_deref;
1217  } else
1218   a_map_delete(o);
1219
1220  return o;
1221 }
1222
1223 /* ... ck_deref (aelem,helem,rv2sv) ........................................ */
1224
1225 /* Those ops appear both at the root and inside an expression but there's no
1226  * way to distinguish both situations. Worse, we can't even know if we are in a
1227  * modifying context, so the expression can't be resolved yet. It will be at the
1228  * first invocation of a_pp_deref() for this expression. */
1229
1230 static OP *(*a_old_ck_aelem)(pTHX_ OP *) = 0;
1231 static OP *(*a_old_ck_helem)(pTHX_ OP *) = 0;
1232 static OP *(*a_old_ck_rv2sv)(pTHX_ OP *) = 0;
1233
1234 static OP *a_ck_deref(pTHX_ OP *o) {
1235  OP * (*old_ck)(pTHX_ OP *o) = 0;
1236  UV hint = a_hint();
1237
1238  switch (o->op_type) {
1239   case OP_AELEM:
1240    old_ck = a_old_ck_aelem;
1241    if ((hint & A_HINT_DO) && !(hint & A_HINT_STRICT))
1242     a_recheck_rv2xv(cUNOPo->op_first, OP_RV2AV, a_pp_rv2av);
1243    break;
1244   case OP_HELEM:
1245    old_ck = a_old_ck_helem;
1246    if ((hint & A_HINT_DO) && !(hint & A_HINT_STRICT))
1247     a_recheck_rv2xv(cUNOPo->op_first, OP_RV2HV, a_pp_rv2hv_simple);
1248    break;
1249   case OP_RV2SV:
1250    old_ck = a_old_ck_rv2sv;
1251    break;
1252  }
1253  o = old_ck(aTHX_ o);
1254
1255  if (hint & A_HINT_DO) {
1256 #if A_HAS_MULTIDEREF
1257   if (old_ck == a_old_ck_rv2sv && o->op_flags & OPf_KIDS) {
1258    OP *kid = cUNOPo->op_first;
1259    if (kid && kid->op_type == OP_GV)
1260     a_map_store(kid, kid->op_ppaddr, NULL, hint);
1261   }
1262 #endif
1263   a_map_store_root(o, o->op_ppaddr, hint);
1264   o->op_ppaddr = a_pp_deref;
1265  } else
1266   a_map_delete(o);
1267
1268  return o;
1269 }
1270
1271 /* ... ck_rv2xv (rv2av,rv2hv) .............................................. */
1272
1273 /* Those ops also appear both inisde and at the root, hence the caveats for
1274  * a_ck_deref() still apply here. Since a padsv/rv2sv must appear before a
1275  * rv2[ah]v, resolution is handled by the first call to a_pp_deref() in the
1276  * expression. */
1277
1278 static OP *(*a_old_ck_rv2av)(pTHX_ OP *) = 0;
1279 static OP *(*a_old_ck_rv2hv)(pTHX_ OP *) = 0;
1280
1281 static OP *a_ck_rv2xv(pTHX_ OP *o) {
1282  OP * (*old_ck)(pTHX_ OP *o) = 0;
1283  OP * (*new_pp)(pTHX)        = 0;
1284  UV hint;
1285
1286  switch (o->op_type) {
1287   case OP_RV2AV: old_ck = a_old_ck_rv2av; new_pp = a_pp_rv2av; break;
1288   case OP_RV2HV: old_ck = a_old_ck_rv2hv; new_pp = a_pp_rv2hv_simple; break;
1289  }
1290  o = old_ck(aTHX_ o);
1291
1292  if (cUNOPo->op_first->op_type == OP_GV)
1293   return o;
1294
1295  hint = a_hint();
1296  if (hint & A_HINT_DO && !(hint & A_HINT_STRICT)) {
1297   a_map_store_root(o, o->op_ppaddr, hint);
1298   o->op_ppaddr = new_pp;
1299  } else
1300   a_map_delete(o);
1301
1302  return o;
1303 }
1304
1305 /* ... ck_xslice (aslice,hslice) ........................................... */
1306
1307 /* I think those are only found at the root, but there's nothing that really
1308  * prevent them to be inside the expression too. We only need to update the
1309  * root so that the rest of the expression will see the right context when
1310  * resolving. That's why we don't replace the ppaddr. */
1311
1312 static OP *(*a_old_ck_aslice)(pTHX_ OP *) = 0;
1313 static OP *(*a_old_ck_hslice)(pTHX_ OP *) = 0;
1314
1315 static OP *a_ck_xslice(pTHX_ OP *o) {
1316  OP * (*old_ck)(pTHX_ OP *o) = 0;
1317  UV hint = a_hint();
1318
1319  switch (o->op_type) {
1320   case OP_ASLICE:
1321    old_ck = a_old_ck_aslice;
1322    break;
1323   case OP_HSLICE:
1324    old_ck = a_old_ck_hslice;
1325    if (hint & A_HINT_DO)
1326     a_recheck_rv2xv(OpSIBLING(cUNOPo->op_first), OP_RV2HV, a_pp_rv2hv);
1327    break;
1328  }
1329  o = old_ck(aTHX_ o);
1330
1331  if (hint & A_HINT_DO) {
1332   a_map_store_root(o, 0, hint);
1333  } else
1334   a_map_delete(o);
1335
1336  return o;
1337 }
1338
1339 /* ... ck_root (exists,delete,keys,values) ................................. */
1340
1341 /* Those ops are only found at the root of a dereferencing expression. We can
1342  * then resolve at compile time if vivification must take place or not. */
1343
1344 static OP *(*a_old_ck_exists)(pTHX_ OP *) = 0;
1345 static OP *(*a_old_ck_delete)(pTHX_ OP *) = 0;
1346 static OP *(*a_old_ck_keys)  (pTHX_ OP *) = 0;
1347 static OP *(*a_old_ck_values)(pTHX_ OP *) = 0;
1348
1349 static OP *a_ck_root(pTHX_ OP *o) {
1350  OP * (*old_ck)(pTHX_ OP *o) = 0;
1351  OP * (*new_pp)(pTHX)        = 0;
1352  bool enabled = FALSE;
1353  UV hint = a_hint();
1354
1355  switch (o->op_type) {
1356   case OP_EXISTS:
1357    old_ck  = a_old_ck_exists;
1358    new_pp  = a_pp_root_binop;
1359    enabled = hint & A_HINT_EXISTS;
1360    break;
1361   case OP_DELETE:
1362    old_ck  = a_old_ck_delete;
1363    new_pp  = a_pp_root_binop;
1364    enabled = hint & A_HINT_DELETE;
1365    break;
1366   case OP_KEYS:
1367    old_ck  = a_old_ck_keys;
1368    new_pp  = a_pp_root_unop;
1369    enabled = hint & A_HINT_FETCH;
1370    break;
1371   case OP_VALUES:
1372    old_ck  = a_old_ck_values;
1373    new_pp  = a_pp_root_unop;
1374    enabled = hint & A_HINT_FETCH;
1375    break;
1376  }
1377  o = old_ck(aTHX_ o);
1378
1379  if (hint & A_HINT_DO) {
1380   if (enabled) {
1381    a_map_update_flags_topdown(o, hint | A_HINT_DEREF);
1382    a_map_store_root(o, o->op_ppaddr, hint);
1383    o->op_ppaddr = new_pp;
1384   } else {
1385    a_map_cancel(o);
1386   }
1387  } else
1388   a_map_delete(o);
1389
1390  return o;
1391 }
1392
1393 /* ... Our peephole optimizer .............................................. */
1394
1395 static void a_peep_rec(pTHX_ OP *o, ptable *seen);
1396
1397 static void a_peep_rec(pTHX_ OP *o, ptable *seen) {
1398 #define a_peep_rec(O) a_peep_rec(aTHX_ (O), seen)
1399  for (; o; o = o->op_next) {
1400   dA_MAP_THX;
1401   const a_op_info *oi = NULL;
1402   UV flags = 0;
1403
1404 #if !A_HAS_RPEEP
1405   if (ptable_fetch(seen, o))
1406    break;
1407   ptable_seen_store(seen, o, o);
1408 #endif
1409
1410   switch (o->op_type) {
1411 #if A_HAS_RPEEP
1412    case OP_NEXTSTATE:
1413    case OP_DBSTATE:
1414    case OP_STUB:
1415    case OP_UNSTACK:
1416     if (ptable_fetch(seen, o))
1417      return;
1418     ptable_seen_store(seen, o, o);
1419     break;
1420 #endif
1421    case OP_PADSV:
1422     if (o->op_ppaddr != a_pp_deref) {
1423      oi = a_map_fetch(o);
1424      if (oi && (oi->flags & A_HINT_DO)) {
1425       a_map_store(o, o->op_ppaddr, oi->next, oi->flags);
1426       o->op_ppaddr = a_pp_deref;
1427      }
1428     }
1429     /* FALLTHROUGH */
1430    case OP_AELEM:
1431    case OP_AELEMFAST:
1432    case OP_HELEM:
1433    case OP_RV2SV:
1434     if (o->op_ppaddr != a_pp_deref)
1435      break;
1436     oi = a_map_fetch(o);
1437     if (!oi)
1438      break;
1439     flags = oi->flags;
1440     if (!(flags & A_HINT_DEREF)
1441         && (flags & A_HINT_DO)
1442         && (o->op_private & OPpDEREF || flags & A_HINT_ROOT)) {
1443      /* Decide if the expression must autovivify or not. */
1444      flags = a_map_resolve(o, oi);
1445     }
1446     if (flags & A_HINT_DEREF)
1447      o->op_private = ((o->op_private & ~OPpDEREF) | OPpLVAL_DEFER);
1448     else
1449      o->op_ppaddr  = oi->old_pp;
1450     break;
1451    case OP_RV2AV:
1452    case OP_RV2HV:
1453     if (   o->op_ppaddr != a_pp_rv2av
1454         && o->op_ppaddr != a_pp_rv2hv
1455         && o->op_ppaddr != a_pp_rv2hv_simple)
1456      break;
1457     oi = a_map_fetch(o);
1458     if (!oi)
1459      break;
1460     if (!(oi->flags & A_HINT_DEREF))
1461      o->op_ppaddr  = oi->old_pp;
1462     break;
1463 #if A_HAS_MULTIDEREF
1464    case OP_MULTIDEREF:
1465     if (o->op_ppaddr != a_pp_multideref) {
1466      oi = a_map_fetch(cUNOPo->op_first);
1467      if (!oi)
1468       break;
1469      flags = oi->flags;
1470      if (a_do_multideref(o, flags)) {
1471       a_map_store_root(o, o->op_ppaddr, flags & ~A_HINT_DEREF);
1472       o->op_ppaddr = a_pp_multideref;
1473      }
1474     }
1475     break;
1476 #endif
1477 #if !A_HAS_RPEEP
1478    case OP_MAPWHILE:
1479    case OP_GREPWHILE:
1480    case OP_AND:
1481    case OP_OR:
1482    case OP_ANDASSIGN:
1483    case OP_ORASSIGN:
1484    case OP_COND_EXPR:
1485    case OP_RANGE:
1486 # if A_HAS_PERL(5, 10, 0)
1487    case OP_ONCE:
1488    case OP_DOR:
1489    case OP_DORASSIGN:
1490 # endif
1491     a_peep_rec(cLOGOPo->op_other);
1492     break;
1493    case OP_ENTERLOOP:
1494    case OP_ENTERITER:
1495     a_peep_rec(cLOOPo->op_redoop);
1496     a_peep_rec(cLOOPo->op_nextop);
1497     a_peep_rec(cLOOPo->op_lastop);
1498     break;
1499 # if A_HAS_PERL(5, 9, 5)
1500    case OP_SUBST:
1501     a_peep_rec(cPMOPo->op_pmstashstartu.op_pmreplstart);
1502     break;
1503 # else
1504    case OP_QR:
1505    case OP_MATCH:
1506    case OP_SUBST:
1507     a_peep_rec(cPMOPo->op_pmreplstart);
1508     break;
1509 # endif
1510 #endif /* !A_HAS_RPEEP */
1511    default:
1512     break;
1513   }
1514  }
1515 }
1516
1517 static void a_peep(pTHX_ OP *o) {
1518  ptable *seen;
1519  dMY_CXT;
1520
1521  assert(a_is_loaded(&MY_CXT));
1522
1523  MY_CXT.old_peep(aTHX_ o);
1524
1525  seen = MY_CXT.seen;
1526  if (seen) {
1527   ptable_seen_clear(seen);
1528   a_peep_rec(o);
1529   ptable_seen_clear(seen);
1530  }
1531 }
1532
1533 /* --- Module setup/teardown ----------------------------------------------- */
1534
1535 static void a_teardown(pTHX_ void *root) {
1536  dMY_CXT;
1537
1538  A_LOADED_LOCK;
1539
1540  if (a_clear_loaded_locked(&MY_CXT)) {
1541   a_ck_restore(OP_PADANY, &a_old_ck_padany);
1542   a_ck_restore(OP_PADSV,  &a_old_ck_padsv);
1543
1544   a_ck_restore(OP_AELEM,  &a_old_ck_aelem);
1545   a_ck_restore(OP_HELEM,  &a_old_ck_helem);
1546   a_ck_restore(OP_RV2SV,  &a_old_ck_rv2sv);
1547
1548   a_ck_restore(OP_RV2AV,  &a_old_ck_rv2av);
1549   a_ck_restore(OP_RV2HV,  &a_old_ck_rv2hv);
1550
1551   a_ck_restore(OP_ASLICE, &a_old_ck_aslice);
1552   a_ck_restore(OP_HSLICE, &a_old_ck_hslice);
1553
1554   a_ck_restore(OP_EXISTS, &a_old_ck_exists);
1555   a_ck_restore(OP_DELETE, &a_old_ck_delete);
1556   a_ck_restore(OP_KEYS,   &a_old_ck_keys);
1557   a_ck_restore(OP_VALUES, &a_old_ck_values);
1558
1559   ptable_map_free(a_op_map);
1560   a_op_map = NULL;
1561  }
1562
1563  A_LOADED_UNLOCK;
1564
1565  if (MY_CXT.old_peep) {
1566 #if A_HAS_RPEEP
1567   PL_rpeepp = MY_CXT.old_peep;
1568 #else
1569   PL_peepp  = MY_CXT.old_peep;
1570 #endif
1571   MY_CXT.old_peep = 0;
1572  }
1573
1574  ptable_seen_free(MY_CXT.seen);
1575  MY_CXT.seen = NULL;
1576
1577 #if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
1578  ptable_hints_free(MY_CXT.tbl);
1579  MY_CXT.tbl  = NULL;
1580 #endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
1581
1582  return;
1583 }
1584
1585 static void a_setup(pTHX) {
1586 #define a_setup() a_setup(aTHX)
1587  MY_CXT_INIT; /* Takes/release PL_my_ctx_mutex */
1588
1589  A_LOADED_LOCK;
1590
1591  if (a_set_loaded_locked(&MY_CXT)) {
1592   PERL_HASH(a_hash, __PACKAGE__, __PACKAGE_LEN__);
1593
1594   a_op_map = ptable_new();
1595 #ifdef USE_ITHREADS
1596   MUTEX_INIT(&a_op_map_mutex);
1597 #endif
1598
1599   a_ck_replace(OP_PADANY, a_ck_padany, &a_old_ck_padany);
1600   a_ck_replace(OP_PADSV,  a_ck_padsv,  &a_old_ck_padsv);
1601
1602   a_ck_replace(OP_AELEM,  a_ck_deref,  &a_old_ck_aelem);
1603   a_ck_replace(OP_HELEM,  a_ck_deref,  &a_old_ck_helem);
1604   a_ck_replace(OP_RV2SV,  a_ck_deref,  &a_old_ck_rv2sv);
1605
1606   a_ck_replace(OP_RV2AV,  a_ck_rv2xv,  &a_old_ck_rv2av);
1607   a_ck_replace(OP_RV2HV,  a_ck_rv2xv,  &a_old_ck_rv2hv);
1608
1609   a_ck_replace(OP_ASLICE, a_ck_xslice, &a_old_ck_aslice);
1610   a_ck_replace(OP_HSLICE, a_ck_xslice, &a_old_ck_hslice);
1611
1612   a_ck_replace(OP_EXISTS, a_ck_root,   &a_old_ck_exists);
1613   a_ck_replace(OP_DELETE, a_ck_root,   &a_old_ck_delete);
1614   a_ck_replace(OP_KEYS,   a_ck_root,   &a_old_ck_keys);
1615   a_ck_replace(OP_VALUES, a_ck_root,   &a_old_ck_values);
1616  }
1617
1618  A_LOADED_UNLOCK;
1619
1620  {
1621   HV *stash;
1622
1623   stash = gv_stashpvn(__PACKAGE__, __PACKAGE_LEN__, 1);
1624   newCONSTSUB(stash, "A_HINT_STRICT", newSVuv(A_HINT_STRICT));
1625   newCONSTSUB(stash, "A_HINT_WARN",   newSVuv(A_HINT_WARN));
1626   newCONSTSUB(stash, "A_HINT_FETCH",  newSVuv(A_HINT_FETCH));
1627   newCONSTSUB(stash, "A_HINT_STORE",  newSVuv(A_HINT_STORE));
1628   newCONSTSUB(stash, "A_HINT_EXISTS", newSVuv(A_HINT_EXISTS));
1629   newCONSTSUB(stash, "A_HINT_DELETE", newSVuv(A_HINT_DELETE));
1630   newCONSTSUB(stash, "A_HINT_MASK",   newSVuv(A_HINT_MASK));
1631   newCONSTSUB(stash, "A_THREADSAFE",  newSVuv(A_THREADSAFE));
1632   newCONSTSUB(stash, "A_FORKSAFE",    newSVuv(A_FORKSAFE));
1633  }
1634
1635 #if A_HAS_RPEEP
1636  if (PL_rpeepp != a_peep) {
1637   MY_CXT.old_peep = PL_rpeepp;
1638   PL_rpeepp       = a_peep;
1639  }
1640 #else
1641  if (PL_peepp != a_peep) {
1642   MY_CXT.old_peep = PL_peepp;
1643   PL_peepp        = a_peep;
1644  }
1645 #endif
1646  else {
1647   MY_CXT.old_peep = 0;
1648  }
1649
1650  MY_CXT.seen = ptable_new();
1651
1652 #if A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION
1653  MY_CXT.tbl   = ptable_new();
1654  MY_CXT.owner = aTHX;
1655 #endif /* A_THREADSAFE && A_WORKAROUND_REQUIRE_PROPAGATION */
1656
1657  call_atexit(a_teardown, NULL);
1658
1659  return;
1660 }
1661
1662 /* --- XS ------------------------------------------------------------------ */
1663
1664 MODULE = autovivification      PACKAGE = autovivification
1665
1666 PROTOTYPES: ENABLE
1667
1668 BOOT:
1669 {
1670  a_setup();
1671 }
1672
1673 #if A_THREADSAFE
1674
1675 void
1676 CLONE(...)
1677 PROTOTYPE: DISABLE
1678 PREINIT:
1679 #if A_WORKAROUND_REQUIRE_PROPAGATION
1680  ptable *t;
1681 #endif
1682 PPCODE:
1683 #if A_WORKAROUND_REQUIRE_PROPAGATION
1684  {
1685   a_ptable_clone_ud ud;
1686   dMY_CXT;
1687   t = ptable_new();
1688   a_ptable_clone_ud_init(ud, t, MY_CXT.owner);
1689   ptable_walk(MY_CXT.tbl, a_ptable_clone, &ud);
1690   a_ptable_clone_ud_deinit(ud);
1691  }
1692 #endif
1693  {
1694   MY_CXT_CLONE;
1695 #if A_WORKAROUND_REQUIRE_PROPAGATION
1696   MY_CXT.tbl   = t;
1697   MY_CXT.owner = aTHX;
1698 #endif
1699   MY_CXT.seen  = ptable_new();
1700   {
1701    int global_setup;
1702    A_LOADED_LOCK;
1703    global_setup = a_set_loaded_locked(&MY_CXT);
1704    assert(!global_setup);
1705    A_LOADED_UNLOCK;
1706   }
1707  }
1708  XSRETURN(0);
1709
1710 #endif /* A_THREADSAFE */
1711
1712 SV *
1713 _tag(SV *hint)
1714 PROTOTYPE: $
1715 CODE:
1716  RETVAL = a_tag(SvOK(hint) ? SvUV(hint) : 0);
1717 OUTPUT:
1718  RETVAL
1719
1720 SV *
1721 _detag(SV *tag)
1722 PROTOTYPE: $
1723 CODE:
1724  if (!SvOK(tag))
1725   XSRETURN_UNDEF;
1726  RETVAL = newSVuv(a_detag(tag));
1727 OUTPUT:
1728  RETVAL