]> git.vpit.fr Git - perl/modules/Scope-Upper.git/blobdiff - Upper.xs
Fix a test in t/60-uplevel-target.t that does not test anything
[perl/modules/Scope-Upper.git] / Upper.xs
index f8a35c72449129d26f58cfd96f98ce6df420ae95..fadbe3d8f7d2733687c11372e4c86c165d07ccd2 100644 (file)
--- a/Upper.xs
+++ b/Upper.xs
 
 /* --- Compatibility ------------------------------------------------------- */
 
+#ifndef NOOP
+# define NOOP
+#endif
+
+#ifndef dNOOP
+# define dNOOP
+#endif
+
+#ifndef dVAR
+# define dVAR dNOOP
+#endif
+
+#ifndef MUTABLE_SV
+# define MUTABLE_SV(S) ((SV *) (S))
+#endif
+
+#ifndef MUTABLE_AV
+# define MUTABLE_AV(A) ((AV *) (A))
+#endif
+
+#ifndef MUTABLE_CV
+# define MUTABLE_CV(C) ((CV *) (C))
+#endif
+
 #ifndef PERL_UNUSED_VAR
 # define PERL_UNUSED_VAR(V)
 #endif
 # define Newx(v, n, c) New(0, v, n, c)
 #endif
 
+#ifdef DEBUGGING
+# ifdef PoisonNew
+#  define SU_POISON(D, N, T) PoisonNew((D), (N), T)
+# elif defined(Poison)
+#  define SU_POISON(D, N, T) Poison((D), (N), T)
+# endif
+#endif
+#ifndef SU_POISON
+# define SU_POISON(D, N, T) NOOP
+#endif
+
+#ifndef newSV_type
+STATIC SV *su_newSV_type(pTHX_ svtype t) {
+ SV *sv = newSV(0);
+ SvUPGRADE(sv, t);
+ return sv;
+}
+# define newSV_type(T) su_newSV_type(aTHX_ (T))
+#endif
+
 #ifndef SvPV_const
 # define SvPV_const(S, L) SvPV(S, L)
 #endif
 
+#ifndef SvPVX_const
+# define SvPVX_const(S) SvPVX(S)
+#endif
+
 #ifndef SvPV_nolen_const
 # define SvPV_nolen_const(S) SvPV_nolen(S)
 #endif
 
 #ifndef SvREFCNT_inc_simple_void
-# define SvREFCNT_inc_simple_void(sv) SvREFCNT_inc(sv)
+# define SvREFCNT_inc_simple_void(sv) ((void) SvREFCNT_inc(sv))
+#endif
+
+#ifndef mPUSHi
+# define mPUSHi(I) PUSHs(sv_2mortal(newSViv(I)))
 #endif
 
 #ifndef GvCV_set
 # define GvCV_set(G, C) (GvCV(G) = (C))
 #endif
 
+#ifndef CvGV_set
+# define CvGV_set(C, G) (CvGV(C) = (G))
+#endif
+
+#ifndef CvSTASH_set
+# define CvSTASH_set(C, S) (CvSTASH(C) = (S))
+#endif
+
+#ifndef CvISXSUB
+# define CvISXSUB(C) CvXSUB(C)
+#endif
+
+#ifndef CxHASARGS
+# define CxHASARGS(C) ((C)->blk_sub.hasargs)
+#endif
+
 #ifndef HvNAME_get
 # define HvNAME_get(H) HvNAME(H)
 #endif
 
 /* --- Threads and multiplicity -------------------------------------------- */
 
-#ifndef NOOP
-# define NOOP
-#endif
-
-#ifndef dNOOP
-# define dNOOP
-#endif
-
 #ifndef SU_MULTIPLICITY
 # if defined(MULTIPLICITY) || defined(PERL_IMPLICIT_CONTEXT)
 #  define SU_MULTIPLICITY 1
 # define MY_CXT_CLONE NOOP
 #endif
 
-/* --- Global data --------------------------------------------------------- */
-
-#define MY_CXT_KEY __PACKAGE__ "::_guts" XS_VERSION
+/* --- unwind() global storage --------------------------------------------- */
 
 typedef struct {
- char    *stack_placeholder;
  I32      cxix;
  I32      items;
  SV     **savesp;
  LISTOP   return_op;
  OP       proxy_op;
+} su_unwind_storage;
+
+/* --- uplevel() data tokens and global storage ---------------------------- */
+
+typedef struct {
+ void *next;
+
+ I32  cxix;
+ bool died;
+
+ CV  *target;
+ I32  target_depth;
+
+ CV  *callback;
+ I32  callback_depth;
+ CV  *renamed;
+
+ AV *fake_argarray;
+
+ PERL_SI *si;
+ PERL_SI *old_curstackinfo;
+ AV      *old_mainstack;
+
+ COP *old_curcop;
+
+ bool old_catch;
+ OP  *old_op;
+} su_uplevel_ud;
+
+STATIC su_uplevel_ud *su_uplevel_ud_new(pTHX) {
+#define su_uplevel_ud_new() su_uplevel_ud_new(aTHX)
+ su_uplevel_ud *sud;
+ PERL_SI       *si;
+
+ Newx(sud, 1, su_uplevel_ud);
+ sud->next = NULL;
+
+ Newx(si, 1, PERL_SI);
+ si->si_stack   = newAV();
+ AvREAL_off(si->si_stack);
+ si->si_cxstack = NULL;
+ si->si_cxmax   = 0;
+
+ sud->si = si;
+
+ return sud;
+}
+
+STATIC void su_uplevel_ud_delete(pTHX_ su_uplevel_ud *sud) {
+#define su_uplevel_ud_delete(S) su_uplevel_ud_delete(aTHX_ (S))
+ PERL_SI *si = sud->si;
+
+ Safefree(si->si_cxstack);
+ SvREFCNT_dec(si->si_stack);
+ Safefree(si);
+ Safefree(sud);
+
+ return;
+}
+
+typedef struct {
+ su_uplevel_ud *root;
+ I32            count;
+} su_uplevel_storage;
+
+#ifndef SU_UPLEVEL_STORAGE_SIZE
+# define SU_UPLEVEL_STORAGE_SIZE 4
+#endif
+
+/* --- Global data --------------------------------------------------------- */
+
+#define MY_CXT_KEY __PACKAGE__ "::_guts" XS_VERSION
+
+typedef struct {
+ char               *stack_placeholder;
+ su_unwind_storage   unwind_storage;
+ su_uplevel_storage  uplevel_storage;
 } my_cxt_t;
 
 START_MY_CXT
@@ -771,9 +905,9 @@ STATIC I32 su_init(pTHX_ void *ud, I32 cxix, I32 size) {
 
 STATIC void su_unwind(pTHX_ void *ud_) {
  dMY_CXT;
- I32 cxix    = MY_CXT.cxix;
- I32 items   = MY_CXT.items - 1;
- SV **savesp = MY_CXT.savesp;
+ I32 cxix    = MY_CXT.unwind_storage.cxix;
+ I32 items   = MY_CXT.unwind_storage.items - 1;
+ SV **savesp = MY_CXT.unwind_storage.savesp;
  I32 mark;
 
  PERL_UNUSED_VAR(ud_);
@@ -800,13 +934,538 @@ STATIC void su_unwind(pTHX_ void *ud_) {
                 items, PL_stack_sp - PL_stack_base, *PL_markstack_ptr, mark);
  });
 
- PL_op = (OP *) &(MY_CXT.return_op);
+ PL_op = (OP *) &(MY_CXT.unwind_storage.return_op);
  PL_op = PL_op->op_ppaddr(aTHX);
 
  *PL_markstack_ptr = mark;
 
- MY_CXT.proxy_op.op_next = PL_op;
- PL_op = &(MY_CXT.proxy_op);
+ MY_CXT.unwind_storage.proxy_op.op_next = PL_op;
+ PL_op = &(MY_CXT.unwind_storage.proxy_op);
+}
+
+/* --- Uplevel ------------------------------------------------------------- */
+
+#ifndef OP_GIMME_REVERSE
+STATIC U8 su_op_gimme_reverse(U8 gimme) {
+ switch (gimme) {
+  case G_VOID:
+   return OPf_WANT_VOID;
+  case G_ARRAY:
+   return OPf_WANT_LIST;
+  default:
+   break;
+ }
+
+ return OPf_WANT_SCALAR;
+}
+#define OP_GIMME_REVERSE(G) su_op_gimme_reverse(G)
+#endif
+
+#define SU_UPLEVEL_SAVE(f, t) STMT_START { sud->old_##f = PL_##f; PL_##f = (t); } STMT_END
+#define SU_UPLEVEL_RESTORE(f) STMT_START { PL_##f = sud->old_##f; } STMT_END
+
+STATIC su_uplevel_ud *su_uplevel_storage_new(pTHX) {
+#define su_uplevel_storage_new() su_uplevel_storage_new(aTHX)
+ su_uplevel_ud *sud;
+ dMY_CXT;
+
+ sud = MY_CXT.uplevel_storage.root;
+ if (sud) {
+  MY_CXT.uplevel_storage.root = sud->next;
+  MY_CXT.uplevel_storage.count--;
+ } else {
+  sud = su_uplevel_ud_new();
+ }
+
+ return sud;
+}
+
+STATIC void su_uplevel_storage_delete(pTHX_ su_uplevel_ud *sud) {
+#define su_uplevel_storage_delete(S) su_uplevel_storage_delete(aTHX_ (S))
+ dMY_CXT;
+
+ if (MY_CXT.uplevel_storage.count >= SU_UPLEVEL_STORAGE_SIZE) {
+  su_uplevel_ud_delete(sud);
+ } else {
+  sud->next = MY_CXT.uplevel_storage.root;
+  MY_CXT.uplevel_storage.root = sud;
+  MY_CXT.uplevel_storage.count++;
+ }
+}
+
+#define SU_HAS_EXT_MAGIC SU_HAS_PERL(5, 8, 0)
+
+#if SU_HAS_EXT_MAGIC && !SU_HAS_PERL(5, 13, 7)
+
+STATIC int su_uplevel_restore_free(pTHX_ SV *sv, MAGIC *mg) {
+ su_uplevel_storage_delete((su_uplevel_ud *) mg->mg_ptr);
+
+ return 0;
+}
+
+STATIC MGVTBL su_uplevel_restore_vtbl = {
+ 0,
+ 0,
+ 0,
+ 0,
+ su_uplevel_restore_free
+};
+
+#endif /* SU_HAS_EXT_MAGIC && !SU_HAS_PERL(5, 13, 7) */
+
+STATIC void su_uplevel_restore(pTHX_ void *sus_) {
+ su_uplevel_ud *sud = sus_;
+ PERL_SI *cur = sud->old_curstackinfo;
+ PERL_SI *si  = sud->si;
+
+ /* When we reach this place, POPSUB has already been called (with our fake
+  * argarray). GvAV(PL_defgv) points to the savearray (that is, what @_ was
+  * before uplevel). argarray is either the fake AV we created in su_uplevel()
+  * or some empty replacement POPSUB creates when @_ is reified. In both cases
+  * we have to destroy it before the context stack is swapped back to its
+  * original state. */
+ SvREFCNT_dec(sud->fake_argarray);
+
+ /* PUSHSUB was exerted with the original callback, but after calling
+  * pp_entersub() we hijacked the blk_sub.cv member of the fresh sub context
+  * with the renamed CV. Thus POPSUB and LEAVESUB applied to this CV, not the
+  * original. Repair this imbalance right now. */
+ if (!(CvDEPTH(sud->callback) = sud->callback_depth))
+  LEAVESUB(sud->callback);
+
+ /* Free the renamed cv. */
+ if (sud->renamed) {
+  CvDEPTH(sud->renamed) = 0;
+  SvREFCNT_dec(sud->renamed);
+ }
+
+ CATCH_SET(sud->old_catch);
+
+ SU_UPLEVEL_RESTORE(op);
+
+ /* stack_grow() wants PL_curstack so restore the old stack first */
+ if (PL_curstackinfo == si) {
+  PL_curstack = cur->si_stack;
+  if (sud->old_mainstack)
+   SU_UPLEVEL_RESTORE(mainstack);
+  SU_UPLEVEL_RESTORE(curstackinfo);
+
+  if (sud->died) {
+   CV *target = sud->target;
+   I32 levels = 0, i;
+
+   /* When we die, the depth of the target CV is not updated because of the
+    * stack switcheroo. So we have to look at all the frames between the
+    * uplevel call and the catch block to count how many call frames to the
+    * target CV were skipped. */
+   for (i = cur->si_cxix; i > sud->cxix; i--) {
+    register const PERL_CONTEXT *cx = cxstack + i;
+
+    if (CxTYPE(cx) == CXt_SUB) {
+     if (cx->blk_sub.cv == target)
+      ++levels;
+    }
+   }
+
+   /* If we died, the replacement stack was already unwinded to the first
+    * eval frame, and all the contexts down there were popped. We don't have
+    * to pop manually any context of the original stack, because they must
+    * have been in the replacement stack as well (since the second was copied
+    * from the first). Thus we only have to make sure the original stack index
+    * points to the context just below the first eval scope under the target
+    * frame. */
+   for (; i >= 0; i--) {
+    register const PERL_CONTEXT *cx = cxstack + i;
+
+    switch (CxTYPE(cx)) {
+     case CXt_SUB:
+      if (cx->blk_sub.cv == target)
+       ++levels;
+      break;
+     case CXt_EVAL:
+      goto found_it;
+      break;
+     default:
+      break;
+    }
+   }
+
+found_it:
+   CvDEPTH(target) = sud->target_depth - levels;
+   PL_curstackinfo->si_cxix = i - 1;
+
+#if !SU_HAS_PERL(5, 13, 1)
+   /* Since $@ was maybe localized between the target frame and the uplevel
+    * call, we forcefully flush the save stack to get rid of it and then
+    * reset $@ to its proper value. Note that the the call to
+    * su_uplevel_restore() must happen before the "reset $@" item of the save
+    * stack is processed, as uplevel was called after the localization.
+    * Andrew's changes to how $@ was handled, which were mainly integrated
+    * between perl 5.13.0 and 5.13.1, fixed this. */
+   if (ERRSV && SvTRUE(ERRSV)) {
+    register const PERL_CONTEXT *cx = cxstack + i; /* This is the eval scope */
+    SV *errsv = SvREFCNT_inc(ERRSV);
+    PL_scopestack_ix = cx->blk_oldscopesp;
+    leave_scope(PL_scopestack[PL_scopestack_ix]);
+    sv_setsv(ERRSV, errsv);
+    SvREFCNT_dec(errsv);
+   }
+#endif
+  }
+ }
+
+ SU_UPLEVEL_RESTORE(curcop);
+
+ SvREFCNT_dec(sud->target);
+
+ PL_stack_base = AvARRAY(cur->si_stack);
+ PL_stack_sp   = PL_stack_base + AvFILLp(cur->si_stack);
+ PL_stack_max  = PL_stack_base + AvMAX(cur->si_stack);
+
+ /* When an exception is thrown from the uplevel'd subroutine,
+  * su_uplevel_restore() may be called by the LEAVE in die_unwind() (renamed
+  * die_where() in more recent perls), which has the sad habit of keeping a
+  * pointer to the current context frame across this call. This means that we
+  * can't free the temporary context stack we used for the uplevel call right
+  * now, or that pointer upwards would point to garbage. */
+#if SU_HAS_PERL(5, 13, 7)
+ /* This issue has been fixed in perl with commit 8f89e5a9, which was made
+  * public in perl 5.13.7. */
+ su_uplevel_storage_delete(sud);
+#elif SU_HAS_EXT_MAGIC
+ /* If 'ext' magic is available, we work around this by attaching the state
+  * data to a scalar that will be freed "soon". */
+ {
+  SV *sv = sv_newmortal();
+
+  sv_magicext(sv, NULL, PERL_MAGIC_ext, &su_uplevel_restore_vtbl,
+                        (const char *) sud, 0);
+ }
+#else
+ /* Otherwise, we just enqueue it back in the global storage list. */
+ {
+  dMY_CXT;
+
+  sud->next = MY_CXT.uplevel_storage.root;
+  MY_CXT.uplevel_storage.root = sud;
+  MY_CXT.uplevel_storage.count++;
+ }
+#endif
+
+ return;
+}
+
+STATIC CV *su_cv_clone(pTHX_ CV *proto, GV *gv) {
+#define su_cv_clone(P, G) su_cv_clone(aTHX_ (P), (G))
+ dVAR;
+ AV        *protopadlist = CvPADLIST(proto);
+ const AV  *protopadname = (const AV *) *av_fetch(protopadlist, 0, FALSE);
+ SV       **pname        = AvARRAY(protopadname);
+ const I32  fpadlist     = AvFILLp(protopadlist);
+ const I32  fpadname     = AvFILLp(protopadname);
+ AV *padlist, *padname;
+ CV *cv;
+
+ cv = MUTABLE_CV(newSV_type(SvTYPE(proto)));
+
+ CvFLAGS(cv)  = CvFLAGS(proto);
+#ifdef CVf_CVGV_RC
+ CvFLAGS(cv) &= ~CVf_CVGV_RC;
+#endif
+ CvDEPTH(cv)  = CvDEPTH(proto);
+#ifdef USE_ITHREADS
+ CvFILE(cv)   = CvISXSUB(proto) ? CvFILE(proto) : savepv(CvFILE(proto));
+#else
+ CvFILE(cv)   = CvFILE(proto);
+#endif
+
+ CvGV_set(cv, gv);
+ CvSTASH_set(cv, CvSTASH(proto));
+ /* Commit 4c74a7df, publicized with perl 5.13.3, began to add backrefs to
+  * stashes. CvSTASH_set() started to do it as well with commit c68d95645
+  * (which was part of perl 5.13.7). */
+#if SU_HAS_PERL(5, 13, 3) && !SU_HAS_PERL(5, 13, 7)
+ if (CvSTASH(proto))
+  Perl_sv_add_backref(aTHX_ CvSTASH(proto), MUTABLE_SV(cv));
+#endif
+
+ OP_REFCNT_LOCK;
+ CvROOT(cv)        = OpREFCNT_inc(CvROOT(proto));
+ OP_REFCNT_UNLOCK;
+ CvSTART(cv)       = CvSTART(proto);
+ CvOUTSIDE(cv)     = CvOUTSIDE(proto);
+#ifdef CVf_WEAKOUTSIDE
+ if (!(CvFLAGS(proto) & CVf_WEAKOUTSIDE))
+#endif
+  SvREFCNT_inc_simple_void(CvOUTSIDE(cv));
+#ifdef CvOUTSIDE_SEQ
+ CvOUTSIDE_SEQ(cv) = CvOUTSIDE_SEQ(proto);
+#endif
+
+ if (SvPOK(proto))
+  sv_setpvn(MUTABLE_SV(cv), SvPVX_const(proto), SvCUR(proto));
+
+ padlist = newAV();
+ AvREAL_off(padlist);
+ av_fill(padlist, fpadlist);
+ CvPADLIST(cv) = padlist;
+
+ padname = newAV();
+ av_fill(padname, fpadname);
+ if (fpadname >= 0) {
+  I32 j;
+  SV **psvp = AvARRAY(protopadname);
+  SV **svp  = AvARRAY(padname);
+
+  svp[0] = &PL_sv_undef;
+  for (j = 1; j <= fpadname; ++j)
+   svp[j] = SvREFCNT_inc(psvp[j]);
+ }
+ AvARRAY(padlist)[0] = MUTABLE_SV(padname);
+
+ if (fpadlist >= 1) {
+  I32 i;
+
+  for (i = 1; i <= fpadlist; ++i) {
+   AV  *protoframe = MUTABLE_AV(AvARRAY(protopadlist)[i]);
+   AV  *frame      = newAV();
+   SV **psvp       = AvARRAY(protoframe);
+   SV **svp;
+   I32  j,  fframe = AvFILLp(protoframe);
+
+   av_fill(frame, fframe);
+   svp = AvARRAY(frame);
+   if (i == 1) {
+    AV *a0 = newAV(); /* will be @_ */
+    AvREAL_off(a0);
+    AvREIFY_on(a0);
+    svp[0] = MUTABLE_SV(a0);
+   } else {
+    svp[0] = SvREFCNT_inc(psvp[0]);
+   }
+   for (j = 1; j <= fframe; ++j)
+    svp[j] = SvREFCNT_inc(psvp[j]);
+
+   AvARRAY(padlist)[i] = MUTABLE_SV(frame);
+  }
+ }
+
+#ifdef CvCONST
+ if (CvCONST(cv))
+  CvCONST_off(cv);
+#endif
+
+ return cv;
+}
+
+STATIC I32 su_uplevel(pTHX_ CV *callback, I32 cxix, I32 args) {
+#define su_uplevel(C, I, A) su_uplevel(aTHX_ (C), (I), (A))
+ su_uplevel_ud *sud;
+ const PERL_CONTEXT *cx = cxstack + cxix;
+ PERL_SI *si;
+ PERL_SI *cur = PL_curstackinfo;
+ SV **old_stack_sp;
+ CV  *target;
+ UNOP sub_op;
+ I32  gimme;
+ I32  old_mark, new_mark;
+ I32  ret;
+ dSP;
+
+ ENTER;
+
+ gimme = GIMME_V;
+ /* Make PL_stack_sp point just before the CV. */
+ PL_stack_sp -= args + 1;
+ old_mark = AvFILLp(PL_curstack) = PL_stack_sp - PL_stack_base;
+ SPAGAIN;
+
+ sud = su_uplevel_storage_new();
+
+ sud->cxix          = cxix;
+ sud->died          = 1;
+ sud->callback      = callback;
+ sud->renamed       = NULL;
+ sud->fake_argarray = NULL;
+ SAVEDESTRUCTOR_X(su_uplevel_restore, sud);
+
+ si = sud->si;
+
+ si->si_type    = cur->si_type;
+ si->si_next    = NULL;
+ si->si_prev    = cur->si_prev;
+#ifdef DEBUGGING
+ si->si_markoff = cx->blk_oldmarksp;
+#endif
+
+ /* Allocate enough space for all the elements of the original stack up to the
+  * target context, plus the forthcoming arguments. */
+ new_mark = cx->blk_oldsp;
+ av_extend(si->si_stack, new_mark + 1 + args + 1);
+ Copy(PL_curstack, AvARRAY(si->si_stack), new_mark + 1, SV *);
+ AvFILLp(si->si_stack) = new_mark;
+ SU_POISON(AvARRAY(si->si_stack) + new_mark + 1, args + 1, SV *);
+
+ /* Specialized SWITCHSTACK() */
+ PL_stack_base = AvARRAY(si->si_stack);
+ old_stack_sp  = PL_stack_sp;
+ PL_stack_sp   = PL_stack_base + AvFILLp(si->si_stack);
+ PL_stack_max  = PL_stack_base + AvMAX(si->si_stack);
+ SPAGAIN;
+
+ /* Copy the context stack up to the context just below the target. */
+ si->si_cxix = (cxix < 0) ? -1 : (cxix - 1);
+ if (si->si_cxmax < cxix) {
+  /* The max size must be at least two so that GROW(max) = (max*3)/2 > max */
+  si->si_cxmax = (cxix < 4) ? 4 : cxix;
+  Renew(si->si_cxstack, si->si_cxmax + 1, PERL_CONTEXT);
+ }
+ Copy(cur->si_cxstack, si->si_cxstack, cxix, PERL_CONTEXT);
+ SU_POISON(si->si_cxstack + cxix, si->si_cxmax + 1 - cxix, PERL_CONTEXT);
+
+ target            = cx->blk_sub.cv;
+ sud->target       = (CV *) SvREFCNT_inc(target);
+ sud->target_depth = CvDEPTH(target);
+
+ /* blk_oldcop is essentially needed for caller() and stack traces. It has no
+  * run-time implication, since PL_curcop will be overwritten as soon as we
+  * enter a sub (a sub starts by a nextstate/dbstate). Hence it's safe to just
+  * make it point to the blk_oldcop for the target frame, so that caller()
+  * reports the right file name, line number and lexical hints. */
+ SU_UPLEVEL_SAVE(curcop, cx->blk_oldcop);
+ /* Don't reset PL_markstack_ptr, or we would overwrite the mark stack below
+  * this point. Don't reset PL_curpm either, we want the most recent matches. */
+
+ SU_UPLEVEL_SAVE(curstackinfo, si);
+ /* If those two are equal, we need to fool POPSTACK_TO() */
+ if (PL_mainstack == PL_curstack)
+  SU_UPLEVEL_SAVE(mainstack, si->si_stack);
+ else
+  sud->old_mainstack = NULL;
+ PL_curstack = si->si_stack;
+
+ PUSHMARK(SP);
+ /* Both SP and old_stack_sp point just before the CV. */
+ Copy(old_stack_sp + 2, SP + 1, args, SV *);
+ SP += args;
+ PUSHs((SV *) callback);
+ PUTBACK;
+
+ Zero(&sub_op, 1, UNOP);
+ sub_op.op_type  = OP_ENTERSUB;
+ sub_op.op_next  = NULL;
+ sub_op.op_flags = OP_GIMME_REVERSE(gimme) | OPf_STACKED;
+ if (PL_DBsub)
+  sub_op.op_flags |= OPpENTERSUB_DB;
+
+ SU_UPLEVEL_SAVE(op, (OP *) &sub_op);
+
+ sud->old_catch = CATCH_GET;
+ CATCH_SET(TRUE);
+
+ if ((PL_op = PL_ppaddr[OP_ENTERSUB](aTHX))) {
+  PERL_CONTEXT *sub_cx = cxstack + cxstack_ix;
+  CV *renamed;
+
+  sud->callback_depth = sub_cx->blk_sub.olddepth;
+
+  renamed      = su_cv_clone(callback, CvGV(target));
+  sud->renamed = renamed;
+
+  sub_cx->blk_sub.cv = renamed;
+  if (!sub_cx->blk_sub.olddepth) {
+   SvREFCNT_inc_simple_void(renamed);
+   SvREFCNT_inc_simple_void(renamed);
+   SAVEFREESV(renamed);
+  }
+
+  if (CxHASARGS(cx) && cx->blk_sub.argarray) {
+   /* The call to pp_entersub() has saved the current @_ (in XS terms,
+    * GvAV(PL_defgv)) in the savearray member, and has created a new argarray
+    * with what we put on the stack. But we want to fake up the same arguments
+    * as the ones in use at the context we uplevel to, so we replace the
+    * argarray with an unreal copy of the original @_. */
+   AV *av = newAV();
+   AvREAL_off(av);
+   av_extend(av, AvMAX(cx->blk_sub.argarray));
+   AvFILLp(av) = AvFILLp(cx->blk_sub.argarray);
+   Copy(AvARRAY(cx->blk_sub.argarray), AvARRAY(av), AvFILLp(av) + 1, SV *);
+   sub_cx->blk_sub.argarray = av;
+  } else {
+   SvREFCNT_inc_simple_void(sub_cx->blk_sub.argarray);
+  }
+  sud->fake_argarray = sub_cx->blk_sub.argarray;
+
+  CALLRUNOPS(aTHX);
+
+  ret = PL_stack_sp - (PL_stack_base + new_mark);
+ }
+
+ sud->died = 0;
+
+ SPAGAIN;
+
+ if (ret > 0) {
+  AV *old_stack = sud->old_curstackinfo->si_stack;
+
+  if (old_mark + ret > AvMAX(old_stack)) {
+   /* Specialized EXTEND(old_sp, ret) */
+   av_extend(old_stack, old_mark + ret + 1);
+   old_stack_sp = AvARRAY(old_stack) + old_mark;
+  }
+
+  Copy(PL_stack_sp - ret + 1, old_stack_sp + 1, ret, SV *);
+  PL_stack_sp        += ret;
+  AvFILLp(old_stack) += ret;
+ }
+
+ PUTBACK;
+
+ LEAVE;
+
+ return ret;
+}
+
+/* --- Interpreter setup/teardown ------------------------------------------ */
+
+STATIC void su_teardown(pTHX_ void *param) {
+ su_uplevel_ud *cur;
+ dMY_CXT;
+
+ cur = MY_CXT.uplevel_storage.root;
+ if (cur) {
+  su_uplevel_ud *prev;
+  do {
+   prev = cur;
+   cur  = prev->next;
+   su_uplevel_ud_delete(prev);
+  } while (cur);
+ }
+
+ return;
+}
+
+STATIC void su_setup(pTHX) {
+#define su_setup() su_setup(aTHX)
+ MY_CXT_INIT;
+
+ MY_CXT.stack_placeholder = NULL;
+
+ /* NewOp() calls calloc() which just zeroes the memory with memset(). */
+ Zero(&(MY_CXT.unwind_storage.return_op), 1, LISTOP);
+ MY_CXT.unwind_storage.return_op.op_type   = OP_RETURN;
+ MY_CXT.unwind_storage.return_op.op_ppaddr = PL_ppaddr[OP_RETURN];
+
+ Zero(&(MY_CXT.unwind_storage.proxy_op), 1, OP);
+ MY_CXT.unwind_storage.proxy_op.op_type   = OP_STUB;
+ MY_CXT.unwind_storage.proxy_op.op_ppaddr = NULL;
+
+ MY_CXT.uplevel_storage.root  = NULL;
+ MY_CXT.uplevel_storage.count = 0;
+
+ call_atexit(su_teardown, NULL);
+
+ return;
 }
 
 /* --- XS ------------------------------------------------------------------ */
@@ -894,16 +1553,16 @@ XS(XS_Scope__Upper_unwind) {
      continue;
    case CXt_EVAL:
    case CXt_FORMAT:
-    MY_CXT.cxix  = cxix;
-    MY_CXT.items = items;
+    MY_CXT.unwind_storage.cxix  = cxix;
+    MY_CXT.unwind_storage.items = items;
     /* pp_entersub will want to sanitize the stack after returning from there
      * Screw that, we're insane */
     if (GIMME_V == G_SCALAR) {
-     MY_CXT.savesp = PL_stack_sp;
+     MY_CXT.unwind_storage.savesp = PL_stack_sp;
      /* dXSARGS calls POPMARK, so we need to match PL_markstack_ptr[1] */
      PL_stack_sp = PL_stack_base + PL_markstack_ptr[1] + 1;
     } else {
-     MY_CXT.savesp = NULL;
+     MY_CXT.unwind_storage.savesp = NULL;
     }
     SAVEDESTRUCTOR_X(su_unwind, NULL);
     return;
@@ -922,24 +1581,13 @@ BOOT:
 {
  HV *stash;
 
- MY_CXT_INIT;
-
- MY_CXT.stack_placeholder = NULL;
-
- /* NewOp() calls calloc() which just zeroes the memory with memset(). */
- Zero(&(MY_CXT.return_op), 1, sizeof(MY_CXT.return_op));
- MY_CXT.return_op.op_type   = OP_RETURN;
- MY_CXT.return_op.op_ppaddr = PL_ppaddr[OP_RETURN];
-
- Zero(&(MY_CXT.proxy_op), 1, sizeof(MY_CXT.proxy_op));
- MY_CXT.proxy_op.op_type   = OP_STUB;
- MY_CXT.proxy_op.op_ppaddr = NULL;
-
  stash = gv_stashpv(__PACKAGE__, 1);
  newCONSTSUB(stash, "TOP",           newSViv(0));
  newCONSTSUB(stash, "SU_THREADSAFE", newSVuv(SU_THREADSAFE));
 
  newXSproto("Scope::Upper::unwind", XS_Scope__Upper_unwind, file, NULL);
+
+ su_setup();
 }
 
 #if SU_THREADSAFE
@@ -950,37 +1598,39 @@ PROTOTYPE: DISABLE
 PPCODE:
  {
   MY_CXT_CLONE;
+  MY_CXT.uplevel_storage.root  = NULL;
+  MY_CXT.uplevel_storage.count = 0;
  }
  XSRETURN(0);
 
 #endif /* SU_THREADSAFE */
 
-SV *
+void
 HERE()
 PROTOTYPE:
 PREINIT:
  I32 cxix = cxstack_ix;
-CODE:
+PPCODE:
  if (PL_DBsub)
   SU_SKIP_DB(cxix);
RETVAL = newSViv(cxix);
-OUTPUT:
- RETVAL
EXTEND(SP, 1);
+ mPUSHi(cxix);
+ XSRETURN(1);
 
-SV *
+void
 UP(...)
 PROTOTYPE: ;$
 PREINIT:
  I32 cxix;
-CODE:
+PPCODE:
  SU_GET_CONTEXT(0, 0);
  if (--cxix < 0)
   cxix = 0;
  if (PL_DBsub)
   SU_SKIP_DB(cxix);
RETVAL = newSViv(cxix);
-OUTPUT:
- RETVAL
EXTEND(SP, 1);
+ mPUSHi(cxix);
+ XSRETURN(1);
 
 void
 SUB(...)
@@ -989,6 +1639,7 @@ PREINIT:
  I32 cxix;
 PPCODE:
  SU_GET_CONTEXT(0, 0);
+ EXTEND(SP, 1);
  for (; cxix >= 0; --cxix) {
   PERL_CONTEXT *cx = cxstack + cxix;
   switch (CxTYPE(cx)) {
@@ -997,7 +1648,7 @@ PPCODE:
    case CXt_SUB:
     if (PL_DBsub && cx->blk_sub.cv == GvCV(PL_DBsub))
      continue;
-    ST(0) = sv_2mortal(newSViv(cxix));
+    mPUSHi(cxix);
     XSRETURN(1);
   }
  }
@@ -1010,13 +1661,14 @@ PREINIT:
  I32 cxix;
 PPCODE:
  SU_GET_CONTEXT(0, 0);
+ EXTEND(SP, 1);
  for (; cxix >= 0; --cxix) {
   PERL_CONTEXT *cx = cxstack + cxix;
   switch (CxTYPE(cx)) {
    default:
     continue;
    case CXt_EVAL:
-    ST(0) = sv_2mortal(newSViv(cxix));
+    mPUSHi(cxix);
     XSRETURN(1);
   }
  }
@@ -1043,7 +1695,8 @@ PPCODE:
   if (cxix < 0)
    cxix = 0;
  }
- ST(0) = sv_2mortal(newSViv(cxix));
+ EXTEND(SP, 1);
+ mPUSHi(cxix);
  XSRETURN(1);
 
 void
@@ -1067,7 +1720,8 @@ PPCODE:
   }
  }
 done:
- ST(0) = sv_2mortal(newSViv(cxix));
+ EXTEND(SP, 1);
+ mPUSHi(cxix);
  XSRETURN(1);
 
 void
@@ -1077,6 +1731,7 @@ PREINIT:
  I32 cxix;
 PPCODE:
  SU_GET_CONTEXT(0, 0);
+ EXTEND(SP, 1);
  while (cxix > 0) {
   PERL_CONTEXT *cx = cxstack + cxix--;
   switch (CxTYPE(cx)) {
@@ -1159,3 +1814,37 @@ CODE:
  SU_UD_HANDLER(ud) = su_localize;
  size = su_ud_localize_init(ud, sv, NULL, elem);
  su_init(ud, cxix, size);
+
+void
+uplevel(SV *code, ...)
+PROTOTYPE: &@
+PREINIT:
+ I32 cxix, ret, args = 0;
+PPCODE:
+ if (SvROK(code))
+  code = SvRV(code);
+ if (SvTYPE(code) < SVt_PVCV)
+  croak("First argument to uplevel must be a code reference");
+ SU_GET_CONTEXT(1, items - 1);
+ do {
+  PERL_CONTEXT *cx = cxstack + cxix;
+  switch (CxTYPE(cx)) {
+   case CXt_EVAL:
+    croak("Can't uplevel to an eval frame");
+   case CXt_FORMAT:
+    croak("Can't uplevel to a format frame");
+   case CXt_SUB:
+    if (PL_DBsub && cx->blk_sub.cv == GvCV(PL_DBsub))
+     continue;
+    if (items > 1) {
+     PL_stack_sp--;
+     args = items - 2;
+    }
+    /* su_uplevel() takes care of extending the stack if needed. */
+    ret = su_uplevel((CV *) code, cxix, args);
+    XSRETURN(ret);
+   default:
+    break;
+  }
+ } while (--cxix >= 0);
+ croak("Can't uplevel outside a subroutine");