lib/Test/Valgrind.pm

   1 package Test::Valgrind;
   2
   3 use strict;
   4 use warnings;
   5
   6 use Carp qw/croak/;
   7 use POSIX qw/SIGTERM/;
   8 use Fcntl qw/F_SETFD/;
   9 use Test::Builder;
  10
  11 use Perl::Destruct::Level level => 3;
  12
  13 use Test::Valgrind::Suppressions;
  14
  15 =head1 NAME
  16
  17 Test::Valgrind - Test Perl code through valgrind.
  18
  19 =head1 VERSION
  20
  21 Version 0.06
  22
  23 =cut
  24
  25 our $VERSION = '0.06';
  26
  27 =head1 SYNOPSIS
  28
  29     use Test::More;
  30     eval 'use Test::Valgrind';
  31     plan skip_all => 'Test::Valgrind is required to test your distribution with valgrind' if $@;
  32
  33     # Code to inspect for memory leaks/errors.
  34
  35 =head1 DESCRIPTION
  36
  37 This module lets you run some code through the B<valgrind> memory debugger, to test it for memory errors and leaks. Just add C<use Test::Valgrind> at the beginning of the code you want to test. Behind the hood, C<Test::Valgrind::import> forks so that the child can basically C<exec 'valgrind', $^X, $0> (except that of course C<$0> isn't right there). The parent then parses the report output by valgrind and pass or fail tests accordingly.
  38
  39 You can also use it from the command-line to test a given script :
  40
  41     perl -MTest::Valgrind leaky.pl
  42
  43 Due to the nature of perl's memory allocator, this module can't track leaks of Perl objects. This includes non-mortalized scalars and memory cycles. However, it can track leaks of chunks of memory allocated in XS extensions with C<Newx> and friends or C<malloc>. As such, it's complementary to the other very good leak detectors listed in the L</SEE ALSO> section.
  44
  45 =head1 CONFIGURATION
  46
  47 You can pass parameters to C<import> as a list of key / value pairs, where valid keys are :
  48
  49 =over 4
  50
  51 =item *
  52
  53 C<< supp => $file >>
  54
  55 Also use suppressions from C<$file> besides perl's.
  56
  57 =item *
  58
  59 C<< no_supp => $bool >>
  60
  61 If true, do not use any suppressions.
  62
  63 =item *
  64
  65 C<< callers => $number >>
  66
  67 Specify the maximum stack depth studied when valgrind encounters an error. Raising this number improves granularity. Default is 12.
  68
  69 =item *
  70
  71 C<< extra => [ @args ] >>
  72
  73 Add C<@args> to valgrind parameters.
  74
  75 =item *
  76
  77 C<< diag => $bool >>
  78
  79 If true, print the raw output of valgrind as diagnostics (may be quite verbose).
  80
  81 =item *
  82
  83 C<< no_test => $bool >>
  84
  85 If true, do not actually output the plan and the tests results.
  86
  87 =item *
  88
  89 C<< cb => sub { my ($val, $name) = @_; ...; return $passed } >>
  90
  91 Specifies a subroutine to execute for each test instead of C<Test::More::is>. It receives the number of bytes leaked in C<$_[0]> and the test name in C<$_[1]>, and is expected to return true if the test passed and false otherwise. Defaults to
  92
  93     sub {
  94      is($_[0], 0, $_[1]);
  95      (defined $_[0] and $_[0] == 0) : 1 : 0
  96     }
  97
  98 =back
  99
 100 =cut
 101
 102 my $Test = Test::Builder->new;
 103
 104 my $run;
 105
 106 sub _counter {
 107  (defined $_[0] and $_[0] == 0) ? 1 : 0;
 108 }
 109
 110 sub _tester {
 111  $Test->is_num($_[0], 0, $_[1]);
 112  _counter(@_);
 113 }
 114
 115 sub import {
 116  shift;
 117  croak 'Optional arguments must be passed as key => value pairs' if @_ % 2;
 118  my %args = @_;
 119  if (!defined $args{run} && !$run) {
 120   my ($file, $pm, $next);
 121   my $l = 0;
 122   while ($l < 1000) {
 123    $next = (caller $l++)[1];
 124    last unless defined $next;
 125    next unless $next ne '-e' and $next !~ /^\s*\(\s*eval\s*\d*\s*\)\s*$/
 126                              and -f $next;
 127    if ($next =~ /\.pm$/) {
 128     $pm = $next;
 129    } else {
 130     $file = $next;
 131    }
 132   }
 133   unless (defined $file) {
 134    $file = $pm;
 135    return unless defined $pm;
 136   }
 137   my $callers = $args{callers};
 138   $callers = 12 unless defined $callers;
 139   $callers = int $callers;
 140   my $vg = Test::Valgrind::Suppressions::VG_PATH;
 141   if (!$vg || !-x $vg) {
 142    for (split /:/, $ENV{PATH}) {
 143     $_ .= '/valgrind';
 144     if (-x) {
 145      $vg = $_;
 146      last;
 147     }
 148    }
 149    if (!$vg) {
 150     $Test->skip_all('No valgrind executable could be found in your path');
 151     return;
 152    }
 153   }
 154   pipe my $rdr, my $wtr or croak "pipe(\$rdr, \$wtr): $!";
 155   my $pid = fork;
 156   if (!defined $pid) {
 157    croak "fork(): $!";
 158   } elsif ($pid == 0) {
 159    setpgrp 0, 0 or croak "setpgrp(0, 0): $!";
 160    close $rdr or croak "close(\$rdr): $!";
 161    fcntl $wtr, F_SETFD, 0 or croak "fcntl(\$wtr, F_SETFD, 0): $!";
 162    my @args = (
 163     '--tool=memcheck',
 164     '--leak-check=full',
 165     '--leak-resolution=high',
 166     '--num-callers=' . $callers,
 167     '--error-limit=yes',
 168     '--log-fd=' . fileno($wtr)
 169    );
 170    unless ($args{no_supp}) {
 171     for (Test::Valgrind::Suppressions::supp_path(), $args{supp}) {
 172      push @args, '--suppressions=' . $_ if $_;
 173     }
 174    }
 175    if (defined $args{extra} and ref $args{extra} eq 'ARRAY') {
 176     push @args, @{$args{extra}};
 177    }
 178    push @args, $^X;
 179    push @args, '-I' . $_ for @INC;
 180    push @args, '-MTest::Valgrind=run,1', $file;
 181    print STDERR "valgrind @args\n" if $args{diag};
 182    local $ENV{PERL_DESTRUCT_LEVEL} = 3;
 183    local $ENV{PERL_DL_NONLAZY} = 1;
 184    exec $vg, @args;
 185   }
 186   close $wtr or croak "close(\$wtr): $!";
 187   local $SIG{INT} = sub { kill -(SIGTERM) => $pid };
 188   $Test->plan(tests => 5) unless $args{no_test} or defined $Test->has_plan;
 189   my @tests = (
 190    'errors',
 191    'definitely lost', 'indirectly lost', 'possibly lost', 'still reachable'
 192   );
 193   my %res = map { $_ => 0 } @tests;
 194   while (<$rdr>) {
 195    $Test->diag($_) if $args{diag};
 196    if (/^=+\d+=+\s*FATAL\s*:\s*(.*)/) {
 197     chomp(my $err = $1);
 198     $Test->diag("Valgrind error: $err");
 199     $res{$_} = undef for @tests;
 200    }
 201    if (/ERROR\s+SUMMARY\s*:\s+(\d+)/) {
 202     $res{errors} = int $1;
 203    } elsif (/([a-z][a-z\s]*[a-z])\s*:\s*([\d.,]+)/) {
 204     my ($cat, $count) = ($1, $2);
 205     if (exists $res{$cat}) {
 206      $cat =~ s/\s+/ /g;
 207      $count =~ s/[.,]//g;
 208      $res{$cat} = int $count;
 209     }
 210    }
 211   }
 212   waitpid $pid, 0;
 213   my $failed = 5;
 214   my $cb = ($args{no_test} ? \&_counter
 215                            : ($args{cb} ? $args{cb} : \&_tester));
 216   for (@tests) {
 217    $failed -= $cb->($res{$_}, 'valgrind ' . $_) ? 1 : 0;
 218   }
 219   exit $failed;
 220  } else {
 221   $run = 1;
 222  }
 223 }
 224
 225 =head1 CAVEATS
 226
 227 You can't use this module to test code given by the C<-e> command-line switch.
 228
 229 Results will most likely be better if your perl is built with debugging enabled. Using the latest valgrind available will also help.
 230
 231 This module is not really secure. It's definitely not taint safe. That shouldn't be a problem for test files.
 232
 233 If your tests output to STDERR, everything will be eaten in the process. In particular, running this module against test files will obliterate their original test results.
 234
 235 =head1 DEPENDENCIES
 236
 237 Valgrind 3.1.0 (L<http://valgrind.org>).
 238
 239 L<Carp>, L<Fcntl>, L<POSIX> (core modules since perl 5) and L<Test::Builder> (since 5.6.2).
 240
 241 L<Perl::Destruct::Level>.
 242
 243 =head1 SEE ALSO
 244
 245 L<Devel::Leak>, L<Devel::LeakTrace>, L<Devel::LeakTrace::Fast>.
 246
 247 =head1 AUTHOR
 248
 249 Vincent Pit, C<< <perl at profvince.com> >>, L<http://www.profvince.com>.
 250
 251 You can contact me by mail or on #perl @ FreeNode (vincent or Prof_Vince).
 252
 253 =head1 BUGS
 254
 255 Please report any bugs or feature requests to C<bug-test-valgrind at rt.cpan.org>, or through the web interface at L<http://rt.cpan.org/NoAuth/ReportBug.html?Queue=Test-Valgrind>.  I will be notified, and then you'll automatically be notified of progress on your bug as I make changes.
 256
 257 =head1 SUPPORT
 258
 259 You can find documentation for this module with the perldoc command.
 260
 261     perldoc Test::Valgrind
 262
 263 =head1 ACKNOWLEDGEMENTS
 264
 265 Rafaël Garcia-Suarez, for writing and instructing me about the existence of L<Perl::Destruct::Level> (Elizabeth Mattijsen is a close second).
 266
 267 H.Merijn Brand, for daring to test this thing.
 268
 269 =head1 COPYRIGHT & LICENSE
 270
 271 Copyright 2008 Vincent Pit, all rights reserved.
 272
 273 This program is free software; you can redistribute it and/or modify it under the same terms as Perl itself.
 274
 275 =cut
 276
 277 1; # End of Test::Valgrind