libstdc++-v3/mkcheck.in

   1 #!/usr/bin/env bash
   2
   3
   4 # Script to do automated testing and data collection for various test
   5 # files, so that we don't have to do this by hand on every test file.
   6 # It attempts to collect some diagnostic info about size and speed that
   7 # should be useful in the future as the library gets tuned for size
   8 # and speed.  In addition, it tests static and shared linkage, iff each
   9 # has been enabled.
  10
  11 # Invocation
  12 # mkcheck [01] (path to build) (path to src) (path to install)
  13
  14 ### XXX There are a lot of tests in here for OS-specific stuff.  If we
  15 ###     move to a 'configure.target' method of determining those extra
  16 ###     flags and whatnot, we can take out all those things and source
  17 ###     that file from here.  (Write that file with this in mind...)
  18
  19 ### XXX Note that breaking out of this with ^C will not work.  Dunno why.
  20
  21
  22 # 1: variables
  23 #
  24 # WHICH determines if you are
  25 # (0) testing the build binary and headers, or
  26 # (1) testing the installed binary and headers, or
  27 WHICH=$1
  28 if [ "$WHICH"x = 0x ] && [ $# -eq 3 ]; then
  29   echo "running mkcheck"
  30   echo "$0: testing the build directory"
  31   query="--built-library"
  32 elif [ "$WHICH"x = 1x ] && [ $# -eq 4 ]; then
  33   echo "running mkcheck"
  34   echo "$0: testing the install directory $4"
  35   query="--installed-library"
  36 else
  37   echo 'Usage: mkcheck 0 (path to build) (path to src)'
  38   echo '       mkcheck 1 (path to build) (path to src) (path to install)'
  39   exit 1;
  40 fi
  41
  42 # Now that we've successfully translated the numerical option into
  43 # a symbolic one, we can safely ignore it.
  44 shift
  45
  46 # This has been true all along.  Found out about it the hard way...
  47 case $BASH_VERSION in
  48     1*)  echo 'You need bash 2.x to run mkcheck.  Exiting.'; exit 1 ;;
  49     *)   ;;   # ??
  50 esac
  51
  52 # Compute the flags necessary to run the testsuite.
  53 saved_ifs=$IFS
  54 IFS=':'
  55 set `./tests_flags ${query} $*` || exit 1
  56 BUILD_DIR=$1; SRC_DIR=$2; PREFIX_DIR=$3; LTCXX=$4; LIBS=$5; LTEXE=$6; CXX=$7; CXXFLAGS=$8;
  57 IFS=$saved_ifs
  58
  59 # specific libtool flag(s) to force the use of shared libraries, if any
  60 SH_FLAG=
  61
  62 # specific libtool flag(s) to force the use of static libraries, if any
  63 ST_FLAG="-static"
  64 #ST_FLAG="-all-static"
  65
  66 # Set up the testing directory, which should be in a directory called
  67 # "testsuite" in the root level of the build directory.
  68 TEST_DIR="`pwd`/testsuite"
  69 if [ ! -d "$TEST_DIR" ]; then
  70     echo "making directory $TEST_DIR"
  71     mkdir $TEST_DIR
  72     mkdir $TEST_DIR/.libs    # help libtool keep quiet
  73     chmod u+w $TEST_DIR
  74 fi
  75
  76 # the name of the file that will collect and hold all this useful data:
  77 RESULTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheck.txt"
  78
  79 # the name of the log file that will append compiler diagnostics:
  80 LOG_FILE="$TEST_DIR/$(date +%Y%m%d)-mkchecklog.txt"
  81
  82 # the names of the specific test files to be run
  83 TESTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheckfiles.txt"
  84
  85 # the heap size limit for testsuite binaries; start with a 2MB limit as per
  86 # http://sources.redhat.com/ml/libstdc++/2000-10/msg00029.html
  87 MAX_MEM_USAGE=3072
  88
  89 #
  90 # 2: clean, make files, append general test info
  91 #
  92
  93 # Remove old executables.
  94 rm -rf "$TEST_DIR"/*exe
  95
  96 # Remove old core files (which now get left in cwd, not $TEST_DIR).
  97 rm -rf ./*core*
  98
  99 if [ -f $RESULTS_FILE ]; then
 100     rm $RESULTS_FILE
 101 fi
 102 if [ -f $LOG_FILE ]; then
 103     rm $LOG_FILE
 104 fi
 105
 106 # Make a list of the files we're going to run, or use an old one if it exists.
 107 if [ ! -f "$TESTS_FILE" ]; then
 108     echo "making file $TESTS_FILE"
 109     for LONG_NAME in $SRC_DIR/testsuite/*/*.cc
 110     do
 111         DIR_NAME=$(dirname $LONG_NAME)
 112         SHORT_NAME="`basename $DIR_NAME`/`basename $LONG_NAME`"
 113         echo "$SHORT_NAME" >> $TESTS_FILE
 114     done
 115 fi
 116
 117 # Nasty solution to replace GNU date(1)'s %s time_t output function.
 118 TIMER_COMMAND=$TEST_DIR/printnow.exe
 119 if [ ! -x "$TIMER_COMMAND" ]; then
 120     echo "making utility $TIMER_COMMAND"
 121     gcc -o "$TIMER_COMMAND" "$SRC_DIR/testsuite/printnow.c"
 122     strip "$TIMER_COMMAND"
 123 fi
 124
 125 # Copy over the data files for filebufs
 126 cp $SRC_DIR/testsuite/27_io/*.txt $TEST_DIR
 127 cp $SRC_DIR/testsuite/27_io/*.tst $TEST_DIR
 128 chmod u+w $TEST_DIR/*.txt
 129 chmod u+w $TEST_DIR/*.tst
 130
 131 # Emit useful info about compiler and platform
 132 echo "host: $(uname -mrsv)" >> $RESULTS_FILE
 133 echo "compiler: $($CXX -v 2>&1)" >> $RESULTS_FILE
 134 echo "compiler flags: $CXXFLAGS" >> $RESULTS_FILE
 135 echo "date: $(date +%Y%m%d)" >> $RESULTS_FILE
 136 echo "" >> $RESULTS_FILE
 137
 138 explanation='+: pass, -b: build failure, -r: run failure, x: disabled'
 139 printf "%s\n     %s\n"  'p == pass/fail execution test'  "$explanation"  \
 140        >> $RESULTS_FILE
 141 echo "ctime == time to compile and link" >> $RESULTS_FILE
 142 echo "etime == time for executable to run" >> $RESULTS_FILE
 143 echo "text == size of the executable text section" >> $RESULTS_FILE
 144 echo "data == size of the executable data section" >> $RESULTS_FILE
 145 echo "total == size of the executable" >> $RESULTS_FILE
 146 echo "" >> $RESULTS_FILE
 147
 148 echo "p" | awk '{printf("%s ", $1)}' >> $RESULTS_FILE
 149 echo "ctime" "etime" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 150 echo "text" "data" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 151 echo "total" "name" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 152 echo "" >> $RESULTS_FILE
 153
 154 # Counters.  These could be members of an array, but they'd all have to
 155 # become individuals anyhow if we ever change this script to super-portable sh.
 156 shared_pass=0
 157 shared_fail=0
 158 static_pass=0
 159 static_fail=0
 160
 161
 162 #
 163 # 2.5:  support functions
 164 #
 165
 166 # Figure out how to extract size information from binaries.  We take
 167 # the text of the value we want as an argument, and leave the size in
 168 # the appropriate variable.
 169 #
 170 # We discover what kind of size(1) we are using *once* and build a shell
 171 # function named 'size_command' to wrap it.  (The "function" keyword is
 172 # redundant here, but helps me read it, so there.)  Previously we were
 173 # re-discovering the size(1) arguments three times for each test; sloooow.
 174 #
 175 # It is VERY IMPORTANT not to compare these numbers across platforms.
 176 # Different size(1)'s extract section information differently.  For
 177 # example, using the native Sun size(1) and GNU size(1) built for Suns
 178 # on the exact same binary will give very different numbers, due to all
 179 # the variance in command-line options and arbitrary names of ELF sections.
 180 #
 181 # and suddenly we go to 2-space indentations...
 182 setup_size_command()
 183 {
 184   if size --version 2> /dev/null | grep -c GNU > /dev/null;
 185   then    # Then we're using a GNU size(1) built for this platform.
 186     # We lose .rodata and .data1 and who knows what else... kludge.
 187     function size_command()
 188     {
 189       case $1 in
 190         TEXT)  TEXT=$(size -A $EXENAME | grep ^.text | awk '{print $2}')  ;;
 191         DATA)  DATA=$(size -A $EXENAME | grep -w ^.data | awk '{print $2}')  ;;
 192         SIZE)  SIZE=$(size -A $EXENAME | grep otal | awk '{print $2}')  ;;
 193       esac
 194     }
 195   else
 196     # Not using GNU size; check for platform.  These numbers seem to match
 197     # up to text/data/total, although their meanings seem to be different.
 198     # THIS TABLE IS SORTED.  KEEP IT THAT WAY.
 199     case @host_os@ in
 200       *aix*)
 201         function size_command()
 202         {
 203           case $1 in
 204             TEXT)  TEXT=$(size -X32_64 $EXENAME | awk '{print $2}')  ;;
 205             DATA)  DATA=$(size -X32_64 $EXENAME | awk '{print $4}')  ;;
 206             SIZE)  SIZE=$(size -X32_64 $EXENAME | awk '{print $12}')  ;;
 207           esac
 208         }
 209         ;;
 210       *irix*)
 211         function size_command()
 212         {
 213           case $1 in
 214             TEXT)  TEXT=$(size -4 $EXENAME | awk '{print $1}')  ;;
 215             DATA)  DATA=$(size -4 $EXENAME | awk '{print $3}')  ;;
 216             SIZE)  SIZE=$(size -4 $EXENAME | awk '{print $7}')  ;;
 217           esac
 218         }
 219         ;;
 220       *solaris*)
 221         function size_command()
 222         {
 223           case $1 in
 224             TEXT)  TEXT=$(size $EXENAME | awk '{print $1}')  ;;
 225             DATA)  DATA=$(size $EXENAME | awk '{print $3}')  ;;
 226             SIZE)  SIZE=$(size $EXENAME | awk '{print $7}')  ;;
 227           esac
 228         }
 229         ;;
 230       *)
 231         echo ' * Warning!  Skipping section sizes!' 1>&2
 232         function size_command()
 233         {
 234         case $1 in
 235           TEXT)  TEXT=0 ;;
 236           DATA)  DATA=0 ;;
 237           SIZE)  SIZE=0 ;;
 238         esac
 239         }
 240         ;;
 241     esac
 242   fi
 243 }
 244
 245 # Test for file output
 246 test_for_output()
 247 {
 248     # This checks for emitted output files, which is useful when
 249     # testing file-related output.  The rules for this working are as
 250     # follows: the emitted file must have the ".txt" extension, and be
 251     # based on the actual *.cc file's name.  For example, 27/filbuf.cc
 252     # currently outputs files named 27/filebuf-2.txt and 27/filebuf-3.txt.
 253     # Also, the first emitted file must be in the form $NAME-1.txt.
 254     # The control file must follow the same constraints, but have a
 255     # ".tst" extension.  Thus, you have 27/filebuf-2.tst, etc.
 256
 257     # NAME contains the source name, like 27/filebuf.cc
 258     # From that NAME, we want to generate some possible names, using
 259     # ls on MATCH, a pattern description generated with sed.
 260
 261     # this is the name of the resulting diff file, if any
 262     DIFF_FILE="`echo $TEST_NAME | sed 's/cc$/diff/'`"
 263     # construct wildcard names, ie for $NAME=filebuf.cc, makes "filebuf*.tst"
 264     DATA_FILES="`echo $NAME | sed 's/\.cc/\*\.tst/g'`"
 265     # make sure there is at least one, then go
 266     ST_E="`echo $NAME | sed 's/\.cc/\-1\.tst/g'`"
 267     if [ -f $ST_E ]; then
 268         # list of actual files that match the wildcard above, ie
 269         # "filebuf-1.tst"
 270         ST_MATCH_LIST="`ls $DATA_FILES`"
 271         for i in $ST_MATCH_LIST; do
 272             # ST_OUT_FILE is generated in the build directory.
 273             PRE_NAME2="$TEST_DIR/`basename $i`"
 274             ST_OUT_FILE="`echo $PRE_NAME2 | sed 's/tst$/txt/'`"
 275             diff $ST_OUT_FILE $i > $DIFF_FILE
 276             if [ -s $DIFF_FILE ]; then
 277                 RESULT="-r"
 278                 echo "$ST_OUT_FILE has some problems, dude"
 279             else
 280                 RESULT="+"
 281             fi
 282             rm $DIFF_FILE
 283         done
 284     else
 285         # the file does no output, and didn't abnormally
 286         # terminate, so assume passed.
 287         RESULT="+"
 288     fi
 289 }
 290
 291
 292 #
 293 # 3: compile, link, execute, time
 294 #
 295 # Abstract out the common code for compiling, linking, executing and printing.
 296 test_file()
 297 {
 298     # NB: S_FLAG has to be last argument because it may be null, and
 299     # error checking hasn't been invented yet.
 300     NAME=$1
 301     EXENAME=$2
 302     S_FLAG=$3
 303
 304     SRC_NAME="$SRC_DIR/testsuite/$1"
 305     TEST_NAME="$TEST_DIR/`basename $NAME`"
 306
 307     # This would be deliciously easy if GNU date's %s were always around.
 308     # There are three ways to do this:  1) use the builtin 'time' like we
 309     # do later; then getting compiler errors into LOG_FILE is a nightmare.
 310     # 2) Grab the output of a formatted date(1) and do the math; harder
 311     # and harder as we try compiling at, say, top of the hour; we would
 312     # eventually have to calculate time_t anyhow.  Or 3) just grab two
 313     # time_t's (no more overhead than grabbing two date(1)'s).
 314     compiler_invocation="$LTCXX $S_FLAG $SRC_NAME -o $EXENAME $LIBS"
 315     COMP_TIME_START=$($TIMER_COMMAND)
 316     $compiler_invocation >> compile.out 2>&1
 317     COMP_TIME_END=$($TIMER_COMMAND)
 318
 319     if [ $COMP_TIME_START -lt $COMP_TIME_END ]; then
 320         C_TIME=$[ $COMP_TIME_END - $COMP_TIME_START ]
 321     else
 322         C_TIME="0"
 323     fi
 324
 325     if [ -f $EXENAME ]; then
 326         rm compile.out
 327         size_command TEXT
 328         size_command DATA
 329         size_command SIZE
 330
 331         # Actually run the executable and time it.  Note that output
 332         # printed by the executable will be lost and cannot be redirected,
 333         # because we need to capture the output of 'time'.  Bummer.
 334         TIMEFORMAT='timemark %R'
 335         E_TIME_TEXT="$(exec 2>&1; ulimit -d $MAX_MEM_USAGE; \
 336                      time $LTEXE $EXENAME)"
 337         E_ABNORMAL_TERMINATION=$?
 338         E_TIME="$(echo $E_TIME_TEXT | awk '{print $2}')"
 339         # joining those two commands does not work due to quoting problems:
 340         #E_TIME="$(exec 2>&1; time $EXENAME | awk '{print $2}')"
 341         # this will work as a fallback on certain systems...?
 342         #E_TIME=$(exec 2>&1; time $EXENAME | cut -d ' ' -f 2)
 343
 344         if [ "$E_ABNORMAL_TERMINATION" -ne 0 ]; then
 345             RESULT='-r'
 346             rm -f ./*core
 347             # sometimes you want to save all core files for review:
 348             #mv ./core $EXENAME.core
 349             # sometimes the OS allows you to name core files yourself:
 350             #mv ./*core $EXENAME.core
 351             #mv ./core* $EXENAME.core
 352         else
 353             test_for_output
 354         fi
 355
 356         # sometimes you want to save all failing exe files for review:
 357         if [ "$RESULT" = "+" ]; then
 358             rm "$EXENAME"
 359         fi
 360     else
 361         # the file did not compile/link.
 362         printf "\n" >> $LOG_FILE
 363         `cat compile.out >> $LOG_FILE`
 364         rm compile.out
 365         RESULT="-b"
 366         TEXT="0"
 367         DATA="0"
 368         SIZE="0"
 369     fi
 370
 371     # update the counters
 372     if test "$RESULT" = "+" ; then
 373         if test x"$S_FLAG" = x"$ST_FLAG"; then
 374             static_pass=`expr $static_pass + 1`
 375         else
 376             shared_pass=`expr $shared_pass + 1`
 377         fi
 378     else
 379         if test x"$S_FLAG" = x"$ST_FLAG"; then
 380             static_fail=`expr $static_fail + 1`
 381         else
 382             shared_fail=`expr $shared_fail + 1`
 383         fi
 384     fi
 385
 386     printf "%s\t" "$RESULT"
 387     printf "%-2s %d\t%.3f\t%s\t%s\t%s\t%s %s\n"   \
 388         "$RESULT" $C_TIME $E_TIME $TEXT $DATA $SIZE $NAME "$S_FLAG"    \
 389         >> $RESULTS_FILE
 390 }
 391
 392 setup_size_command
 393 echo ""
 394 echo "Detailed test results in .${RESULTS_FILE/$BUILD_DIR}"
 395 echo $explanation
 396 echo "------------------------------------------------------------------------"
 397 printf "static\tshared\ttest\n"
 398 echo "------------------------------------------------------------------------"
 399
 400 TEST_TIME_START=$($TIMER_COMMAND)
 401 for NAME in `cat $TESTS_FILE`
 402 do
 403     PRE_NAME="$TEST_DIR/`basename $NAME`"
 404     ST_NAME="`echo $PRE_NAME | sed 's/cc$/st-exe/'`"
 405     SH_NAME="`echo $PRE_NAME | sed 's/cc$/sh-exe/'`"
 406
 407     if test @enable_static@ = yes; then
 408         test_file $NAME $ST_NAME "$ST_FLAG"
 409     else
 410         printf "x\t"
 411         printf "static skipped\n" >> $RESULTS_FILE
 412     fi
 413     if test @enable_shared@ = yes; then
 414         test_file $NAME $SH_NAME "$SH_FLAG"
 415     else
 416         printf "x\t"
 417         printf "shared skipped\n" >> $RESULTS_FILE
 418     fi
 419     printf "%s\n" "$NAME"
 420
 421     echo "" >> $RESULTS_FILE
 422 done
 423 TEST_TIME_END=$($TIMER_COMMAND)
 424
 425
 426 #
 427 # 4: summary
 428 #
 429 # grep can count faster than we can...
 430 total_failures=`expr ${shared_fail} + ${static_fail}`
 431 total_successes=`expr ${shared_pass} + ${static_pass}`
 432 resultstext="pass/fail results:  ${shared_pass}/${shared_fail} shared + ${static_pass}/${static_fail} static = ${total_successes}/${total_failures} total"
 433 if [ $total_failures -eq 0 ]; then
 434     resultstext="${resultstext}, WIN WIN"
 435 fi
 436 sed -e "/^date:/a\\
 437 $resultstext" $RESULTS_FILE > ${RESULTS_FILE}.tmp
 438 mv ${RESULTS_FILE}.tmp $RESULTS_FILE
 439
 440 if [ $TEST_TIME_START -lt $TEST_TIME_END ]; then
 441     TEST_TIME=$[ $TEST_TIME_END - $TEST_TIME_START ]
 442     echo "testrun == $TEST_TIME seconds"
 443     echo "testrun == $TEST_TIME seconds" >> $RESULTS_FILE
 444 fi
 445
 446 exit 0
 447
 448