libstdc++-v3/mkcheck.in

   1 #!/usr/bin/env bash
   2
   3 # Script to do automated testing and data collection
   4 # for various test files, so that we don't have to do this by hand on
   5 # every test file.  It attempts to collect some diagnostic info about
   6 # size and speed that should be useful in the future as the library
   7 # gets tuned for size and speed. In addition, it tests static and
   8 # shared linkage.
   9
  10 # Invocation
  11 # mkcheck [012] (path to build) (path to src) (path to install)
  12
  13 #
  14 # 1: variables
  15 #
  16 # WHICH determines if you are
  17 # (0) testing the build binary and headers, or
  18 # (1) testing the installed binary and headers, or
  19 # (2) testing under dejagnu (just print the standard flags needed).
  20 WHICH=$1
  21 if [ "$WHICH"x = 0x ] && [ $# -eq 3 ]; then
  22   echo "running mkcheck"
  23   echo "$0: testing the build directory"
  24 elif [ "$WHICH"x = 1x ] && [ $# -eq 4 ]; then
  25   echo "running mkcheck"
  26   echo "$0: testing the install directory $4"
  27 elif [ "$WHICH"x = 2x ] && [ $# -eq 3 ]; then
  28   true
  29 else
  30   echo 'Usage: mkcheck 0 (path to build) (path to src)'
  31   echo '       mkcheck 1 (path to build) (path to src) (path to install)'
  32   echo '       mkcheck 2 (path to build) (path to src)'
  33   exit 1;
  34 fi
  35
  36 BUILD_DIR=$2
  37 if [ ! -d "$BUILD_DIR" ]; then
  38   echo "build directory $BUILD_DIR not found, exiting."
  39   exit 1
  40 fi
  41
  42 SRC_DIR=$3
  43 if [ ! -d "$SRC_DIR" ]; then
  44   echo "source directory $SRC_DIR not found, exiting."
  45   exit 1
  46 fi
  47
  48 if [ $WHICH -eq 1 ]; then
  49     PREFIX_DIR=$4
  50     if [ ! -d "$PREFIX_DIR" ]; then
  51     echo "install directory $PREFIX_DIR not found, exiting."
  52     exit 1
  53     fi
  54 fi
  55
  56 # INC_PATH == include path to new headers for use on gcc command-line
  57 C_DIR="`basename @C_INCLUDE_DIR@`"
  58 if [ $WHICH != "1" ]; then
  59   INC_PATH="@CSHADOW_FLAGS@ -I$BUILD_DIR -I$BUILD_DIR/libio \
  60     -I$SRC_DIR/include/std  -I$SRC_DIR/include/$C_DIR \
  61     -I$SRC_DIR/include -I$SRC_DIR/libsupc++/include -I$SRC_DIR/libio \
  62     -I$SRC_DIR/testsuite"
  63 elif [ $WHICH -eq 1 ]; then
  64   INC_PATH="-I$SRC_DIR/testsuite"
  65 fi
  66
  67 if [ $WHICH -eq 2 ]; then
  68   echo $INC_PATH -I$SRC_DIR/backward -I$SRC_DIR/ext
  69   exit 0;
  70 fi
  71
  72 #LIB_PATH == where to find the build library binaries.
  73 if [ $WHICH != "1" ]; then
  74   LIB_PATH="$BUILD_DIR/src/.libs"
  75   CXX="../../gcc/g++"
  76   CXX_BASE="-B../../gcc/"
  77 elif [ $WHICH -eq 1 ]; then
  78   LIB_PATH="$PREFIX_DIR/lib"
  79   CXX="$PREFIX_DIR/bin/g++"
  80   CXX_BASE=""
  81 fi
  82
  83 # gcc compiler flags
  84 #CXX_FLAG="-fsquangle -fhonor-std -fnew-exceptions -g -O2 -DDEBUG_ASSERT "
  85 #CXX_FLAG="-g -O2 -DDEBUG_ASSERT "
  86 CXX_FLAG="-g $CXX_BASE -DDEBUG_ASSERT @SECTION_FLAGS@ @SECTION_LDFLAGS@"
  87
  88 # a specific flag(s) to force the use of shared libraries, if any
  89 SH_FLAG=""
  90
  91 # a specific flag(s) to force the use of static libraries, if any
  92 ST_FLAG="-static"
  93
  94 # Set up the testing directory, which should be in a directory called
  95 # "testsuite" in the root level of the build directory.
  96 TEST_DIR="`pwd`/testsuite"
  97 if [ ! -d "$TEST_DIR" ]; then
  98     echo "making directory $TEST_DIR"
  99     mkdir $TEST_DIR
 100     chmod 777 $TEST_DIR
 101 fi
 102
 103 # the name of the file that will collect and hold all this useful data:
 104 RESULTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheck.txt"
 105
 106 # the name of the log file that will append compiler diagnostics:
 107 LOG_FILE="$TEST_DIR/$(date +%Y%m%d)-mkchecklog.txt"
 108
 109 # the names of the specific test files to be run
 110 TESTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheckfiles.txt"
 111
 112
 113 #
 114 # 2: clean, make files, append general test info
 115 #
 116 if [ -f $RESULTS_FILE ]; then
 117     rm $RESULTS_FILE
 118 fi
 119 if [ -f $LOG_FILE ]; then
 120     rm $LOG_FILE
 121 fi
 122
 123 # Make a list of the files we're going to run, or use an old one if it exists.
 124 if [ ! -f "$TESTS_FILE" ]; then
 125     echo "making file $TESTS_FILE"
 126     for LONG_NAME in $SRC_DIR/testsuite/*/*.cc
 127     do
 128         DIR_NAME=$(dirname $LONG_NAME)
 129         SHORT_NAME="`basename $DIR_NAME`/`basename $LONG_NAME`"
 130         echo "$SHORT_NAME" >> $TESTS_FILE
 131     done
 132 fi
 133
 134 # Nasty solution to replace GNU date(1)'s %s time_t output function.
 135 if [ ! -x "$TEST_DIR/printnow" ]; then
 136     echo "making utility $TEST_DIR/printnow"
 137     gcc -o "$TEST_DIR/printnow" "$SRC_DIR/testsuite/printnow.c"
 138     strip "$TEST_DIR/printnow"
 139 fi
 140
 141 # Remove old executables.
 142 rm -rf "$TEST_DIR"/*exe
 143
 144 # Remove old core files (which now get left in cwd, not $TEST_DIR).
 145 rm -rf ./*core
 146
 147 # Copy over the data files for filebufs in read-only mode
 148 cp $SRC_DIR/testsuite/27_io/*.txt $TEST_DIR
 149 cp $SRC_DIR/testsuite/27_io/*.tst $TEST_DIR
 150 chmod u+w $TEST_DIR/*.txt
 151 chmod u+w $TEST_DIR/*.tst
 152
 153 # Emit useful info about compiler and platform
 154 echo "host: $(uname -mrsv)" >> $RESULTS_FILE
 155 echo "compiler: $($CXX -v 2>&1 | tail -1)" >> $RESULTS_FILE
 156 echo "compiler flags: $CXX_FLAG" >> $RESULTS_FILE
 157 echo "date: $(date +%Y%m%d)" >> $RESULTS_FILE
 158 echo "" >> $RESULTS_FILE
 159
 160 echo "p == pass/fail execution test" >> $RESULTS_FILE
 161 echo "ctime == time to compile and link" >> $RESULTS_FILE
 162 echo "etime == time for executable to run" >> $RESULTS_FILE
 163 echo "text == size of the executable text section" >> $RESULTS_FILE
 164 echo "data == size of the executable data section" >> $RESULTS_FILE
 165 echo "total == size of the executable" >> $RESULTS_FILE
 166 echo "" >> $RESULTS_FILE
 167 echo "(First static, then shared.)" >> $RESULTS_FILE
 168
 169 echo "p" | awk '{printf("%s ", $1)}' >> $RESULTS_FILE
 170 echo "ctime" "etime" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 171 echo "text" "data" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 172 echo "total" "name" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 173 echo "" >> $RESULTS_FILE
 174
 175
 176 #
 177 # 3: compile, link, execute, time
 178 #
 179 # Abstract out the common code for compiling, linking, executing and printing.
 180 test_file()
 181 {
 182     # NB: S_FLAG has to be last argument because it may be null, and
 183     # error checking hasn't been invented yet.
 184     NAME=$1
 185     EXENAME=$2
 186     S_FLAG=$3
 187
 188     SRC_NAME="$SRC_DIR/testsuite/$1"
 189     TEST_NAME="$TEST_DIR/`basename $NAME`"
 190
 191     # This would be deliciously easy if GNU date's %s were always around.
 192     # There are three ways to do this:  1) use the builtin 'time' like we
 193     # do later; then getting compiler errors into LOG_FILE is a nightmare.
 194     # 2) Grab the output of a formatted date(1) and do the math; harder
 195     # and harder as we try compiling at, say, top of the hour; we would
 196     # eventually have to calculate time_t anyhow.  Or 3) just grab two
 197     # time_t's (no more overhead than grabbing two date(1)'s).
 198     COMP_TIME_START=$($TEST_DIR/printnow)
 199     $CXX $CXX_FLAG $S_FLAG $INC_PATH -L$LIB_PATH -Wl,--rpath -Wl,$LIB_PATH \
 200          $SRC_NAME -o $EXENAME 2>> $LOG_FILE
 201     COMP_TIME_END=$($TEST_DIR/printnow)
 202
 203     if [ $COMP_TIME_START -lt $COMP_TIME_END ]; then
 204         C_TIME=$[ $COMP_TIME_END - $COMP_TIME_START ]
 205     else
 206         C_TIME="0"
 207     fi
 208
 209     if [ -f $EXENAME ]; then
 210         case @host_os@ in
 211           *solaris2.8*)
 212             # These numbers seem to match up to text/data/total,
 213             # although their meanings seem to be different.  Very
 214             # important to not compare these numbers across platforms.
 215             ## Get rid of the banner information.  I don't recall this
 216             ## happening under previous Solarises.  Maybe it's an 8 thing.
 217             TEXT="$(size $EXENAME | grep $EXENAME | awk '{print $1}')"
 218             DATA="$(size $EXENAME | grep $EXENAME | awk '{print $3}')"
 219             SIZE="$(size $EXENAME | grep $EXENAME | awk '{print $7}')"
 220             ;;
 221           *solaris*)
 222             # These numbers seem to match up to text/data/total,
 223             # although their meanings seem to be different.  Very
 224             # important to not compare these numbers across platforms.
 225             TEXT="$(size $EXENAME | awk '{print $1}')"
 226             DATA="$(size $EXENAME | awk '{print $3}')"
 227             SIZE="$(size $EXENAME | awk '{print $7}')"
 228             ;;
 229           *)
 230             TEXT="$(size -A $EXENAME | grep text | awk '{print $2}')"
 231             DATA="$(size -A $EXENAME | grep data | awk '{print $2}')"
 232             SIZE="$(size -A $EXENAME | grep otal | awk '{print $2}')"
 233             ;;
 234         esac
 235
 236         # Actually run the executable and time it . . .
 237         TIMEFORMAT='timemark %R'
 238         E_TIME_TEXT="$(exec 2>&1; time $EXENAME)"
 239         E_ABNORMAL_TERMINATION=$?
 240         E_TIME="$(echo $E_TIME_TEXT | awk '{print $2}')"
 241         # joining those two commands does not work due to quoting problems:
 242         #E_TIME="$(exec 2>&1; time $EXENAME | awk '{print $2}')"
 243         # this will work as a fallback on certain systems...?
 244         #E_TIME=$(exec 2>&1; time $EXENAME | cut -d ' ' -f 2)
 245
 246        if [ "$E_ABNORMAL_TERMINATION" -ne 0 ]; then
 247             RESULT='-'
 248             rm -f ./*core
 249             # sometimes you want to save all core files for review:
 250             #mv ./core $EXENAME.core
 251             # sometimes the OS names core files as programname.core:
 252             #mv ./*core $EXENAME.core
 253         else
 254             # XXX this should probably be a function?
 255
 256             # This checks for emitted output files, which is useful
 257             # when testing file-related output. The rules for this
 258             # working are as follows: the emitted file must have the
 259             # ".txt" extension, and be based on the actual *.cc file's
 260             # name. For example, 27/filbuf.cc currently outputs files
 261             # named 27/filebuf-2.txt and 27/filebuf-3.txt. Also, the first
 262             # emitted file must be in the form $NAME-1.txt. The
 263             # control file must follow the same constraints, but have
 264             # a ".tst" extension. Thus, you have 27/filebuf-2.tst, etc
 265             # etc.
 266
 267             # NAME contains the source name, like 27/filebuf.cc
 268             # From that NAME, we want to generate some possible names, using
 269             # ls on MATCH, a pattern description generated with sed.
 270
 271             # this is the name of the resulting diff file, if any
 272             DIFF_FILE="`echo $TEST_NAME | sed 's/cc$/diff/'`"
 273             # construct wildcard names,ie for $NAME=filebuf.cc, makes
 274             # "filebuf*.tst"
 275             DATA_FILES="`echo $NAME | sed 's/\.cc/\*\.tst/g'`"
 276             # make sure there is at least one, then go
 277             ST_E="`echo $NAME | sed 's/\.cc/\-1\.tst/g'`"
 278             if [ -f $ST_E ]; then
 279                 # list of actual files that match the wildcard above, ie
 280                 # "filebuf-1.tst"
 281                 ST_MATCH_LIST="`ls $DATA_FILES`"
 282                 for i in $ST_MATCH_LIST
 283                     do
 284                         # ST_OUT_FILE is generated in the build directory.
 285                         PRE_NAME2="$TEST_DIR/`basename $i`"
 286                         ST_OUT_FILE="`echo $PRE_NAME2 | sed 's/tst$/txt/'`"
 287                         diff $ST_OUT_FILE $i > $DIFF_FILE
 288                         if [ -s $DIFF_FILE ]; then
 289                             RESULT="-"
 290                             echo "$ST_OUT_FILE has some problems, dude"
 291                         else
 292                             RESULT="+"
 293                         fi
 294                         rm $DIFF_FILE
 295                     done
 296                 else
 297                     # the file does no output, and didn't abnormally
 298                     # terminate, so assume passed.
 299                     RESULT="+"
 300                 fi
 301             fi
 302         # sometimes you want to save all failing exe files for review:
 303         if [ "$RESULT" = "+" ]; then
 304             rm "$EXENAME"
 305         fi
 306     else
 307         # the file did not compile. Write out compilation info to the log file.
 308  echo "$CXX $CXX_FLAG $S_FLAG $INC_PATH -L$LIB_PATH -Wl,--rpath -Wl,$LIB_PATH \
 309          $SRC_NAME -o $EXENAME" 2>> $LOG_FILE
 310
 311         RESULT="-"
 312         TEXT="0"
 313         DATA="0"
 314         SIZE="0"
 315     fi
 316
 317     echo $RESULT | awk '{printf("%s\t", $1)}'
 318     echo $RESULT | awk '{printf ("%.1s ", $1)}'>>$RESULTS_FILE
 319     echo $C_TIME $E_TIME |awk '{printf("%d\t%.3f\t", $1, $2)}'>>$RESULTS_FILE
 320     echo $TEXT $DATA | awk '{printf("%s\t%s\t", $1, $2)}'>>$RESULTS_FILE
 321     echo $SIZE | awk '{printf("%s\t", $1)}'>>$RESULTS_FILE
 322     echo $NAME | awk '{printf("%s\n", $1)}'>>$RESULTS_FILE
 323 };
 324
 325 echo "detailed test information in $RESULTS_FILE"
 326 echo "------------------------------------------------------------------------"
 327 echo "static" | awk '{printf("%s\t", $1)}'
 328 echo "shared" | awk '{printf("%s\t", $1)}'
 329 echo "test" | awk '{printf("%s\n", $1)}'
 330 echo "------------------------------------------------------------------------"
 331
 332 TEST_TIME_START=$($TEST_DIR/printnow)
 333 for NAME in `cat $TESTS_FILE`
 334 do
 335     PRE_NAME="$TEST_DIR/`basename $NAME`"
 336     ST_NAME="`echo $PRE_NAME | sed 's/cc$/st-exe/'`"
 337     SH_NAME="`echo $PRE_NAME | sed 's/cc$/sh-exe/'`"
 338
 339     test_file $NAME $ST_NAME $ST_FLAG
 340     test_file $NAME $SH_NAME $SH_FLAG
 341     echo "$NAME" | awk '{printf("%s\n", $1)}'
 342
 343     echo "" >> $RESULTS_FILE
 344 done
 345 TEST_TIME_END=$($TEST_DIR/printnow)
 346
 347
 348 #
 349 # 4: summary
 350 #
 351 # grep can count faster than we can...
 352 total_failures=$(egrep -c "^\-" $RESULTS_FILE)
 353 total_successes=$(egrep -c "^\+" $RESULTS_FILE)
 354 resultstext="pass/fail results:  ${total_successes}/${total_failures}"
 355 if [ $total_failures -eq 0 ]; then
 356     resultstext="${resultstext}, WIN WIN"
 357 fi
 358 sed -e "/^date:/a\\
 359 $resultstext" $RESULTS_FILE > ${RESULTS_FILE}.tmp
 360 mv ${RESULTS_FILE}.tmp $RESULTS_FILE
 361
 362 if [ $TEST_TIME_START -lt $TEST_TIME_END ]; then
 363     TEST_TIME=$[ $TEST_TIME_END - $TEST_TIME_START ]
 364     echo "testrun == $TEST_TIME"
 365     echo "testrun == $TEST_TIME" >> $RESULTS_FILE
 366 fi
 367
 368 exit 0
 369