libstdc++-v3/mkcheck.in

   1 #!/usr/bin/env bash
   2
   3 # Script to do automated testing and data collection
   4 # for various test files, so that we don't have to do this by hand on
   5 # every test file.  It attempts to collect some diagnostic info about
   6 # size and speed that should be useful in the future as the library
   7 # gets tuned for size and speed. In addition, it tests static and
   8 # shared linkage.
   9
  10 # Invocation
  11 # mkcheck [012] (path to build) (path to src) (path to install)
  12
  13 #
  14 # 1: variables
  15 #
  16 # WHICH determines if you are
  17 # (0) testing the build binary and headers, or
  18 # (1) testing the installed binary and headers, or
  19 # (2) testing under dejagnu (just print the standard flags needed).
  20 WHICH=$1
  21 if [ "$WHICH"x = 0x ] && [ $# -eq 3 ]; then
  22   echo "running mkcheck"
  23   echo "$0: testing the build directory"
  24 elif [ "$WHICH"x = 1x ] && [ $# -eq 4 ]; then
  25   echo "running mkcheck"
  26   echo "$0: testing the install directory $4"
  27 elif [ "$WHICH"x = 2x ] && [ $# -eq 3 ]; then
  28   true
  29 else
  30   echo 'Usage: mkcheck 0 (path to build) (path to src)'
  31   echo '       mkcheck 1 (path to build) (path to src) (path to install)'
  32   echo '       mkcheck 2 (path to build) (path to src)'
  33   exit 1;
  34 fi
  35
  36 BUILD_DIR=$2
  37 if [ ! -d "$BUILD_DIR" ]; then
  38   echo "build directory $BUILD_DIR not found, exiting."
  39   exit 1
  40 fi
  41
  42 SRC_DIR=$3
  43 if [ ! -d "$SRC_DIR" ]; then
  44   echo "source directory $SRC_DIR not found, exiting."
  45   exit 1
  46 fi
  47
  48 if [ $WHICH -eq 1 ]; then
  49     PREFIX_DIR=$4
  50     if [ ! -d "$PREFIX_DIR" ]; then
  51     echo "install directory $PREFIX_DIR not found, exiting."
  52     exit 1
  53     fi
  54 fi
  55
  56 # INC_PATH == include path to new headers for use on gcc command-line
  57 if [ $WHICH != "1" ]; then
  58   INC_PATH="@CSHADOWFLAGS@ -I$BUILD_DIR -I$BUILD_DIR/libio -I$SRC_DIR/@ctype_include_dir@ -I$SRC_DIR/@cpu_include_dir@  -I$SRC_DIR/std -I$SRC_DIR -I$SRC_DIR/libio -I$SRC_DIR/testsuite"
  59 elif [ $WHICH -eq 1 ]; then
  60   INC_PATH="-I$SRC_DIR/testsuite"
  61 fi
  62
  63 if [ $WHICH -eq 2 ]; then
  64   echo $INC_PATH -I$SRC_DIR/backward -I$SRC_DIR/ext
  65   exit 0;
  66 fi
  67
  68 #LIB_PATH == where to find the build library binaries.
  69 if [ $WHICH != "1" ]; then
  70   LIB_PATH="$BUILD_DIR/src/.libs"
  71   CXX="../../gcc/g++"
  72   CXX_BASE="-B../../gcc/"
  73 elif [ $WHICH -eq 1 ]; then
  74   LIB_PATH="$PREFIX_DIR/lib"
  75   CXX="$PREFIX_DIR/bin/g++"
  76   CXX_BASE=""
  77 fi
  78
  79 # gcc compiler flags
  80 #CXX_FLAG="-fsquangle -fhonor-std -fnew-exceptions -g -O2 -DDEBUG_ASSERT "
  81 #CXX_FLAG="-g -O2 -DDEBUG_ASSERT "
  82 CXX_FLAG="-g $CXX_BASE -DDEBUG_ASSERT @SECTION_FLAGS@ @SECTION_LDFLAGS@"
  83
  84 # a specific flag(s) to force the use of shared libraries, if any
  85 SH_FLAG=""
  86
  87 # a specific flag(s) to force the use of static libraries, if any
  88 ST_FLAG="-static"
  89
  90 # Set up the testing directory, which should be in a directory called
  91 # "testsuite" in the root level of the build directory.
  92 TEST_DIR="`pwd`/testsuite"
  93 if [ ! -d "$TEST_DIR" ]; then
  94     echo "making directory $TEST_DIR"
  95     mkdir $TEST_DIR
  96     chmod 777 $TEST_DIR
  97 fi
  98
  99 # the name of the file that will collect and hold all this useful data:
 100 RESULTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheck.txt"
 101
 102 # the name of the log file that will append compiler diagnostics:
 103 LOG_FILE="$TEST_DIR/$(date +%Y%m%d)-mkchecklog.txt"
 104
 105 # the names of the specific test files to be run
 106 TESTS_FILE="$TEST_DIR/$(date +%Y%m%d)-mkcheckfiles.txt"
 107
 108
 109 #
 110 # 2: clean, make files, append general test info
 111 #
 112 if [ -f $RESULTS_FILE ]; then
 113     rm $RESULTS_FILE
 114 fi
 115 if [ -f $LOG_FILE ]; then
 116     rm $LOG_FILE
 117 fi
 118
 119 # Make a list of the files we're going to run, or use an old one if it exists.
 120 if [ ! -f "$TESTS_FILE" ]; then
 121     echo "making file $TESTS_FILE"
 122     for LONG_NAME in $SRC_DIR/testsuite/*/*.cc
 123     do
 124         DIR_NAME=$(dirname $LONG_NAME)
 125         SHORT_NAME="`basename $DIR_NAME`/`basename $LONG_NAME`"
 126         echo "$SHORT_NAME" >> $TESTS_FILE
 127     done
 128 fi
 129
 130 # Nasty solution to replace GNU date(1)'s %s time_t output function.
 131 if [ ! -x "$TEST_DIR/printnow" ]; then
 132     echo "making utility $TEST_DIR/printnow"
 133     gcc -o "$TEST_DIR/printnow" "$SRC_DIR/testsuite/printnow.c"
 134     strip "$TEST_DIR/printnow"
 135 fi
 136
 137 # Remove old executables.
 138 rm -rf "$TEST_DIR"/*exe
 139
 140 # Remove old core files (which now get left in cwd, not $TEST_DIR).
 141 rm -rf ./*core
 142
 143 # Copy over the data files for filebufs in read-only mode
 144 cp $SRC_DIR/testsuite/27_io/*.txt $TEST_DIR
 145 cp $SRC_DIR/testsuite/27_io/*.tst $TEST_DIR
 146 chmod u+w $TEST_DIR/*.txt
 147 chmod u+w $TEST_DIR/*.tst
 148
 149 # Emit useful info about compiler and platform
 150 echo "host: $(uname -mrsv)" >> $RESULTS_FILE
 151 echo "compiler: $($CXX -v 2>&1 | tail -1)" >> $RESULTS_FILE
 152 echo "compiler flags: $CXX_FLAG" >> $RESULTS_FILE
 153 echo "date: $(date +%Y%m%d)" >> $RESULTS_FILE
 154 echo "" >> $RESULTS_FILE
 155
 156 echo "p == pass/fail execution test" >> $RESULTS_FILE
 157 echo "ctime == time to compile and link" >> $RESULTS_FILE
 158 echo "etime == time for executable to run" >> $RESULTS_FILE
 159 echo "text == size of the executable text section" >> $RESULTS_FILE
 160 echo "data == size of the executable data section" >> $RESULTS_FILE
 161 echo "total == size of the executable" >> $RESULTS_FILE
 162 echo "" >> $RESULTS_FILE
 163 echo "(First static, then shared.)" >> $RESULTS_FILE
 164
 165 echo "p" | awk '{printf("%s ", $1)}' >> $RESULTS_FILE
 166 echo "ctime" "etime" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 167 echo "text" "data" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 168 echo "total" "name" | awk '{printf("%s\t%s\t", $1, $2)}' >> $RESULTS_FILE
 169 echo "" >> $RESULTS_FILE
 170
 171
 172 #
 173 # 3: compile, link, execute, time
 174 #
 175 # Abstract out the common code for compiling, linking, executing and printing.
 176 test_file()
 177 {
 178     # NB: S_FLAG has to be last argument because it may be null, and
 179     # error checking hasn't been invented yet.
 180     NAME=$1
 181     EXENAME=$2
 182     S_FLAG=$3
 183
 184     SRC_NAME="$SRC_DIR/testsuite/$1"
 185     TEST_NAME="$TEST_DIR/`basename $NAME`"
 186
 187     # This would be deliciously easy if GNU date's %s were always around.
 188     # There are three ways to do this:  1) use the builtin 'time' like we
 189     # do later; then getting compiler errors into LOG_FILE is a nightmare.
 190     # 2) Grab the output of a formatted date(1) and do the math; harder
 191     # and harder as we try compiling at, say, top of the hour; we would
 192     # eventually have to calculate time_t anyhow.  Or 3) just grab two
 193     # time_t's (no more overhead than grabbing two date(1)'s).
 194     COMP_TIME_START=$($TEST_DIR/printnow)
 195     $CXX $CXX_FLAG $S_FLAG $INC_PATH -L$LIB_PATH -Wl,--rpath -Wl,$LIB_PATH \
 196          $SRC_NAME -o $EXENAME 2>> $LOG_FILE
 197     COMP_TIME_END=$($TEST_DIR/printnow)
 198
 199     if [ $COMP_TIME_START -lt $COMP_TIME_END ]; then
 200         C_TIME=$[ $COMP_TIME_END - $COMP_TIME_START ]
 201     else
 202         C_TIME="0"
 203     fi
 204
 205     if [ -f $EXENAME ]; then
 206         case @host_os@ in
 207           *solaris2.8*)
 208             # These numbers seem to match up to text/data/total,
 209             # although their meanings seem to be different.  Very
 210             # important to not compare these numbers across platforms.
 211             ## Get rid of the banner information.  I don't recall this
 212             ## happening under previous Solarises.  Maybe it's an 8 thing.
 213             TEXT="$(size $EXENAME | grep $EXENAME | awk '{print $1}')"
 214             DATA="$(size $EXENAME | grep $EXENAME | awk '{print $3}')"
 215             SIZE="$(size $EXENAME | grep $EXENAME | awk '{print $7}')"
 216             ;;
 217           *solaris*)
 218             # These numbers seem to match up to text/data/total,
 219             # although their meanings seem to be different.  Very
 220             # important to not compare these numbers across platforms.
 221             TEXT="$(size $EXENAME | awk '{print $1}')"
 222             DATA="$(size $EXENAME | awk '{print $3}')"
 223             SIZE="$(size $EXENAME | awk '{print $7}')"
 224             ;;
 225           *)
 226             TEXT="$(size -A $EXENAME | grep text | awk '{print $2}')"
 227             DATA="$(size -A $EXENAME | grep data | awk '{print $2}')"
 228             SIZE="$(size -A $EXENAME | grep otal | awk '{print $2}')"
 229             ;;
 230         esac
 231
 232         # Actually run the executable and time it . . .
 233         TIMEFORMAT='timemark %R'
 234         E_TIME_TEXT="$(exec 2>&1; time $EXENAME)"
 235         E_ABNORMAL_TERMINATION=$?
 236         E_TIME="$(echo $E_TIME_TEXT | awk '{print $2}')"
 237         # joining those two commands does not work due to quoting problems:
 238         #E_TIME="$(exec 2>&1; time $EXENAME | awk '{print $2}')"
 239         # this will work as a fallback on certain systems...?
 240         #E_TIME=$(exec 2>&1; time $EXENAME | cut -d ' ' -f 2)
 241
 242        if [ "$E_ABNORMAL_TERMINATION" -ne 0 ]; then
 243             RESULT='-'
 244             rm -f ./*core
 245             # sometimes you want to save all core files for review:
 246             #mv ./core $EXENAME.core
 247             # sometimes the OS names core files as programname.core:
 248             #mv ./*core $EXENAME.core
 249         else
 250             # XXX this should probably be a function?
 251
 252             # This checks for emitted output files, which is useful
 253             # when testing file-related output. The rules for this
 254             # working are as follows: the emitted file must have the
 255             # ".txt" extension, and be based on the actual *.cc file's
 256             # name. For example, 27/filbuf.cc currently outputs files
 257             # named 27/filebuf-2.txt and 27/filebuf-3.txt. Also, the first
 258             # emitted file must be in the form $NAME-1.txt. The
 259             # control file must follow the same constraints, but have
 260             # a ".tst" extension. Thus, you have 27/filebuf-2.tst, etc
 261             # etc.
 262
 263             # NAME contains the source name, like 27/filebuf.cc
 264             # From that NAME, we want to generate some possible names, using
 265             # ls on MATCH, a pattern description generated with sed.
 266
 267             # this is the name of the resulting diff file, if any
 268             DIFF_FILE="`echo $TEST_NAME | sed 's/cc$/diff/'`"
 269             # construct wildcard names,ie for $NAME=filebuf.cc, makes
 270             # "filebuf*.tst"
 271             DATA_FILES="`echo $NAME | sed 's/\.cc/\*\.tst/g'`"
 272             # make sure there is at least one, then go
 273             ST_E="`echo $NAME | sed 's/\.cc/\-1\.tst/g'`"
 274             if [ -f $ST_E ]; then
 275                 # list of actual files that match the wildcard above, ie
 276                 # "filebuf-1.tst"
 277                 ST_MATCH_LIST="`ls $DATA_FILES`"
 278                 for i in $ST_MATCH_LIST
 279                     do
 280                         # ST_OUT_FILE is generated in the build directory.
 281                         PRE_NAME2="$TEST_DIR/`basename $i`"
 282                         ST_OUT_FILE="`echo $PRE_NAME2 | sed 's/tst$/txt/'`"
 283                         diff $ST_OUT_FILE $i > $DIFF_FILE
 284                         if [ -s $DIFF_FILE ]; then
 285                             RESULT="-"
 286                             echo "$ST_OUT_FILE has some problems, dude"
 287                         else
 288                             RESULT="+"
 289                         fi
 290                         rm $DIFF_FILE
 291                     done
 292                 else
 293                     # the file does no output, and didn't abnormally
 294                     # terminate, so assume passed.
 295                     RESULT="+"
 296                 fi
 297             fi
 298         # sometimes you want to save all failing exe files for review:
 299         if [ "$RESULT" = "+" ]; then
 300             rm "$EXENAME"
 301         fi
 302     else
 303         # the file did not compile. Write out compilation info to the log file.
 304  echo "$CXX $CXX_FLAG $S_FLAG $INC_PATH -L$LIB_PATH -Wl,--rpath -Wl,$LIB_PATH \
 305          $SRC_NAME -o $EXENAME" 2>> $LOG_FILE
 306
 307         RESULT="-"
 308         TEXT="0"
 309         DATA="0"
 310         SIZE="0"
 311     fi
 312
 313     echo $RESULT | awk '{printf("%s\t", $1)}'
 314     echo $RESULT | awk '{printf ("%.1s ", $1)}'>>$RESULTS_FILE
 315     echo $C_TIME $E_TIME |awk '{printf("%d\t%.3f\t", $1, $2)}'>>$RESULTS_FILE
 316     echo $TEXT $DATA | awk '{printf("%s\t%s\t", $1, $2)}'>>$RESULTS_FILE
 317     echo $SIZE | awk '{printf("%s\t", $1)}'>>$RESULTS_FILE
 318     echo $NAME | awk '{printf("%s\n", $1)}'>>$RESULTS_FILE
 319 };
 320
 321 echo "detailed test information in $RESULTS_FILE"
 322 echo "------------------------------------------------------------------------"
 323 echo "static" | awk '{printf("%s\t", $1)}'
 324 echo "shared" | awk '{printf("%s\t", $1)}'
 325 echo "test" | awk '{printf("%s\n", $1)}'
 326 echo "------------------------------------------------------------------------"
 327
 328 TEST_TIME_START=$($TEST_DIR/printnow)
 329 for NAME in `cat $TESTS_FILE`
 330 do
 331     PRE_NAME="$TEST_DIR/`basename $NAME`"
 332     ST_NAME="`echo $PRE_NAME | sed 's/cc$/st-exe/'`"
 333     SH_NAME="`echo $PRE_NAME | sed 's/cc$/sh-exe/'`"
 334
 335     test_file $NAME $ST_NAME $ST_FLAG
 336     test_file $NAME $SH_NAME $SH_FLAG
 337     echo "$NAME" | awk '{printf("%s\n", $1)}'
 338
 339     echo "" >> $RESULTS_FILE
 340 done
 341 TEST_TIME_END=$($TEST_DIR/printnow)
 342
 343
 344 #
 345 # 4: summary
 346 #
 347 # grep can count faster than we can...
 348 total_failures=$(egrep -c "^\-" $RESULTS_FILE)
 349 total_successes=$(egrep -c "^\+" $RESULTS_FILE)
 350 resultstext="pass/fail results:  ${total_successes}/${total_failures}"
 351 if [ $total_failures -eq 0 ]; then
 352     resultstext="${resultstext}, WIN WIN"
 353 fi
 354 sed -e "/^date:/a\\
 355 $resultstext" $RESULTS_FILE > ${RESULTS_FILE}.tmp
 356 mv ${RESULTS_FILE}.tmp $RESULTS_FILE
 357
 358 if [ $TEST_TIME_START -lt $TEST_TIME_END ]; then
 359     TEST_TIME=$[ $TEST_TIME_END - $TEST_TIME_START ]
 360     echo "testrun == $TEST_TIME"
 361     echo "testrun == $TEST_TIME" >> $RESULTS_FILE
 362 fi
 363
 364 exit 0
 365