OSDN Git Service

Add NIOS2 support. Code from SourceyG++.
[pf3gnuchains/gcc-fork.git] / contrib / patch_tester.sh
1 #!/bin/sh
2
3 # Tests a set of patches from a directory.
4 # Copyright (C) 2007, 2008, 2011  Free Software Foundation, Inc.
5 # Contributed by Sebastian Pop <sebastian.pop@amd.com>
6
7 # This program is free software; you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 3 of the License, or
10 # (at your option) any later version.
11
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16
17 # You should have received a copy of the GNU General Public License
18 # along with this program; if not, write to the Free Software
19 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
20
21 cat <<EOF
22
23 WARNING: This script should only be fed with patches from known
24          authorized and trusted sources.  Don't even think about
25          hooking it up to a raw feed from the gcc-patches list or
26          you'll regret it.
27
28 EOF
29
30 args=$@
31
32 svnpath=svn://gcc.gnu.org/svn/gcc
33 dashj=
34 default_standby=1
35 standby=$default_standby
36 default_watermark=0.60
37 watermark=$default_watermark
38 savecompilers=false
39 nopristinecache=false
40 nogpg=false
41 stop=false
42
43 usage() {
44     cat <<EOF
45 patch_tester.sh [-j<N>] [-standby N] [-watermark N] [-savecompilers] [-nogpg]
46                 [-svnpath URL] [-stop] [-nopristinecache]
47                 <source_dir> [patches_dir [state_dir [build_dir]]]
48
49     J is the flag passed to make.  Default is empty string.
50
51     STANDBY is the number of minutes between checks for new patches in
52     PATCHES_DIR.  Default is ${default_standby} minutes.
53
54     WATERMARK is the 5 minute average system charge under which a new
55     compile can start.  Default is ${default_watermark}.
56
57     SAVECOMPILERS copies the compilers in the same directory as the
58     test results for the non patched version.  Default is not copy.
59
60     NOPRISTINECACHE prevents use of cached test results from any earlier
61     test runs on the pristine version of the branch and revision under
62     test (the default behaviour).  This should be used when testing the
63     same revision and patch with multiple sets of configure options, as
64     these may affect the set of baseline failures.
65
66     NOGPG can be used to avoid checking the GPG signature of patches.
67
68     URL is the location of the GCC SVN repository.  The default is
69     ${svnpath}.
70
71     STOP exits when PATCHES_DIR is empty.
72
73     SOURCE_DIR is the directory containing GCC's toplevel configure.
74
75     PATCHES_DIR is the directory containing the patches to be tested.
76     Default is SOURCE_DIR/patches.
77
78     STATE_DIR is where the tester maintains its internal state.
79     Default is SOURCE_DIR/state.
80
81     BUILD_DIR is the build tree, a temporary directory that this
82     script will delete and recreate.  Default is SOURCE_DIR/obj.
83
84 EOF
85     exit 1
86 }
87
88 makedir () {
89     DIRNAME=$1
90     mkdir -p $DIRNAME
91     if [ $? -ne 0 ]; then
92         echo "ERROR: could not make directory $DIRNAME"
93         exit 1
94     fi
95 }
96
97 while [ $# -ne 0 ]; do
98     case $1 in
99         -j*)
100             dashj=$1; shift
101             ;;
102         -standby)
103             [[ $# > 2 ]] || usage
104             standby=$2; shift; shift
105             ;;
106         -watermark)
107             [[ $# > 2 ]] || usage
108             watermark=$2; shift; shift
109             ;;
110         -savecompilers)
111             savecompilers=true; shift
112             ;;
113         -nopristinecache)
114             nopristinecache=true; shift
115             ;;
116         -nogpg)
117             nogpg=true; shift
118             ;;
119         -stop)
120             stop=true; shift
121             ;;
122         -svnpath)
123             svnpath=$2; shift; shift
124             ;;
125         -*) 
126             echo "Invalid option: $1"
127             usage
128             ;;
129         *)
130             break
131             ;;
132     esac
133 done
134
135 test $# -eq 0 && usage
136
137 SOURCE=$1
138 PATCHES=
139 STATE=
140 BUILD=
141
142 if [[ $# < 2 ]]; then
143     PATCHES=$SOURCE/patches
144 else
145     PATCHES=$2
146 fi
147 if [[ $# < 3 ]]; then
148     STATE=$SOURCE/state
149 else
150     STATE=$3
151 fi
152 if [[ $# < 4 ]]; then
153     BUILD=$SOURCE/obj
154 else
155     BUILD=$4
156 fi
157
158 [ -d $PATCHES ] || makedir $PATCHES
159 [ -d $STATE ] || makedir $STATE
160 [ -d $STATE/patched ] || makedir $STATE/patched
161 [ -d $SOURCE ] || makedir $SOURCE
162 [ -f $SOURCE/config.guess ] || {
163     cd $SOURCE
164     svn -q co $svnpath/trunk .
165     if [ $? -ne 0 ]; then
166         echo "ERROR: initial svn checkout failed"
167         exit 1
168     fi
169 }
170
171 # This can contain required local settings:
172 #  default_config  configure options, always passed
173 #  default_make    make bootstrap options, always passed
174 #  default_check   make check options, always passed
175 [ -f $STATE/defaults ] && . $STATE/defaults
176
177 VERSION=`svn info $SOURCE | grep "^Revision:" | sed -e "s/^Revision://g" -e "s/ //g"`
178
179 exec >> $STATE/tester.log 2>&1 || exit 1
180 set -x
181
182 TESTING=$STATE/testing
183 REPORT=$TESTING/report
184 PRISTINE=$TESTING/pristine
185 PATCHED=$TESTING/patched
186 PATCH=
187 TARGET=`$SOURCE/config.guess || exit 1` 
188 TESTLOGS="gcc/testsuite/gcc/gcc.sum
189 gcc/testsuite/gfortran/gfortran.sum
190 gcc/testsuite/g++/g++.sum
191 gcc/testsuite/objc/objc.sum
192 $TARGET/libstdc++-v3/testsuite/libstdc++.sum
193 $TARGET/libffi/testsuite/libffi.sum
194 $TARGET/libjava/testsuite/libjava.sum
195 $TARGET/libgomp/testsuite/libgomp.sum
196 $TARGET/libmudflap/testsuite/libmudflap.sum"
197 COMPILERS="gcc/cc1
198 gcc/cc1obj
199 gcc/cc1plus
200 gcc/f951
201 gcc/jc1
202 gcc/gnat1
203 gcc/tree1"
204
205 now () {
206     echo `TZ=UTC date +"%Y_%m_%d_%H_%M_%S"`
207 }
208
209 report () {
210     echo "$@" >> $REPORT
211 }
212
213 freport () {
214     if [ -s $1 ]; then
215         report "(cat $1"
216         cat $1 >> $REPORT
217         report "tac)"
218     fi
219 }
220
221 cleanup () {
222     cd $SOURCE
223     svn cleanup && svn revert -R . && svn st | cut -d' ' -f5- | xargs rm -v
224 }
225
226 selfexec () {
227     exec ${CONFIG_SHELL-/bin/sh} $0 $args
228 }
229
230 update () {
231     svn_branch=`grep "^branch:" $PATCH | sed -e "s/^branch://g" -e "s/ //g"`
232     if [ x$svn_branch = x ]; then
233         svn_branch=trunk
234     fi
235
236     svn_revision=`grep "^revision:" $PATCH | sed -e "s/^revision://g" -e "s/ //g"`
237     if [ x$svn_revision = x ]; then
238         svn_revision=HEAD
239     fi
240
241     cleanup
242     cd $SOURCE
243     case $svn_branch in
244         trunk)
245             if ! svn switch -r $svn_revision $svnpath/trunk &> $TESTING/svn ; then
246                 report "failed to update svn sources with"
247                 report "svn switch -r $svn_revision $svnpath/trunk"
248                 freport $TESTING/svn
249                 return 1
250             fi
251             ;;
252
253         ${svnpath}*)
254             if ! svn switch -r $svn_revision $svn_branch &> $TESTING/svn ; then
255                 report "failed to update svn sources with"
256                 report "svn switch -r $svn_revision $svn_branch"
257                 freport $TESTING/svn
258                 return 1
259             fi
260             ;;
261
262         *)
263             if ! svn switch -r $svn_revision $svnpath/branches/$svn_branch &> $TESTING/svn ; then
264                 report "failed to update svn sources with"
265                 report "svn switch -r $svn_revision $svnpath/branches/$svn_branch"
266                 freport $TESTING/svn
267                 return 1
268             fi
269             ;;
270     esac
271     contrib/gcc_update --touch
272
273     current_version=`svn info $SOURCE | grep "^Revision:" | sed -e "s/^Revision://g" -e "s/ //g"`
274     if [[ $VERSION < $current_version ]]; then
275         if [ -f $SOURCE/contrib/patch_tester.sh ]; then
276             selfexec
277         fi
278     fi
279
280     return 0
281 }
282
283 apply_patch () {
284     if [ $nogpg = false ]; then
285         if ! gpg --batch --verify $PATCH &> $TESTING/gpgverify ; then
286             report "your patch failed to verify:"
287             freport $TESTING/gpgverify
288             return 1
289         fi
290     fi
291
292     cd $SOURCE
293     if ! patch -p0 < $PATCH &> $TESTING/patching ; then
294         report "your patch failed to apply:"
295         report "(check that the patch was created at the top level)"
296         freport $TESTING/patching
297         return 1
298     fi
299
300     # Just assume indexes for now -- not really great, but svn always
301     # makes them.
302     grep "^Index: " $PATCH | sed -e 's/Index: //' | while read file; do
303         # If the patch resulted in an empty file, delete it.
304         # This is how svn reports deletions.
305         if [ ! -s $file ]; then
306             rm -f $file
307             report "Deleting empty file $file"
308         fi
309     done
310 }
311
312 save_compilers () {
313     for COMPILER in $COMPILERS ; do
314         if [ -f $BUILD/$COMPILER ]; then
315             cp $BUILD/$COMPILER $PRISTINE
316         fi
317     done
318 }
319
320 bootntest () {
321     rm -rf $BUILD
322     mkdir $BUILD
323     cd $BUILD
324
325     CONFIG_OPTIONS=`grep "^configure:" $PATCH | sed -e "s/^configure://g"`
326     CONFIG_OPTIONS="$default_config $CONFIG_OPTIONS"
327     if ! eval $SOURCE/configure $CONFIG_OPTIONS &> $1/configure ; then
328         report "configure with `basename $1` version failed with:"
329         freport $1/configure
330         return 1
331     fi
332
333     MAKE_ARGS=`grep "^make:" $PATCH | sed -e "s/^make://g"`
334     MAKE_ARGS="$default_make $MAKE_ARGS"
335     if ! eval make $dashj $MAKE_ARGS &> $1/bootstrap ; then
336         report "bootstrap with `basename $1` version failed with last lines:"
337         tail -30 $1/bootstrap > $1/last_bootstrap
338         freport $1/last_bootstrap
339         report "grep --context=20 Error bootstrap:"
340         grep --context=20 Error $1/bootstrap > $1/bootstrap_error
341         freport $1/bootstrap_error
342         return 1
343     fi
344
345     CHECK_OPTIONS=`grep "^check:" $PATCH | sed -e "s/^check://g"`
346     CHECK_OPTIONS="$default_check $CHECK_OPTIONS"
347     eval make $dashj $CHECK_OPTIONS -k check &> $1/check
348
349     SUITESRUN="`grep 'Summary ===' $1/check | cut -d' ' -f 2 | sort`"
350     if [ x$SUITESRUN = x ]; then
351         report "check with `basename $1` version failed, no testsuites were run"
352         return 1
353     fi
354
355     for LOG in $TESTLOGS ; do
356         if [ -f $BUILD/$LOG ]; then
357             mv $BUILD/$LOG $1
358             mv `echo "$BUILD/$LOG" | sed -e "s/\.sum/\.log/g"` $1
359         fi
360     done
361
362     return 0
363 }
364
365 bootntest_patched () {
366     cleanup
367     mkdir -p $PATCHED
368     apply_patch && bootntest $PATCHED
369     return $?
370 }
371
372 # Build the pristine tree with exactly the same options as the patch under test.
373 bootntest_pristine () {
374     cleanup
375     current_branch=`svn info $SOURCE | grep "^URL:" | sed -e "s/URL: //g" -e "s,${svnpath},,g"`
376     current_version=`svn info $SOURCE | grep "^Revision:" | sed -e "s/^Revision://g" -e "s/ //g"`
377     PRISTINE=$STATE/$current_branch/$current_version
378
379     if [ $nopristinecache = true ]; then
380       rm -rf $PRISTINE
381     fi
382     if [ -d $PRISTINE ]; then
383         ln -s $PRISTINE $TESTING/pristine
384         return 0
385     else
386         mkdir -p $PRISTINE
387         ln -s $PRISTINE $TESTING/pristine
388         bootntest $PRISTINE
389         RETVAL=$?
390         if [ $RETVAL = 0 -a $savecompilers = true ]; then
391             save_compilers
392         fi
393         return $RETVAL
394     fi
395 }
396
397 regtest () {
398     touch $1/report
399     touch $1/passes
400     touch $1/failed
401     touch $1/regress
402
403     for LOG in $TESTLOGS ; do
404         NLOG=`basename $LOG`
405         if [ -f $1/$NLOG ]; then
406             awk '/^FAIL: / { print "'$NLOG'",$2; }' $1/$NLOG
407         fi
408     done | sort | uniq > $1/failed
409
410     comm -12 $1/failed $1/passes >> $1/regress
411     NUMREGRESS=`wc -l < $1/regress | tr -d ' '`
412
413     if [ $NUMREGRESS -eq 0 ] ; then
414         for LOG in $TESTLOGS ; do
415             NLOG=`basename $LOG`
416             if [ -f $1/$NLOG ] ; then
417                 awk '/^PASS: / { print "'$NLOG'",$2; }' $1/$NLOG
418             fi
419         done | sort | uniq | comm -23 - $1/failed > $1/passes
420         echo "there are no regressions with your patch." >> $1/report
421     else
422         echo "with your patch there are $NUMREGRESS regressions." >> $1/report
423         echo "list of regressions with your patch:" >> $1/report
424         cat $1/regress >> $1/report
425     fi
426 }
427
428 contrib_compare_tests () {
429     report "comparing logs with contrib/compare_tests:"
430     for LOG in $TESTLOGS ; do
431         NLOG=`basename $LOG`
432         if [ -f $PRISTINE/$NLOG -a -f $PATCHED/$NLOG ]; then
433             $SOURCE/contrib/compare_tests $PRISTINE/$NLOG $PATCHED/$NLOG > $TESTING/compare_$NLOG
434             freport $TESTING/compare_$NLOG
435         fi
436     done
437 }
438
439 compare_passes () {
440     regtest $PRISTINE
441     cp $PRISTINE/passes $PATCHED
442     regtest $PATCHED
443     freport $PATCHED/report
444     report "FAILs with patched version:"
445     freport $PATCHED/failed
446     report "FAILs with pristine version:"
447     freport $PRISTINE/failed
448
449     # contrib_compare_tests
450 }
451
452 write_report () {
453     backup_patched=$STATE/patched/`now`
454     report "The files used for the validation of your patch are stored in $backup_patched on the tester machine."
455
456     EMAIL=`grep "^email:" $PATCH | sed -e "s/^email://g" -e "s/ //g"`
457     if [ x$EMAIL != x ]; then
458         mutt -s "[regtest] Results for `basename $PATCH` on $TARGET" -i $REPORT -a $PATCH $EMAIL
459     fi
460
461     mv $TESTING $backup_patched
462 }
463
464 announce () {
465     EMAIL=`grep "^email:" $PATCH | sed -e "s/^email://g" -e "s/ //g"`
466     if [ x$EMAIL != x ]; then
467
468         START_REPORT=$TESTING/start_report
469         echo "Hi, " >> $START_REPORT
470         echo "I'm the automatic tester running on $TARGET." >> $START_REPORT
471         echo "I just started to look at your patch `basename $PATCH`." >> $START_REPORT
472         echo "Bye, your automatic tester." >> $START_REPORT
473         mutt -s "[regtest] Starting bootstrap for `basename $PATCH` on $TARGET" -i $START_REPORT $EMAIL
474     fi
475 }
476
477 # After selfexec, $TESTING is already set up.  
478 if [ -d $TESTING ]; then
479     # The only file in $TESTING is the patch.
480     PATCH=`ls -rt -1 $TESTING | head -1`
481     PATCH=$TESTING/$PATCH
482     if [ -f $PATCH ]; then
483         bootntest_patched && bootntest_pristine && compare_passes
484         write_report
485     fi
486 fi
487
488 firstpatch=true
489 while true; do
490     PATCH=`ls -rt -1 $PATCHES | head -1`
491     if [ x$PATCH = x ]; then
492         if [ $stop = true ]; then
493             if [ $firstpatch = true ]; then
494                 echo "No patches ready to test, quitting."
495                 exit 1
496             else
497                 echo "No more patches to test."
498                 exit 0
499             fi
500         fi
501         sleep ${standby}m
502     else
503         firstpatch=false
504         sysload=`uptime | cut -d, -f 5`
505         if [[ $sysload > $watermark ]]; then
506             # Wait a bit when system load is too high.
507             sleep ${standby}m
508         else
509             mkdir -p $TESTING
510             mv $PATCHES/$PATCH $TESTING/
511             PATCH=$TESTING/$PATCH
512
513             announce
514             update && bootntest_patched && bootntest_pristine && compare_passes
515             write_report
516         fi
517     fi
518 done