OSDN Git Service

Fix the constant I forgot to update :(
[pf3gnuchains/gcc-fork.git] / gcc / cfgcleanup.c
1 /* Control flow optimization code for GNU compiler.
2    Copyright (C) 1987, 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
3    1999, 2000, 2001 Free Software Foundation, Inc.
4
5 This file is part of GCC.
6
7 GCC is free software; you can redistribute it and/or modify it under
8 the terms of the GNU General Public License as published by the Free
9 Software Foundation; either version 2, or (at your option) any later
10 version.
11
12 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
15 for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with GCC; see the file COPYING.  If not, write to the Free
19 Software Foundation, 59 Temple Place - Suite 330, Boston, MA
20 02111-1307, USA.  */
21
22 /* This file contains optimizer of the control flow.  The main entrypoint is
23    cleanup_cfg.  Following optimizations are performed:
24
25    - Unreachable blocks removal
26    - Edge forwarding (edge to the forwarder block is forwarded to it's
27      successor.  Simplification of the branch instruction is performed by
28      underlying infrastructure so branch can be converted to simplejump or
29      eliminated).
30    - Cross jumping (tail merging)
31    - Conditional jump-around-simplejump simplification
32    - Basic block merging.  */
33
34 #include "config.h"
35 #include "system.h"
36 #include "rtl.h"
37 #include "hard-reg-set.h"
38 #include "basic-block.h"
39 #include "timevar.h"
40 #include "output.h"
41 #include "insn-config.h"
42 #include "flags.h"
43 #include "recog.h"
44 #include "toplev.h"
45 #include "cselib.h"
46 #include "tm_p.h"
47 #include "target.h"
48
49 #include "obstack.h"
50
51 /* cleanup_cfg maintains following flags for each basic block.  */
52
53 enum bb_flags
54 {
55     /* Set if BB is the forwarder block to avoid too many
56        forwarder_block_p calls.  */
57     BB_FORWARDER_BLOCK = 1
58 };
59
60 #define BB_FLAGS(BB) (enum bb_flags) (BB)->aux
61 #define BB_SET_FLAG(BB, FLAG) \
62   (BB)->aux = (void *) (long) ((enum bb_flags) (BB)->aux | (FLAG))
63 #define BB_CLEAR_FLAG(BB, FLAG) \
64   (BB)->aux = (void *) (long) ((enum bb_flags) (BB)->aux & ~(FLAG))
65
66 #define FORWARDER_BLOCK_P(BB) (BB_FLAGS (BB) & BB_FORWARDER_BLOCK)
67
68 static bool try_crossjump_to_edge       PARAMS ((int, edge, edge));
69 static bool try_crossjump_bb            PARAMS ((int, basic_block));
70 static bool outgoing_edges_match        PARAMS ((int,
71                                                  basic_block, basic_block));
72 static int flow_find_cross_jump         PARAMS ((int, basic_block, basic_block,
73                                                  rtx *, rtx *));
74 static bool insns_match_p               PARAMS ((int, rtx, rtx));
75
76 static bool delete_unreachable_blocks   PARAMS ((void));
77 static bool label_is_jump_target_p      PARAMS ((rtx, rtx));
78 static bool tail_recursion_label_p      PARAMS ((rtx));
79 static void merge_blocks_move_predecessor_nojumps PARAMS ((basic_block,
80                                                           basic_block));
81 static void merge_blocks_move_successor_nojumps PARAMS ((basic_block,
82                                                         basic_block));
83 static bool merge_blocks                PARAMS ((edge,basic_block,basic_block,
84                                                  int));
85 static bool try_optimize_cfg            PARAMS ((int));
86 static bool try_simplify_condjump       PARAMS ((basic_block));
87 static bool try_forward_edges           PARAMS ((int, basic_block));
88 static edge thread_jump                 PARAMS ((int, edge, basic_block));
89 static bool mark_effect                 PARAMS ((rtx, bitmap));
90 static void notice_new_block            PARAMS ((basic_block));
91 static void update_forwarder_flag       PARAMS ((basic_block));
92 static int mentions_nonequal_regs       PARAMS ((rtx *, void *));
93 \f
94 /* Set flags for newly created block.  */
95
96 static void
97 notice_new_block (bb)
98      basic_block bb;
99 {
100   if (!bb)
101     return;
102
103   if (forwarder_block_p (bb))
104     BB_SET_FLAG (bb, BB_FORWARDER_BLOCK);
105 }
106
107 /* Recompute forwarder flag after block has been modified.  */
108
109 static void
110 update_forwarder_flag (bb)
111      basic_block bb;
112 {
113   if (forwarder_block_p (bb))
114     BB_SET_FLAG (bb, BB_FORWARDER_BLOCK);
115   else
116     BB_CLEAR_FLAG (bb, BB_FORWARDER_BLOCK);
117 }
118 \f
119 /* Simplify a conditional jump around an unconditional jump.
120    Return true if something changed.  */
121
122 static bool
123 try_simplify_condjump (cbranch_block)
124      basic_block cbranch_block;
125 {
126   basic_block jump_block, jump_dest_block, cbranch_dest_block;
127   edge cbranch_jump_edge, cbranch_fallthru_edge;
128   rtx cbranch_insn;
129
130   /* Verify that there are exactly two successors.  */
131   if (!cbranch_block->succ
132       || !cbranch_block->succ->succ_next
133       || cbranch_block->succ->succ_next->succ_next)
134     return false;
135
136   /* Verify that we've got a normal conditional branch at the end
137      of the block.  */
138   cbranch_insn = cbranch_block->end;
139   if (!any_condjump_p (cbranch_insn))
140     return false;
141
142   cbranch_fallthru_edge = FALLTHRU_EDGE (cbranch_block);
143   cbranch_jump_edge = BRANCH_EDGE (cbranch_block);
144
145   /* The next block must not have multiple predecessors, must not
146      be the last block in the function, and must contain just the
147      unconditional jump.  */
148   jump_block = cbranch_fallthru_edge->dest;
149   if (jump_block->pred->pred_next
150       || jump_block->index == n_basic_blocks - 1
151       || !FORWARDER_BLOCK_P (jump_block))
152     return false;
153   jump_dest_block = jump_block->succ->dest;
154
155   /* The conditional branch must target the block after the
156      unconditional branch.  */
157   cbranch_dest_block = cbranch_jump_edge->dest;
158
159   if (!can_fallthru (jump_block, cbranch_dest_block))
160     return false;
161
162   /* Invert the conditional branch.  */
163   if (!invert_jump (cbranch_insn, block_label (jump_dest_block), 0))
164     return false;
165
166   if (rtl_dump_file)
167     fprintf (rtl_dump_file, "Simplifying condjump %i around jump %i\n",
168              INSN_UID (cbranch_insn), INSN_UID (jump_block->end));
169
170   /* Success.  Update the CFG to match.  Note that after this point
171      the edge variable names appear backwards; the redirection is done
172      this way to preserve edge profile data.  */
173   cbranch_jump_edge = redirect_edge_succ_nodup (cbranch_jump_edge,
174                                                 cbranch_dest_block);
175   cbranch_fallthru_edge = redirect_edge_succ_nodup (cbranch_fallthru_edge,
176                                                     jump_dest_block);
177   cbranch_jump_edge->flags |= EDGE_FALLTHRU;
178   cbranch_fallthru_edge->flags &= ~EDGE_FALLTHRU;
179   update_br_prob_note (cbranch_block);
180
181   /* Delete the block with the unconditional jump, and clean up the mess.  */
182   flow_delete_block (jump_block);
183   tidy_fallthru_edge (cbranch_jump_edge, cbranch_block, cbranch_dest_block);
184
185   return true;
186 }
187 \f
188 /* Attempt to prove that operation is NOOP using CSElib or mark the effect
189    on register.  Used by jump threading.  */
190
191 static bool
192 mark_effect (exp, nonequal)
193   rtx exp;
194   regset nonequal;
195 {
196   int regno;
197   rtx dest;
198   switch (GET_CODE (exp))
199     {
200       /* In case we do clobber the register, mark it as equal, as we know the
201          value is dead so it don't have to match.  */
202       case CLOBBER:
203         if (REG_P (XEXP (exp, 0)))
204           {
205             dest = XEXP (exp, 0);
206             regno = REGNO (dest);
207             CLEAR_REGNO_REG_SET (nonequal, regno);
208             if (regno < FIRST_PSEUDO_REGISTER)
209               {
210                 int n = HARD_REGNO_NREGS (regno, GET_MODE (dest));
211                 while (--n > 0)
212                   CLEAR_REGNO_REG_SET (nonequal, regno + n);
213               }
214           }
215         return false;
216
217       case SET:
218         if (rtx_equal_for_cselib_p (SET_DEST (exp), SET_SRC (exp)))
219           return false;
220         dest = SET_DEST (exp);
221         if (dest == pc_rtx)
222           return false;
223         if (!REG_P (dest))
224           return true;
225         regno = REGNO (dest);
226         SET_REGNO_REG_SET (nonequal, regno);
227         if (regno < FIRST_PSEUDO_REGISTER)
228           {
229             int n = HARD_REGNO_NREGS (regno, GET_MODE (dest));
230             while (--n > 0)
231               SET_REGNO_REG_SET (nonequal, regno + n);
232           }
233         return false;
234
235       default:
236         return false;
237     }
238 }
239
240 /* Return nonzero if X is an register set in regset DATA.
241    Called via for_each_rtx.  */
242 static int
243 mentions_nonequal_regs (x, data)
244      rtx *x;
245      void *data;
246 {
247   regset nonequal = (regset) data;
248   if (REG_P (*x))
249     {
250       int regno;
251
252       regno = REGNO (*x);
253       if (REGNO_REG_SET_P (nonequal, regno))
254         return 1;
255       if (regno < FIRST_PSEUDO_REGISTER)
256         {
257           int n = HARD_REGNO_NREGS (regno, GET_MODE (*x));
258           while (--n > 0)
259             if (REGNO_REG_SET_P (nonequal, regno + n))
260               return 1;
261         }
262     }
263   return 0;
264 }
265 /* Attempt to prove that the basic block B will have no side effects and
266    allways continues in the same edge if reached via E.  Return the edge
267    if exist, NULL otherwise.  */
268
269 static edge
270 thread_jump (mode, e, b)
271      int mode;
272      edge e;
273      basic_block b;
274 {
275   rtx set1, set2, cond1, cond2, insn;
276   enum rtx_code code1, code2, reversed_code2;
277   bool reverse1 = false;
278   int i;
279   regset nonequal;
280   bool failed = false;
281
282   /* At the moment, we do handle only conditional jumps, but later we may
283      want to extend this code to tablejumps and others.  */
284   if (!e->src->succ->succ_next || e->src->succ->succ_next->succ_next)
285     return NULL;
286   if (!b->succ || !b->succ->succ_next || b->succ->succ_next->succ_next)
287     return NULL;
288
289   /* Second branch must end with onlyjump, as we will eliminate the jump.  */
290   if (!any_condjump_p (e->src->end) || !any_condjump_p (b->end)
291       || !onlyjump_p (b->end))
292     return NULL;
293
294   set1 = pc_set (e->src->end);
295   set2 = pc_set (b->end);
296   if (((e->flags & EDGE_FALLTHRU) != 0)
297       != (XEXP (SET_SRC (set1), 1) == pc_rtx))
298     reverse1 = true;
299
300   cond1 = XEXP (SET_SRC (set1), 0);
301   cond2 = XEXP (SET_SRC (set2), 0);
302   if (reverse1)
303     code1 = reversed_comparison_code (cond1, e->src->end);
304   else
305     code1 = GET_CODE (cond1);
306
307   code2 = GET_CODE (cond2);
308   reversed_code2 = reversed_comparison_code (cond2, b->end);
309
310   if (!comparison_dominates_p (code1, code2)
311       && !comparison_dominates_p (code1, reversed_code2))
312     return NULL;
313
314   /* Ensure that the comparison operators are equivalent.
315      ??? This is far too pesimistic.  We should allow swapped operands,
316      different CCmodes, or for example comparisons for interval, that
317      dominate even when operands are not equivalent.  */
318   if (!rtx_equal_p (XEXP (cond1, 0), XEXP (cond2, 0))
319       || !rtx_equal_p (XEXP (cond1, 1), XEXP (cond2, 1)))
320     return NULL;
321
322   /* Short circuit cases where block B contains some side effects, as we can't
323      safely bypass it.  */
324   for (insn = NEXT_INSN (b->head); insn != NEXT_INSN (b->end);
325        insn = NEXT_INSN (insn))
326     if (INSN_P (insn) && side_effects_p (PATTERN (insn)))
327       return NULL;
328
329   cselib_init ();
330
331   /* First process all values computed in the source basic block.  */
332   for (insn = NEXT_INSN (e->src->head); insn != NEXT_INSN (e->src->end);
333        insn = NEXT_INSN (insn))
334     if (INSN_P (insn))
335       cselib_process_insn (insn);
336
337   nonequal = BITMAP_XMALLOC();
338   CLEAR_REG_SET (nonequal);
339
340   /* Now assume that we've continued by the edge E to B and continue
341      processing as if it were same basic block.
342      Our goal is to prove that whole block is an NOOP.  */
343
344   for (insn = NEXT_INSN (b->head); insn != NEXT_INSN (b->end) && !failed;
345        insn = NEXT_INSN (insn))
346   {
347     if (INSN_P (insn))
348       {
349         rtx pat = PATTERN (insn);
350
351         if (GET_CODE (pat) == PARALLEL)
352           {
353             for (i = 0; i < XVECLEN (pat, 0); i++)
354               failed |= mark_effect (XVECEXP (pat, 0, i), nonequal);
355           }
356         else
357           failed |= mark_effect (pat, nonequal);
358       }
359
360     cselib_process_insn (insn);
361   }
362
363   /* Later we should clear nonequal of dead registers.  So far we don't
364      have life information in cfg_cleanup.  */
365   if (failed)
366     goto failed_exit;
367
368   /* cond2 must not mention any register that is not equal to the
369      former block.  */
370   if (for_each_rtx (&cond2, mentions_nonequal_regs, nonequal))
371     goto failed_exit;
372
373   /* In case liveness information is available, we need to prove equivalence
374      only of the live values.  */
375   if (mode & CLEANUP_UPDATE_LIFE)
376     AND_REG_SET (nonequal, b->global_live_at_end);
377
378   EXECUTE_IF_SET_IN_REG_SET (nonequal, 0, i, goto failed_exit;);
379
380   BITMAP_XFREE (nonequal);
381   cselib_finish ();
382   if ((comparison_dominates_p (code1, code2) != 0)
383       != (XEXP (SET_SRC (set2), 1) == pc_rtx))
384     return BRANCH_EDGE (b);
385   else
386     return FALLTHRU_EDGE (b);
387
388 failed_exit:
389   BITMAP_XFREE (nonequal);
390   cselib_finish ();
391   return NULL;
392 }
393 \f
394 /* Attempt to forward edges leaving basic block B.
395    Return true if successful.  */
396
397 static bool
398 try_forward_edges (mode, b)
399      basic_block b;
400      int mode;
401 {
402   bool changed = false;
403   edge e, next, *threaded_edges = NULL;
404
405   for (e = b->succ; e; e = next)
406     {
407       basic_block target, first;
408       int counter;
409       bool threaded = false;
410       int nthreaded_edges = 0;
411
412       next = e->succ_next;
413
414       /* Skip complex edges because we don't know how to update them.
415
416          Still handle fallthru edges, as we can succeed to forward fallthru
417          edge to the same place as the branch edge of conditional branch
418          and turn conditional branch to an unconditional branch.  */
419       if (e->flags & EDGE_COMPLEX)
420         continue;
421
422       target = first = e->dest;
423       counter = 0;
424
425       while (counter < n_basic_blocks)
426         {
427           basic_block new_target = NULL;
428           bool new_target_threaded = false;
429
430           if (FORWARDER_BLOCK_P (target)
431               && target->succ->dest != EXIT_BLOCK_PTR)
432             {
433               /* Bypass trivial infinite loops.  */
434               if (target == target->succ->dest)
435                 counter = n_basic_blocks;
436               new_target = target->succ->dest;
437             }
438
439           /* Allow to thread only over one edge at time to simplify updating
440              of probabilities.  */
441           else if (mode & CLEANUP_THREADING)
442             {
443               edge t = thread_jump (mode, e, target);
444               if (t)
445                 {
446                   if (!threaded_edges)
447                     threaded_edges = xmalloc (sizeof (*threaded_edges)
448                                               * n_basic_blocks);
449                   else
450                     {
451                       int i;
452
453                       /* Detect an infinite loop across blocks not
454                          including the start block.  */
455                       for (i = 0; i < nthreaded_edges; ++i)
456                         if (threaded_edges[i] == t)
457                           break;
458                       if (i < nthreaded_edges)
459                         {
460                           counter = n_basic_blocks;
461                           break;
462                         }
463                     }
464
465                   /* Detect an infinite loop across the start block.  */
466                   if (t->dest == b)
467                     break;
468
469                   if (nthreaded_edges >= n_basic_blocks)
470                     abort ();
471                   threaded_edges[nthreaded_edges++] = t;
472
473                   new_target = t->dest;
474                   new_target_threaded = true;
475                 }
476             }
477
478           if (!new_target)
479             break;
480
481           /* Avoid killing of loop pre-headers, as it is the place loop
482              optimizer wants to hoist code to.
483
484              For fallthru forwarders, the LOOP_BEG note must appear between
485              the header of block and CODE_LABEL of the loop, for non forwarders
486              it must appear before the JUMP_INSN.  */
487           if (mode & CLEANUP_PRE_LOOP)
488             {
489               rtx insn = (target->succ->flags & EDGE_FALLTHRU
490                           ? target->head : prev_nonnote_insn (target->end));
491
492               if (GET_CODE (insn) != NOTE)
493                 insn = NEXT_INSN (insn);
494
495               for (; insn && GET_CODE (insn) != CODE_LABEL && !INSN_P (insn);
496                    insn = NEXT_INSN (insn))
497                 if (GET_CODE (insn) == NOTE
498                     && NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_BEG)
499                   break;
500
501               if (GET_CODE (insn) == NOTE)
502                 break;
503             }
504
505           counter++;
506           target = new_target;
507           threaded |= new_target_threaded;
508         }
509
510       if (counter >= n_basic_blocks)
511         {
512           if (rtl_dump_file)
513             fprintf (rtl_dump_file, "Infinite loop in BB %i.\n",
514                      target->index);
515         }
516       else if (target == first)
517         ; /* We didn't do anything.  */
518       else
519         {
520           /* Save the values now, as the edge may get removed.  */
521           gcov_type edge_count = e->count;
522           int edge_probability = e->probability;
523           int edge_frequency;
524           int n = 0;
525
526           /* Don't force if target is exit block.  */
527           if (threaded && target != EXIT_BLOCK_PTR)
528             {
529               notice_new_block (redirect_edge_and_branch_force (e, target));
530               if (rtl_dump_file)
531                 fprintf (rtl_dump_file, "Conditionals threaded.\n");
532             }
533           else if (!redirect_edge_and_branch (e, target))
534             {
535               if (rtl_dump_file)
536                 fprintf (rtl_dump_file,
537                          "Forwarding edge %i->%i to %i failed.\n",
538                          b->index, e->dest->index, target->index);
539               continue;
540             }
541
542           /* We successfully forwarded the edge.  Now update profile
543              data: for each edge we traversed in the chain, remove
544              the original edge's execution count.  */
545           edge_frequency = ((edge_probability * b->frequency
546                              + REG_BR_PROB_BASE / 2)
547                             / REG_BR_PROB_BASE);
548
549           if (!FORWARDER_BLOCK_P (b) && forwarder_block_p (b))
550             BB_SET_FLAG (b, BB_FORWARDER_BLOCK);
551
552           do
553             {
554               edge t;
555
556               first->count -= edge_count;
557               if (first->count < 0)
558                 first->count = 0;
559               first->frequency -= edge_frequency;
560               if (first->frequency < 0)
561                 first->frequency = 0;
562               if (first->succ->succ_next)
563                 {
564                   edge e;
565                   int prob;
566                   if (n >= nthreaded_edges)
567                     abort ();
568                   t = threaded_edges [n++];
569                   if (t->src != first)
570                     abort ();
571                   if (first->frequency)
572                     prob = edge_frequency * REG_BR_PROB_BASE / first->frequency;
573                   else
574                     prob = 0;
575                   if (prob > t->probability)
576                     prob = t->probability;
577                   t->probability -= prob;
578                   prob = REG_BR_PROB_BASE - prob;
579                   if (prob <= 0)
580                     {
581                       first->succ->probability = REG_BR_PROB_BASE;
582                       first->succ->succ_next->probability = 0;
583                     }
584                   else
585                     for (e = first->succ; e; e = e->succ_next)
586                       e->probability = ((e->probability * REG_BR_PROB_BASE)
587                                         / (double) prob);
588                   update_br_prob_note (first);
589                 }
590               else
591                 {
592                   /* It is possible that as the result of
593                      threading we've removed edge as it is
594                      threaded to the fallthru edge.  Avoid
595                      getting out of sync.  */
596                   if (n < nthreaded_edges
597                       && first == threaded_edges [n]->src)
598                     n++;
599                   t = first->succ;
600                  }
601
602               t->count -= edge_count;
603               if (t->count < 0)
604                 t->count = 0;
605               first = t->dest;
606             }
607           while (first != target);
608
609           changed = true;
610         }
611     }
612
613   if (threaded_edges)
614     free (threaded_edges);
615   return changed;
616 }
617 \f
618 /* Return true if LABEL is a target of JUMP_INSN.  This applies only
619    to non-complex jumps.  That is, direct unconditional, conditional,
620    and tablejumps, but not computed jumps or returns.  It also does
621    not apply to the fallthru case of a conditional jump.  */
622
623 static bool
624 label_is_jump_target_p (label, jump_insn)
625      rtx label, jump_insn;
626 {
627   rtx tmp = JUMP_LABEL (jump_insn);
628
629   if (label == tmp)
630     return true;
631
632   if (tmp != NULL_RTX
633       && (tmp = NEXT_INSN (tmp)) != NULL_RTX
634       && GET_CODE (tmp) == JUMP_INSN
635       && (tmp = PATTERN (tmp),
636           GET_CODE (tmp) == ADDR_VEC
637           || GET_CODE (tmp) == ADDR_DIFF_VEC))
638     {
639       rtvec vec = XVEC (tmp, GET_CODE (tmp) == ADDR_DIFF_VEC);
640       int i, veclen = GET_NUM_ELEM (vec);
641
642       for (i = 0; i < veclen; ++i)
643         if (XEXP (RTVEC_ELT (vec, i), 0) == label)
644           return true;
645     }
646
647   return false;
648 }
649
650 /* Return true if LABEL is used for tail recursion.  */
651
652 static bool
653 tail_recursion_label_p (label)
654      rtx label;
655 {
656   rtx x;
657
658   for (x = tail_recursion_label_list; x; x = XEXP (x, 1))
659     if (label == XEXP (x, 0))
660       return true;
661
662   return false;
663 }
664
665 /* Blocks A and B are to be merged into a single block.  A has no incoming
666    fallthru edge, so it can be moved before B without adding or modifying
667    any jumps (aside from the jump from A to B).  */
668
669 static void
670 merge_blocks_move_predecessor_nojumps (a, b)
671      basic_block a, b;
672 {
673   rtx barrier;
674   int index;
675
676   barrier = next_nonnote_insn (a->end);
677   if (GET_CODE (barrier) != BARRIER)
678     abort ();
679   delete_insn (barrier);
680
681   /* Move block and loop notes out of the chain so that we do not
682      disturb their order.
683
684      ??? A better solution would be to squeeze out all the non-nested notes
685      and adjust the block trees appropriately.   Even better would be to have
686      a tighter connection between block trees and rtl so that this is not
687      necessary.  */
688   if (squeeze_notes (&a->head, &a->end))
689     abort ();
690
691   /* Scramble the insn chain.  */
692   if (a->end != PREV_INSN (b->head))
693     reorder_insns_nobb (a->head, a->end, PREV_INSN (b->head));
694   a->flags |= BB_DIRTY;
695
696   if (rtl_dump_file)
697     fprintf (rtl_dump_file, "Moved block %d before %d and merged.\n",
698              a->index, b->index);
699
700   /* Swap the records for the two blocks around.  Although we are deleting B,
701      A is now where B was and we want to compact the BB array from where
702      A used to be.  */
703   BASIC_BLOCK (a->index) = b;
704   BASIC_BLOCK (b->index) = a;
705   index = a->index;
706   a->index = b->index;
707   b->index = index;
708
709   /* Now blocks A and B are contiguous.  Merge them.  */
710   merge_blocks_nomove (a, b);
711 }
712
713 /* Blocks A and B are to be merged into a single block.  B has no outgoing
714    fallthru edge, so it can be moved after A without adding or modifying
715    any jumps (aside from the jump from A to B).  */
716
717 static void
718 merge_blocks_move_successor_nojumps (a, b)
719      basic_block a, b;
720 {
721   rtx barrier, real_b_end;
722
723   real_b_end = b->end;
724   barrier = NEXT_INSN (b->end);
725
726   /* Recognize a jump table following block B.  */
727   if (barrier
728       && GET_CODE (barrier) == CODE_LABEL
729       && NEXT_INSN (barrier)
730       && GET_CODE (NEXT_INSN (barrier)) == JUMP_INSN
731       && (GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_VEC
732           || GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_DIFF_VEC))
733     {
734       /* Temporarily add the table jump insn to b, so that it will also
735          be moved to the correct location.  */
736       b->end = NEXT_INSN (barrier);
737       barrier = NEXT_INSN (b->end);
738     }
739
740   /* There had better have been a barrier there.  Delete it.  */
741   if (barrier && GET_CODE (barrier) == BARRIER)
742     delete_insn (barrier);
743
744   /* Move block and loop notes out of the chain so that we do not
745      disturb their order.
746
747      ??? A better solution would be to squeeze out all the non-nested notes
748      and adjust the block trees appropriately.   Even better would be to have
749      a tighter connection between block trees and rtl so that this is not
750      necessary.  */
751   if (squeeze_notes (&b->head, &b->end))
752     abort ();
753
754   /* Scramble the insn chain.  */
755   reorder_insns_nobb (b->head, b->end, a->end);
756
757   /* Restore the real end of b.  */
758   b->end = real_b_end;
759
760   /* Now blocks A and B are contiguous.  Merge them.  */
761   merge_blocks_nomove (a, b);
762
763   if (rtl_dump_file)
764     fprintf (rtl_dump_file, "Moved block %d after %d and merged.\n",
765              b->index, a->index);
766 }
767
768 /* Attempt to merge basic blocks that are potentially non-adjacent.
769    Return true iff the attempt succeeded.  */
770
771 static bool
772 merge_blocks (e, b, c, mode)
773      edge e;
774      basic_block b, c;
775      int mode;
776 {
777   /* If C has a tail recursion label, do not merge.  There is no
778      edge recorded from the call_placeholder back to this label, as
779      that would make optimize_sibling_and_tail_recursive_calls more
780      complex for no gain.  */
781   if ((mode & CLEANUP_PRE_SIBCALL)
782       && GET_CODE (c->head) == CODE_LABEL
783       && tail_recursion_label_p (c->head))
784     return false;
785
786   /* If B has a fallthru edge to C, no need to move anything.  */
787   if (e->flags & EDGE_FALLTHRU)
788     {
789       int b_index = b->index, c_index = c->index;
790       merge_blocks_nomove (b, c);
791       update_forwarder_flag (b);
792
793       if (rtl_dump_file)
794         fprintf (rtl_dump_file, "Merged %d and %d without moving.\n",
795                  b_index, c_index);
796
797       return true;
798     }
799
800   /* Otherwise we will need to move code around.  Do that only if expensive
801      transformations are allowed.  */
802   else if (mode & CLEANUP_EXPENSIVE)
803     {
804       edge tmp_edge, b_fallthru_edge;
805       bool c_has_outgoing_fallthru;
806       bool b_has_incoming_fallthru;
807
808       /* Avoid overactive code motion, as the forwarder blocks should be
809          eliminated by edge redirection instead.  One exception might have
810          been if B is a forwarder block and C has no fallthru edge, but
811          that should be cleaned up by bb-reorder instead.  */
812       if (FORWARDER_BLOCK_P (b) || FORWARDER_BLOCK_P (c))
813         return false;
814
815       /* We must make sure to not munge nesting of lexical blocks,
816          and loop notes.  This is done by squeezing out all the notes
817          and leaving them there to lie.  Not ideal, but functional.  */
818
819       for (tmp_edge = c->succ; tmp_edge; tmp_edge = tmp_edge->succ_next)
820         if (tmp_edge->flags & EDGE_FALLTHRU)
821           break;
822
823       c_has_outgoing_fallthru = (tmp_edge != NULL);
824
825       for (tmp_edge = b->pred; tmp_edge; tmp_edge = tmp_edge->pred_next)
826         if (tmp_edge->flags & EDGE_FALLTHRU)
827           break;
828
829       b_has_incoming_fallthru = (tmp_edge != NULL);
830       b_fallthru_edge = tmp_edge;
831
832       /* Otherwise, we're going to try to move C after B.  If C does
833          not have an outgoing fallthru, then it can be moved
834          immediately after B without introducing or modifying jumps.  */
835       if (! c_has_outgoing_fallthru)
836         {
837           merge_blocks_move_successor_nojumps (b, c);
838           return true;
839         }
840
841       /* If B does not have an incoming fallthru, then it can be moved
842          immediately before C without introducing or modifying jumps.
843          C cannot be the first block, so we do not have to worry about
844          accessing a non-existent block.  */
845
846       if (b_has_incoming_fallthru)
847         {
848           basic_block bb;
849
850           if (b_fallthru_edge->src == ENTRY_BLOCK_PTR)
851             return false;
852           bb = force_nonfallthru (b_fallthru_edge);
853           if (bb)
854             notice_new_block (bb);
855         }
856
857       merge_blocks_move_predecessor_nojumps (b, c);
858       return true;
859     }
860
861   return false;
862 }
863 \f
864
865 /* Return true if I1 and I2 are equivalent and thus can be crossjumped.  */
866
867 static bool
868 insns_match_p (mode, i1, i2)
869         int mode ATTRIBUTE_UNUSED;
870         rtx i1, i2;
871 {
872   rtx p1, p2;
873
874   /* Verify that I1 and I2 are equivalent.  */
875   if (GET_CODE (i1) != GET_CODE (i2))
876     return false;
877
878   p1 = PATTERN (i1);
879   p2 = PATTERN (i2);
880
881   if (GET_CODE (p1) != GET_CODE (p2))
882     return false;
883
884   /* If this is a CALL_INSN, compare register usage information.
885      If we don't check this on stack register machines, the two
886      CALL_INSNs might be merged leaving reg-stack.c with mismatching
887      numbers of stack registers in the same basic block.
888      If we don't check this on machines with delay slots, a delay slot may
889      be filled that clobbers a parameter expected by the subroutine.
890
891      ??? We take the simple route for now and assume that if they're
892      equal, they were constructed identically.  */
893
894   if (GET_CODE (i1) == CALL_INSN
895       && !rtx_equal_p (CALL_INSN_FUNCTION_USAGE (i1),
896                        CALL_INSN_FUNCTION_USAGE (i2)))
897     return false;
898
899 #ifdef STACK_REGS
900   /* If cross_jump_death_matters is not 0, the insn's mode
901      indicates whether or not the insn contains any stack-like
902      regs.  */
903
904   if ((mode & CLEANUP_POST_REGSTACK) && stack_regs_mentioned (i1))
905     {
906       /* If register stack conversion has already been done, then
907          death notes must also be compared before it is certain that
908          the two instruction streams match.  */
909
910       rtx note;
911       HARD_REG_SET i1_regset, i2_regset;
912
913       CLEAR_HARD_REG_SET (i1_regset);
914       CLEAR_HARD_REG_SET (i2_regset);
915
916       for (note = REG_NOTES (i1); note; note = XEXP (note, 1))
917         if (REG_NOTE_KIND (note) == REG_DEAD && STACK_REG_P (XEXP (note, 0)))
918           SET_HARD_REG_BIT (i1_regset, REGNO (XEXP (note, 0)));
919
920       for (note = REG_NOTES (i2); note; note = XEXP (note, 1))
921         if (REG_NOTE_KIND (note) == REG_DEAD && STACK_REG_P (XEXP (note, 0)))
922           SET_HARD_REG_BIT (i2_regset, REGNO (XEXP (note, 0)));
923
924       GO_IF_HARD_REG_EQUAL (i1_regset, i2_regset, done);
925
926       return false;
927
928     done:
929       ;
930     }
931 #endif
932
933   if (reload_completed
934       ? ! rtx_renumbered_equal_p (p1, p2) : ! rtx_equal_p (p1, p2))
935     {
936       /* The following code helps take care of G++ cleanups.  */
937       rtx equiv1 = find_reg_equal_equiv_note (i1);
938       rtx equiv2 = find_reg_equal_equiv_note (i2);
939
940       if (equiv1 && equiv2
941           /* If the equivalences are not to a constant, they may
942              reference pseudos that no longer exist, so we can't
943              use them.  */
944           && (! reload_completed
945               || (CONSTANT_P (XEXP (equiv1, 0))
946                   && rtx_equal_p (XEXP (equiv1, 0), XEXP (equiv2, 0)))))
947         {
948           rtx s1 = single_set (i1);
949           rtx s2 = single_set (i2);
950           if (s1 != 0 && s2 != 0
951               && rtx_renumbered_equal_p (SET_DEST (s1), SET_DEST (s2)))
952             {
953               validate_change (i1, &SET_SRC (s1), XEXP (equiv1, 0), 1);
954               validate_change (i2, &SET_SRC (s2), XEXP (equiv2, 0), 1);
955               if (! rtx_renumbered_equal_p (p1, p2))
956                 cancel_changes (0);
957               else if (apply_change_group ())
958                 return true;
959             }
960         }
961
962       return false;
963     }
964
965   return true;
966 }
967 \f
968 /* Look through the insns at the end of BB1 and BB2 and find the longest
969    sequence that are equivalent.  Store the first insns for that sequence
970    in *F1 and *F2 and return the sequence length.
971
972    To simplify callers of this function, if the blocks match exactly,
973    store the head of the blocks in *F1 and *F2.  */
974
975 static int
976 flow_find_cross_jump (mode, bb1, bb2, f1, f2)
977      int mode ATTRIBUTE_UNUSED;
978      basic_block bb1, bb2;
979      rtx *f1, *f2;
980 {
981   rtx i1, i2, last1, last2, afterlast1, afterlast2;
982   int ninsns = 0;
983
984   /* Skip simple jumps at the end of the blocks.  Complex jumps still
985      need to be compared for equivalence, which we'll do below.  */
986
987   i1 = bb1->end;
988   last1 = afterlast1 = last2 = afterlast2 = NULL_RTX;
989   if (onlyjump_p (i1)
990       || (returnjump_p (i1) && !side_effects_p (PATTERN (i1))))
991     {
992       last1 = i1;
993       i1 = PREV_INSN (i1);
994     }
995
996   i2 = bb2->end;
997   if (onlyjump_p (i2)
998       || (returnjump_p (i2) && !side_effects_p (PATTERN (i2))))
999     {
1000       last2 = i2;
1001       /* Count everything except for unconditional jump as insn.  */
1002       if (!simplejump_p (i2) && !returnjump_p (i2) && last1)
1003         ninsns++;
1004       i2 = PREV_INSN (i2);
1005     }
1006
1007   while (true)
1008     {
1009       /* Ignore notes.  */
1010       while (!active_insn_p (i1) && i1 != bb1->head)
1011         i1 = PREV_INSN (i1);
1012
1013       while (!active_insn_p (i2) && i2 != bb2->head)
1014         i2 = PREV_INSN (i2);
1015
1016       if (i1 == bb1->head || i2 == bb2->head)
1017         break;
1018
1019       if (!insns_match_p (mode, i1, i2))
1020         break;
1021
1022       /* Don't begin a cross-jump with a USE or CLOBBER insn.  */
1023       if (active_insn_p (i1))
1024         {
1025           /* If the merged insns have different REG_EQUAL notes, then
1026              remove them.  */
1027           rtx equiv1 = find_reg_equal_equiv_note (i1);
1028           rtx equiv2 = find_reg_equal_equiv_note (i2);
1029
1030           if (equiv1 && !equiv2)
1031             remove_note (i1, equiv1);
1032           else if (!equiv1 && equiv2)
1033             remove_note (i2, equiv2);
1034           else if (equiv1 && equiv2
1035                    && !rtx_equal_p (XEXP (equiv1, 0), XEXP (equiv2, 0)))
1036             {
1037               remove_note (i1, equiv1);
1038               remove_note (i2, equiv2);
1039             }
1040              
1041           afterlast1 = last1, afterlast2 = last2;
1042           last1 = i1, last2 = i2;
1043           ninsns++;
1044         }
1045
1046       i1 = PREV_INSN (i1);
1047       i2 = PREV_INSN (i2);
1048     }
1049
1050 #ifdef HAVE_cc0
1051   /* Don't allow the insn after a compare to be shared by
1052      cross-jumping unless the compare is also shared.  */
1053   if (ninsns && reg_mentioned_p (cc0_rtx, last1) && ! sets_cc0_p (last1))
1054     last1 = afterlast1, last2 = afterlast2, ninsns--;
1055 #endif
1056
1057   /* Include preceding notes and labels in the cross-jump.  One,
1058      this may bring us to the head of the blocks as requested above.
1059      Two, it keeps line number notes as matched as may be.  */
1060   if (ninsns)
1061     {
1062       while (last1 != bb1->head && !active_insn_p (PREV_INSN (last1)))
1063         last1 = PREV_INSN (last1);
1064
1065       if (last1 != bb1->head && GET_CODE (PREV_INSN (last1)) == CODE_LABEL)
1066         last1 = PREV_INSN (last1);
1067
1068       while (last2 != bb2->head && !active_insn_p (PREV_INSN (last2)))
1069         last2 = PREV_INSN (last2);
1070
1071       if (last2 != bb2->head && GET_CODE (PREV_INSN (last2)) == CODE_LABEL)
1072         last2 = PREV_INSN (last2);
1073
1074       *f1 = last1;
1075       *f2 = last2;
1076     }
1077
1078   return ninsns;
1079 }
1080
1081 /* Return true iff outgoing edges of BB1 and BB2 match, together with
1082    the branch instruction.  This means that if we commonize the control
1083    flow before end of the basic block, the semantic remains unchanged.
1084
1085    We may assume that there exists one edge with a common destination.  */
1086
1087 static bool
1088 outgoing_edges_match (mode, bb1, bb2)
1089      int mode;
1090      basic_block bb1;
1091      basic_block bb2;
1092 {
1093   int nehedges1 = 0, nehedges2 = 0;
1094   edge fallthru1 = 0, fallthru2 = 0;
1095   edge e1, e2;
1096
1097   /* If BB1 has only one successor, we may be looking at either an
1098      unconditional jump, or a fake edge to exit.  */
1099   if (bb1->succ && !bb1->succ->succ_next
1100       && !(bb1->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)))
1101     return (bb2->succ &&  !bb2->succ->succ_next
1102             && (bb2->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)) == 0);
1103
1104   /* Match conditional jumps - this may get tricky when fallthru and branch
1105      edges are crossed.  */
1106   if (bb1->succ
1107       && bb1->succ->succ_next
1108       && !bb1->succ->succ_next->succ_next
1109       && any_condjump_p (bb1->end)
1110       && onlyjump_p (bb1->end))
1111     {
1112       edge b1, f1, b2, f2;
1113       bool reverse, match;
1114       rtx set1, set2, cond1, cond2;
1115       enum rtx_code code1, code2;
1116
1117       if (!bb2->succ
1118           || !bb2->succ->succ_next
1119           || bb2->succ->succ_next->succ_next
1120           || !any_condjump_p (bb2->end)
1121           || !onlyjump_p (bb2->end))
1122         return false;
1123
1124       /* Do not crossjump across loop boundaries.  This is a temporary
1125          workaround for the common scenario in which crossjumping results
1126          in killing the duplicated loop condition, making bb-reorder rotate
1127          the loop incorectly, leaving an extra unconditional jump inside
1128          the loop.
1129
1130          This check should go away once bb-reorder knows how to duplicate
1131          code in this case or rotate the loops to avoid this scenario.  */
1132       if (bb1->loop_depth != bb2->loop_depth)
1133         return false;
1134
1135       b1 = BRANCH_EDGE (bb1);
1136       b2 = BRANCH_EDGE (bb2);
1137       f1 = FALLTHRU_EDGE (bb1);
1138       f2 = FALLTHRU_EDGE (bb2);
1139
1140       /* Get around possible forwarders on fallthru edges.  Other cases
1141          should be optimized out already.  */
1142       if (FORWARDER_BLOCK_P (f1->dest))
1143         f1 = f1->dest->succ;
1144
1145       if (FORWARDER_BLOCK_P (f2->dest))
1146         f2 = f2->dest->succ;
1147
1148       /* To simplify use of this function, return false if there are
1149          unneeded forwarder blocks.  These will get eliminated later
1150          during cleanup_cfg.  */
1151       if (FORWARDER_BLOCK_P (f1->dest)
1152           || FORWARDER_BLOCK_P (f2->dest)
1153           || FORWARDER_BLOCK_P (b1->dest)
1154           || FORWARDER_BLOCK_P (b2->dest))
1155         return false;
1156
1157       if (f1->dest == f2->dest && b1->dest == b2->dest)
1158         reverse = false;
1159       else if (f1->dest == b2->dest && b1->dest == f2->dest)
1160         reverse = true;
1161       else
1162         return false;
1163
1164       set1 = pc_set (bb1->end);
1165       set2 = pc_set (bb2->end);
1166       if ((XEXP (SET_SRC (set1), 1) == pc_rtx)
1167           != (XEXP (SET_SRC (set2), 1) == pc_rtx))
1168         reverse = !reverse;
1169
1170       cond1 = XEXP (SET_SRC (set1), 0);
1171       cond2 = XEXP (SET_SRC (set2), 0);
1172       code1 = GET_CODE (cond1);
1173       if (reverse)
1174         code2 = reversed_comparison_code (cond2, bb2->end);
1175       else
1176         code2 = GET_CODE (cond2);
1177
1178       if (code2 == UNKNOWN)
1179         return false;
1180
1181       /* Verify codes and operands match.  */
1182       match = ((code1 == code2
1183                 && rtx_renumbered_equal_p (XEXP (cond1, 0), XEXP (cond2, 0))
1184                 && rtx_renumbered_equal_p (XEXP (cond1, 1), XEXP (cond2, 1)))
1185                || (code1 == swap_condition (code2)
1186                    && rtx_renumbered_equal_p (XEXP (cond1, 1),
1187                                               XEXP (cond2, 0))
1188                    && rtx_renumbered_equal_p (XEXP (cond1, 0),
1189                                               XEXP (cond2, 1))));
1190
1191       /* If we return true, we will join the blocks.  Which means that
1192          we will only have one branch prediction bit to work with.  Thus
1193          we require the existing branches to have probabilities that are
1194          roughly similar.  */
1195       if (match
1196           && !optimize_size
1197           && bb1->frequency > BB_FREQ_MAX / 1000
1198           && bb2->frequency > BB_FREQ_MAX / 1000)
1199         {
1200           int prob2;
1201
1202           if (b1->dest == b2->dest)
1203             prob2 = b2->probability;
1204           else
1205             /* Do not use f2 probability as f2 may be forwarded.  */
1206             prob2 = REG_BR_PROB_BASE - b2->probability;
1207
1208           /* Fail if the difference in probabilities is greater than 50%.
1209              This rules out two well-predicted branches with opposite
1210              outcomes.  */
1211           if (abs (b1->probability - prob2) > REG_BR_PROB_BASE / 2)
1212             {
1213               if (rtl_dump_file)
1214                 fprintf (rtl_dump_file,
1215                          "Outcomes of branch in bb %i and %i differs to much (%i %i)\n",
1216                          bb1->index, bb2->index, b1->probability, prob2);
1217
1218               return false;
1219             }
1220         }
1221
1222       if (rtl_dump_file && match)
1223         fprintf (rtl_dump_file, "Conditionals in bb %i and %i match.\n",
1224                  bb1->index, bb2->index);
1225
1226       return match;
1227     }
1228
1229   /* Generic case - we are seeing an computed jump, table jump or trapping
1230      instruction.  */
1231
1232   /* First ensure that the instructions match.  There may be many outgoing
1233      edges so this test is generally cheaper.
1234      ??? Currently the tablejumps will never match, as they do have
1235      different tables.  */
1236   if (!insns_match_p (mode, bb1->end, bb2->end))
1237     return false;
1238
1239   /* Search the outgoing edges, ensure that the counts do match, find possible
1240      fallthru and exception handling edges since these needs more
1241      validation.  */
1242   for (e1 = bb1->succ, e2 = bb2->succ; e1 && e2;
1243        e1 = e1->succ_next, e2 = e2->succ_next)
1244     {
1245       if (e1->flags & EDGE_EH)
1246         nehedges1++;
1247
1248       if (e2->flags & EDGE_EH)
1249         nehedges2++;
1250
1251       if (e1->flags & EDGE_FALLTHRU)
1252         fallthru1 = e1;
1253       if (e2->flags & EDGE_FALLTHRU)
1254         fallthru2 = e2;
1255     }
1256
1257   /* If number of edges of various types does not match, fail.  */
1258   if (e1 || e2
1259       || nehedges1 != nehedges2
1260       || (fallthru1 != 0) != (fallthru2 != 0))
1261     return false;
1262
1263   /* fallthru edges must be forwarded to the same destination.  */
1264   if (fallthru1)
1265     {
1266       basic_block d1 = (forwarder_block_p (fallthru1->dest)
1267                         ? fallthru1->dest->succ->dest: fallthru1->dest);
1268       basic_block d2 = (forwarder_block_p (fallthru2->dest)
1269                         ? fallthru2->dest->succ->dest: fallthru2->dest);
1270
1271       if (d1 != d2)
1272         return false;
1273     }
1274
1275   /* In case we do have EH edges, ensure we are in the same region.  */
1276   if (nehedges1)
1277     {
1278       rtx n1 = find_reg_note (bb1->end, REG_EH_REGION, 0);
1279       rtx n2 = find_reg_note (bb2->end, REG_EH_REGION, 0);
1280
1281       if (XEXP (n1, 0) != XEXP (n2, 0))
1282         return false;
1283     }
1284
1285   /* We don't need to match the rest of edges as above checks should be enought
1286      to ensure that they are equivalent.  */
1287   return true;
1288 }
1289
1290 /* E1 and E2 are edges with the same destination block.  Search their
1291    predecessors for common code.  If found, redirect control flow from
1292    (maybe the middle of) E1->SRC to (maybe the middle of) E2->SRC.  */
1293
1294 static bool
1295 try_crossjump_to_edge (mode, e1, e2)
1296      int mode;
1297      edge e1, e2;
1298 {
1299   int nmatch;
1300   basic_block src1 = e1->src, src2 = e2->src;
1301   basic_block redirect_to;
1302   rtx newpos1, newpos2;
1303   edge s;
1304   rtx last;
1305   rtx label;
1306
1307   /* Search backward through forwarder blocks.  We don't need to worry
1308      about multiple entry or chained forwarders, as they will be optimized
1309      away.  We do this to look past the unconditional jump following a
1310      conditional jump that is required due to the current CFG shape.  */
1311   if (src1->pred
1312       && !src1->pred->pred_next
1313       && FORWARDER_BLOCK_P (src1))
1314     e1 = src1->pred, src1 = e1->src;
1315
1316   if (src2->pred
1317       && !src2->pred->pred_next
1318       && FORWARDER_BLOCK_P (src2))
1319     e2 = src2->pred, src2 = e2->src;
1320
1321   /* Nothing to do if we reach ENTRY, or a common source block.  */
1322   if (src1 == ENTRY_BLOCK_PTR || src2 == ENTRY_BLOCK_PTR)
1323     return false;
1324   if (src1 == src2)
1325     return false;
1326
1327   /* Seeing more than 1 forwarder blocks would confuse us later...  */
1328   if (FORWARDER_BLOCK_P (e1->dest)
1329       && FORWARDER_BLOCK_P (e1->dest->succ->dest))
1330     return false;
1331
1332   if (FORWARDER_BLOCK_P (e2->dest)
1333       && FORWARDER_BLOCK_P (e2->dest->succ->dest))
1334     return false;
1335
1336   /* Likewise with dead code (possibly newly created by the other optimizations
1337      of cfg_cleanup).  */
1338   if (!src1->pred || !src2->pred)
1339     return false;
1340
1341   /* Look for the common insn sequence, part the first ...  */
1342   if (!outgoing_edges_match (mode, src1, src2))
1343     return false;
1344
1345   /* ... and part the second.  */
1346   nmatch = flow_find_cross_jump (mode, src1, src2, &newpos1, &newpos2);
1347   if (!nmatch)
1348     return false;
1349
1350   /* Avoid splitting if possible.  */
1351   if (newpos2 == src2->head)
1352     redirect_to = src2;
1353   else
1354     {
1355       if (rtl_dump_file)
1356         fprintf (rtl_dump_file, "Splitting bb %i before %i insns\n",
1357                  src2->index, nmatch);
1358       redirect_to = split_block (src2, PREV_INSN (newpos2))->dest;
1359     }
1360
1361   if (rtl_dump_file)
1362     fprintf (rtl_dump_file,
1363              "Cross jumping from bb %i to bb %i; %i common insns\n",
1364              src1->index, src2->index, nmatch);
1365
1366   redirect_to->count += src1->count;
1367   redirect_to->frequency += src1->frequency;
1368   /* We may have some registers visible trought the block.  */
1369   redirect_to->flags |= BB_DIRTY;
1370
1371   /* Recompute the frequencies and counts of outgoing edges.  */
1372   for (s = redirect_to->succ; s; s = s->succ_next)
1373     {
1374       edge s2;
1375       basic_block d = s->dest;
1376
1377       if (FORWARDER_BLOCK_P (d))
1378         d = d->succ->dest;
1379
1380       for (s2 = src1->succ; ; s2 = s2->succ_next)
1381         {
1382           basic_block d2 = s2->dest;
1383           if (FORWARDER_BLOCK_P (d2))
1384             d2 = d2->succ->dest;
1385           if (d == d2)
1386             break;
1387         }
1388
1389       s->count += s2->count;
1390
1391       /* Take care to update possible forwarder blocks.  We verified
1392          that there is no more than one in the chain, so we can't run
1393          into infinite loop.  */
1394       if (FORWARDER_BLOCK_P (s->dest))
1395         {
1396           s->dest->succ->count += s2->count;
1397           s->dest->count += s2->count;
1398           s->dest->frequency += EDGE_FREQUENCY (s);
1399         }
1400
1401       if (FORWARDER_BLOCK_P (s2->dest))
1402         {
1403           s2->dest->succ->count -= s2->count;
1404           if (s2->dest->succ->count < 0)
1405             s2->dest->succ->count = 0;
1406           s2->dest->count -= s2->count;
1407           s2->dest->frequency -= EDGE_FREQUENCY (s);
1408           if (s2->dest->frequency < 0)
1409             s2->dest->frequency = 0;
1410           if (s2->dest->count < 0)
1411             s2->dest->count = 0;
1412         }
1413
1414       if (!redirect_to->frequency && !src1->frequency)
1415         s->probability = (s->probability + s2->probability) / 2;
1416       else
1417         s->probability
1418           = ((s->probability * redirect_to->frequency +
1419               s2->probability * src1->frequency)
1420              / (redirect_to->frequency + src1->frequency));
1421     }
1422
1423   update_br_prob_note (redirect_to);
1424
1425   /* Edit SRC1 to go to REDIRECT_TO at NEWPOS1.  */
1426
1427   /* Skip possible basic block header.  */
1428   if (GET_CODE (newpos1) == CODE_LABEL)
1429     newpos1 = NEXT_INSN (newpos1);
1430
1431   if (GET_CODE (newpos1) == NOTE)
1432     newpos1 = NEXT_INSN (newpos1);
1433   last = src1->end;
1434
1435   /* Emit the jump insn.  */
1436   label = block_label (redirect_to);
1437   emit_jump_insn_after (gen_jump (label), src1->end);
1438   JUMP_LABEL (src1->end) = label;
1439   LABEL_NUSES (label)++;
1440
1441   /* Delete the now unreachable instructions.  */
1442   delete_insn_chain (newpos1, last);
1443
1444   /* Make sure there is a barrier after the new jump.  */
1445   last = next_nonnote_insn (src1->end);
1446   if (!last || GET_CODE (last) != BARRIER)
1447     emit_barrier_after (src1->end);
1448
1449   /* Update CFG.  */
1450   while (src1->succ)
1451     remove_edge (src1->succ);
1452   make_single_succ_edge (src1, redirect_to, 0);
1453
1454   update_forwarder_flag (src1);
1455
1456   return true;
1457 }
1458
1459 /* Search the predecessors of BB for common insn sequences.  When found,
1460    share code between them by redirecting control flow.  Return true if
1461    any changes made.  */
1462
1463 static bool
1464 try_crossjump_bb (mode, bb)
1465      int mode;
1466      basic_block bb;
1467 {
1468   edge e, e2, nexte2, nexte, fallthru;
1469   bool changed;
1470
1471   /* Nothing to do if there is not at least two incoming edges.  */
1472   if (!bb->pred || !bb->pred->pred_next)
1473     return false;
1474
1475   /* It is always cheapest to redirect a block that ends in a branch to
1476      a block that falls through into BB, as that adds no branches to the
1477      program.  We'll try that combination first.  */
1478   for (fallthru = bb->pred; fallthru; fallthru = fallthru->pred_next)
1479     if (fallthru->flags & EDGE_FALLTHRU)
1480       break;
1481
1482   changed = false;
1483   for (e = bb->pred; e; e = nexte)
1484     {
1485       nexte = e->pred_next;
1486
1487       /* As noted above, first try with the fallthru predecessor.  */
1488       if (fallthru)
1489         {
1490           /* Don't combine the fallthru edge into anything else.
1491              If there is a match, we'll do it the other way around.  */
1492           if (e == fallthru)
1493             continue;
1494
1495           if (try_crossjump_to_edge (mode, e, fallthru))
1496             {
1497               changed = true;
1498               nexte = bb->pred;
1499               continue;
1500             }
1501         }
1502
1503       /* Non-obvious work limiting check: Recognize that we're going
1504          to call try_crossjump_bb on every basic block.  So if we have
1505          two blocks with lots of outgoing edges (a switch) and they
1506          share lots of common destinations, then we would do the
1507          cross-jump check once for each common destination.
1508
1509          Now, if the blocks actually are cross-jump candidates, then
1510          all of their destinations will be shared.  Which means that
1511          we only need check them for cross-jump candidacy once.  We
1512          can eliminate redundant checks of crossjump(A,B) by arbitrarily
1513          choosing to do the check from the block for which the edge
1514          in question is the first successor of A.  */
1515       if (e->src->succ != e)
1516         continue;
1517
1518       for (e2 = bb->pred; e2; e2 = nexte2)
1519         {
1520           nexte2 = e2->pred_next;
1521
1522           if (e2 == e)
1523             continue;
1524
1525           /* We've already checked the fallthru edge above.  */
1526           if (e2 == fallthru)
1527             continue;
1528
1529           /* The "first successor" check above only prevents multiple
1530              checks of crossjump(A,B).  In order to prevent redundant
1531              checks of crossjump(B,A), require that A be the block
1532              with the lowest index.  */
1533           if (e->src->index > e2->src->index)
1534             continue;
1535
1536           if (try_crossjump_to_edge (mode, e, e2))
1537             {
1538               changed = true;
1539               nexte = bb->pred;
1540               break;
1541             }
1542         }
1543     }
1544
1545   return changed;
1546 }
1547
1548 /* Do simple CFG optimizations - basic block merging, simplifying of jump
1549    instructions etc.  Return nonzero if changes were made.  */
1550
1551 static bool
1552 try_optimize_cfg (mode)
1553      int mode;
1554 {
1555   int i;
1556   bool changed_overall = false;
1557   bool changed;
1558   int iterations = 0;
1559
1560   if (mode & CLEANUP_CROSSJUMP)
1561     add_noreturn_fake_exit_edges ();
1562
1563   for (i = 0; i < n_basic_blocks; i++)
1564     update_forwarder_flag (BASIC_BLOCK (i));
1565
1566   if (mode & CLEANUP_UPDATE_LIFE)
1567     clear_bb_flags ();
1568
1569   if (! (* targetm.cannot_modify_jumps_p) ())
1570     {
1571       /* Attempt to merge blocks as made possible by edge removal.  If
1572          a block has only one successor, and the successor has only
1573          one predecessor, they may be combined.  */
1574       do
1575         {
1576           changed = false;
1577           iterations++;
1578
1579           if (rtl_dump_file)
1580             fprintf (rtl_dump_file,
1581                      "\n\ntry_optimize_cfg iteration %i\n\n",
1582                      iterations);
1583
1584           for (i = 0; i < n_basic_blocks;)
1585             {
1586               basic_block c, b = BASIC_BLOCK (i);
1587               edge s;
1588               bool changed_here = false;
1589
1590               /* Delete trivially dead basic blocks.  */
1591               while (b->pred == NULL)
1592                 {
1593                   c = BASIC_BLOCK (b->index - 1);
1594                   if (rtl_dump_file)
1595                     fprintf (rtl_dump_file, "Deleting block %i.\n",
1596                              b->index);
1597
1598                   flow_delete_block (b);
1599                   changed = true;
1600                   b = c;
1601                 }
1602
1603               /* Remove code labels no longer used.  Don't do this
1604                  before CALL_PLACEHOLDER is removed, as some branches
1605                  may be hidden within.  */
1606               if (b->pred->pred_next == NULL
1607                   && (b->pred->flags & EDGE_FALLTHRU)
1608                   && !(b->pred->flags & EDGE_COMPLEX)
1609                   && GET_CODE (b->head) == CODE_LABEL
1610                   && (!(mode & CLEANUP_PRE_SIBCALL)
1611                       || !tail_recursion_label_p (b->head))
1612                   /* If the previous block ends with a branch to this
1613                      block, we can't delete the label.  Normally this
1614                      is a condjump that is yet to be simplified, but
1615                      if CASE_DROPS_THRU, this can be a tablejump with
1616                      some element going to the same place as the
1617                      default (fallthru).  */
1618                   && (b->pred->src == ENTRY_BLOCK_PTR
1619                       || GET_CODE (b->pred->src->end) != JUMP_INSN
1620                       || ! label_is_jump_target_p (b->head,
1621                                                    b->pred->src->end)))
1622                 {
1623                   rtx label = b->head;
1624
1625                   b->head = NEXT_INSN (b->head);
1626                   delete_insn_chain (label, label);
1627                   if (rtl_dump_file)
1628                     fprintf (rtl_dump_file, "Deleted label in block %i.\n",
1629                              b->index);
1630                 }
1631
1632               /* If we fall through an empty block, we can remove it.  */
1633               if (b->pred->pred_next == NULL
1634                   && (b->pred->flags & EDGE_FALLTHRU)
1635                   && GET_CODE (b->head) != CODE_LABEL
1636                   && FORWARDER_BLOCK_P (b)
1637                   /* Note that forwarder_block_p true ensures that
1638                      there is a successor for this block.  */
1639                   && (b->succ->flags & EDGE_FALLTHRU)
1640                   && n_basic_blocks > 1)
1641                 {
1642                   if (rtl_dump_file)
1643                     fprintf (rtl_dump_file,
1644                              "Deleting fallthru block %i.\n",
1645                              b->index);
1646
1647                   c = BASIC_BLOCK (b->index ? b->index - 1 : 1);
1648                   redirect_edge_succ_nodup (b->pred, b->succ->dest);
1649                   flow_delete_block (b);
1650                   changed = true;
1651                   b = c;
1652                 }
1653
1654               /* Merge blocks.  Loop because chains of blocks might be
1655                  combineable.  */
1656               while ((s = b->succ) != NULL
1657                      && s->succ_next == NULL
1658                      && !(s->flags & EDGE_COMPLEX)
1659                      && (c = s->dest) != EXIT_BLOCK_PTR
1660                      && c->pred->pred_next == NULL
1661                      /* If the jump insn has side effects,
1662                         we can't kill the edge.  */
1663                      && (GET_CODE (b->end) != JUMP_INSN
1664                          || onlyjump_p (b->end))
1665                      && merge_blocks (s, b, c, mode))
1666                 changed_here = true;
1667
1668               /* Simplify branch over branch.  */
1669               if ((mode & CLEANUP_EXPENSIVE) && try_simplify_condjump (b))
1670                 changed_here = true;
1671
1672               /* If B has a single outgoing edge, but uses a
1673                  non-trivial jump instruction without side-effects, we
1674                  can either delete the jump entirely, or replace it
1675                  with a simple unconditional jump.  Use
1676                  redirect_edge_and_branch to do the dirty work.  */
1677               if (b->succ
1678                   && ! b->succ->succ_next
1679                   && b->succ->dest != EXIT_BLOCK_PTR
1680                   && onlyjump_p (b->end)
1681                   && redirect_edge_and_branch (b->succ, b->succ->dest))
1682                 {
1683                   update_forwarder_flag (b);
1684                   changed_here = true;
1685                 }
1686
1687               /* Simplify branch to branch.  */
1688               if (try_forward_edges (mode, b))
1689                 changed_here = true;
1690
1691               /* Look for shared code between blocks.  */
1692               if ((mode & CLEANUP_CROSSJUMP)
1693                   && try_crossjump_bb (mode, b))
1694                 changed_here = true;
1695
1696               /* Don't get confused by the index shift caused by
1697                  deleting blocks.  */
1698               if (!changed_here)
1699                 i = b->index + 1;
1700               else
1701                 changed = true;
1702             }
1703
1704           if ((mode & CLEANUP_CROSSJUMP)
1705               && try_crossjump_bb (mode, EXIT_BLOCK_PTR))
1706             changed = true;
1707
1708 #ifdef ENABLE_CHECKING
1709           if (changed)
1710             verify_flow_info ();
1711 #endif
1712
1713           changed_overall |= changed;
1714         }
1715       while (changed);
1716     }
1717
1718   if (mode & CLEANUP_CROSSJUMP)
1719     remove_fake_edges ();
1720
1721   for (i = 0; i < n_basic_blocks; i++)
1722     BASIC_BLOCK (i)->aux = NULL;
1723
1724   return changed_overall;
1725 }
1726 \f
1727 /* Delete all unreachable basic blocks.  */
1728
1729 static bool
1730 delete_unreachable_blocks ()
1731 {
1732   int i;
1733   bool changed = false;
1734
1735   find_unreachable_blocks ();
1736
1737   /* Delete all unreachable basic blocks.  Count down so that we
1738      don't interfere with the block renumbering that happens in
1739      flow_delete_block.  */
1740
1741   for (i = n_basic_blocks - 1; i >= 0; --i)
1742     {
1743       basic_block b = BASIC_BLOCK (i);
1744
1745       if (!(b->flags & BB_REACHABLE))
1746         flow_delete_block (b), changed = true;
1747     }
1748
1749   if (changed)
1750     tidy_fallthru_edges ();
1751   return changed;
1752 }
1753 \f
1754 /* Tidy the CFG by deleting unreachable code and whatnot.  */
1755
1756 bool
1757 cleanup_cfg (mode)
1758      int mode;
1759 {
1760   bool changed = false;
1761
1762   timevar_push (TV_CLEANUP_CFG);
1763   if (delete_unreachable_blocks ())
1764     {
1765       changed = true;
1766       /* We've possibly created trivially dead code.  Cleanup it right
1767          now to introduce more oppurtunities for try_optimize_cfg.  */
1768       if (!(mode & (CLEANUP_UPDATE_LIFE | CLEANUP_PRE_SIBCALL))
1769           && !reload_completed)
1770         delete_trivially_dead_insns (get_insns(), max_reg_num ());
1771     }
1772   while (try_optimize_cfg (mode))
1773     {
1774       delete_unreachable_blocks (), changed = true;
1775       if (mode & CLEANUP_UPDATE_LIFE)
1776         {
1777           /* Cleaning up CFG introduces more oppurtunities for dead code
1778              removal that in turn may introduce more oppurtunities for
1779              cleaning up the CFG.  */
1780           if (!update_life_info_in_dirty_blocks (UPDATE_LIFE_GLOBAL_RM_NOTES,
1781                                                  PROP_DEATH_NOTES
1782                                                  | PROP_SCAN_DEAD_CODE
1783                                                  | PROP_KILL_DEAD_CODE
1784                                                  | PROP_LOG_LINKS))
1785             break;
1786         }
1787       else if (!(mode & CLEANUP_PRE_SIBCALL) && !reload_completed)
1788         {
1789           if (!delete_trivially_dead_insns (get_insns(), max_reg_num ()))
1790             break;
1791         }
1792       else
1793         break;
1794       delete_dead_jumptables ();
1795     }
1796
1797   /* Kill the data we won't maintain.  */
1798   free_EXPR_LIST_list (&label_value_list);
1799   free_EXPR_LIST_list (&tail_recursion_label_list);
1800   timevar_pop (TV_CLEANUP_CFG);
1801
1802   return changed;
1803 }