OSDN Git Service

2004-02-17 Andrew Pinski <pinskia@physics.uc.edu>
[pf3gnuchains/gcc-fork.git] / gcc / cfgcleanup.c
index 1bb3d9b..38a2915 100644 (file)
@@ -1,6 +1,6 @@
 /* Control flow optimization code for GNU compiler.
    Copyright (C) 1987, 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
-   1999, 2000, 2001, 2002 Free Software Foundation, Inc.
+   1999, 2000, 2001, 2002, 2003, 2004 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -33,6 +33,8 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 
 #include "config.h"
 #include "system.h"
+#include "coretypes.h"
+#include "tm.h"
 #include "rtl.h"
 #include "hard-reg-set.h"
 #include "basic-block.h"
@@ -43,10 +45,10 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "recog.h"
 #include "toplev.h"
 #include "cselib.h"
+#include "params.h"
 #include "tm_p.h"
 #include "target.h"
-
-#include "obstack.h"
+#include "regs.h"
 
 /* cleanup_cfg maintains following flags for each basic block.  */
 
@@ -66,37 +68,30 @@ enum bb_flags
 
 #define FORWARDER_BLOCK_P(BB) (BB_FLAGS (BB) & BB_FORWARDER_BLOCK)
 
-static bool try_crossjump_to_edge      PARAMS ((int, edge, edge));
-static bool try_crossjump_bb           PARAMS ((int, basic_block));
-static bool outgoing_edges_match       PARAMS ((int,
-                                                basic_block, basic_block));
-static int flow_find_cross_jump                PARAMS ((int, basic_block, basic_block,
-                                                rtx *, rtx *));
-static bool insns_match_p              PARAMS ((int, rtx, rtx));
-
-bool delete_unreachable_blocks         PARAMS ((void));
-static bool label_is_jump_target_p     PARAMS ((rtx, rtx));
-static bool tail_recursion_label_p     PARAMS ((rtx));
-static void merge_blocks_move_predecessor_nojumps PARAMS ((basic_block,
-                                                         basic_block));
-static void merge_blocks_move_successor_nojumps PARAMS ((basic_block,
-                                                       basic_block));
-static bool merge_blocks               PARAMS ((edge,basic_block,basic_block,
-                                                int));
-static bool try_optimize_cfg           PARAMS ((int));
-static bool try_simplify_condjump      PARAMS ((basic_block));
-static bool try_forward_edges          PARAMS ((int, basic_block));
-static edge thread_jump                        PARAMS ((int, edge, basic_block));
-static bool mark_effect                        PARAMS ((rtx, bitmap));
-static void notice_new_block           PARAMS ((basic_block));
-static void update_forwarder_flag      PARAMS ((basic_block));
-static int mentions_nonequal_regs      PARAMS ((rtx *, void *));
+/* Set to true when we are running first pass of try_optimize_cfg loop.  */
+static bool first_pass;
+static bool try_crossjump_to_edge (int, edge, edge);
+static bool try_crossjump_bb (int, basic_block);
+static bool outgoing_edges_match (int, basic_block, basic_block);
+static int flow_find_cross_jump (int, basic_block, basic_block, rtx *, rtx *);
+static bool insns_match_p (int, rtx, rtx);
+
+static bool tail_recursion_label_p (rtx);
+static void merge_blocks_move_predecessor_nojumps (basic_block, basic_block);
+static void merge_blocks_move_successor_nojumps (basic_block, basic_block);
+static bool try_optimize_cfg (int);
+static bool try_simplify_condjump (basic_block);
+static bool try_forward_edges (int, basic_block);
+static edge thread_jump (int, edge, basic_block);
+static bool mark_effect (rtx, bitmap);
+static void notice_new_block (basic_block);
+static void update_forwarder_flag (basic_block);
+static int mentions_nonequal_regs (rtx *, void *);
 \f
 /* Set flags for newly created block.  */
 
 static void
-notice_new_block (bb)
-     basic_block bb;
+notice_new_block (basic_block bb)
 {
   if (!bb)
     return;
@@ -108,8 +103,7 @@ notice_new_block (bb)
 /* Recompute forwarder flag after block has been modified.  */
 
 static void
-update_forwarder_flag (bb)
-     basic_block bb;
+update_forwarder_flag (basic_block bb)
 {
   if (forwarder_block_p (bb))
     BB_SET_FLAG (bb, BB_FORWARDER_BLOCK);
@@ -121,12 +115,13 @@ update_forwarder_flag (bb)
    Return true if something changed.  */
 
 static bool
-try_simplify_condjump (cbranch_block)
-     basic_block cbranch_block;
+try_simplify_condjump (basic_block cbranch_block)
 {
   basic_block jump_block, jump_dest_block, cbranch_dest_block;
   edge cbranch_jump_edge, cbranch_fallthru_edge;
   rtx cbranch_insn;
+  rtx insn, next;
+  rtx end;
 
   /* Verify that there are exactly two successors.  */
   if (!cbranch_block->succ
@@ -136,7 +131,7 @@ try_simplify_condjump (cbranch_block)
 
   /* Verify that we've got a normal conditional branch at the end
      of the block.  */
-  cbranch_insn = cbranch_block->end;
+  cbranch_insn = BB_END (cbranch_block);
   if (!any_condjump_p (cbranch_insn))
     return false;
 
@@ -148,7 +143,7 @@ try_simplify_condjump (cbranch_block)
      unconditional jump.  */
   jump_block = cbranch_fallthru_edge->dest;
   if (jump_block->pred->pred_next
-      || jump_block->index == n_basic_blocks - 1
+      || jump_block->next_bb == EXIT_BLOCK_PTR
       || !FORWARDER_BLOCK_P (jump_block))
     return false;
   jump_dest_block = jump_block->succ->dest;
@@ -166,7 +161,7 @@ try_simplify_condjump (cbranch_block)
 
   if (rtl_dump_file)
     fprintf (rtl_dump_file, "Simplifying condjump %i around jump %i\n",
-            INSN_UID (cbranch_insn), INSN_UID (jump_block->end));
+            INSN_UID (cbranch_insn), INSN_UID (BB_END (jump_block)));
 
   /* Success.  Update the CFG to match.  Note that after this point
      the edge variable names appear backwards; the redirection is done
@@ -179,9 +174,29 @@ try_simplify_condjump (cbranch_block)
   cbranch_fallthru_edge->flags &= ~EDGE_FALLTHRU;
   update_br_prob_note (cbranch_block);
 
+  end = BB_END (jump_block);
+  /* Deleting a block may produce unreachable code warning even when we are
+     not deleting anything live.  Suppress it by moving all the line number
+     notes out of the block.  */
+  for (insn = BB_HEAD (jump_block); insn != NEXT_INSN (BB_END (jump_block));
+       insn = next)
+    {
+      next = NEXT_INSN (insn);
+      if (GET_CODE (insn) == NOTE && NOTE_LINE_NUMBER (insn) > 0)
+       {
+         if (insn == BB_END (jump_block))
+           {
+             BB_END (jump_block) = PREV_INSN (insn);
+             if (insn == end)
+               break;
+           }
+         reorder_insns_nobb (insn, insn, end);
+         end = insn;
+       }
+    }
   /* Delete the block with the unconditional jump, and clean up the mess.  */
-  flow_delete_block (jump_block);
-  tidy_fallthru_edge (cbranch_jump_edge, cbranch_block, cbranch_dest_block);
+  delete_basic_block (jump_block);
+  tidy_fallthru_edge (cbranch_jump_edge);
 
   return true;
 }
@@ -190,9 +205,7 @@ try_simplify_condjump (cbranch_block)
    on register.  Used by jump threading.  */
 
 static bool
-mark_effect (exp, nonequal)
-  rtx exp;
-  regset nonequal;
+mark_effect (rtx exp, regset nonequal)
 {
   int regno;
   rtx dest;
@@ -200,50 +213,48 @@ mark_effect (exp, nonequal)
     {
       /* In case we do clobber the register, mark it as equal, as we know the
          value is dead so it don't have to match.  */
-      case CLOBBER:
-       if (REG_P (XEXP (exp, 0)))
-         {
-           dest = XEXP (exp, 0);
-           regno = REGNO (dest);
-           CLEAR_REGNO_REG_SET (nonequal, regno);
-           if (regno < FIRST_PSEUDO_REGISTER)
-             {
-               int n = HARD_REGNO_NREGS (regno, GET_MODE (dest));
-               while (--n > 0)
-                 CLEAR_REGNO_REG_SET (nonequal, regno + n);
-             }
-         }
-       return false;
+    case CLOBBER:
+      if (REG_P (XEXP (exp, 0)))
+       {
+         dest = XEXP (exp, 0);
+         regno = REGNO (dest);
+         CLEAR_REGNO_REG_SET (nonequal, regno);
+         if (regno < FIRST_PSEUDO_REGISTER)
+           {
+             int n = hard_regno_nregs[regno][GET_MODE (dest)];
+             while (--n > 0)
+               CLEAR_REGNO_REG_SET (nonequal, regno + n);
+           }
+       }
+      return false;
 
-      case SET:
-       if (rtx_equal_for_cselib_p (SET_DEST (exp), SET_SRC (exp)))
-         return false;
-       dest = SET_DEST (exp);
-       if (dest == pc_rtx)
-         return false;
-       if (!REG_P (dest))
-         return true;
-       regno = REGNO (dest);
-       SET_REGNO_REG_SET (nonequal, regno);
-       if (regno < FIRST_PSEUDO_REGISTER)
-         {
-           int n = HARD_REGNO_NREGS (regno, GET_MODE (dest));
-           while (--n > 0)
-             SET_REGNO_REG_SET (nonequal, regno + n);
-         }
+    case SET:
+      if (rtx_equal_for_cselib_p (SET_DEST (exp), SET_SRC (exp)))
        return false;
-
-      default:
+      dest = SET_DEST (exp);
+      if (dest == pc_rtx)
        return false;
+      if (!REG_P (dest))
+       return true;
+      regno = REGNO (dest);
+      SET_REGNO_REG_SET (nonequal, regno);
+      if (regno < FIRST_PSEUDO_REGISTER)
+       {
+         int n = hard_regno_nregs[regno][GET_MODE (dest)];
+         while (--n > 0)
+           SET_REGNO_REG_SET (nonequal, regno + n);
+       }
+      return false;
+
+    default:
+      return false;
     }
 }
 
-/* Return nonzero if X is an register set in regset DATA.
+/* Return nonzero if X is a register set in regset DATA.
    Called via for_each_rtx.  */
 static int
-mentions_nonequal_regs (x, data)
-     rtx *x;
-     void *data;
+mentions_nonequal_regs (rtx *x, void *data)
 {
   regset nonequal = (regset) data;
   if (REG_P (*x))
@@ -255,7 +266,7 @@ mentions_nonequal_regs (x, data)
        return 1;
       if (regno < FIRST_PSEUDO_REGISTER)
        {
-         int n = HARD_REGNO_NREGS (regno, GET_MODE (*x));
+         int n = hard_regno_nregs[regno][GET_MODE (*x)];
          while (--n > 0)
            if (REGNO_REG_SET_P (nonequal, regno + n))
              return 1;
@@ -264,14 +275,11 @@ mentions_nonequal_regs (x, data)
   return 0;
 }
 /* Attempt to prove that the basic block B will have no side effects and
-   allways continues in the same edge if reached via E.  Return the edge
+   always continues in the same edge if reached via E.  Return the edge
    if exist, NULL otherwise.  */
 
 static edge
-thread_jump (mode, e, b)
-     int mode;
-     edge e;
-     basic_block b;
+thread_jump (int mode, edge e, basic_block b)
 {
   rtx set1, set2, cond1, cond2, insn;
   enum rtx_code code1, code2, reversed_code2;
@@ -294,17 +302,17 @@ thread_jump (mode, e, b)
     }
 
   /* Second branch must end with onlyjump, as we will eliminate the jump.  */
-  if (!any_condjump_p (e->src->end))
+  if (!any_condjump_p (BB_END (e->src)))
     return NULL;
-  
-  if (!any_condjump_p (b->end) || !onlyjump_p (b->end))
+
+  if (!any_condjump_p (BB_END (b)) || !onlyjump_p (BB_END (b)))
     {
       BB_SET_FLAG (b, BB_NONTHREADABLE_BLOCK);
       return NULL;
     }
 
-  set1 = pc_set (e->src->end);
-  set2 = pc_set (b->end);
+  set1 = pc_set (BB_END (e->src));
+  set2 = pc_set (BB_END (b));
   if (((e->flags & EDGE_FALLTHRU) != 0)
       != (XEXP (SET_SRC (set1), 1) == pc_rtx))
     reverse1 = true;
@@ -312,19 +320,19 @@ thread_jump (mode, e, b)
   cond1 = XEXP (SET_SRC (set1), 0);
   cond2 = XEXP (SET_SRC (set2), 0);
   if (reverse1)
-    code1 = reversed_comparison_code (cond1, e->src->end);
+    code1 = reversed_comparison_code (cond1, BB_END (e->src));
   else
     code1 = GET_CODE (cond1);
 
   code2 = GET_CODE (cond2);
-  reversed_code2 = reversed_comparison_code (cond2, b->end);
+  reversed_code2 = reversed_comparison_code (cond2, BB_END (b));
 
   if (!comparison_dominates_p (code1, code2)
       && !comparison_dominates_p (code1, reversed_code2))
     return NULL;
 
   /* Ensure that the comparison operators are equivalent.
-     ??? This is far too pesimistic.  We should allow swapped operands,
+     ??? This is far too pessimistic.  We should allow swapped operands,
      different CCmodes, or for example comparisons for interval, that
      dominate even when operands are not equivalent.  */
   if (!rtx_equal_p (XEXP (cond1, 0), XEXP (cond2, 0))
@@ -333,7 +341,7 @@ thread_jump (mode, e, b)
 
   /* Short circuit cases where block B contains some side effects, as we can't
      safely bypass it.  */
-  for (insn = NEXT_INSN (b->head); insn != NEXT_INSN (b->end);
+  for (insn = NEXT_INSN (BB_HEAD (b)); insn != NEXT_INSN (BB_END (b));
        insn = NEXT_INSN (insn))
     if (INSN_P (insn) && side_effects_p (PATTERN (insn)))
       {
@@ -344,7 +352,7 @@ thread_jump (mode, e, b)
   cselib_init ();
 
   /* First process all values computed in the source basic block.  */
-  for (insn = NEXT_INSN (e->src->head); insn != NEXT_INSN (e->src->end);
+  for (insn = NEXT_INSN (BB_HEAD (e->src)); insn != NEXT_INSN (BB_END (e->src));
        insn = NEXT_INSN (insn))
     if (INSN_P (insn))
       cselib_process_insn (insn);
@@ -356,24 +364,24 @@ thread_jump (mode, e, b)
      processing as if it were same basic block.
      Our goal is to prove that whole block is an NOOP.  */
 
-  for (insn = NEXT_INSN (b->head); insn != NEXT_INSN (b->end) && !failed;
+  for (insn = NEXT_INSN (BB_HEAD (b)); insn != NEXT_INSN (BB_END (b)) && !failed;
        insn = NEXT_INSN (insn))
-  {
-    if (INSN_P (insn))
-      {
-        rtx pat = PATTERN (insn);
-
-        if (GET_CODE (pat) == PARALLEL)
-         {
-           for (i = 0; i < XVECLEN (pat, 0); i++)
-             failed |= mark_effect (XVECEXP (pat, 0, i), nonequal);
-         }
-       else
-         failed |= mark_effect (pat, nonequal);
-      }
+    {
+      if (INSN_P (insn))
+       {
+         rtx pat = PATTERN (insn);
 
-    cselib_process_insn (insn);
-  }
+         if (GET_CODE (pat) == PARALLEL)
+           {
+             for (i = 0; i < XVECLEN (pat, 0); i++)
+               failed |= mark_effect (XVECEXP (pat, 0, i), nonequal);
+           }
+         else
+           failed |= mark_effect (pat, nonequal);
+       }
+
+      cselib_process_insn (insn);
+    }
 
   /* Later we should clear nonequal of dead registers.  So far we don't
      have life information in cfg_cleanup.  */
@@ -413,9 +421,7 @@ failed_exit:
    Return true if successful.  */
 
 static bool
-try_forward_edges (mode, b)
-     basic_block b;
-     int mode;
+try_forward_edges (int mode, basic_block b)
 {
   bool changed = false;
   edge e, next, *threaded_edges = NULL;
@@ -426,6 +432,7 @@ try_forward_edges (mode, b)
       int counter;
       bool threaded = false;
       int nthreaded_edges = 0;
+      bool may_thread = first_pass | (b->flags & BB_DIRTY);
 
       next = e->succ_next;
 
@@ -444,6 +451,7 @@ try_forward_edges (mode, b)
        {
          basic_block new_target = NULL;
          bool new_target_threaded = false;
+         may_thread |= target->flags & BB_DIRTY;
 
          if (FORWARDER_BLOCK_P (target)
              && target->succ->dest != EXIT_BLOCK_PTR)
@@ -456,7 +464,7 @@ try_forward_edges (mode, b)
 
          /* Allow to thread only over one edge at time to simplify updating
             of probabilities.  */
-         else if (mode & CLEANUP_THREADING)
+         else if ((mode & CLEANUP_THREADING) && may_thread)
            {
              edge t = thread_jump (mode, e, target);
              if (t)
@@ -502,10 +510,10 @@ try_forward_edges (mode, b)
             For fallthru forwarders, the LOOP_BEG note must appear between
             the header of block and CODE_LABEL of the loop, for non forwarders
             it must appear before the JUMP_INSN.  */
-         if (mode & CLEANUP_PRE_LOOP)
+         if ((mode & CLEANUP_PRE_LOOP) && optimize)
            {
              rtx insn = (target->succ->flags & EDGE_FALLTHRU
-                         ? target->head : prev_nonnote_insn (target->end));
+                         ? BB_HEAD (target) : prev_nonnote_insn (BB_END (target)));
 
              if (GET_CODE (insn) != NOTE)
                insn = NEXT_INSN (insn);
@@ -518,12 +526,21 @@ try_forward_edges (mode, b)
 
              if (GET_CODE (insn) == NOTE)
                break;
+
+             /* Do not clean up branches to just past the end of a loop
+                at this time; it can mess up the loop optimizer's
+                recognition of some patterns.  */
+
+             insn = PREV_INSN (BB_HEAD (target));
+             if (insn && GET_CODE (insn) == NOTE
+                   && NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_END)
+               break;
            }
 
          counter++;
          target = new_target;
          threaded |= new_target_threaded;
-       }
+       }
 
       if (counter >= n_basic_blocks)
        {
@@ -546,7 +563,7 @@ try_forward_edges (mode, b)
            {
              notice_new_block (redirect_edge_and_branch_force (e, target));
              if (rtl_dump_file)
-               fprintf (rtl_dump_file, "Conditionals threaded.\n");
+               fprintf (rtl_dump_file, "Conditionals threaded.\n");
            }
          else if (!redirect_edge_and_branch (e, target))
            {
@@ -615,7 +632,7 @@ try_forward_edges (mode, b)
                      && first == threaded_edges [n]->src)
                    n++;
                  t = first->succ;
-                }
+               }
 
              t->count -= edge_count;
              if (t->count < 0)
@@ -633,43 +650,10 @@ try_forward_edges (mode, b)
   return changed;
 }
 \f
-/* Return true if LABEL is a target of JUMP_INSN.  This applies only
-   to non-complex jumps.  That is, direct unconditional, conditional,
-   and tablejumps, but not computed jumps or returns.  It also does
-   not apply to the fallthru case of a conditional jump.  */
-
-static bool
-label_is_jump_target_p (label, jump_insn)
-     rtx label, jump_insn;
-{
-  rtx tmp = JUMP_LABEL (jump_insn);
-
-  if (label == tmp)
-    return true;
-
-  if (tmp != NULL_RTX
-      && (tmp = NEXT_INSN (tmp)) != NULL_RTX
-      && GET_CODE (tmp) == JUMP_INSN
-      && (tmp = PATTERN (tmp),
-         GET_CODE (tmp) == ADDR_VEC
-         || GET_CODE (tmp) == ADDR_DIFF_VEC))
-    {
-      rtvec vec = XVEC (tmp, GET_CODE (tmp) == ADDR_DIFF_VEC);
-      int i, veclen = GET_NUM_ELEM (vec);
-
-      for (i = 0; i < veclen; ++i)
-       if (XEXP (RTVEC_ELT (vec, i), 0) == label)
-         return true;
-    }
-
-  return false;
-}
-
 /* Return true if LABEL is used for tail recursion.  */
 
 static bool
-tail_recursion_label_p (label)
-     rtx label;
+tail_recursion_label_p (rtx label)
 {
   rtx x;
 
@@ -685,13 +669,11 @@ tail_recursion_label_p (label)
    any jumps (aside from the jump from A to B).  */
 
 static void
-merge_blocks_move_predecessor_nojumps (a, b)
-     basic_block a, b;
+merge_blocks_move_predecessor_nojumps (basic_block a, basic_block b)
 {
   rtx barrier;
-  int index;
 
-  barrier = next_nonnote_insn (a->end);
+  barrier = next_nonnote_insn (BB_END (a));
   if (GET_CODE (barrier) != BARRIER)
     abort ();
   delete_insn (barrier);
@@ -703,29 +685,25 @@ merge_blocks_move_predecessor_nojumps (a, b)
      and adjust the block trees appropriately.   Even better would be to have
      a tighter connection between block trees and rtl so that this is not
      necessary.  */
-  if (squeeze_notes (&a->head, &a->end))
+  if (squeeze_notes (&BB_HEAD (a), &BB_END (a)))
     abort ();
 
   /* Scramble the insn chain.  */
-  if (a->end != PREV_INSN (b->head))
-    reorder_insns_nobb (a->head, a->end, PREV_INSN (b->head));
+  if (BB_END (a) != PREV_INSN (BB_HEAD (b)))
+    reorder_insns_nobb (BB_HEAD (a), BB_END (a), PREV_INSN (BB_HEAD (b)));
   a->flags |= BB_DIRTY;
 
   if (rtl_dump_file)
     fprintf (rtl_dump_file, "Moved block %d before %d and merged.\n",
             a->index, b->index);
 
-  /* Swap the records for the two blocks around.  Although we are deleting B,
-     A is now where B was and we want to compact the BB array from where
-     A used to be.  */
-  BASIC_BLOCK (a->index) = b;
-  BASIC_BLOCK (b->index) = a;
-  index = a->index;
-  a->index = b->index;
-  b->index = index;
+  /* Swap the records for the two blocks around.  */
+
+  unlink_block (a);
+  link_block (a, b->prev_bb);
 
   /* Now blocks A and B are contiguous.  Merge them.  */
-  merge_blocks_nomove (a, b);
+  merge_blocks (a, b);
 }
 
 /* Blocks A and B are to be merged into a single block.  B has no outgoing
@@ -733,29 +711,23 @@ merge_blocks_move_predecessor_nojumps (a, b)
    any jumps (aside from the jump from A to B).  */
 
 static void
-merge_blocks_move_successor_nojumps (a, b)
-     basic_block a, b;
+merge_blocks_move_successor_nojumps (basic_block a, basic_block b)
 {
   rtx barrier, real_b_end;
+  rtx label, table;
 
-  real_b_end = b->end;
-  barrier = NEXT_INSN (b->end);
+  real_b_end = BB_END (b);
 
-  /* Recognize a jump table following block B.  */
-  if (barrier
-      && GET_CODE (barrier) == CODE_LABEL
-      && NEXT_INSN (barrier)
-      && GET_CODE (NEXT_INSN (barrier)) == JUMP_INSN
-      && (GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_VEC
-         || GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_DIFF_VEC))
+  /* If there is a jump table following block B temporarily add the jump table
+     to block B so that it will also be moved to the correct location.  */
+  if (tablejump_p (BB_END (b), &label, &table)
+      && prev_active_insn (label) == BB_END (b))
     {
-      /* Temporarily add the table jump insn to b, so that it will also
-        be moved to the correct location.  */
-      b->end = NEXT_INSN (barrier);
-      barrier = NEXT_INSN (b->end);
+      BB_END (b) = table;
     }
 
   /* There had better have been a barrier there.  Delete it.  */
+  barrier = NEXT_INSN (BB_END (b));
   if (barrier && GET_CODE (barrier) == BARRIER)
     delete_insn (barrier);
 
@@ -766,53 +738,60 @@ merge_blocks_move_successor_nojumps (a, b)
      and adjust the block trees appropriately.   Even better would be to have
      a tighter connection between block trees and rtl so that this is not
      necessary.  */
-  if (squeeze_notes (&b->head, &b->end))
+  if (squeeze_notes (&BB_HEAD (b), &BB_END (b)))
     abort ();
 
   /* Scramble the insn chain.  */
-  reorder_insns_nobb (b->head, b->end, a->end);
+  reorder_insns_nobb (BB_HEAD (b), BB_END (b), BB_END (a));
 
   /* Restore the real end of b.  */
-  b->end = real_b_end;
+  BB_END (b) = real_b_end;
 
   if (rtl_dump_file)
     fprintf (rtl_dump_file, "Moved block %d after %d and merged.\n",
             b->index, a->index);
 
   /* Now blocks A and B are contiguous.  Merge them.  */
-  merge_blocks_nomove (a, b);
+  merge_blocks (a, b);
 }
 
 /* Attempt to merge basic blocks that are potentially non-adjacent.
-   Return true iff the attempt succeeded.  */
-
-static bool
-merge_blocks (e, b, c, mode)
-     edge e;
-     basic_block b, c;
-     int mode;
+   Return NULL iff the attempt failed, otherwise return basic block
+   where cleanup_cfg should continue.  Because the merging commonly
+   moves basic block away or introduces another optimization
+   possibility, return basic block just before B so cleanup_cfg don't
+   need to iterate.
+
+   It may be good idea to return basic block before C in the case
+   C has been moved after B and originally appeared earlier in the
+   insn sequence, but we have no information available about the
+   relative ordering of these two.  Hopefully it is not too common.  */
+
+static basic_block
+merge_blocks_move (edge e, basic_block b, basic_block c, int mode)
 {
+  basic_block next;
   /* If C has a tail recursion label, do not merge.  There is no
      edge recorded from the call_placeholder back to this label, as
      that would make optimize_sibling_and_tail_recursive_calls more
      complex for no gain.  */
   if ((mode & CLEANUP_PRE_SIBCALL)
-      && GET_CODE (c->head) == CODE_LABEL
-      && tail_recursion_label_p (c->head))
-    return false;
+      && GET_CODE (BB_HEAD (c)) == CODE_LABEL
+      && tail_recursion_label_p (BB_HEAD (c)))
+    return NULL;
 
   /* If B has a fallthru edge to C, no need to move anything.  */
   if (e->flags & EDGE_FALLTHRU)
     {
       int b_index = b->index, c_index = c->index;
-      merge_blocks_nomove (b, c);
+      merge_blocks (b, c);
       update_forwarder_flag (b);
 
       if (rtl_dump_file)
        fprintf (rtl_dump_file, "Merged %d and %d without moving.\n",
-                 b_index, c_index);
+                b_index, c_index);
 
-      return true;
+      return b->prev_bb == ENTRY_BLOCK_PTR ? b : b->prev_bb;
     }
 
   /* Otherwise we will need to move code around.  Do that only if expensive
@@ -828,7 +807,7 @@ merge_blocks (e, b, c, mode)
         been if B is a forwarder block and C has no fallthru edge, but
         that should be cleaned up by bb-reorder instead.  */
       if (FORWARDER_BLOCK_P (b) || FORWARDER_BLOCK_P (c))
-       return false;
+       return NULL;
 
       /* We must make sure to not munge nesting of lexical blocks,
         and loop notes.  This is done by squeezing out all the notes
@@ -846,6 +825,9 @@ merge_blocks (e, b, c, mode)
 
       b_has_incoming_fallthru = (tmp_edge != NULL);
       b_fallthru_edge = tmp_edge;
+      next = b->prev_bb;
+      if (next == c)
+       next = next->prev_bb;
 
       /* Otherwise, we're going to try to move C after B.  If C does
         not have an outgoing fallthru, then it can be moved
@@ -853,7 +835,7 @@ merge_blocks (e, b, c, mode)
       if (! c_has_outgoing_fallthru)
        {
          merge_blocks_move_successor_nojumps (b, c);
-         return true;
+          return next == ENTRY_BLOCK_PTR ? next->next_bb : next;
        }
 
       /* If B does not have an incoming fallthru, then it can be moved
@@ -866,26 +848,24 @@ merge_blocks (e, b, c, mode)
          basic_block bb;
 
          if (b_fallthru_edge->src == ENTRY_BLOCK_PTR)
-           return false;
+           return NULL;
          bb = force_nonfallthru (b_fallthru_edge);
          if (bb)
            notice_new_block (bb);
        }
 
       merge_blocks_move_predecessor_nojumps (b, c);
-      return true;
+      return next == ENTRY_BLOCK_PTR ? next->next_bb : next;
     }
 
-  return false;
+  return NULL;
 }
 \f
 
 /* Return true if I1 and I2 are equivalent and thus can be crossjumped.  */
 
 static bool
-insns_match_p (mode, i1, i2)
-       int mode ATTRIBUTE_UNUSED;
-       rtx i1, i2;
+insns_match_p (int mode ATTRIBUTE_UNUSED, rtx i1, rtx i2)
 {
   rtx p1, p2;
 
@@ -910,8 +890,9 @@ insns_match_p (mode, i1, i2)
      equal, they were constructed identically.  */
 
   if (GET_CODE (i1) == CALL_INSN
-      && !rtx_equal_p (CALL_INSN_FUNCTION_USAGE (i1),
-                      CALL_INSN_FUNCTION_USAGE (i2)))
+      && (!rtx_equal_p (CALL_INSN_FUNCTION_USAGE (i1),
+                       CALL_INSN_FUNCTION_USAGE (i2))
+         || SIBLING_CALL_P (i1) != SIBLING_CALL_P (i2)))
     return false;
 
 #ifdef STACK_REGS
@@ -949,7 +930,15 @@ insns_match_p (mode, i1, i2)
 #endif
 
   if (reload_completed
-      ? ! rtx_renumbered_equal_p (p1, p2) : ! rtx_equal_p (p1, p2))
+      ? rtx_renumbered_equal_p (p1, p2) : rtx_equal_p (p1, p2))
+    return true;
+
+  /* Do not do EQUIV substitution after reload.  First, we're undoing the
+     work of reload_cse.  Second, we may be undoing the work of the post-
+     reload splitting pass.  */
+  /* ??? Possibly add a new phase switch variable that can be used by
+     targets to disallow the troublesome insns after splitting.  */
+  if (!reload_completed)
     {
       /* The following code helps take care of G++ cleanups.  */
       rtx equiv1 = find_reg_equal_equiv_note (i1);
@@ -976,11 +965,9 @@ insns_match_p (mode, i1, i2)
                return true;
            }
        }
-
-      return false;
     }
 
-  return true;
+  return false;
 }
 \f
 /* Look through the insns at the end of BB1 and BB2 and find the longest
@@ -991,10 +978,8 @@ insns_match_p (mode, i1, i2)
    store the head of the blocks in *F1 and *F2.  */
 
 static int
-flow_find_cross_jump (mode, bb1, bb2, f1, f2)
-     int mode ATTRIBUTE_UNUSED;
-     basic_block bb1, bb2;
-     rtx *f1, *f2;
+flow_find_cross_jump (int mode ATTRIBUTE_UNUSED, basic_block bb1,
+                     basic_block bb2, rtx *f1, rtx *f2)
 {
   rtx i1, i2, last1, last2, afterlast1, afterlast2;
   int ninsns = 0;
@@ -1002,7 +987,7 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
   /* Skip simple jumps at the end of the blocks.  Complex jumps still
      need to be compared for equivalence, which we'll do below.  */
 
-  i1 = bb1->end;
+  i1 = BB_END (bb1);
   last1 = afterlast1 = last2 = afterlast2 = NULL_RTX;
   if (onlyjump_p (i1)
       || (returnjump_p (i1) && !side_effects_p (PATTERN (i1))))
@@ -1011,7 +996,7 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
       i1 = PREV_INSN (i1);
     }
 
-  i2 = bb2->end;
+  i2 = BB_END (bb2);
   if (onlyjump_p (i2)
       || (returnjump_p (i2) && !side_effects_p (PATTERN (i2))))
     {
@@ -1025,20 +1010,20 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
   while (true)
     {
       /* Ignore notes.  */
-      while (!active_insn_p (i1) && i1 != bb1->head)
+      while (!INSN_P (i1) && i1 != BB_HEAD (bb1))
        i1 = PREV_INSN (i1);
 
-      while (!active_insn_p (i2) && i2 != bb2->head)
+      while (!INSN_P (i2) && i2 != BB_HEAD (bb2))
        i2 = PREV_INSN (i2);
 
-      if (i1 == bb1->head || i2 == bb2->head)
+      if (i1 == BB_HEAD (bb1) || i2 == BB_HEAD (bb2))
        break;
 
       if (!insns_match_p (mode, i1, i2))
        break;
 
-      /* Don't begin a cross-jump with a USE or CLOBBER insn.  */
-      if (active_insn_p (i1))
+      /* Don't begin a cross-jump with a NOTE insn.  */
+      if (INSN_P (i1))
        {
          /* If the merged insns have different REG_EQUAL notes, then
             remove them.  */
@@ -1055,10 +1040,10 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
              remove_note (i1, equiv1);
              remove_note (i2, equiv2);
            }
-            
+
          afterlast1 = last1, afterlast2 = last2;
          last1 = i1, last2 = i2;
-          ninsns++;
+         ninsns++;
        }
 
       i1 = PREV_INSN (i1);
@@ -1077,16 +1062,16 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
      Two, it keeps line number notes as matched as may be.  */
   if (ninsns)
     {
-      while (last1 != bb1->head && !active_insn_p (PREV_INSN (last1)))
+      while (last1 != BB_HEAD (bb1) && !INSN_P (PREV_INSN (last1)))
        last1 = PREV_INSN (last1);
 
-      if (last1 != bb1->head && GET_CODE (PREV_INSN (last1)) == CODE_LABEL)
+      if (last1 != BB_HEAD (bb1) && GET_CODE (PREV_INSN (last1)) == CODE_LABEL)
        last1 = PREV_INSN (last1);
 
-      while (last2 != bb2->head && !active_insn_p (PREV_INSN (last2)))
+      while (last2 != BB_HEAD (bb2) && !INSN_P (PREV_INSN (last2)))
        last2 = PREV_INSN (last2);
 
-      if (last2 != bb2->head && GET_CODE (PREV_INSN (last2)) == CODE_LABEL)
+      if (last2 != BB_HEAD (bb2) && GET_CODE (PREV_INSN (last2)) == CODE_LABEL)
        last2 = PREV_INSN (last2);
 
       *f1 = last1;
@@ -1103,10 +1088,7 @@ flow_find_cross_jump (mode, bb1, bb2, f1, f2)
    We may assume that there exists one edge with a common destination.  */
 
 static bool
-outgoing_edges_match (mode, bb1, bb2)
-     int mode;
-     basic_block bb1;
-     basic_block bb2;
+outgoing_edges_match (int mode, basic_block bb1, basic_block bb2)
 {
   int nehedges1 = 0, nehedges2 = 0;
   edge fallthru1 = 0, fallthru2 = 0;
@@ -1115,17 +1097,19 @@ outgoing_edges_match (mode, bb1, bb2)
   /* If BB1 has only one successor, we may be looking at either an
      unconditional jump, or a fake edge to exit.  */
   if (bb1->succ && !bb1->succ->succ_next
-      && !(bb1->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)))
+      && (bb1->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)) == 0
+      && (GET_CODE (BB_END (bb1)) != JUMP_INSN || simplejump_p (BB_END (bb1))))
     return (bb2->succ &&  !bb2->succ->succ_next
-           && (bb2->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)) == 0);
+           && (bb2->succ->flags & (EDGE_COMPLEX | EDGE_FAKE)) == 0
+           && (GET_CODE (BB_END (bb2)) != JUMP_INSN || simplejump_p (BB_END (bb2))));
 
   /* Match conditional jumps - this may get tricky when fallthru and branch
      edges are crossed.  */
   if (bb1->succ
       && bb1->succ->succ_next
       && !bb1->succ->succ_next->succ_next
-      && any_condjump_p (bb1->end)
-      && onlyjump_p (bb1->end))
+      && any_condjump_p (BB_END (bb1))
+      && onlyjump_p (BB_END (bb1)))
     {
       edge b1, f1, b2, f2;
       bool reverse, match;
@@ -1133,21 +1117,10 @@ outgoing_edges_match (mode, bb1, bb2)
       enum rtx_code code1, code2;
 
       if (!bb2->succ
-          || !bb2->succ->succ_next
+         || !bb2->succ->succ_next
          || bb2->succ->succ_next->succ_next
-         || !any_condjump_p (bb2->end)
-         || !onlyjump_p (bb2->end))
-       return false;
-
-      /* Do not crossjump across loop boundaries.  This is a temporary
-        workaround for the common scenario in which crossjumping results
-        in killing the duplicated loop condition, making bb-reorder rotate
-        the loop incorectly, leaving an extra unconditional jump inside
-        the loop.
-
-        This check should go away once bb-reorder knows how to duplicate
-        code in this case or rotate the loops to avoid this scenario.  */
-      if (bb1->loop_depth != bb2->loop_depth)
+         || !any_condjump_p (BB_END (bb2))
+         || !onlyjump_p (BB_END (bb2)))
        return false;
 
       b1 = BRANCH_EDGE (bb1);
@@ -1179,8 +1152,8 @@ outgoing_edges_match (mode, bb1, bb2)
       else
        return false;
 
-      set1 = pc_set (bb1->end);
-      set2 = pc_set (bb2->end);
+      set1 = pc_set (BB_END (bb1));
+      set2 = pc_set (BB_END (bb2));
       if ((XEXP (SET_SRC (set1), 1) == pc_rtx)
          != (XEXP (SET_SRC (set2), 1) == pc_rtx))
        reverse = !reverse;
@@ -1189,7 +1162,7 @@ outgoing_edges_match (mode, bb1, bb2)
       cond2 = XEXP (SET_SRC (set2), 0);
       code1 = GET_CODE (cond1);
       if (reverse)
-       code2 = reversed_comparison_code (cond2, bb2->end);
+       code2 = reversed_comparison_code (cond2, BB_END (bb2));
       else
        code2 = GET_CODE (cond2);
 
@@ -1212,8 +1185,8 @@ outgoing_edges_match (mode, bb1, bb2)
         roughly similar.  */
       if (match
          && !optimize_size
-         && bb1->frequency > BB_FREQ_MAX / 1000
-         && bb2->frequency > BB_FREQ_MAX / 1000)
+         && maybe_hot_bb_p (bb1)
+         && maybe_hot_bb_p (bb2))
        {
          int prob2;
 
@@ -1244,14 +1217,88 @@ outgoing_edges_match (mode, bb1, bb2)
       return match;
     }
 
-  /* Generic case - we are seeing an computed jump, table jump or trapping
+  /* Generic case - we are seeing a computed jump, table jump or trapping
      instruction.  */
 
+#ifndef CASE_DROPS_THROUGH
+  /* Check whether there are tablejumps in the end of BB1 and BB2.
+     Return true if they are identical.  */
+    {
+      rtx label1, label2;
+      rtx table1, table2;
+
+      if (tablejump_p (BB_END (bb1), &label1, &table1)
+         && tablejump_p (BB_END (bb2), &label2, &table2)
+         && GET_CODE (PATTERN (table1)) == GET_CODE (PATTERN (table2)))
+       {
+         /* The labels should never be the same rtx.  If they really are same
+            the jump tables are same too. So disable crossjumping of blocks BB1
+            and BB2 because when deleting the common insns in the end of BB1
+            by delete_block () the jump table would be deleted too.  */
+         /* If LABEL2 is referenced in BB1->END do not do anything
+            because we would loose information when replacing
+            LABEL1 by LABEL2 and then LABEL2 by LABEL1 in BB1->END.  */
+         if (label1 != label2 && !rtx_referenced_p (label2, BB_END (bb1)))
+           {
+             /* Set IDENTICAL to true when the tables are identical.  */
+             bool identical = false;
+             rtx p1, p2;
+
+             p1 = PATTERN (table1);
+             p2 = PATTERN (table2);
+             if (GET_CODE (p1) == ADDR_VEC && rtx_equal_p (p1, p2))
+               {
+                 identical = true;
+               }
+             else if (GET_CODE (p1) == ADDR_DIFF_VEC
+                      && (XVECLEN (p1, 1) == XVECLEN (p2, 1))
+                      && rtx_equal_p (XEXP (p1, 2), XEXP (p2, 2))
+                      && rtx_equal_p (XEXP (p1, 3), XEXP (p2, 3)))
+               {
+                 int i;
+
+                 identical = true;
+                 for (i = XVECLEN (p1, 1) - 1; i >= 0 && identical; i--)
+                   if (!rtx_equal_p (XVECEXP (p1, 1, i), XVECEXP (p2, 1, i)))
+                     identical = false;
+               }
+
+             if (identical)
+               {
+                 replace_label_data rr;
+                 bool match;
+
+                 /* Temporarily replace references to LABEL1 with LABEL2
+                    in BB1->END so that we could compare the instructions.  */
+                 rr.r1 = label1;
+                 rr.r2 = label2;
+                 rr.update_label_nuses = false;
+                 for_each_rtx (&BB_END (bb1), replace_label, &rr);
+
+                 match = insns_match_p (mode, BB_END (bb1), BB_END (bb2));
+                 if (rtl_dump_file && match)
+                   fprintf (rtl_dump_file,
+                            "Tablejumps in bb %i and %i match.\n",
+                            bb1->index, bb2->index);
+
+                 /* Set the original label in BB1->END because when deleting
+                    a block whose end is a tablejump, the tablejump referenced
+                    from the instruction is deleted too.  */
+                 rr.r1 = label2;
+                 rr.r2 = label1;
+                 for_each_rtx (&BB_END (bb1), replace_label, &rr);
+
+                 return match;
+               }
+           }
+         return false;
+       }
+    }
+#endif
+
   /* First ensure that the instructions match.  There may be many outgoing
-     edges so this test is generally cheaper.
-     ??? Currently the tablejumps will never match, as they do have
-     different tables.  */
-  if (!insns_match_p (mode, bb1->end, bb2->end))
+     edges so this test is generally cheaper.  */
+  if (!insns_match_p (mode, BB_END (bb1), BB_END (bb2)))
     return false;
 
   /* Search the outgoing edges, ensure that the counts do match, find possible
@@ -1282,25 +1329,27 @@ outgoing_edges_match (mode, bb1, bb2)
   if (fallthru1)
     {
       basic_block d1 = (forwarder_block_p (fallthru1->dest)
-                       ? fallthru1->dest->succ->dest: fallthru1->dest);
+                       ? fallthru1->dest->succ->dest: fallthru1->dest);
       basic_block d2 = (forwarder_block_p (fallthru2->dest)
-                       ? fallthru2->dest->succ->dest: fallthru2->dest);
+                       ? fallthru2->dest->succ->dest: fallthru2->dest);
 
       if (d1 != d2)
        return false;
     }
 
-  /* In case we do have EH edges, ensure we are in the same region.  */
-  if (nehedges1)
-    {
-      rtx n1 = find_reg_note (bb1->end, REG_EH_REGION, 0);
-      rtx n2 = find_reg_note (bb2->end, REG_EH_REGION, 0);
+  /* Ensure the same EH region.  */
+  {
+    rtx n1 = find_reg_note (BB_END (bb1), REG_EH_REGION, 0);
+    rtx n2 = find_reg_note (BB_END (bb2), REG_EH_REGION, 0);
 
-      if (XEXP (n1, 0) != XEXP (n2, 0))
-       return false;
-    }
+    if (!n1 && n2)
+      return false;
 
-  /* We don't need to match the rest of edges as above checks should be enought
+    if (n1 && (!n2 || XEXP (n1, 0) != XEXP (n2, 0)))
+      return false;
+  }
+
+  /* We don't need to match the rest of edges as above checks should be enough
      to ensure that they are equivalent.  */
   return true;
 }
@@ -1310,17 +1359,13 @@ outgoing_edges_match (mode, bb1, bb2)
    (maybe the middle of) E1->SRC to (maybe the middle of) E2->SRC.  */
 
 static bool
-try_crossjump_to_edge (mode, e1, e2)
-     int mode;
-     edge e1, e2;
+try_crossjump_to_edge (int mode, edge e1, edge e2)
 {
   int nmatch;
   basic_block src1 = e1->src, src2 = e2->src;
-  basic_block redirect_to;
+  basic_block redirect_to, redirect_from, to_remove;
   rtx newpos1, newpos2;
   edge s;
-  rtx last;
-  rtx label;
 
   /* Search backward through forwarder blocks.  We don't need to worry
      about multiple entry or chained forwarders, as they will be optimized
@@ -1365,8 +1410,41 @@ try_crossjump_to_edge (mode, e1, e2)
   if (!nmatch)
     return false;
 
+#ifndef CASE_DROPS_THROUGH
+  /* Here we know that the insns in the end of SRC1 which are common with SRC2
+     will be deleted.
+     If we have tablejumps in the end of SRC1 and SRC2
+     they have been already compared for equivalence in outgoing_edges_match ()
+     so replace the references to TABLE1 by references to TABLE2.  */
+    {
+      rtx label1, label2;
+      rtx table1, table2;
+
+      if (tablejump_p (BB_END (src1), &label1, &table1)
+         && tablejump_p (BB_END (src2), &label2, &table2)
+         && label1 != label2)
+       {
+         replace_label_data rr;
+         rtx insn;
+
+         /* Replace references to LABEL1 with LABEL2.  */
+         rr.r1 = label1;
+         rr.r2 = label2;
+         rr.update_label_nuses = true;
+         for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
+           {
+             /* Do not replace the label in SRC1->END because when deleting
+                a block whose end is a tablejump, the tablejump referenced
+                from the instruction is deleted too.  */
+             if (insn != BB_END (src1))
+               for_each_rtx (&insn, replace_label, &rr);
+           }
+       }
+    }
+#endif
+
   /* Avoid splitting if possible.  */
-  if (newpos2 == src2->head)
+  if (newpos2 == BB_HEAD (src2))
     redirect_to = src2;
   else
     {
@@ -1448,28 +1526,14 @@ try_crossjump_to_edge (mode, e1, e2)
 
   if (GET_CODE (newpos1) == NOTE)
     newpos1 = NEXT_INSN (newpos1);
-  last = src1->end;
-
-  /* Emit the jump insn.  */
-  label = block_label (redirect_to);
-  emit_jump_insn_after (gen_jump (label), src1->end);
-  JUMP_LABEL (src1->end) = label;
-  LABEL_NUSES (label)++;
-
-  /* Delete the now unreachable instructions.  */
-  delete_insn_chain (newpos1, last);
 
-  /* Make sure there is a barrier after the new jump.  */
-  last = next_nonnote_insn (src1->end);
-  if (!last || GET_CODE (last) != BARRIER)
-    emit_barrier_after (src1->end);
+  redirect_from = split_block (src1, PREV_INSN (newpos1))->src;
+  to_remove = redirect_from->succ->dest;
 
-  /* Update CFG.  */
-  while (src1->succ)
-    remove_edge (src1->succ);
-  make_single_succ_edge (src1, redirect_to, 0);
+  redirect_edge_and_branch_force (redirect_from->succ, redirect_to);
+  delete_basic_block (to_remove);
 
-  update_forwarder_flag (src1);
+  update_forwarder_flag (redirect_from);
 
   return true;
 }
@@ -1479,13 +1543,11 @@ try_crossjump_to_edge (mode, e1, e2)
    any changes made.  */
 
 static bool
-try_crossjump_bb (mode, bb)
-     int mode;
-     basic_block bb;
+try_crossjump_bb (int mode, basic_block bb)
 {
   edge e, e2, nexte2, nexte, fallthru;
   bool changed;
-  int n = 0;
+  int n = 0, max;
 
   /* Nothing to do if there is not at least two incoming edges.  */
   if (!bb->pred || !bb->pred->pred_next)
@@ -1494,11 +1556,13 @@ try_crossjump_bb (mode, bb)
   /* It is always cheapest to redirect a block that ends in a branch to
      a block that falls through into BB, as that adds no branches to the
      program.  We'll try that combination first.  */
-  for (fallthru = bb->pred; fallthru; fallthru = fallthru->pred_next, n++)
+  fallthru = NULL;
+  max = PARAM_VALUE (PARAM_MAX_CROSSJUMP_EDGES);
+  for (e = bb->pred; e ; e = e->pred_next, n++)
     {
-      if (fallthru->flags & EDGE_FALLTHRU)
-       break;
-      if (n > 100)
+      if (e->flags & EDGE_FALLTHRU)
+       fallthru = e;
+      if (n > max)
        return false;
     }
 
@@ -1514,6 +1578,12 @@ try_crossjump_bb (mode, bb)
             If there is a match, we'll do it the other way around.  */
          if (e == fallthru)
            continue;
+         /* If nothing changed since the last attempt, there is nothing
+            we can do.  */
+         if (!first_pass
+             && (!(e->src->flags & BB_DIRTY)
+                 && !(fallthru->src->flags & BB_DIRTY)))
+           continue;
 
          if (try_crossjump_to_edge (mode, e, fallthru))
            {
@@ -1556,6 +1626,13 @@ try_crossjump_bb (mode, bb)
          if (e->src->index > e2->src->index)
            continue;
 
+         /* If nothing changed since the last attempt, there is nothing
+            we can do.  */
+         if (!first_pass
+             && (!(e->src->flags & BB_DIRTY)
+                 && !(e2->src->flags & BB_DIRTY)))
+           continue;
+
          if (try_crossjump_to_edge (mode, e, e2))
            {
              changed = true;
@@ -1572,25 +1649,25 @@ try_crossjump_bb (mode, bb)
    instructions etc.  Return nonzero if changes were made.  */
 
 static bool
-try_optimize_cfg (mode)
-     int mode;
+try_optimize_cfg (int mode)
 {
-  int i;
   bool changed_overall = false;
   bool changed;
   int iterations = 0;
+  basic_block bb, b, next;
 
   if (mode & CLEANUP_CROSSJUMP)
     add_noreturn_fake_exit_edges ();
 
-  for (i = 0; i < n_basic_blocks; i++)
-    update_forwarder_flag (BASIC_BLOCK (i));
+  FOR_EACH_BB (bb)
+    update_forwarder_flag (bb);
 
-  if (mode & CLEANUP_UPDATE_LIFE)
+  if (mode & (CLEANUP_UPDATE_LIFE | CLEANUP_CROSSJUMP | CLEANUP_THREADING))
     clear_bb_flags ();
 
   if (! (* targetm.cannot_modify_jumps_p) ())
     {
+      first_pass = true;
       /* Attempt to merge blocks as made possible by edge removal.  If
         a block has only one successor, and the successor has only
         one predecessor, they may be combined.  */
@@ -1604,22 +1681,23 @@ try_optimize_cfg (mode)
                     "\n\ntry_optimize_cfg iteration %i\n\n",
                     iterations);
 
-         for (i = 0; i < n_basic_blocks;)
+         for (b = ENTRY_BLOCK_PTR->next_bb; b != EXIT_BLOCK_PTR;)
            {
-             basic_block c, b = BASIC_BLOCK (i);
+             basic_block c;
              edge s;
              bool changed_here = false;
 
              /* Delete trivially dead basic blocks.  */
              while (b->pred == NULL)
                {
-                 c = BASIC_BLOCK (b->index - 1);
+                 c = b->prev_bb;
                  if (rtl_dump_file)
                    fprintf (rtl_dump_file, "Deleting block %i.\n",
                             b->index);
 
-                 flow_delete_block (b);
-                 changed = true;
+                 delete_basic_block (b);
+                 if (!(mode & CLEANUP_CFGLAYOUT))
+                   changed = true;
                  b = c;
                }
 
@@ -1629,9 +1707,9 @@ try_optimize_cfg (mode)
              if (b->pred->pred_next == NULL
                  && (b->pred->flags & EDGE_FALLTHRU)
                  && !(b->pred->flags & EDGE_COMPLEX)
-                 && GET_CODE (b->head) == CODE_LABEL
+                 && GET_CODE (BB_HEAD (b)) == CODE_LABEL
                  && (!(mode & CLEANUP_PRE_SIBCALL)
-                     || !tail_recursion_label_p (b->head))
+                     || !tail_recursion_label_p (BB_HEAD (b)))
                  /* If the previous block ends with a branch to this
                     block, we can't delete the label.  Normally this
                     is a condjump that is yet to be simplified, but
@@ -1639,23 +1717,32 @@ try_optimize_cfg (mode)
                     some element going to the same place as the
                     default (fallthru).  */
                  && (b->pred->src == ENTRY_BLOCK_PTR
-                     || GET_CODE (b->pred->src->end) != JUMP_INSN
-                     || ! label_is_jump_target_p (b->head,
-                                                  b->pred->src->end)))
+                     || GET_CODE (BB_END (b->pred->src)) != JUMP_INSN
+                     || ! label_is_jump_target_p (BB_HEAD (b),
+                                                  BB_END (b->pred->src))))
                {
-                 rtx label = b->head;
+                 rtx label = BB_HEAD (b);
 
-                 b->head = NEXT_INSN (b->head);
                  delete_insn_chain (label, label);
+                 /* In the case label is undeletable, move it after the
+                    BASIC_BLOCK note.  */
+                 if (NOTE_LINE_NUMBER (BB_HEAD (b)) == NOTE_INSN_DELETED_LABEL)
+                   {
+                     rtx bb_note = NEXT_INSN (BB_HEAD (b));
+
+                     reorder_insns_nobb (label, label, bb_note);
+                     BB_HEAD (b) = bb_note;
+                   }
                  if (rtl_dump_file)
                    fprintf (rtl_dump_file, "Deleted label in block %i.\n",
                             b->index);
                }
 
              /* If we fall through an empty block, we can remove it.  */
-             if (b->pred->pred_next == NULL
+             if (!(mode & CLEANUP_CFGLAYOUT)
+                 && b->pred->pred_next == NULL
                  && (b->pred->flags & EDGE_FALLTHRU)
-                 && GET_CODE (b->head) != CODE_LABEL
+                 && GET_CODE (BB_HEAD (b)) != CODE_LABEL
                  && FORWARDER_BLOCK_P (b)
                  /* Note that forwarder_block_p true ensures that
                     there is a successor for this block.  */
@@ -1667,41 +1754,63 @@ try_optimize_cfg (mode)
                             "Deleting fallthru block %i.\n",
                             b->index);
 
-                 c = BASIC_BLOCK (b->index ? b->index - 1 : 1);
+                 c = b->prev_bb == ENTRY_BLOCK_PTR ? b->next_bb : b->prev_bb;
                  redirect_edge_succ_nodup (b->pred, b->succ->dest);
-                 flow_delete_block (b);
+                 delete_basic_block (b);
                  changed = true;
                  b = c;
                }
 
-             /* Merge blocks.  Loop because chains of blocks might be
-                combineable.  */
-             while ((s = b->succ) != NULL
-                    && s->succ_next == NULL
-                    && !(s->flags & EDGE_COMPLEX)
-                    && (c = s->dest) != EXIT_BLOCK_PTR
-                    && c->pred->pred_next == NULL
-                    /* If the jump insn has side effects,
-                       we can't kill the edge.  */
-                    && (GET_CODE (b->end) != JUMP_INSN
-                        || simplejump_p (b->end))
-                    && merge_blocks (s, b, c, mode))
-               changed_here = true;
+             if ((s = b->succ) != NULL
+                 && s->succ_next == NULL
+                 && !(s->flags & EDGE_COMPLEX)
+                 && (c = s->dest) != EXIT_BLOCK_PTR
+                 && c->pred->pred_next == NULL
+                 && b != c)
+               {
+                 /* When not in cfg_layout mode use code aware of reordering
+                    INSN.  This code possibly creates new basic blocks so it
+                    does not fit merge_blocks interface and is kept here in
+                    hope that it will become useless once more of compiler
+                    is transformed to use cfg_layout mode.  */
+                    
+                 if ((mode & CLEANUP_CFGLAYOUT)
+                     && can_merge_blocks_p (b, c))
+                   {
+                     merge_blocks (b, c);
+                     update_forwarder_flag (b);
+                     changed_here = true;
+                   }
+                 else if (!(mode & CLEANUP_CFGLAYOUT)
+                          /* If the jump insn has side effects,
+                             we can't kill the edge.  */
+                          && (GET_CODE (BB_END (b)) != JUMP_INSN
+                              || (reload_completed
+                                  ? simplejump_p (BB_END (b))
+                                  : onlyjump_p (BB_END (b))))
+                          && (next = merge_blocks_move (s, b, c, mode)))
+                     {
+                       b = next;
+                       changed_here = true;
+                     }
+               }
 
              /* Simplify branch over branch.  */
-             if ((mode & CLEANUP_EXPENSIVE) && try_simplify_condjump (b))
+             if ((mode & CLEANUP_EXPENSIVE)
+                  && !(mode & CLEANUP_CFGLAYOUT)
+                  && try_simplify_condjump (b))
                changed_here = true;
 
              /* If B has a single outgoing edge, but uses a
                 non-trivial jump instruction without side-effects, we
                 can either delete the jump entirely, or replace it
-                with a simple unconditional jump.  Use
-                redirect_edge_and_branch to do the dirty work.  */
+                with a simple unconditional jump.  */
              if (b->succ
                  && ! b->succ->succ_next
                  && b->succ->dest != EXIT_BLOCK_PTR
-                 && onlyjump_p (b->end)
-                 && redirect_edge_and_branch (b->succ, b->succ->dest))
+                 && onlyjump_p (BB_END (b))
+                 && try_redirect_by_replacing_jump (b->succ, b->succ->dest,
+                                                    (mode & CLEANUP_CFGLAYOUT) != 0))
                {
                  update_forwarder_flag (b);
                  changed_here = true;
@@ -1719,7 +1828,7 @@ try_optimize_cfg (mode)
              /* Don't get confused by the index shift caused by
                 deleting blocks.  */
              if (!changed_here)
-               i = b->index + 1;
+               b = b->next_bb;
              else
                changed = true;
            }
@@ -1734,6 +1843,7 @@ try_optimize_cfg (mode)
 #endif
 
          changed_overall |= changed;
+         first_pass = false;
        }
       while (changed);
     }
@@ -1749,35 +1859,25 @@ try_optimize_cfg (mode)
 /* Delete all unreachable basic blocks.  */
 
 bool
-delete_unreachable_blocks ()
+delete_unreachable_blocks (void)
 {
-  int i, j;
   bool changed = false;
+  basic_block b, next_bb;
 
   find_unreachable_blocks ();
 
-  /* Delete all unreachable basic blocks.  Do compaction concurrently,
-     as otherwise we can wind up with O(N^2) behaviour here when we 
-     have oodles of dead code.  */
+  /* Delete all unreachable basic blocks.  */
 
-  for (i = j = 0; i < n_basic_blocks; ++i)
+  for (b = ENTRY_BLOCK_PTR->next_bb; b != EXIT_BLOCK_PTR; b = next_bb)
     {
-      basic_block b = BASIC_BLOCK (i);
+      next_bb = b->next_bb;
 
       if (!(b->flags & BB_REACHABLE))
        {
-         flow_delete_block_noexpunge (b);
-         expunge_block_nocompact (b);
+         delete_basic_block (b);
          changed = true;
        }
-      else
-       {
-         BASIC_BLOCK (j) = b;
-         b->index = j++;
-       }
     }
-  n_basic_blocks = j;
-  basic_block_info->num_elements = j;
 
   if (changed)
     tidy_fallthru_edges ();
@@ -1787,8 +1887,7 @@ delete_unreachable_blocks ()
 /* Tidy the CFG by deleting unreachable code and whatnot.  */
 
 bool
-cleanup_cfg (mode)
-     int mode;
+cleanup_cfg (int mode)
 {
   bool changed = false;
 
@@ -1797,27 +1896,34 @@ cleanup_cfg (mode)
     {
       changed = true;
       /* We've possibly created trivially dead code.  Cleanup it right
-        now to introduce more oppurtunities for try_optimize_cfg.  */
-      if (!(mode & (CLEANUP_UPDATE_LIFE | CLEANUP_PRE_SIBCALL))
+        now to introduce more opportunities for try_optimize_cfg.  */
+      if (!(mode & (CLEANUP_NO_INSN_DEL
+                   | CLEANUP_UPDATE_LIFE | CLEANUP_PRE_SIBCALL))
          && !reload_completed)
        delete_trivially_dead_insns (get_insns(), max_reg_num ());
     }
+
+  compact_blocks ();
+
   while (try_optimize_cfg (mode))
     {
       delete_unreachable_blocks (), changed = true;
       if (mode & CLEANUP_UPDATE_LIFE)
        {
-         /* Cleaning up CFG introduces more oppurtunities for dead code
-            removal that in turn may introduce more oppurtunities for
+         /* Cleaning up CFG introduces more opportunities for dead code
+            removal that in turn may introduce more opportunities for
             cleaning up the CFG.  */
          if (!update_life_info_in_dirty_blocks (UPDATE_LIFE_GLOBAL_RM_NOTES,
                                                 PROP_DEATH_NOTES
                                                 | PROP_SCAN_DEAD_CODE
                                                 | PROP_KILL_DEAD_CODE
-                                                | PROP_LOG_LINKS))
+                                                | ((mode & CLEANUP_LOG_LINKS)
+                                                   ? PROP_LOG_LINKS : 0)))
            break;
        }
-      else if (!(mode & CLEANUP_PRE_SIBCALL) && !reload_completed)
+      else if (!(mode & (CLEANUP_NO_INSN_DEL | CLEANUP_PRE_SIBCALL))
+              && (mode & CLEANUP_EXPENSIVE)
+              && !reload_completed)
        {
          if (!delete_trivially_dead_insns (get_insns(), max_reg_num ()))
            break;