OSDN Git Service

* src/powerpc/ffi.c (ffi_prep_cif_machdep <FFI_LINUX64>): Correct
[pf3gnuchains/gcc-fork.git] / gcc / cfgrtl.c
index 7c36c54..cce760f 100644 (file)
@@ -1,6 +1,6 @@
 /* Control flow graph manipulation code for GNU compiler.
    Copyright (C) 1987, 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
-   1999, 2000, 2001, 2002 Free Software Foundation, Inc.
+   1999, 2000, 2001, 2002, 2003, 2004 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -23,20 +23,19 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
    that are aware of the RTL intermediate language.
 
    Available functionality:
+     - Basic CFG/RTL manipulation API documented in cfghooks.h
      - CFG-aware instruction chain manipulation
         delete_insn, delete_insn_chain
-     - Basic block manipulation
-        create_basic_block, rtl_delete_block,rtl_split_block,
-        merge_blocks_nomove
+     - Edge splitting and committing to edges
+        insert_insn_on_edge, commit_edge_insertions
+     - CFG updating after insn simplification
+        purge_dead_edges, purge_all_dead_edges
+
+   Functions not supposed for generic use:
      - Infrastructure to determine quickly basic block for insn
         compute_bb_for_insn, update_bb_for_insn, set_block_for_insn,
      - Edge redirection with updating and optimizing of insn chain
-        block_label, redirect_edge_and_branch,
-        redirect_edge_and_branch_force, tidy_fallthru_edge, force_nonfallthru
-     - Edge splitting and committing to edges
-        split_edge, insert_insn_on_edge, commit_edge_insertions
-     - CFG updating after constant propagation
-        purge_dead_edges, purge_all_dead_edges   */
+        block_label, tidy_fallthru_edge, force_nonfallthru  */
 \f
 #include "config.h"
 #include "system.h"
@@ -56,6 +55,7 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "obstack.h"
 #include "insn-config.h"
 #include "cfglayout.h"
+#include "expr.h"
 
 /* Stubs in case we don't have a return insn.  */
 #ifndef HAVE_return
@@ -69,32 +69,33 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 rtx label_value_list;
 rtx tail_recursion_label_list;
 
-static int can_delete_note_p           PARAMS ((rtx));
-static int can_delete_label_p          PARAMS ((rtx));
-static void commit_one_edge_insertion  PARAMS ((edge, int));
-static bool try_redirect_by_replacing_jump PARAMS ((edge, basic_block));
-static rtx last_loop_beg_note          PARAMS ((rtx));
-static bool back_edge_of_syntactic_loop_p PARAMS ((basic_block, basic_block));
-basic_block force_nonfallthru_and_redirect PARAMS ((edge, basic_block));
-static basic_block rtl_split_edge      PARAMS ((edge));
-static int rtl_verify_flow_info                PARAMS ((void));
-static edge cfg_layout_split_block     PARAMS ((basic_block, void *));
-static bool cfg_layout_redirect_edge_and_branch        PARAMS ((edge, basic_block));
-static basic_block cfg_layout_redirect_edge_and_branch_force PARAMS ((edge, basic_block));
-static void cfg_layout_delete_block    PARAMS ((basic_block));
-static void rtl_delete_block           PARAMS ((basic_block));
-static basic_block rtl_redirect_edge_and_branch_force PARAMS ((edge, basic_block));
-static bool rtl_redirect_edge_and_branch PARAMS ((edge, basic_block));
-static edge rtl_split_block            PARAMS ((basic_block, void *));
-static void rtl_dump_bb                        PARAMS ((basic_block, FILE *));
-static int rtl_verify_flow_info_1      PARAMS ((void));
+static int can_delete_note_p (rtx);
+static int can_delete_label_p (rtx);
+static void commit_one_edge_insertion (edge, int);
+static rtx last_loop_beg_note (rtx);
+static bool back_edge_of_syntactic_loop_p (basic_block, basic_block);
+basic_block force_nonfallthru_and_redirect (edge, basic_block);
+static basic_block rtl_split_edge (edge);
+static bool rtl_move_block_after (basic_block, basic_block);
+static int rtl_verify_flow_info (void);
+static basic_block cfg_layout_split_block (basic_block, void *);
+static bool cfg_layout_redirect_edge_and_branch (edge, basic_block);
+static basic_block cfg_layout_redirect_edge_and_branch_force (edge, basic_block);
+static void cfg_layout_delete_block (basic_block);
+static void rtl_delete_block (basic_block);
+static basic_block rtl_redirect_edge_and_branch_force (edge, basic_block);
+static bool rtl_redirect_edge_and_branch (edge, basic_block);
+static basic_block rtl_split_block (basic_block, void *);
+static void rtl_dump_bb (basic_block, FILE *, int);
+static int rtl_verify_flow_info_1 (void);
+static void mark_killed_regs (rtx, rtx, void *);
+static void rtl_make_forwarder_block (edge);
 \f
 /* Return true if NOTE is not one of the ones that must be kept paired,
    so that we may simply delete it.  */
 
 static int
-can_delete_note_p (note)
-     rtx note;
+can_delete_note_p (rtx note)
 {
   return (NOTE_LINE_NUMBER (note) == NOTE_INSN_DELETED
          || NOTE_LINE_NUMBER (note) == NOTE_INSN_BASIC_BLOCK
@@ -104,8 +105,7 @@ can_delete_note_p (note)
 /* True if a given label can be deleted.  */
 
 static int
-can_delete_label_p (label)
-     rtx label;
+can_delete_label_p (rtx label)
 {
   return (!LABEL_PRESERVE_P (label)
          /* User declared labels must be preserved.  */
@@ -117,8 +117,7 @@ can_delete_label_p (label)
 /* Delete INSN by patching it out.  Return the next insn.  */
 
 rtx
-delete_insn (insn)
-     rtx insn;
+delete_insn (rtx insn)
 {
   rtx next = NEXT_INSN (insn);
   rtx note;
@@ -159,9 +158,15 @@ delete_insn (insn)
     LABEL_NUSES (JUMP_LABEL (insn))--;
 
   /* Also if deleting an insn that references a label.  */
-  else if ((note = find_reg_note (insn, REG_LABEL, NULL_RTX)) != NULL_RTX
-          && GET_CODE (XEXP (note, 0)) == CODE_LABEL)
-    LABEL_NUSES (XEXP (note, 0))--;
+  else
+    {
+      while ((note = find_reg_note (insn, REG_LABEL, NULL_RTX)) != NULL_RTX
+            && GET_CODE (XEXP (note, 0)) == CODE_LABEL)
+       {
+         LABEL_NUSES (XEXP (note, 0))--;
+         remove_note (insn, note);
+       }
+    }
 
   if (GET_CODE (insn) == JUMP_INSN
       && (GET_CODE (PATTERN (insn)) == ADDR_VEC
@@ -189,15 +194,14 @@ delete_insn (insn)
 
 /* Like delete_insn but also purge dead edges from BB.  */
 rtx
-delete_insn_and_edges (insn)
-     rtx insn;
+delete_insn_and_edges (rtx insn)
 {
   rtx x;
   bool purge = false;
 
   if (INSN_P (insn)
       && BLOCK_FOR_INSN (insn)
-      && BLOCK_FOR_INSN (insn)->end == insn)
+      && BB_END (BLOCK_FOR_INSN (insn)) == insn)
     purge = true;
   x = delete_insn (insn);
   if (purge)
@@ -209,8 +213,7 @@ delete_insn_and_edges (insn)
    that must be paired.  */
 
 void
-delete_insn_chain (start, finish)
-     rtx start, finish;
+delete_insn_chain (rtx start, rtx finish)
 {
   rtx next;
 
@@ -233,14 +236,13 @@ delete_insn_chain (start, finish)
 
 /* Like delete_insn but also purge dead edges from BB.  */
 void
-delete_insn_chain_and_edges (first, last)
-     rtx first, last;
+delete_insn_chain_and_edges (rtx first, rtx last)
 {
   bool purge = false;
 
   if (INSN_P (last)
       && BLOCK_FOR_INSN (last)
-      && BLOCK_FOR_INSN (last)->end == last)
+      && BB_END (BLOCK_FOR_INSN (last)) == last)
     purge = true;
   delete_insn_chain (first, last);
   if (purge)
@@ -256,9 +258,7 @@ delete_insn_chain_and_edges (first, last)
    AFTER is the basic block we should be put after.  */
 
 basic_block
-create_basic_block_structure (head, end, bb_note, after)
-     rtx head, end, bb_note;
-     basic_block after;
+create_basic_block_structure (rtx head, rtx end, rtx bb_note, basic_block after)
 {
   basic_block bb;
 
@@ -312,8 +312,8 @@ create_basic_block_structure (head, end, bb_note, after)
   if (NEXT_INSN (end) == bb_note)
     end = bb_note;
 
-  bb->head = head;
-  bb->end = end;
+  BB_HEAD (bb) = head;
+  BB_END (bb) = end;
   bb->index = last_basic_block++;
   bb->flags = BB_NEW;
   link_block (bb, after);
@@ -332,15 +332,14 @@ create_basic_block_structure (head, end, bb_note, after)
    create new empty basic block before HEAD.  Both END and HEAD can be NULL to
    create basic block at the end of INSN chain.  */
 
-basic_block
-create_basic_block (head, end, after)
-     rtx head, end;
-     basic_block after;
+static basic_block
+rtl_create_basic_block (void *headp, void *endp, basic_block after)
 {
+  rtx head = headp, end = endp;
   basic_block bb;
 
   /* Place the new block just after the end.  */
-  VARRAY_GROW (basic_block_info, last_basic_block+1);
+  VARRAY_GROW (basic_block_info, last_basic_block + 1);
 
   n_basic_blocks++;
 
@@ -348,6 +347,15 @@ create_basic_block (head, end, after)
   bb->aux = NULL;
   return bb;
 }
+
+static basic_block
+cfg_layout_create_basic_block (void *head, void *end, basic_block after)
+{
+  basic_block newbb = rtl_create_basic_block (head, end, after);
+
+  cfg_layout_initialize_rbi (newbb);
+  return newbb;
+}
 \f
 /* Delete the insns in a (non-live) block.  We physically delete every
    non-deleted-note insn, and update the flow graph appropriately.
@@ -358,8 +366,7 @@ create_basic_block (head, end, after)
    to post-process the stream to remove empty blocks, loops, ranges, etc.  */
 
 static void
-rtl_delete_block (b)
-     basic_block b;
+rtl_delete_block (basic_block b)
 {
   rtx insn, end, tmp;
 
@@ -373,7 +380,7 @@ rtl_delete_block (b)
   /* Get rid of all NOTE_INSN_PREDICTIONs and NOTE_INSN_LOOP_CONTs
      hanging before the block.  */
 
-  for (insn = PREV_INSN (b->head); insn; insn = PREV_INSN (insn))
+  for (insn = PREV_INSN (BB_HEAD (b)); insn; insn = PREV_INSN (insn))
     {
       if (GET_CODE (insn) != NOTE)
        break;
@@ -382,15 +389,15 @@ rtl_delete_block (b)
        NOTE_LINE_NUMBER (insn) = NOTE_INSN_DELETED;
     }
 
-  insn = b->head;
+  insn = BB_HEAD (b);
 
-  never_reached_warning (insn, b->end);
+  never_reached_warning (insn, BB_END (b));
 
   if (GET_CODE (insn) == CODE_LABEL)
     maybe_remove_eh_handler (insn);
 
   /* Include any jump table following the basic block.  */
-  end = b->end;
+  end = BB_END (b);
   if (tablejump_p (end, NULL, &tmp))
     end = tmp;
 
@@ -400,36 +407,23 @@ rtl_delete_block (b)
     end = tmp;
 
   /* Selectively delete the entire chain.  */
-  b->head = NULL;
+  BB_HEAD (b) = NULL;
   delete_insn_chain (insn, end);
-
-  /* Remove the edges into and out of this block.  Note that there may
-     indeed be edges in, if we are removing an unreachable loop.  */
-  while (b->pred != NULL)
-    remove_edge (b->pred);
-  while (b->succ != NULL)
-    remove_edge (b->succ);
-
-  b->pred = NULL;
-  b->succ = NULL;
-
-  /* Remove the basic block from the array.  */
-  expunge_block (b);
 }
 \f
 /* Records the basic block struct in BLOCK_FOR_INSN for every insn.  */
 
 void
-compute_bb_for_insn ()
+compute_bb_for_insn (void)
 {
   basic_block bb;
 
   FOR_EACH_BB (bb)
     {
-      rtx end = bb->end;
+      rtx end = BB_END (bb);
       rtx insn;
 
-      for (insn = bb->head; ; insn = NEXT_INSN (insn))
+      for (insn = BB_HEAD (bb); ; insn = NEXT_INSN (insn))
        {
          BLOCK_FOR_INSN (insn) = bb;
          if (insn == end)
@@ -441,7 +435,7 @@ compute_bb_for_insn ()
 /* Release the basic_block_for_insn array.  */
 
 void
-free_bb_for_insn ()
+free_bb_for_insn (void)
 {
   rtx insn;
   for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
@@ -452,45 +446,48 @@ free_bb_for_insn ()
 /* Update insns block within BB.  */
 
 void
-update_bb_for_insn (bb)
-     basic_block bb;
+update_bb_for_insn (basic_block bb)
 {
   rtx insn;
 
-  for (insn = bb->head; ; insn = NEXT_INSN (insn))
+  for (insn = BB_HEAD (bb); ; insn = NEXT_INSN (insn))
     {
       if (GET_CODE (insn) != BARRIER)
        set_block_for_insn (insn, bb);
-      if (insn == bb->end)
+      if (insn == BB_END (bb))
        break;
     }
 }
 \f
-/* Split a block BB after insn INSN creating a new fallthru edge.
-   Return the new edge.  Note that to keep other parts of the compiler happy,
-   this function renumbers all the basic blocks so that the new
-   one has a number one greater than the block split.  */
-
-static edge
-rtl_split_block (bb, insnp)
-     basic_block bb;
-     void *insnp;
+/* Creates a new basic block just after basic block B by splitting
+   everything after specified instruction I.  */
+
+static basic_block
+rtl_split_block (basic_block bb, void *insnp)
 {
   basic_block new_bb;
-  edge new_edge;
-  edge e;
   rtx insn = insnp;
+  edge e;
 
-  /* There is no point splitting the block after its end.  */
-  if (bb->end == insn)
-    return 0;
+  if (!insn)
+    {
+      insn = first_insn_after_basic_block_note (bb);
+
+      if (insn)
+       insn = PREV_INSN (insn);
+      else
+       insn = get_last_insn ();
+    }
+
+  /* We probably should check type of the insn so that we do not create
+     inconsistent cfg.  It is checked in verify_flow_info anyway, so do not
+     bother.  */
+  if (insn == BB_END (bb))
+    emit_note_after (NOTE_INSN_DELETED, insn);
 
   /* Create the new basic block.  */
-  new_bb = create_basic_block (NEXT_INSN (insn), bb->end, bb);
-  new_bb->count = bb->count;
-  new_bb->frequency = bb->frequency;
-  new_bb->loop_depth = bb->loop_depth;
-  bb->end = insn;
+  new_bb = create_basic_block (NEXT_INSN (insn), BB_END (bb), bb);
+  BB_END (bb) = insn;
 
   /* Redirect the outgoing edges.  */
   new_bb->succ = bb->succ;
@@ -498,8 +495,6 @@ rtl_split_block (bb, insnp)
   for (e = new_bb->succ; e; e = e->succ_next)
     e->src = new_bb;
 
-  new_edge = make_single_succ_edge (bb, new_bb, EDGE_FALLTHRU);
-
   if (bb->global_live_at_start)
     {
       new_bb->global_live_at_start = OBSTACK_ALLOC_REG_SET (&flow_obstack);
@@ -526,20 +521,18 @@ rtl_split_block (bb, insnp)
 #endif
     }
 
-  return new_edge;
+  return new_bb;
 }
 
 /* Blocks A and B are to be merged into a single block A.  The insns
-   are already contiguous, hence `nomove'.  */
+   are already contiguous.  */
 
-void
-merge_blocks_nomove (a, b)
-     basic_block a, b;
+static void
+rtl_merge_blocks (basic_block a, basic_block b)
 {
-  rtx b_head = b->head, b_end = b->end, a_end = a->end;
+  rtx b_head = BB_HEAD (b), b_end = BB_END (b), a_end = BB_END (a);
   rtx del_first = NULL_RTX, del_last = NULL_RTX;
   int b_empty = 0;
-  edge e;
 
   /* If there was a CODE_LABEL beginning B, delete it.  */
   if (GET_CODE (b_head) == CODE_LABEL)
@@ -574,7 +567,7 @@ merge_blocks_nomove (a, b)
       for (prev = PREV_INSN (a_end); ; prev = PREV_INSN (prev))
        if (GET_CODE (prev) != NOTE
            || NOTE_LINE_NUMBER (prev) == NOTE_INSN_BASIC_BLOCK
-           || prev == a->head)
+           || prev == BB_HEAD (a))
          break;
 
       del_first = a_end;
@@ -588,7 +581,7 @@ merge_blocks_nomove (a, b)
 
          prev = prev_nonnote_insn (prev);
          if (!prev)
-           prev = a->head;
+           prev = BB_HEAD (a);
          del_first = tmp;
        }
 #endif
@@ -598,27 +591,9 @@ merge_blocks_nomove (a, b)
   else if (GET_CODE (NEXT_INSN (a_end)) == BARRIER)
     del_first = NEXT_INSN (a_end);
 
-  /* Normally there should only be one successor of A and that is B, but
-     partway though the merge of blocks for conditional_execution we'll
-     be merging a TEST block with THEN and ELSE successors.  Free the
-     whole lot of them and hope the caller knows what they're doing.  */
-  while (a->succ)
-    remove_edge (a->succ);
-
-  /* Adjust the edges out of B for the new owner.  */
-  for (e = b->succ; e; e = e->succ_next)
-    e->src = a;
-  a->succ = b->succ;
-  a->flags |= b->flags;
-
-  /* B hasn't quite yet ceased to exist.  Attempt to prevent mishap.  */
-  b->pred = b->succ = NULL;
-  a->global_live_at_end = b->global_live_at_end;
-
-  expunge_block (b);
-
   /* Delete everything marked above as well as crap that might be
      hanging out between the two blocks.  */
+  BB_HEAD (b) = NULL;
   delete_insn_chain (del_first, del_last);
 
   /* Reassociate the insns of B with A.  */
@@ -634,25 +609,42 @@ merge_blocks_nomove (a, b)
       a_end = b_end;
     }
 
-  a->end = a_end;
+  BB_END (a) = a_end;
+}
+
+/* Return true when block A and B can be merged.  */
+static bool
+rtl_can_merge_blocks (basic_block a,basic_block b)
+{
+  /* There must be exactly one edge in between the blocks.  */
+  return (a->succ && !a->succ->succ_next && a->succ->dest == b
+         && !b->pred->pred_next && a != b
+         /* Must be simple edge.  */
+         && !(a->succ->flags & EDGE_COMPLEX)
+         && a->next_bb == b
+         && a != ENTRY_BLOCK_PTR && b != EXIT_BLOCK_PTR
+         /* If the jump insn has side effects,
+            we can't kill the edge.  */
+         && (GET_CODE (BB_END (a)) != JUMP_INSN
+             || (reload_completed
+                 ? simplejump_p (BB_END (a)) : onlyjump_p (BB_END (a)))));
 }
 \f
 /* Return the label in the head of basic block BLOCK.  Create one if it doesn't
    exist.  */
 
 rtx
-block_label (block)
-     basic_block block;
+block_label (basic_block block)
 {
   if (block == EXIT_BLOCK_PTR)
     return NULL_RTX;
 
-  if (GET_CODE (block->head) != CODE_LABEL)
+  if (GET_CODE (BB_HEAD (block)) != CODE_LABEL)
     {
-      block->head = emit_label_before (gen_label_rtx (), block->head);
+      BB_HEAD (block) = emit_label_before (gen_label_rtx (), BB_HEAD (block));
     }
 
-  return block->head;
+  return BB_HEAD (block);
 }
 
 /* Attempt to perform edge redirection by replacing possibly complex jump
@@ -660,13 +652,11 @@ block_label (block)
    apply only if all edges now point to the same block.  The parameters and
    return values are equivalent to redirect_edge_and_branch.  */
 
-static bool
-try_redirect_by_replacing_jump (e, target)
-     edge e;
-     basic_block target;
+bool
+try_redirect_by_replacing_jump (edge e, basic_block target, bool in_cfglayout)
 {
   basic_block src = e->src;
-  rtx insn = src->end, kill_from;
+  rtx insn = BB_END (src), kill_from;
   edge tmp;
   rtx set;
   int fallthru = 0;
@@ -678,7 +668,7 @@ try_redirect_by_replacing_jump (e, target)
 
   if (tmp || !onlyjump_p (insn))
     return false;
-  if ((!optimize || flow2_completed) && tablejump_p (insn, NULL, NULL))
+  if ((!optimize || reload_completed) && tablejump_p (insn, NULL, NULL))
     return false;
 
   /* Avoid removing branch with side effects.  */
@@ -695,14 +685,38 @@ try_redirect_by_replacing_jump (e, target)
 #endif
 
   /* See if we can create the fallthru edge.  */
-  if (can_fallthru (src, target))
+  if (in_cfglayout || can_fallthru (src, target))
     {
       if (rtl_dump_file)
        fprintf (rtl_dump_file, "Removing jump %i.\n", INSN_UID (insn));
       fallthru = 1;
 
       /* Selectively unlink whole insn chain.  */
-      delete_insn_chain (kill_from, PREV_INSN (target->head));
+      if (in_cfglayout)
+       {
+         rtx insn = src->rbi->footer;
+
+          delete_insn_chain (kill_from, BB_END (src));
+
+         /* Remove barriers but keep jumptables.  */
+         while (insn)
+           {
+             if (GET_CODE (insn) == BARRIER)
+               {
+                 if (PREV_INSN (insn))
+                   NEXT_INSN (PREV_INSN (insn)) = NEXT_INSN (insn);
+                 else
+                   src->rbi->footer = NEXT_INSN (insn);
+                 if (NEXT_INSN (insn))
+                   PREV_INSN (NEXT_INSN (insn)) = PREV_INSN (insn);
+               }
+             if (GET_CODE (insn) == CODE_LABEL)
+               break;
+             insn = NEXT_INSN (insn);
+           }
+       }
+      else
+        delete_insn_chain (kill_from, PREV_INSN (BB_HEAD (target)));
     }
 
   /* If this already is simplejump, redirect it.  */
@@ -732,11 +746,11 @@ try_redirect_by_replacing_jump (e, target)
       rtx barrier, label, table;
 
       emit_jump_insn_after (gen_jump (target_label), insn);
-      JUMP_LABEL (src->end) = target_label;
+      JUMP_LABEL (BB_END (src)) = target_label;
       LABEL_NUSES (target_label)++;
       if (rtl_dump_file)
        fprintf (rtl_dump_file, "Replacing insn %i by jump %i\n",
-                INSN_UID (insn), INSN_UID (src->end));
+                INSN_UID (insn), INSN_UID (BB_END (src)));
 
 
       delete_insn_chain (kill_from, insn);
@@ -747,9 +761,33 @@ try_redirect_by_replacing_jump (e, target)
       if (tablejump_p (insn, &label, &table))
        delete_insn_chain (label, table);
 
-      barrier = next_nonnote_insn (src->end);
+      barrier = next_nonnote_insn (BB_END (src));
       if (!barrier || GET_CODE (barrier) != BARRIER)
-       emit_barrier_after (src->end);
+       emit_barrier_after (BB_END (src));
+      else
+       {
+         if (barrier != NEXT_INSN (BB_END (src)))
+           {
+             /* Move the jump before barrier so that the notes
+                which originally were or were created before jump table are
+                inside the basic block.  */
+             rtx new_insn = BB_END (src);
+             rtx tmp;
+
+             for (tmp = NEXT_INSN (BB_END (src)); tmp != barrier;
+                  tmp = NEXT_INSN (tmp))
+               set_block_for_insn (tmp, src);
+
+             NEXT_INSN (PREV_INSN (new_insn)) = NEXT_INSN (new_insn);
+             PREV_INSN (NEXT_INSN (new_insn)) = PREV_INSN (new_insn);
+
+             NEXT_INSN (new_insn) = barrier;
+             NEXT_INSN (PREV_INSN (barrier)) = new_insn;
+
+             PREV_INSN (new_insn) = PREV_INSN (barrier);
+             PREV_INSN (barrier) = new_insn;
+           }
+       }
     }
 
   /* Keep only one edge out and set proper flags.  */
@@ -766,9 +804,9 @@ try_redirect_by_replacing_jump (e, target)
 
   /* We don't want a block to end on a line-number note since that has
      the potential of changing the code between -g and not -g.  */
-  while (GET_CODE (e->src->end) == NOTE
-        && NOTE_LINE_NUMBER (e->src->end) >= 0)
-    delete_insn (e->src->end);
+  while (GET_CODE (BB_END (e->src)) == NOTE
+        && NOTE_LINE_NUMBER (BB_END (e->src)) >= 0)
+    delete_insn (BB_END (e->src));
 
   if (e->dest != target)
     redirect_edge_succ (e, target);
@@ -785,8 +823,7 @@ try_redirect_by_replacing_jump (e, target)
    test.  */
 
 static rtx
-last_loop_beg_note (insn)
-     rtx insn;
+last_loop_beg_note (rtx insn)
 {
   rtx last = insn;
 
@@ -799,37 +836,14 @@ last_loop_beg_note (insn)
   return last;
 }
 
-/* Attempt to change code to redirect edge E to TARGET.  Don't do that on
-   expense of adding new instructions or reordering basic blocks.
-
-   Function can be also called with edge destination equivalent to the TARGET.
-   Then it should try the simplifications and do nothing if none is possible.
-
-   Return true if transformation succeeded.  We still return false in case E
-   already destinated TARGET and we didn't managed to simplify instruction
-   stream.  */
-
+/* Redirect edge representing branch of (un)conditional jump or tablejump.  */
 static bool
-rtl_redirect_edge_and_branch (e, target)
-     edge e;
-     basic_block target;
+redirect_branch_edge (edge e, basic_block target)
 {
   rtx tmp;
-  rtx old_label = e->dest->head;
+  rtx old_label = BB_HEAD (e->dest);
   basic_block src = e->src;
-  rtx insn = src->end;
-
-  if (e->flags & (EDGE_ABNORMAL_CALL | EDGE_EH))
-    return false;
-
-  if (try_redirect_by_replacing_jump (e, target))
-    return true;
-
-  /* Do this fast path late, as we want above code to simplify for cases
-     where called on single edge leaving basic block containing nontrivial
-     jump insn.  */
-  else if (e->dest == target)
-    return false;
+  rtx insn = BB_END (src);
 
   /* We can only redirect non-fallthru edges of jump insn.  */
   if (e->flags & EDGE_FALLTHRU)
@@ -859,7 +873,7 @@ rtl_redirect_edge_and_branch (e, target)
            ++LABEL_NUSES (new_label);
          }
 
-      /* Handle casesi dispatch insns */
+      /* Handle casesi dispatch insns */
       if ((tmp = single_set (insn)) != NULL
          && SET_DEST (tmp) == pc_rtx
          && GET_CODE (SET_SRC (tmp)) == IF_THEN_ELSE
@@ -903,6 +917,33 @@ rtl_redirect_edge_and_branch (e, target)
 
   if (e->dest != target)
     redirect_edge_succ_nodup (e, target);
+  return true;
+}
+
+/* Attempt to change code to redirect edge E to TARGET.  Don't do that on
+   expense of adding new instructions or reordering basic blocks.
+
+   Function can be also called with edge destination equivalent to the TARGET.
+   Then it should try the simplifications and do nothing if none is possible.
+
+   Return true if transformation succeeded.  We still return false in case E
+   already destinated TARGET and we didn't managed to simplify instruction
+   stream.  */
+
+static bool
+rtl_redirect_edge_and_branch (edge e, basic_block target)
+{
+  if (e->flags & (EDGE_ABNORMAL_CALL | EDGE_EH))
+    return false;
+
+  if (e->dest == target)
+    return true;
+
+  if (try_redirect_by_replacing_jump (e, target, false))
+    return true;
+
+  if (!redirect_branch_edge (e, target))
+    return false;
 
   return true;
 }
@@ -911,9 +952,7 @@ rtl_redirect_edge_and_branch (e, target)
    Used by redirect_edge_and_branch_force.  */
 
 basic_block
-force_nonfallthru_and_redirect (e, target)
-     edge e;
-     basic_block target;
+force_nonfallthru_and_redirect (edge e, basic_block target)
 {
   basic_block jump_block, new_bb = NULL, src = e->src;
   rtx note;
@@ -922,20 +961,20 @@ force_nonfallthru_and_redirect (e, target)
 
   /* In the case the last instruction is conditional jump to the next
      instruction, first redirect the jump itself and then continue
-     by creating an basic block afterwards to redirect fallthru edge.  */
+     by creating a basic block afterwards to redirect fallthru edge.  */
   if (e->src != ENTRY_BLOCK_PTR && e->dest != EXIT_BLOCK_PTR
-      && any_condjump_p (e->src->end)
+      && any_condjump_p (BB_END (e->src))
       /* When called from cfglayout, fallthru edges do not
-         neccessarily go to the next block.  */
+         necessarily go to the next block.  */
       && e->src->next_bb == e->dest
-      && JUMP_LABEL (e->src->end) == e->dest->head)
+      && JUMP_LABEL (BB_END (e->src)) == BB_HEAD (e->dest))
     {
       rtx note;
       edge b = unchecked_make_edge (e->src, target, 0);
 
-      if (!redirect_jump (e->src->end, block_label (target), 0))
+      if (!redirect_jump (BB_END (e->src), block_label (target), 0))
        abort ();
-      note = find_reg_note (e->src->end, REG_BR_PROB, NULL_RTX);
+      note = find_reg_note (BB_END (e->src), REG_BR_PROB, NULL_RTX);
       if (note)
        {
          int prob = INTVAL (XEXP (note, 0));
@@ -956,7 +995,7 @@ force_nonfallthru_and_redirect (e, target)
       /* Irritating special case - fallthru edge to the same block as abnormal
         edge.
         We can't redirect abnormal edge, but we still can split the fallthru
-        one and create separate abnormal edge to original destination. 
+        one and create separate abnormal edge to original destination.
         This allows bb-reorder to make such edge non-fallthru.  */
       if (e->dest != target)
        abort ();
@@ -970,7 +1009,7 @@ force_nonfallthru_and_redirect (e, target)
       /* We can't redirect the entry block.  Create an empty block at the
          start of the function which we use to add the new jump.  */
       edge *pe1;
-      basic_block bb = create_basic_block (e->dest->head, NULL, ENTRY_BLOCK_PTR);
+      basic_block bb = create_basic_block (BB_HEAD (e->dest), NULL, ENTRY_BLOCK_PTR);
 
       /* Change the existing edge's source to be the new block, and add
         a new edge from the entry block to the new block.  */
@@ -990,19 +1029,16 @@ force_nonfallthru_and_redirect (e, target)
     {
       /* Create the new structures.  */
 
+      /* If the old block ended with a tablejump, skip its table
+        by searching forward from there.  Otherwise start searching
+        forward from the last instruction of the old block.  */
+      if (!tablejump_p (BB_END (e->src), NULL, &note))
+       note = BB_END (e->src);
+
       /* Position the new block correctly relative to loop notes.  */
-      note = last_loop_beg_note (e->src->end);
+      note = last_loop_beg_note (note);
       note = NEXT_INSN (note);
 
-      /* ... and ADDR_VECs.  */
-      if (note != NULL
-         && GET_CODE (note) == CODE_LABEL
-         && NEXT_INSN (note)
-         && GET_CODE (NEXT_INSN (note)) == JUMP_INSN
-         && (GET_CODE (PATTERN (NEXT_INSN (note))) == ADDR_DIFF_VEC
-             || GET_CODE (PATTERN (NEXT_INSN (note))) == ADDR_VEC))
-       note = NEXT_INSN (NEXT_INSN (note));
-
       jump_block = create_basic_block (note, NULL, e->src);
       jump_block->count = e->count;
       jump_block->frequency = EDGE_FREQUENCY (e);
@@ -1038,19 +1074,19 @@ force_nonfallthru_and_redirect (e, target)
   if (target == EXIT_BLOCK_PTR)
     {
       if (HAVE_return)
-       emit_jump_insn_after (gen_return (), jump_block->end);
+       emit_jump_insn_after (gen_return (), BB_END (jump_block));
       else
        abort ();
     }
   else
     {
       rtx label = block_label (target);
-      emit_jump_insn_after (gen_jump (label), jump_block->end);
-      JUMP_LABEL (jump_block->end) = label;
+      emit_jump_insn_after (gen_jump (label), BB_END (jump_block));
+      JUMP_LABEL (BB_END (jump_block)) = label;
       LABEL_NUSES (label)++;
     }
 
-  emit_barrier_after (jump_block->end);
+  emit_barrier_after (BB_END (jump_block));
   redirect_edge_succ_nodup (e, target);
 
   if (abnormal_edge_flags)
@@ -1064,8 +1100,7 @@ force_nonfallthru_and_redirect (e, target)
    Return newly created BB or NULL if none.  */
 
 basic_block
-force_nonfallthru (e)
-     edge e;
+force_nonfallthru (edge e)
 {
   return force_nonfallthru_and_redirect (e, e->dest);
 }
@@ -1075,9 +1110,7 @@ force_nonfallthru (e)
    Abort if conversion is impossible.  */
 
 static basic_block
-rtl_redirect_edge_and_branch_force (e, target)
-     edge e;
-     basic_block target;
+rtl_redirect_edge_and_branch_force (edge e, basic_block target)
 {
   if (redirect_edge_and_branch (e, target)
       || e->dest == target)
@@ -1091,12 +1124,16 @@ rtl_redirect_edge_and_branch_force (e, target)
 /* The given edge should potentially be a fallthru edge.  If that is in
    fact true, delete the jump and barriers that are in the way.  */
 
-void
-tidy_fallthru_edge (e, b, c)
-     edge e;
-     basic_block b, c;
+static void
+rtl_tidy_fallthru_edge (edge e)
 {
   rtx q;
+  basic_block b = e->src, c = b->next_bb;
+
+  /* If the jump insn has side effects, we can't tidy the edge.  */
+  if (GET_CODE (BB_END (b)) == JUMP_INSN
+      && !onlyjump_p (BB_END (b)))
+    return;
 
   /* ??? In a late-running flow pass, other folks may have deleted basic
      blocks by nopping out blocks, leaving multiple BARRIERs between here
@@ -1108,14 +1145,14 @@ tidy_fallthru_edge (e, b, c)
      So search through a sequence of barriers, labels, and notes for
      the head of block C and assert that we really do fall through.  */
 
-  for (q = NEXT_INSN (b->end); q != c->head; q = NEXT_INSN (q))
+  for (q = NEXT_INSN (BB_END (b)); q != BB_HEAD (c); q = NEXT_INSN (q))
     if (INSN_P (q))
       return;
 
   /* Remove what will soon cease being the jump insn from the source block.
      If block B consisted only of this single jump, turn it into a deleted
      note.  */
-  q = b->end;
+  q = BB_END (b);
   if (GET_CODE (q) == JUMP_INSN
       && onlyjump_p (q)
       && (any_uncondjump_p (q)
@@ -1137,60 +1174,17 @@ tidy_fallthru_edge (e, b, c)
     }
 
   /* Selectively unlink the sequence.  */
-  if (q != PREV_INSN (c->head))
-    delete_insn_chain (NEXT_INSN (q), PREV_INSN (c->head));
+  if (q != PREV_INSN (BB_HEAD (c)))
+    delete_insn_chain (NEXT_INSN (q), PREV_INSN (BB_HEAD (c)));
 
   e->flags |= EDGE_FALLTHRU;
 }
-
-/* Fix up edges that now fall through, or rather should now fall through
-   but previously required a jump around now deleted blocks.  Simplify
-   the search by only examining blocks numerically adjacent, since this
-   is how find_basic_blocks created them.  */
-
-void
-tidy_fallthru_edges ()
-{
-  basic_block b, c;
-
-  if (ENTRY_BLOCK_PTR->next_bb == EXIT_BLOCK_PTR)
-    return;
-
-  FOR_BB_BETWEEN (b, ENTRY_BLOCK_PTR->next_bb, EXIT_BLOCK_PTR->prev_bb, next_bb)
-    {
-      edge s;
-
-      c = b->next_bb;
-
-      /* We care about simple conditional or unconditional jumps with
-        a single successor.
-
-        If we had a conditional branch to the next instruction when
-        find_basic_blocks was called, then there will only be one
-        out edge for the block which ended with the conditional
-        branch (since we do not create duplicate edges).
-
-        Furthermore, the edge will be marked as a fallthru because we
-        merge the flags for the duplicate edges.  So we do not want to
-        check that the edge is not a FALLTHRU edge.  */
-
-      if ((s = b->succ) != NULL
-         && ! (s->flags & EDGE_COMPLEX)
-         && s->succ_next == NULL
-         && s->dest == c
-         /* If the jump insn has side effects, we can't tidy the edge.  */
-         && (GET_CODE (b->end) != JUMP_INSN
-             || onlyjump_p (b->end)))
-       tidy_fallthru_edge (s, b, c);
-    }
-}
 \f
 /* Helper function for split_edge.  Return true in case edge BB2 to BB1
    is back edge of syntactic loop.  */
 
 static bool
-back_edge_of_syntactic_loop_p (bb1, bb2)
-       basic_block bb1, bb2;
+back_edge_of_syntactic_loop_p (basic_block bb1, basic_block bb2)
 {
   rtx insn;
   int count = 0;
@@ -1207,7 +1201,7 @@ back_edge_of_syntactic_loop_p (bb1, bb2)
   if (!bb)
     return false;
 
-  for (insn = bb1->end; insn != bb2->head && count >= 0;
+  for (insn = BB_END (bb1); insn != BB_HEAD (bb2) && count >= 0;
        insn = NEXT_INSN (insn))
     if (GET_CODE (insn) == NOTE)
       {
@@ -1220,6 +1214,15 @@ back_edge_of_syntactic_loop_p (bb1, bb2)
   return count >= 0;
 }
 
+/* Should move basic block BB after basic block AFTER.  NIY.  */
+
+static bool
+rtl_move_block_after (basic_block bb ATTRIBUTE_UNUSED,
+                     basic_block after ATTRIBUTE_UNUSED)
+{
+  return false;
+}
+
 /* Split a (typically critical) edge.  Return the new block.
    Abort on abnormal edges.
 
@@ -1227,9 +1230,8 @@ back_edge_of_syntactic_loop_p (bb1, bb2)
    The case of a block ending in an unconditional jump to a
    block with multiple predecessors is not handled optimally.  */
 
-basic_block
-rtl_split_edge (edge_in)
-     edge edge_in;
+static basic_block
+rtl_split_edge (edge edge_in)
 {
   basic_block bb;
   rtx before;
@@ -1271,20 +1273,18 @@ rtl_split_edge (edge_in)
       we confuse the loop optimizer into thinking the loop is a phony.  */
 
   if (edge_in->dest != EXIT_BLOCK_PTR
-      && PREV_INSN (edge_in->dest->head)
-      && GET_CODE (PREV_INSN (edge_in->dest->head)) == NOTE
-      && (NOTE_LINE_NUMBER (PREV_INSN (edge_in->dest->head))
+      && PREV_INSN (BB_HEAD (edge_in->dest))
+      && GET_CODE (PREV_INSN (BB_HEAD (edge_in->dest))) == NOTE
+      && (NOTE_LINE_NUMBER (PREV_INSN (BB_HEAD (edge_in->dest)))
          == NOTE_INSN_LOOP_BEG)
       && !back_edge_of_syntactic_loop_p (edge_in->dest, edge_in->src))
-    before = PREV_INSN (edge_in->dest->head);
+    before = PREV_INSN (BB_HEAD (edge_in->dest));
   else if (edge_in->dest != EXIT_BLOCK_PTR)
-    before = edge_in->dest->head;
+    before = BB_HEAD (edge_in->dest);
   else
     before = NULL_RTX;
 
   bb = create_basic_block (before, NULL, edge_in->dest->prev_bb);
-  bb->count = edge_in->count;
-  bb->frequency = EDGE_FREQUENCY (edge_in);
 
   /* ??? This info is likely going to be out of date very soon.  */
   if (edge_in->dest->global_live_at_start)
@@ -1299,7 +1299,7 @@ rtl_split_edge (edge_in)
 
   make_single_succ_edge (bb, edge_in->dest, EDGE_FALLTHRU);
 
-  /* For non-fallthry edges, we must adjust the predecessor's
+  /* For non-fallthru edges, we must adjust the predecessor's
      jump instruction to target our new block.  */
   if ((edge_in->flags & EDGE_FALLTHRU) == 0)
     {
@@ -1317,9 +1317,7 @@ rtl_split_edge (edge_in)
    CFG until commit_edge_insertions is called.  */
 
 void
-insert_insn_on_edge (pattern, e)
-     rtx pattern;
-     edge e;
+insert_insn_on_edge (rtx pattern, edge e)
 {
   /* We cannot insert instructions on an abnormal critical edge.
      It will be easier to find the culprit if we die now.  */
@@ -1337,12 +1335,105 @@ insert_insn_on_edge (pattern, e)
   end_sequence ();
 }
 
+/* Called from safe_insert_insn_on_edge through note_stores, marks live
+   registers that are killed by the store.  */
+static void
+mark_killed_regs (rtx reg, rtx set ATTRIBUTE_UNUSED, void *data)
+{
+  regset killed = data;
+  int regno, i;
+
+  if (GET_CODE (reg) == SUBREG)
+    reg = SUBREG_REG (reg);
+  if (!REG_P (reg))
+    return;
+  regno = REGNO (reg);
+  if (regno >= FIRST_PSEUDO_REGISTER)
+    SET_REGNO_REG_SET (killed, regno);
+  else
+    {
+      for (i = 0; i < (int) hard_regno_nregs[regno][GET_MODE (reg)]; i++)
+       SET_REGNO_REG_SET (killed, regno + i);
+    }
+}
+
+/* Similar to insert_insn_on_edge, tries to put INSN to edge E.  Additionally
+   it checks whether this will not clobber the registers that are live on the
+   edge (i.e. it requires liveness information to be up-to-date) and if there
+   are some, then it tries to save and restore them.  Returns true if
+   successful.  */
+bool
+safe_insert_insn_on_edge (rtx insn, edge e)
+{
+  rtx x;
+  regset_head killed_head;
+  regset killed = INITIALIZE_REG_SET (killed_head);
+  rtx save_regs = NULL_RTX;
+  int regno, noccmode;
+  enum machine_mode mode;
+
+#ifdef AVOID_CCMODE_COPIES
+  noccmode = true;
+#else
+  noccmode = false;
+#endif
+
+  for (x = insn; x; x = NEXT_INSN (x))
+    if (INSN_P (x))
+      note_stores (PATTERN (x), mark_killed_regs, killed);
+  bitmap_operation (killed, killed, e->dest->global_live_at_start,
+                   BITMAP_AND);
+
+  EXECUTE_IF_SET_IN_REG_SET (killed, 0, regno,
+    {
+      mode = regno < FIRST_PSEUDO_REGISTER
+             ? reg_raw_mode[regno]
+             : GET_MODE (regno_reg_rtx[regno]);
+      if (mode == VOIDmode)
+       return false;
+
+      if (noccmode && mode == CCmode)
+       return false;
+       
+      save_regs = alloc_EXPR_LIST (0,
+                                  alloc_EXPR_LIST (0,
+                                                   gen_reg_rtx (mode),
+                                                   gen_raw_REG (mode, regno)),
+                                  save_regs);
+    });
+
+  if (save_regs)
+    {
+      rtx from, to;
+
+      start_sequence ();
+      for (x = save_regs; x; x = XEXP (x, 1))
+       {
+         from = XEXP (XEXP (x, 0), 1);
+         to = XEXP (XEXP (x, 0), 0);
+         emit_move_insn (to, from);
+       }
+      emit_insn (insn);
+      for (x = save_regs; x; x = XEXP (x, 1))
+       {
+         from = XEXP (XEXP (x, 0), 0);
+         to = XEXP (XEXP (x, 0), 1);
+         emit_move_insn (to, from);
+       }
+      insn = get_insns ();
+      end_sequence ();
+      free_EXPR_LIST_list (&save_regs);
+    }
+  insert_insn_on_edge (insn, e);
+  
+  FREE_REG_SET (killed);
+  return true;
+}
+
 /* Update the CFG for the instructions queued on edge E.  */
 
 static void
-commit_one_edge_insertion (e, watch_calls)
-     edge e;
-     int watch_calls;
+commit_one_edge_insertion (edge e, int watch_calls)
 {
   rtx before = NULL_RTX, after = NULL_RTX, insns, tmp, last;
   basic_block bb = NULL;
@@ -1355,11 +1446,11 @@ commit_one_edge_insertion (e, watch_calls)
      its return value.  */
   if (watch_calls && (e->flags & EDGE_FALLTHRU) && !e->dest->pred->pred_next
       && e->src != ENTRY_BLOCK_PTR
-      && GET_CODE (e->src->end) == CALL_INSN)
+      && GET_CODE (BB_END (e->src)) == CALL_INSN)
     {
-      rtx next = next_nonnote_insn (e->src->end);
+      rtx next = next_nonnote_insn (BB_END (e->src));
 
-      after = e->dest->head;
+      after = BB_HEAD (e->dest);
       /* The first insn after the call may be a stack pop, skip it.  */
       while (next
             && keep_with_call_p (next))
@@ -1379,12 +1470,12 @@ commit_one_edge_insertion (e, watch_calls)
 
          /* Get the location correct wrt a code label, and "nice" wrt
             a basic block note, and before everything else.  */
-         tmp = bb->head;
+         tmp = BB_HEAD (bb);
          if (GET_CODE (tmp) == CODE_LABEL)
            tmp = NEXT_INSN (tmp);
          if (NOTE_INSN_BASIC_BLOCK_P (tmp))
            tmp = NEXT_INSN (tmp);
-         if (tmp == bb->head)
+         if (tmp == BB_HEAD (bb))
            before = tmp;
          else if (tmp)
            after = PREV_INSN (tmp);
@@ -1406,8 +1497,8 @@ commit_one_edge_insertion (e, watch_calls)
 
             We know this block has a single successor, so we can just emit
             the queued insns before the jump.  */
-         if (GET_CODE (bb->end) == JUMP_INSN)
-           for (before = bb->end;
+         if (GET_CODE (BB_END (bb)) == JUMP_INSN)
+           for (before = BB_END (bb);
                 GET_CODE (PREV_INSN (before)) == NOTE
                 && NOTE_LINE_NUMBER (PREV_INSN (before)) ==
                 NOTE_INSN_LOOP_BEG; before = PREV_INSN (before))
@@ -1418,14 +1509,14 @@ commit_one_edge_insertion (e, watch_calls)
              if ((e->flags & EDGE_FALLTHRU) == 0)
                abort ();
 
-             after = bb->end;
+             after = BB_END (bb);
            }
        }
       /* Otherwise we must split the edge.  */
       else
        {
          bb = split_edge (e);
-         after = bb->end;
+         after = BB_END (bb);
        }
     }
 
@@ -1467,7 +1558,7 @@ commit_one_edge_insertion (e, watch_calls)
 /* Update the CFG for all queued instructions.  */
 
 void
-commit_edge_insertions ()
+commit_edge_insertions (void)
 {
   basic_block bb;
   sbitmap blocks;
@@ -1515,7 +1606,7 @@ commit_edge_insertions ()
    code on edges between call and storing its return value.  */
 
 void
-commit_edge_insertions_watch_calls ()
+commit_edge_insertions_watch_calls (void)
 {
   basic_block bb;
   sbitmap blocks;
@@ -1559,25 +1650,29 @@ commit_edge_insertions_watch_calls ()
   sbitmap_free (blocks);
 }
 \f
-/* Print out one basic block with live information at start and end.  */
+/* Print out RTL-specific basic block information (live information
+   at start and end).  */
 
 static void
-rtl_dump_bb (bb, outf)
-     basic_block bb;
-     FILE *outf;
+rtl_dump_bb (basic_block bb, FILE *outf, int indent)
 {
   rtx insn;
   rtx last;
+  char *s_indent;
 
-  fputs (";; Registers live at start:", outf);
+  s_indent = (char *) alloca ((size_t) indent + 1);
+  memset ((void *) s_indent, ' ', (size_t) indent);
+  s_indent[indent] = '\0';
+
+  fprintf (outf, ";;%s Registers live at start: ", s_indent);
   dump_regset (bb->global_live_at_start, outf);
   putc ('\n', outf);
 
-  for (insn = bb->head, last = NEXT_INSN (bb->end); insn != last;
+  for (insn = BB_HEAD (bb), last = NEXT_INSN (BB_END (bb)); insn != last;
        insn = NEXT_INSN (insn))
     print_rtl_single (outf, insn);
 
-  fputs (";; Registers live at end:", outf);
+  fprintf (outf, ";;%s Registers live at end: ", s_indent);
   dump_regset (bb->global_live_at_end, outf);
   putc ('\n', outf);
 }
@@ -1586,9 +1681,7 @@ rtl_dump_bb (bb, outf)
    basic block.  */
 
 void
-print_rtl_with_bb (outf, rtx_first)
-     FILE *outf;
-     rtx rtx_first;
+print_rtl_with_bb (FILE *outf, rtx rtx_first)
 {
   rtx tmp_rtx;
 
@@ -1598,12 +1691,9 @@ print_rtl_with_bb (outf, rtx_first)
     {
       enum bb_state { NOT_IN_BB, IN_ONE_BB, IN_MULTIPLE_BB };
       int max_uid = get_max_uid ();
-      basic_block *start
-       = (basic_block *) xcalloc (max_uid, sizeof (basic_block));
-      basic_block *end
-       = (basic_block *) xcalloc (max_uid, sizeof (basic_block));
-      enum bb_state *in_bb_p
-       = (enum bb_state *) xcalloc (max_uid, sizeof (enum bb_state));
+      basic_block *start = xcalloc (max_uid, sizeof (basic_block));
+      basic_block *end = xcalloc (max_uid, sizeof (basic_block));
+      enum bb_state *in_bb_p = xcalloc (max_uid, sizeof (enum bb_state));
 
       basic_block bb;
 
@@ -1611,9 +1701,9 @@ print_rtl_with_bb (outf, rtx_first)
        {
          rtx x;
 
-         start[INSN_UID (bb->head)] = bb;
-         end[INSN_UID (bb->end)] = bb;
-         for (x = bb->head; x != NULL_RTX; x = NEXT_INSN (x))
+         start[INSN_UID (BB_HEAD (bb))] = bb;
+         end[INSN_UID (BB_END (bb))] = bb;
+         for (x = BB_HEAD (bb); x != NULL_RTX; x = NEXT_INSN (x))
            {
              enum bb_state state = IN_MULTIPLE_BB;
 
@@ -1621,7 +1711,7 @@ print_rtl_with_bb (outf, rtx_first)
                state = IN_ONE_BB;
              in_bb_p[INSN_UID (x)] = state;
 
-             if (x == bb->end)
+             if (x == BB_END (bb))
                break;
            }
        }
@@ -1674,13 +1764,12 @@ print_rtl_with_bb (outf, rtx_first)
 }
 \f
 void
-update_br_prob_note (bb)
-     basic_block bb;
+update_br_prob_note (basic_block bb)
 {
   rtx note;
-  if (GET_CODE (bb->end) != JUMP_INSN)
+  if (GET_CODE (BB_END (bb)) != JUMP_INSN)
     return;
-  note = find_reg_note (bb->end, REG_BR_PROB, NULL_RTX);
+  note = find_reg_note (BB_END (bb), REG_BR_PROB, NULL_RTX);
   if (!note || INTVAL (XEXP (note, 0)) == BRANCH_EDGE (bb)->probability)
     return;
   XEXP (note, 0) = GEN_INT (BRANCH_EDGE (bb)->probability);
@@ -1700,8 +1789,9 @@ update_br_prob_note (bb)
 
    In future it can be extended check a lot of other stuff as well
    (reachability of basic blocks, life information, etc. etc.).  */
+
 static int
-rtl_verify_flow_info_1 ()
+rtl_verify_flow_info_1 (void)
 {
   const int max_uid = get_max_uid ();
   rtx last_head = get_last_insn ();
@@ -1710,15 +1800,15 @@ rtl_verify_flow_info_1 ()
   int err = 0;
   basic_block bb, last_bb_seen;
 
-  bb_info = (basic_block *) xcalloc (max_uid, sizeof (basic_block));
+  bb_info = xcalloc (max_uid, sizeof (basic_block));
 
   /* Check bb chain & numbers.  */
   last_bb_seen = ENTRY_BLOCK_PTR;
 
   FOR_EACH_BB_REVERSE (bb)
     {
-      rtx head = bb->head;
-      rtx end = bb->end;
+      rtx head = BB_HEAD (bb);
+      rtx end = BB_END (bb);
 
       /* Verify the end of the basic block is in the INSN chain.  */
       for (x = last_head; x != NULL_RTX; x = PREV_INSN (x))
@@ -1765,17 +1855,17 @@ rtl_verify_flow_info_1 ()
   FOR_EACH_BB_REVERSE (bb)
     {
       int n_fallthru = 0, n_eh = 0, n_call = 0, n_abnormal = 0, n_branch = 0;
-      edge e;
+      edge e, fallthru = NULL;
       rtx note;
 
-      if (INSN_P (bb->end)
-         && (note = find_reg_note (bb->end, REG_BR_PROB, NULL_RTX))
+      if (INSN_P (BB_END (bb))
+         && (note = find_reg_note (BB_END (bb), REG_BR_PROB, NULL_RTX))
          && bb->succ && bb->succ->succ_next
-         && any_condjump_p (bb->end))
+         && any_condjump_p (BB_END (bb)))
        {
          if (INTVAL (XEXP (note, 0)) != BRANCH_EDGE (bb)->probability)
            {
-             error ("verify_flow_info: REG_BR_PROB does not match cfg %i %i",
+             error ("verify_flow_info: REG_BR_PROB does not match cfg %wi %i",
                     INTVAL (XEXP (note, 0)), BRANCH_EDGE (bb)->probability);
              err = 1;
            }
@@ -1783,9 +1873,12 @@ rtl_verify_flow_info_1 ()
       for (e = bb->succ; e; e = e->succ_next)
        {
          if (e->flags & EDGE_FALLTHRU)
-           n_fallthru++;
+           n_fallthru++, fallthru = e;
 
-         if ((e->flags & ~(EDGE_DFS_BACK | EDGE_CAN_FALLTHRU | EDGE_IRREDUCIBLE_LOOP)) == 0)
+         if ((e->flags & ~(EDGE_DFS_BACK
+                           | EDGE_CAN_FALLTHRU
+                           | EDGE_IRREDUCIBLE_LOOP
+                           | EDGE_LOOP_EXIT)) == 0)
            n_branch++;
 
          if (e->flags & EDGE_ABNORMAL_CALL)
@@ -1797,52 +1890,52 @@ rtl_verify_flow_info_1 ()
            n_abnormal++;
        }
 
-      if (n_eh && GET_CODE (PATTERN (bb->end)) != RESX
-         && !find_reg_note (bb->end, REG_EH_REGION, NULL_RTX))
+      if (n_eh && GET_CODE (PATTERN (BB_END (bb))) != RESX
+         && !find_reg_note (BB_END (bb), REG_EH_REGION, NULL_RTX))
        {
          error ("Missing REG_EH_REGION note in the end of bb %i", bb->index);
          err = 1;
        }
       if (n_branch
-         && (GET_CODE (bb->end) != JUMP_INSN
-             || (n_branch > 1 && (any_uncondjump_p (bb->end)
-                                  || any_condjump_p (bb->end)))))
+         && (GET_CODE (BB_END (bb)) != JUMP_INSN
+             || (n_branch > 1 && (any_uncondjump_p (BB_END (bb))
+                                  || any_condjump_p (BB_END (bb))))))
        {
          error ("Too many outgoing branch edges from bb %i", bb->index);
          err = 1;
        }
-      if (n_fallthru && any_uncondjump_p (bb->end))
+      if (n_fallthru && any_uncondjump_p (BB_END (bb)))
        {
          error ("Fallthru edge after unconditional jump %i", bb->index);
          err = 1;
        }
-      if (n_branch != 1 && any_uncondjump_p (bb->end))
+      if (n_branch != 1 && any_uncondjump_p (BB_END (bb)))
        {
          error ("Wrong amount of branch edges after unconditional jump %i", bb->index);
          err = 1;
        }
-      if (n_branch != 1 && any_condjump_p (bb->end)
-         && JUMP_LABEL (bb->end) != bb->next_bb->head)
+      if (n_branch != 1 && any_condjump_p (BB_END (bb))
+         && JUMP_LABEL (BB_END (bb)) != BB_HEAD (fallthru->dest))
        {
          error ("Wrong amount of branch edges after conditional jump %i", bb->index);
          err = 1;
        }
-      if (n_call && GET_CODE (bb->end) != CALL_INSN)
+      if (n_call && GET_CODE (BB_END (bb)) != CALL_INSN)
        {
          error ("Call edges for non-call insn in bb %i", bb->index);
          err = 1;
        }
       if (n_abnormal
-         && (GET_CODE (bb->end) != CALL_INSN && n_call != n_abnormal)
-         && (GET_CODE (bb->end) != JUMP_INSN
-             || any_condjump_p (bb->end)
-             || any_uncondjump_p (bb->end)))
+         && (GET_CODE (BB_END (bb)) != CALL_INSN && n_call != n_abnormal)
+         && (GET_CODE (BB_END (bb)) != JUMP_INSN
+             || any_condjump_p (BB_END (bb))
+             || any_uncondjump_p (BB_END (bb))))
        {
          error ("Abnormal edges for no purpose in bb %i", bb->index);
          err = 1;
        }
 
-      for (x = bb->head; x != NEXT_INSN (bb->end); x = NEXT_INSN (x))
+      for (x = BB_HEAD (bb); x != NEXT_INSN (BB_END (bb)); x = NEXT_INSN (x))
        if (BLOCK_FOR_INSN (x) != bb)
          {
            debug_rtx (x);
@@ -1861,10 +1954,10 @@ rtl_verify_flow_info_1 ()
       /* OK pointers are correct.  Now check the header of basic
          block.  It ought to contain optional CODE_LABEL followed
         by NOTE_BASIC_BLOCK.  */
-      x = bb->head;
+      x = BB_HEAD (bb);
       if (GET_CODE (x) == CODE_LABEL)
        {
-         if (bb->end == x)
+         if (BB_END (bb) == x)
            {
              error ("NOTE_INSN_BASIC_BLOCK is missing for block %d",
                     bb->index);
@@ -1881,7 +1974,7 @@ rtl_verify_flow_info_1 ()
          err = 1;
        }
 
-      if (bb->end == x)
+      if (BB_END (bb) == x)
        /* Do checks for empty blocks her. e */
        ;
       else
@@ -1894,7 +1987,7 @@ rtl_verify_flow_info_1 ()
                err = 1;
              }
 
-           if (x == bb->end)
+           if (x == BB_END (bb))
              break;
 
            if (control_flow_insn_p (x))
@@ -1920,7 +2013,7 @@ rtl_verify_flow_info_1 ()
    - check that all returns are followed by barriers
    - check that all fallthru edge points to the adjacent blocks.  */
 static int
-rtl_verify_flow_info ()
+rtl_verify_flow_info (void)
 {
   basic_block bb;
   int err = rtl_verify_flow_info_1 ();
@@ -1940,7 +2033,7 @@ rtl_verify_flow_info ()
          rtx insn;
 
          /* Ensure existence of barrier in BB with no fallthru edges.  */
-         for (insn = bb->end; !insn || GET_CODE (insn) != BARRIER;
+         for (insn = BB_END (bb); !insn || GET_CODE (insn) != BARRIER;
               insn = NEXT_INSN (insn))
            if (!insn
                || (GET_CODE (insn) == NOTE
@@ -1964,7 +2057,7 @@ rtl_verify_flow_info ()
              err = 1;
            }
          else
-           for (insn = NEXT_INSN (e->src->end); insn != e->dest->head;
+           for (insn = NEXT_INSN (BB_END (e->src)); insn != BB_HEAD (e->dest);
                 insn = NEXT_INSN (insn))
              if (GET_CODE (insn) == BARRIER
 #ifndef CASE_DROPS_THROUGH
@@ -2027,7 +2120,7 @@ rtl_verify_flow_info ()
          && returnjump_p (x) && ! condjump_p (x)
          && ! (NEXT_INSN (x) && GET_CODE (NEXT_INSN (x)) == BARRIER))
            fatal_insn ("return not followed by barrier", x);
-      if (curr_bb && x == curr_bb->end)
+      if (curr_bb && x == BB_END (curr_bb))
        curr_bb = NULL;
     }
 
@@ -2044,11 +2137,10 @@ rtl_verify_flow_info ()
    Return true if any edges are eliminated.  */
 
 bool
-purge_dead_edges (bb)
-     basic_block bb;
+purge_dead_edges (basic_block bb)
 {
   edge e, next;
-  rtx insn = bb->end, note;
+  rtx insn = BB_END (bb), note;
   bool purged = false;
 
   /* If this instruction cannot trap, remove REG_EH_REGION notes.  */
@@ -2069,12 +2161,12 @@ purge_dead_edges (bb)
       next = e->succ_next;
       if (e->flags & EDGE_EH)
        {
-         if (can_throw_internal (bb->end))
+         if (can_throw_internal (BB_END (bb)))
            continue;
        }
       else if (e->flags & EDGE_ABNORMAL_CALL)
        {
-         if (GET_CODE (bb->end) == CALL_INSN
+         if (GET_CODE (BB_END (bb)) == CALL_INSN
              && (! (note = find_reg_note (insn, REG_EH_REGION, NULL))
                  || INTVAL (XEXP (note, 0)) >= 0))
            continue;
@@ -2124,7 +2216,7 @@ purge_dead_edges (bb)
               block, so we should keep the edge.  */
            continue;
          else if (e->dest != EXIT_BLOCK_PTR
-                  && e->dest->head == JUMP_LABEL (insn))
+                  && BB_HEAD (e->dest) == JUMP_LABEL (insn))
            /* If the destination block is the target of the jump,
               keep the edge.  */
            continue;
@@ -2134,8 +2226,12 @@ purge_dead_edges (bb)
            continue;
          else if ((e->flags & EDGE_EH) && can_throw_internal (insn))
            /* Keep the edges that correspond to exceptions thrown by
-              this instruction.  */
-           continue;
+              this instruction and rematerialize the EDGE_ABNORMAL
+              flag we just cleared above.  */
+           {
+             e->flags |= EDGE_ABNORMAL;
+             continue;
+           }
 
          /* We do not need this edge.  */
          bb->flags |= BB_DIRTY;
@@ -2182,7 +2278,7 @@ purge_dead_edges (bb)
         should of course never have been a fallthru edge.  */
       if (!bb->succ || bb->succ->succ_next)
        abort ();
-      if (bb->succ->flags != EDGE_SIBCALL)
+      if (bb->succ->flags != (EDGE_SIBCALL | EDGE_ABNORMAL))
        abort ();
 
       return 0;
@@ -2227,8 +2323,7 @@ purge_dead_edges (bb)
    true if some edge has been eliminated.  */
 
 bool
-purge_all_dead_edges (update_life_p)
-     int update_life_p;
+purge_all_dead_edges (int update_life_p)
 {
   int purged = false;
   sbitmap blocks = 0;
@@ -2260,45 +2355,68 @@ purge_all_dead_edges (update_life_p)
 }
 
 /* Same as split_block but update cfg_layout structures.  */
-static edge
-cfg_layout_split_block (bb, insnp)
-     basic_block bb;
-     void *insnp;
+
+static basic_block
+cfg_layout_split_block (basic_block bb, void *insnp)
 {
   rtx insn = insnp;
+  basic_block new_bb = rtl_split_block (bb, insn);
 
-  edge fallthru = rtl_split_block (bb, insn);
+  new_bb->rbi->footer = bb->rbi->footer;
+  bb->rbi->footer = NULL;
 
-  alloc_aux_for_block (fallthru->dest, sizeof (struct reorder_block_def));
-  RBI (fallthru->dest)->footer = RBI (fallthru->src)->footer;
-  RBI (fallthru->src)->footer = NULL;
-  return fallthru;
+  return new_bb;
 }
 
 
 /* Redirect Edge to DEST.  */
 static bool
-cfg_layout_redirect_edge_and_branch (e, dest)
-     edge e;
-     basic_block dest;
+cfg_layout_redirect_edge_and_branch (edge e, basic_block dest)
 {
   basic_block src = e->src;
-  basic_block old_next_bb = src->next_bb;
   bool ret;
 
+  if (e->flags & (EDGE_ABNORMAL_CALL | EDGE_EH))
+    return false;
+
+  if (e->dest == dest)
+    return true;
+
+  if (e->src != ENTRY_BLOCK_PTR
+      && try_redirect_by_replacing_jump (e, dest, true))
+    return true;
+
+  if (e->src == ENTRY_BLOCK_PTR
+      && (e->flags & EDGE_FALLTHRU) && !(e->flags & EDGE_COMPLEX))
+    {
+      if (rtl_dump_file)
+       fprintf (rtl_dump_file, "Redirecting entry edge from bb %i to %i\n",
+                e->src->index, dest->index);
+
+      redirect_edge_succ (e, dest);
+      return true;
+    }
+
   /* Redirect_edge_and_branch may decide to turn branch into fallthru edge
      in the case the basic block appears to be in sequence.  Avoid this
      transformation.  */
 
-  src->next_bb = NULL;
   if (e->flags & EDGE_FALLTHRU)
     {
       /* Redirect any branch edges unified with the fallthru one.  */
-      if (GET_CODE (src->end) == JUMP_INSN
-         && JUMP_LABEL (src->end) == e->dest->head)
+      if (GET_CODE (BB_END (src)) == JUMP_INSN
+         && label_is_jump_target_p (BB_HEAD (e->dest),
+                                    BB_END (src)))
        {
-          if (!redirect_jump (src->end, block_label (dest), 0))
+         if (rtl_dump_file)
+           fprintf (rtl_dump_file, "Fallthru edge unified with branch "
+                    "%i->%i redirected to %i\n",
+                    e->src->index, e->dest->index, dest->index);
+         e->flags &= ~EDGE_FALLTHRU;
+         if (!redirect_branch_edge (e, dest))
            abort ();
+         e->flags |= EDGE_FALLTHRU;
+         return true;
        }
       /* In case we are redirecting fallthru edge to the branch edge
          of conditional jump, remove it.  */
@@ -2307,88 +2425,103 @@ cfg_layout_redirect_edge_and_branch (e, dest)
        {
          edge s = e->succ_next ? e->succ_next : src->succ;
          if (s->dest == dest
-             && any_condjump_p (src->end)
-             && onlyjump_p (src->end))
-           delete_insn (src->end);
+             && any_condjump_p (BB_END (src))
+             && onlyjump_p (BB_END (src)))
+           delete_insn (BB_END (src));
        }
       redirect_edge_succ_nodup (e, dest);
+      if (rtl_dump_file)
+       fprintf (rtl_dump_file, "Fallthru edge %i->%i redirected to %i\n",
+                e->src->index, e->dest->index, dest->index);
 
       ret = true;
     }
   else
-    ret = rtl_redirect_edge_and_branch (e, dest);
+    ret = redirect_branch_edge (e, dest);
 
   /* We don't want simplejumps in the insn stream during cfglayout.  */
-  if (simplejump_p (src->end))
-    {
-      delete_insn (src->end);
-      delete_barrier (NEXT_INSN (src->end));
-      src->succ->flags |= EDGE_FALLTHRU;
-    }
-  src->next_bb = old_next_bb;
+  if (simplejump_p (BB_END (src)))
+    abort ();
 
   return ret;
 }
 
 /* Simple wrapper as we always can redirect fallthru edges.  */
 static basic_block
-cfg_layout_redirect_edge_and_branch_force (e, dest)
-     edge e;
-     basic_block dest;
+cfg_layout_redirect_edge_and_branch_force (edge e, basic_block dest)
 {
   if (!cfg_layout_redirect_edge_and_branch (e, dest))
     abort ();
   return NULL;
 }
 
-/* Same as flow_delete_block but update cfg_layout structures.  */
+/* Same as delete_basic_block but update cfg_layout structures.  */
+
 static void
-cfg_layout_delete_block (bb)
-     basic_block bb;
+cfg_layout_delete_block (basic_block bb)
 {
-  rtx insn, next, prev = PREV_INSN (bb->head), *to, remaints;
+  rtx insn, next, prev = PREV_INSN (BB_HEAD (bb)), *to, remaints;
 
-  if (RBI (bb)->header)
+  if (bb->rbi->header)
     {
-      next = bb->head;
+      next = BB_HEAD (bb);
       if (prev)
-       NEXT_INSN (prev) = RBI (bb)->header;
+       NEXT_INSN (prev) = bb->rbi->header;
       else
-       set_first_insn (RBI (bb)->header);
-      PREV_INSN (RBI (bb)->header) = prev;
-      insn = RBI (bb)->header;
+       set_first_insn (bb->rbi->header);
+      PREV_INSN (bb->rbi->header) = prev;
+      insn = bb->rbi->header;
       while (NEXT_INSN (insn))
        insn = NEXT_INSN (insn);
       NEXT_INSN (insn) = next;
       PREV_INSN (next) = insn;
     }
-  next = NEXT_INSN (bb->end);
-  if (RBI (bb)->footer)
+  next = NEXT_INSN (BB_END (bb));
+  if (bb->rbi->footer)
     {
-      insn = bb->end;
-      NEXT_INSN (insn) = RBI (bb)->footer;
-      PREV_INSN (RBI (bb)->footer) = insn;
-      while (NEXT_INSN (insn))
-       insn = NEXT_INSN (insn);
-      NEXT_INSN (insn) = next;
-      if (next)
-       PREV_INSN (next) = insn;
-      else
-       set_last_insn (insn);
+      insn = bb->rbi->footer;
+      while (insn)
+       {
+         if (GET_CODE (insn) == BARRIER)
+           {
+             if (PREV_INSN (insn))
+               NEXT_INSN (PREV_INSN (insn)) = NEXT_INSN (insn);
+             else
+               bb->rbi->footer = NEXT_INSN (insn);
+             if (NEXT_INSN (insn))
+               PREV_INSN (NEXT_INSN (insn)) = PREV_INSN (insn);
+           }
+         if (GET_CODE (insn) == CODE_LABEL)
+           break;
+         insn = NEXT_INSN (insn);
+       }
+      if (bb->rbi->footer)
+       {
+         insn = BB_END (bb);
+         NEXT_INSN (insn) = bb->rbi->footer;
+         PREV_INSN (bb->rbi->footer) = insn;
+         while (NEXT_INSN (insn))
+           insn = NEXT_INSN (insn);
+         NEXT_INSN (insn) = next;
+         if (next)
+           PREV_INSN (next) = insn;
+         else
+           set_last_insn (insn);
+       }
     }
   if (bb->next_bb != EXIT_BLOCK_PTR)
-    to = &RBI(bb->next_bb)->header;
+    to = &bb->next_bb->rbi->header;
   else
     to = &cfg_layout_function_footer;
   rtl_delete_block (bb);
 
   if (prev)
     prev = NEXT_INSN (prev);
-  else 
+  else
     prev = get_insns ();
   if (next)
     next = PREV_INSN (next);
-  else 
+  else
     next = get_last_insn ();
 
   if (next && NEXT_INSN (next) != prev)
@@ -2404,15 +2537,149 @@ cfg_layout_delete_block (bb)
     }
 }
 
+/* Return true when blocks A and B can be safely merged.  */
+static bool
+cfg_layout_can_merge_blocks_p (basic_block a, basic_block b)
+{
+  /* There must be exactly one edge in between the blocks.  */
+  return (a->succ && !a->succ->succ_next && a->succ->dest == b
+         && !b->pred->pred_next && a != b
+         /* Must be simple edge.  */
+         && !(a->succ->flags & EDGE_COMPLEX)
+         && a != ENTRY_BLOCK_PTR && b != EXIT_BLOCK_PTR
+         /* If the jump insn has side effects,
+            we can't kill the edge.  */
+         && (GET_CODE (BB_END (a)) != JUMP_INSN
+             || (reload_completed
+                 ? simplejump_p (BB_END (a)) : onlyjump_p (BB_END (a)))));
+}
+
+/* Merge block A and B, abort when it is not possible.  */
+static void
+cfg_layout_merge_blocks (basic_block a, basic_block b)
+{
+#ifdef ENABLE_CHECKING
+  if (!cfg_layout_can_merge_blocks_p (a, b))
+    abort ();
+#endif
+
+  /* If there was a CODE_LABEL beginning B, delete it.  */
+  if (GET_CODE (BB_HEAD (b)) == CODE_LABEL)
+    delete_insn (BB_HEAD (b));
+
+  /* We should have fallthru edge in a, or we can do dummy redirection to get
+     it cleaned up.  */
+  if (GET_CODE (BB_END (a)) == JUMP_INSN)
+    try_redirect_by_replacing_jump (a->succ, b, true);
+  if (GET_CODE (BB_END (a)) == JUMP_INSN)
+    abort ();
+
+  /* Possible line number notes should appear in between.  */
+  if (b->rbi->header)
+    {
+      rtx first = BB_END (a), last;
+
+      last = emit_insn_after (b->rbi->header, BB_END (a));
+      delete_insn_chain (NEXT_INSN (first), last);
+      b->rbi->header = NULL;
+    }
+
+  /* In the case basic blocks are not adjacent, move them around.  */
+  if (NEXT_INSN (BB_END (a)) != BB_HEAD (b))
+    {
+      rtx first = unlink_insn_chain (BB_HEAD (b), BB_END (b));
+
+      emit_insn_after (first, BB_END (a));
+      /* Skip possible DELETED_LABEL insn.  */
+      if (!NOTE_INSN_BASIC_BLOCK_P (first))
+       first = NEXT_INSN (first);
+      if (!NOTE_INSN_BASIC_BLOCK_P (first))
+       abort ();
+      BB_HEAD (b) = NULL;
+      delete_insn (first);
+    }
+  /* Otherwise just re-associate the instructions.  */
+  else
+    {
+      rtx insn;
+
+      for (insn = BB_HEAD (b);
+          insn != NEXT_INSN (BB_END (b));
+          insn = NEXT_INSN (insn))
+       set_block_for_insn (insn, a);
+      insn = BB_HEAD (b);
+      /* Skip possible DELETED_LABEL insn.  */
+      if (!NOTE_INSN_BASIC_BLOCK_P (insn))
+       insn = NEXT_INSN (insn);
+      if (!NOTE_INSN_BASIC_BLOCK_P (insn))
+       abort ();
+      BB_HEAD (b) = NULL;
+      BB_END (a) = BB_END (b);
+      delete_insn (insn);
+    }
+
+  /* Possible tablejumps and barriers should appear after the block.  */
+  if (b->rbi->footer)
+    {
+      if (!a->rbi->footer)
+       a->rbi->footer = b->rbi->footer;
+      else
+       {
+         rtx last = a->rbi->footer;
+
+         while (NEXT_INSN (last))
+           last = NEXT_INSN (last);
+         NEXT_INSN (last) = b->rbi->footer;
+         PREV_INSN (b->rbi->footer) = last;
+       }
+      b->rbi->footer = NULL;
+    }
+
+  if (rtl_dump_file)
+    fprintf (rtl_dump_file, "Merged blocks %d and %d.\n",
+            a->index, b->index);
+}
+
+/* Split edge E.  */
+
+static basic_block
+cfg_layout_split_edge (edge e)
+{
+  edge new_e;
+  basic_block new_bb =
+    create_basic_block (e->src != ENTRY_BLOCK_PTR
+                       ? NEXT_INSN (BB_END (e->src)) : get_insns (),
+                       NULL_RTX, e->src);
+
+  new_e = make_edge (new_bb, e->dest, EDGE_FALLTHRU);
+  redirect_edge_and_branch_force (e, new_bb);
+
+  return new_bb;
+}
+
+/* Do postprocessing after making a forwarder block joined by edge FALLTHRU.  */
+
+static void
+rtl_make_forwarder_block (edge fallthru ATTRIBUTE_UNUSED)
+{
+}
+
 /* Implementation of CFG manipulation for linearized RTL.  */
 struct cfg_hooks rtl_cfg_hooks = {
+  "rtl",
   rtl_verify_flow_info,
   rtl_dump_bb,
+  rtl_create_basic_block,
   rtl_redirect_edge_and_branch,
   rtl_redirect_edge_and_branch_force,
   rtl_delete_block,
   rtl_split_block,
-  rtl_split_edge
+  rtl_move_block_after,
+  rtl_can_merge_blocks,  /* can_merge_blocks_p */
+  rtl_merge_blocks,
+  rtl_split_edge,
+  rtl_make_forwarder_block,
+  rtl_tidy_fallthru_edge
 };
 
 /* Implementation of CFG manipulation for cfg layout RTL, where
@@ -2420,11 +2687,18 @@ struct cfg_hooks rtl_cfg_hooks = {
    This representation will hopefully become the default one in future
    version of the compiler.  */
 struct cfg_hooks cfg_layout_rtl_cfg_hooks = {
-  rtl_verify_flow_info_1,   /* verify_flow_info.  */
+  "cfglayout mode",
+  rtl_verify_flow_info_1,
   rtl_dump_bb,
+  cfg_layout_create_basic_block,
   cfg_layout_redirect_edge_and_branch,
   cfg_layout_redirect_edge_and_branch_force,
   cfg_layout_delete_block,
   cfg_layout_split_block,
-  NULL  /* split_edge.  */
+  rtl_move_block_after,
+  cfg_layout_can_merge_blocks_p,
+  cfg_layout_merge_blocks,
+  cfg_layout_split_edge,
+  rtl_make_forwarder_block,
+  NULL
 };