OSDN Git Service

* reorg.c (mostly_true_jump): Clean up code depending on
[pf3gnuchains/gcc-fork.git] / gcc / reorg.c
index 409ed7d..104ad8e 100644 (file)
@@ -1,6 +1,6 @@
 /* Perform instruction reorganizations for delay slot filling.
    Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998,
-   1999, 2000, 2001, 2002 Free Software Foundation, Inc.
+   1999, 2000, 2001, 2002, 2003, 2004, 2005 Free Software Foundation, Inc.
    Contributed by Richard Kenner (kenner@vlsi1.ultra.nyu.edu).
    Hacked by Michael Tiemann (tiemann@cygnus.com).
 
@@ -18,8 +18,8 @@ for more details.
 
 You should have received a copy of the GNU General Public License
 along with GCC; see the file COPYING.  If not, write to the Free
-Software Foundation, 59 Temple Place - Suite 330, Boston, MA
-02111-1307, USA.  */
+Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+02110-1301, USA.  */
 
 /* Instruction reorganization pass.
 
@@ -36,19 +36,11 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
    cycle, and the Branch Penalty is 0.  Several RISC machines approach
    branch delays differently:
 
-   The MIPS and AMD 29000 have a single branch delay slot.  Most insns
+   The MIPS has a single branch delay slot.  Most insns
    (except other branches) can be used to fill this slot.  When the
    slot is filled, two insns execute in two cycles, reducing the
    branch penalty to zero.
 
-   The Motorola 88000 conditionally exposes its branch delay slot,
-   so code is shorter when it is turned off, but will run faster
-   when useful insns are scheduled there.
-
-   The IBM ROMP has two forms of branch and call insns, both with and
-   without a delay slot.  Much like the 88k, insns not using the delay
-   slot can be shorted (2 bytes vs. 4 bytes), but will run slowed.
-
    The SPARC always has a branch delay slot, but its effects can be
    annulled when the branch is not taken.  This means that failing to
    find other sources of insns, we can hoist an insn from the branch
@@ -84,8 +76,7 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
    `fill_eager_delay_slots' tries to guess the direction the branch
    will go; if it guesses right 100% of the time, it can reduce the
    branch penalty as much as `fill_simple_delay_slots' does.  If it
-   guesses wrong 100% of the time, it might as well schedule nops (or
-   on the m88k, unexpose the branch slot).  When
+   guesses wrong 100% of the time, it might as well schedule nops.  When
    `fill_eager_delay_slots' takes insns from the fall-through path of
    the jump, usually there is no code expansion; when it takes insns
    from the branch target, there is code expansion if it is not the
@@ -122,6 +113,8 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 
 #include "config.h"
 #include "system.h"
+#include "coretypes.h"
+#include "tm.h"
 #include "toplev.h"
 #include "rtl.h"
 #include "tm_p.h"
@@ -140,12 +133,12 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "resource.h"
 #include "except.h"
 #include "params.h"
+#include "timevar.h"
+#include "target.h"
+#include "tree-pass.h"
 
 #ifdef DELAY_SLOTS
 
-#define obstack_chunk_alloc xmalloc
-#define obstack_chunk_free free
-
 #ifndef ANNUL_IFTRUE_SLOTS
 #define eligible_for_annul_true(INSN, SLOTS, TRIAL, FLAGS) 0
 #endif
@@ -178,53 +171,52 @@ static int *uid_to_ruid;
 /* Highest valid index in `uid_to_ruid'.  */
 static int max_uid;
 
-static int stop_search_p               PARAMS ((rtx, int));
-static int resource_conflicts_p                PARAMS ((struct resources *,
-                                              struct resources *));
-static int insn_references_resource_p  PARAMS ((rtx, struct resources *, int));
-static int insn_sets_resource_p                PARAMS ((rtx, struct resources *, int));
-static rtx find_end_label              PARAMS ((void));
-static rtx emit_delay_sequence         PARAMS ((rtx, rtx, int));
-static rtx add_to_delay_list           PARAMS ((rtx, rtx));
-static rtx delete_from_delay_slot      PARAMS ((rtx));
-static void delete_scheduled_jump      PARAMS ((rtx));
-static void note_delay_statistics      PARAMS ((int, int));
+static int stop_search_p (rtx, int);
+static int resource_conflicts_p (struct resources *, struct resources *);
+static int insn_references_resource_p (rtx, struct resources *, int);
+static int insn_sets_resource_p (rtx, struct resources *, int);
+static rtx find_end_label (void);
+static rtx emit_delay_sequence (rtx, rtx, int);
+static rtx add_to_delay_list (rtx, rtx);
+static rtx delete_from_delay_slot (rtx);
+static void delete_scheduled_jump (rtx);
+static void note_delay_statistics (int, int);
 #if defined(ANNUL_IFFALSE_SLOTS) || defined(ANNUL_IFTRUE_SLOTS)
-static rtx optimize_skip               PARAMS ((rtx));
+static rtx optimize_skip (rtx);
 #endif
-static int get_jump_flags              PARAMS ((rtx, rtx));
-static int rare_destination            PARAMS ((rtx));
-static int mostly_true_jump            PARAMS ((rtx, rtx));
-static rtx get_branch_condition                PARAMS ((rtx, rtx));
-static int condition_dominates_p       PARAMS ((rtx, rtx));
-static int redirect_with_delay_slots_safe_p PARAMS ((rtx, rtx, rtx));
-static int redirect_with_delay_list_safe_p PARAMS ((rtx, rtx, rtx));
-static int check_annul_list_true_false PARAMS ((int, rtx));
-static rtx steal_delay_list_from_target PARAMS ((rtx, rtx, rtx, rtx,
-                                              struct resources *,
-                                              struct resources *,
-                                              struct resources *,
-                                              int, int *, int *, rtx *));
-static rtx steal_delay_list_from_fallthrough PARAMS ((rtx, rtx, rtx, rtx,
-                                                   struct resources *,
-                                                   struct resources *,
-                                                   struct resources *,
-                                                   int, int *, int *));
-static void try_merge_delay_insns      PARAMS ((rtx, rtx));
-static rtx redundant_insn              PARAMS ((rtx, rtx, rtx));
-static int own_thread_p                        PARAMS ((rtx, rtx, int));
-static void update_block               PARAMS ((rtx, rtx));
-static int reorg_redirect_jump         PARAMS ((rtx, rtx));
-static void update_reg_dead_notes      PARAMS ((rtx, rtx));
-static void fix_reg_dead_note          PARAMS ((rtx, rtx));
-static void update_reg_unused_notes    PARAMS ((rtx, rtx));
-static void fill_simple_delay_slots    PARAMS ((int));
-static rtx fill_slots_from_thread      PARAMS ((rtx, rtx, rtx, rtx, int, int,
-                                              int, int, int *, rtx));
-static void fill_eager_delay_slots     PARAMS ((void));
-static void relax_delay_slots          PARAMS ((rtx));
+static int get_jump_flags (rtx, rtx);
+static int rare_destination (rtx);
+static int mostly_true_jump (rtx, rtx);
+static rtx get_branch_condition (rtx, rtx);
+static int condition_dominates_p (rtx, rtx);
+static int redirect_with_delay_slots_safe_p (rtx, rtx, rtx);
+static int redirect_with_delay_list_safe_p (rtx, rtx, rtx);
+static int check_annul_list_true_false (int, rtx);
+static rtx steal_delay_list_from_target (rtx, rtx, rtx, rtx,
+                                        struct resources *,
+                                        struct resources *,
+                                        struct resources *,
+                                        int, int *, int *, rtx *);
+static rtx steal_delay_list_from_fallthrough (rtx, rtx, rtx, rtx,
+                                             struct resources *,
+                                             struct resources *,
+                                             struct resources *,
+                                             int, int *, int *);
+static void try_merge_delay_insns (rtx, rtx);
+static rtx redundant_insn (rtx, rtx, rtx);
+static int own_thread_p (rtx, rtx, int);
+static void update_block (rtx, rtx);
+static int reorg_redirect_jump (rtx, rtx);
+static void update_reg_dead_notes (rtx, rtx);
+static void fix_reg_dead_note (rtx, rtx);
+static void update_reg_unused_notes (rtx, rtx);
+static void fill_simple_delay_slots (int);
+static rtx fill_slots_from_thread (rtx, rtx, rtx, rtx, int, int, int, int,
+                                  int *, rtx);
+static void fill_eager_delay_slots (void);
+static void relax_delay_slots (rtx);
 #ifdef HAVE_return
-static void make_return_insns          PARAMS ((rtx));
+static void make_return_insns (rtx);
 #endif
 \f
 /* Return TRUE if this insn should stop the search for insn to fill delay
@@ -232,13 +224,17 @@ static void make_return_insns             PARAMS ((rtx));
    In all cases, jumps terminate the search.  */
 
 static int
-stop_search_p (insn, labels_p)
-     rtx insn;
-     int labels_p;
+stop_search_p (rtx insn, int labels_p)
 {
   if (insn == 0)
     return 1;
 
+  /* If the insn can throw an exception that is caught within the function,
+     it may effectively perform a jump from the viewpoint of the function.
+     Therefore act like for a jump.  */
+  if (can_throw_internal (insn))
+    return 1;
+
   switch (GET_CODE (insn))
     {
     case NOTE:
@@ -260,7 +256,7 @@ stop_search_p (insn, labels_p)
              || asm_noperands (PATTERN (insn)) >= 0);
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 }
 \f
@@ -268,8 +264,7 @@ stop_search_p (insn, labels_p)
    resource set contains a volatile memory reference.  Otherwise, return FALSE.  */
 
 static int
-resource_conflicts_p (res1, res2)
-     struct resources *res1, *res2;
+resource_conflicts_p (struct resources *res1, struct resources *res2)
 {
   if ((res1->cc && res2->cc) || (res1->memory && res2->memory)
       || (res1->unch_memory && res2->unch_memory)
@@ -300,10 +295,8 @@ resource_conflicts_p (res1, res2)
    a large block of complex code.  */
 
 static int
-insn_references_resource_p (insn, res, include_delayed_effects)
-     rtx insn;
-     struct resources *res;
-     int include_delayed_effects;
+insn_references_resource_p (rtx insn, struct resources *res,
+                           int include_delayed_effects)
 {
   struct resources insn_res;
 
@@ -318,10 +311,8 @@ insn_references_resource_p (insn, res, include_delayed_effects)
    in front of mark_set_resources for details.  */
 
 static int
-insn_sets_resource_p (insn, res, include_delayed_effects)
-     rtx insn;
-     struct resources *res;
-     int include_delayed_effects;
+insn_sets_resource_p (rtx insn, struct resources *res,
+                     int include_delayed_effects)
 {
   struct resources insn_sets;
 
@@ -330,11 +321,27 @@ insn_sets_resource_p (insn, res, include_delayed_effects)
   return resource_conflicts_p (&insn_sets, res);
 }
 \f
-/* Find a label at the end of the function or before a RETURN.  If there is
-   none, make one.  */
+/* Find a label at the end of the function or before a RETURN.  If there
+   is none, try to make one.  If that fails, returns 0.
+
+   The property of such a label is that it is placed just before the
+   epilogue or a bare RETURN insn, so that another bare RETURN can be
+   turned into a jump to the label unconditionally.  In particular, the
+   label cannot be placed before a RETURN insn with a filled delay slot.
+
+   ??? There may be a problem with the current implementation.  Suppose
+   we start with a bare RETURN insn and call find_end_label.  It may set
+   end_of_function_label just before the RETURN.  Suppose the machinery
+   is able to fill the delay slot of the RETURN insn afterwards.  Then
+   end_of_function_label is no longer valid according to the property
+   described above and find_end_label will still return it unmodified.
+   Note that this is probably mitigated by the following observation:
+   once end_of_function_label is made, it is very likely the target of
+   a jump, so filling the delay slot of the RETURN will be much more
+   difficult.  */
 
 static rtx
-find_end_label ()
+find_end_label (void)
 {
   rtx insn;
 
@@ -347,8 +354,8 @@ find_end_label ()
      label and we don't have to do anything else.  */
 
   insn = get_last_insn ();
-  while (GET_CODE (insn) == NOTE
-        || (GET_CODE (insn) == INSN
+  while (NOTE_P (insn)
+        || (NONJUMP_INSN_P (insn)
             && (GET_CODE (PATTERN (insn)) == USE
                 || GET_CODE (PATTERN (insn)) == CLOBBER)))
     insn = PREV_INSN (insn);
@@ -356,22 +363,22 @@ find_end_label ()
   /* When a target threads its epilogue we might already have a
      suitable return insn.  If so put a label before it for the
      end_of_function_label.  */
-  if (GET_CODE (insn) == BARRIER
-      && GET_CODE (PREV_INSN (insn)) == JUMP_INSN
+  if (BARRIER_P (insn)
+      && JUMP_P (PREV_INSN (insn))
       && GET_CODE (PATTERN (PREV_INSN (insn))) == RETURN)
     {
       rtx temp = PREV_INSN (PREV_INSN (insn));
       end_of_function_label = gen_label_rtx ();
       LABEL_NUSES (end_of_function_label) = 0;
 
-      /* Put the label before an USE insns that may proceed the RETURN insn.  */
+      /* Put the label before an USE insns that may precede the RETURN insn.  */
       while (GET_CODE (temp) == USE)
        temp = PREV_INSN (temp);
 
       emit_label_after (end_of_function_label, temp);
     }
 
-  else if (GET_CODE (insn) == CODE_LABEL)
+  else if (LABEL_P (insn))
     end_of_function_label = insn;
   else
     {
@@ -380,7 +387,7 @@ find_end_label ()
       /* If the basic block reorder pass moves the return insn to
         some other place try to locate it again and put our
         end_of_function_label there.  */
-      while (insn && ! (GET_CODE (insn) == JUMP_INSN
+      while (insn && ! (JUMP_P (insn)
                        && (GET_CODE (PATTERN (insn)) == RETURN)))
        insn = PREV_INSN (insn);
       if (insn)
@@ -396,11 +403,32 @@ find_end_label ()
        }
       else
        {
+#ifdef HAVE_epilogue
+         if (HAVE_epilogue
+#ifdef HAVE_return
+             && ! HAVE_return
+#endif
+             )
+           {
+             /* The RETURN insn has its delay slot filled so we cannot
+                emit the label just before it.  Since we already have
+                an epilogue and cannot emit a new RETURN, we cannot
+                emit the label at all.  */
+             end_of_function_label = NULL_RTX;
+             return end_of_function_label;
+           }
+#endif /* HAVE_epilogue */
+
          /* Otherwise, make a new label and emit a RETURN and BARRIER,
             if needed.  */
          emit_label (end_of_function_label);
 #ifdef HAVE_return
-         if (HAVE_return)
+         /* We don't bother trying to create a return insn if the
+            epilogue has filled delay-slots; we would have to try and
+            move the delay-slot fillers to the delay-slots for the new
+            return insn or in front of the new return insn.  */
+         if (current_function_epilogue_delay_list == NULL
+             && HAVE_return)
            {
              /* The return we make may have delay slots too.  */
              rtx insn = gen_return ();
@@ -431,10 +459,7 @@ find_end_label ()
    Returns the SEQUENCE that replaces INSN.  */
 
 static rtx
-emit_delay_sequence (insn, list, length)
-     rtx insn;
-     rtx list;
-     int length;
+emit_delay_sequence (rtx insn, rtx list, int length)
 {
   int i = 1;
   rtx li;
@@ -453,7 +478,7 @@ emit_delay_sequence (insn, list, length)
   /* If INSN is followed by a BARRIER, delete the BARRIER since it will only
      confuse further processing.  Update LAST in case it was the last insn.
      We will put the BARRIER back in later.  */
-  if (NEXT_INSN (insn) && GET_CODE (NEXT_INSN (insn)) == BARRIER)
+  if (NEXT_INSN (insn) && BARRIER_P (NEXT_INSN (insn)))
     {
       delete_related_insns (NEXT_INSN (insn));
       last = get_last_insn ();
@@ -489,7 +514,7 @@ emit_delay_sequence (insn, list, length)
   for (li = list; li; li = XEXP (li, 1), i++)
     {
       rtx tem = XEXP (li, 0);
-      rtx note;
+      rtx note, next;
 
       /* Show that this copy of the insn isn't deleted.  */
       INSN_DELETED_P (tem) = 0;
@@ -498,11 +523,33 @@ emit_delay_sequence (insn, list, length)
       PREV_INSN (tem) = XVECEXP (seq, 0, i - 1);
       NEXT_INSN (XVECEXP (seq, 0, i - 1)) = tem;
 
-      /* Remove any REG_DEAD notes because we can't rely on them now
-        that the insn has been moved.  */
-      for (note = REG_NOTES (tem); note; note = XEXP (note, 1))
-       if (REG_NOTE_KIND (note) == REG_DEAD)
-         XEXP (note, 0) = const0_rtx;
+      /* SPARC assembler, for instance, emit warning when debug info is output
+         into the delay slot.  */
+      if (INSN_LOCATOR (tem) && !INSN_LOCATOR (seq_insn))
+       INSN_LOCATOR (seq_insn) = INSN_LOCATOR (tem);
+      INSN_LOCATOR (tem) = 0;
+
+      for (note = REG_NOTES (tem); note; note = next)
+       {
+         next = XEXP (note, 1);
+         switch (REG_NOTE_KIND (note))
+           {
+           case REG_DEAD:
+             /* Remove any REG_DEAD notes because we can't rely on them now
+                that the insn has been moved.  */
+             remove_note (tem, note);
+             break;
+
+           case REG_LABEL:
+             /* Keep the label reference count up to date.  */
+             if (LABEL_P (XEXP (note, 0)))
+               LABEL_NUSES (XEXP (note, 0)) ++;
+             break;
+
+           default:
+             break;
+           }
+       }
     }
 
   NEXT_INSN (XVECEXP (seq, 0, length)) = NEXT_INSN (seq_insn);
@@ -511,13 +558,13 @@ emit_delay_sequence (insn, list, length)
      last insn in that SEQUENCE to point to us.  Similarly for the first
      insn in the following insn if it is a SEQUENCE.  */
 
-  if (PREV_INSN (seq_insn) && GET_CODE (PREV_INSN (seq_insn)) == INSN
+  if (PREV_INSN (seq_insn) && NONJUMP_INSN_P (PREV_INSN (seq_insn))
       && GET_CODE (PATTERN (PREV_INSN (seq_insn))) == SEQUENCE)
     NEXT_INSN (XVECEXP (PATTERN (PREV_INSN (seq_insn)), 0,
                        XVECLEN (PATTERN (PREV_INSN (seq_insn)), 0) - 1))
       = seq_insn;
 
-  if (NEXT_INSN (seq_insn) && GET_CODE (NEXT_INSN (seq_insn)) == INSN
+  if (NEXT_INSN (seq_insn) && NONJUMP_INSN_P (NEXT_INSN (seq_insn))
       && GET_CODE (PATTERN (NEXT_INSN (seq_insn))) == SEQUENCE)
     PREV_INSN (XVECEXP (PATTERN (NEXT_INSN (seq_insn)), 0, 0)) = seq_insn;
 
@@ -525,8 +572,7 @@ emit_delay_sequence (insn, list, length)
   if (had_barrier)
     emit_barrier_after (seq_insn);
 
-  if (i != length + 1)
-    abort ();
+  gcc_assert (i == length + 1);
 
   return seq_insn;
 }
@@ -535,9 +581,7 @@ emit_delay_sequence (insn, list, length)
    be in the order in which the insns are to be executed.  */
 
 static rtx
-add_to_delay_list (insn, delay_list)
-     rtx insn;
-     rtx delay_list;
+add_to_delay_list (rtx insn, rtx delay_list)
 {
   /* If we have an empty list, just make a new list element.  If
      INSN has its block number recorded, clear it since we may
@@ -560,12 +604,12 @@ add_to_delay_list (insn, delay_list)
    produce an insn with no delay slots.  Return the new insn.  */
 
 static rtx
-delete_from_delay_slot (insn)
-     rtx insn;
+delete_from_delay_slot (rtx insn)
 {
   rtx trial, seq_insn, seq, prev;
   rtx delay_list = 0;
   int i;
+  int had_barrier = 0;
 
   /* We first must find the insn containing the SEQUENCE with INSN in its
      delay slot.  Do this by finding an insn, TRIAL, where
@@ -579,6 +623,9 @@ delete_from_delay_slot (insn)
   seq_insn = PREV_INSN (NEXT_INSN (trial));
   seq = PATTERN (seq_insn);
 
+  if (NEXT_INSN (seq_insn) && BARRIER_P (NEXT_INSN (seq_insn)))
+    had_barrier = 1;
+
   /* Create a delay list consisting of all the insns other than the one
      we are deleting (unless we were the only one).  */
   if (XVECLEN (seq, 0) > 2)
@@ -593,15 +640,15 @@ delete_from_delay_slot (insn)
   delete_related_insns (seq_insn);
   add_insn_after (trial, prev);
 
-  if (GET_CODE (trial) == JUMP_INSN
-      && (simplejump_p (trial) || GET_CODE (PATTERN (trial)) == RETURN))
+  /* If there was a barrier after the old SEQUENCE, remit it.  */
+  if (had_barrier)
     emit_barrier_after (trial);
 
   /* If there are any delay insns, remit them.  Otherwise clear the
      annul flag.  */
   if (delay_list)
     trial = emit_delay_sequence (trial, delay_list, XVECLEN (seq, 0) - 2);
-  else
+  else if (INSN_P (trial))
     INSN_ANNULLED_BRANCH_P (trial) = 0;
 
   INSN_FROM_TARGET_P (insn) = 0;
@@ -616,8 +663,7 @@ delete_from_delay_slot (insn)
    the insn that sets CC0 for it and delete it too.  */
 
 static void
-delete_scheduled_jump (insn)
-     rtx insn;
+delete_scheduled_jump (rtx insn)
 {
   /* Delete the insn that sets cc0 for us.  On machines without cc0, we could
      delete the insn that sets the condition code, but it is hard to find it.
@@ -645,7 +691,7 @@ delete_scheduled_jump (insn)
             a delay slot.  It will be the last insn in the delay slot, if
             it is.  */
          rtx trial = previous_insn (insn);
-         if (GET_CODE (trial) == NOTE)
+         if (NOTE_P (trial))
            trial = prev_nonnote_insn (trial);
          if (sets_cc0_p (PATTERN (trial)) != 1
              || FIND_REG_INC_NOTE (trial, NULL_RTX))
@@ -674,8 +720,7 @@ static int num_filled_delays[NUM_REORG_FUNCTIONS][MAX_DELAY_HISTOGRAM+1][MAX_REO
 static int reorg_pass_number;
 
 static void
-note_delay_statistics (slots_filled, index)
-     int slots_filled, index;
+note_delay_statistics (int slots_filled, int index)
 {
   num_insns_needing_delays[index][reorg_pass_number]++;
   if (slots_filled > MAX_DELAY_HISTOGRAM)
@@ -718,23 +763,22 @@ note_delay_statistics (slots_filled, index)
    of delay slots required.  */
 
 static rtx
-optimize_skip (insn)
-     rtx insn;
+optimize_skip (rtx insn)
 {
   rtx trial = next_nonnote_insn (insn);
   rtx next_trial = next_active_insn (trial);
   rtx delay_list = 0;
-  rtx target_label;
   int flags;
 
   flags = get_jump_flags (insn, JUMP_LABEL (insn));
 
   if (trial == 0
-      || GET_CODE (trial) != INSN
+      || !NONJUMP_INSN_P (trial)
       || GET_CODE (PATTERN (trial)) == SEQUENCE
       || recog_memoized (trial) < 0
       || (! eligible_for_annul_false (insn, 0, trial, flags)
-         && ! eligible_for_annul_true (insn, 0, trial, flags)))
+         && ! eligible_for_annul_true (insn, 0, trial, flags))
+      || can_throw_internal (trial))
     return 0;
 
   /* There are two cases where we are just executing one insn (we assume
@@ -746,7 +790,7 @@ optimize_skip (insn)
   if ((next_trial == next_active_insn (JUMP_LABEL (insn))
        && ! (next_trial == 0 && current_function_epilogue_delay_list != 0))
       || (next_trial != 0
-         && GET_CODE (next_trial) == JUMP_INSN
+         && JUMP_P (next_trial)
          && JUMP_LABEL (insn) == JUMP_LABEL (next_trial)
          && (simplejump_p (next_trial)
              || GET_CODE (PATTERN (next_trial)) == RETURN)))
@@ -768,21 +812,24 @@ optimize_skip (insn)
         branch, thread our jump to the target of that branch.  Don't
         change this into a RETURN here, because it may not accept what
         we have in the delay slot.  We'll fix this up later.  */
-      if (next_trial && GET_CODE (next_trial) == JUMP_INSN
+      if (next_trial && JUMP_P (next_trial)
          && (simplejump_p (next_trial)
              || GET_CODE (PATTERN (next_trial)) == RETURN))
        {
-         target_label = JUMP_LABEL (next_trial);
+         rtx target_label = JUMP_LABEL (next_trial);
          if (target_label == 0)
            target_label = find_end_label ();
 
-         /* Recompute the flags based on TARGET_LABEL since threading
-            the jump to TARGET_LABEL may change the direction of the
-            jump (which may change the circumstances in which the
-            delay slot is nullified).  */
-         flags = get_jump_flags (insn, target_label);
-         if (eligible_for_annul_true (insn, 0, trial, flags))
-           reorg_redirect_jump (insn, target_label);
+         if (target_label)
+           {
+             /* Recompute the flags based on TARGET_LABEL since threading
+                the jump to TARGET_LABEL may change the direction of the
+                jump (which may change the circumstances in which the
+                delay slot is nullified).  */
+             flags = get_jump_flags (insn, target_label);
+             if (eligible_for_annul_true (insn, 0, trial, flags))
+               reorg_redirect_jump (insn, target_label);
+           }
        }
 
       INSN_ANNULLED_BRANCH_P (insn) = 1;
@@ -799,8 +846,7 @@ optimize_skip (insn)
     are predicted as very likely taken.  */
 
 static int
-get_jump_flags (insn, label)
-     rtx insn, label;
+get_jump_flags (rtx insn, rtx label)
 {
   int flags;
 
@@ -810,7 +856,7 @@ get_jump_flags (insn, label)
 
      If LABEL is zero, then there is no way to determine the branch
      direction.  */
-  if (GET_CODE (insn) == JUMP_INSN
+  if (JUMP_P (insn)
       && (condjump_p (insn) || condjump_in_parallel_p (insn))
       && INSN_UID (insn) <= max_uid
       && label != 0
@@ -826,7 +872,7 @@ get_jump_flags (insn, label)
      determine the branch prediction.
 
      Non conditional branches are predicted as very likely taken.  */
-  if (GET_CODE (insn) == JUMP_INSN
+  if (JUMP_P (insn)
       && (condjump_p (insn) || condjump_in_parallel_p (insn)))
     {
       int prediction;
@@ -848,7 +894,7 @@ get_jump_flags (insn, label)
          break;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
     }
   else
@@ -863,15 +909,14 @@ get_jump_flags (insn, label)
    return 0.  */
 
 static int
-rare_destination (insn)
-     rtx insn;
+rare_destination (rtx insn)
 {
   int jump_count = 0;
   rtx next;
 
   for (; insn; insn = next)
     {
-      if (GET_CODE (insn) == INSN && GET_CODE (PATTERN (insn)) == SEQUENCE)
+      if (NONJUMP_INSN_P (insn) && GET_CODE (PATTERN (insn)) == SEQUENCE)
        insn = XVECEXP (PATTERN (insn), 0, 0);
 
       next = NEXT_INSN (insn);
@@ -912,16 +957,14 @@ rare_destination (insn)
    taken, return 1.  If the branch is slightly less likely to be taken,
    return 0 and if the branch is highly unlikely to be taken, return -1.
 
-   CONDITION, if non-zero, is the condition that JUMP_INSN is testing.  */
+   CONDITION, if nonzero, is the condition that JUMP_INSN is testing.  */
 
 static int
-mostly_true_jump (jump_insn, condition)
-     rtx jump_insn, condition;
+mostly_true_jump (rtx jump_insn, rtx condition)
 {
   rtx target_label = JUMP_LABEL (jump_insn);
   rtx insn, note;
-  int rare_dest = rare_destination (target_label);
-  int rare_fallthrough = rare_destination (NEXT_INSN (jump_insn));
+  int rare_dest, rare_fallthrough;
 
   /* If branch probabilities are available, then use that number since it
      always gives a correct answer.  */
@@ -940,42 +983,10 @@ mostly_true_jump (jump_insn, condition)
        return -1;
     }
 
-  /* ??? Ought to use estimate_probability instead.  */
-
-  /* If this is a branch outside a loop, it is highly unlikely.  */
-  if (GET_CODE (PATTERN (jump_insn)) == SET
-      && GET_CODE (SET_SRC (PATTERN (jump_insn))) == IF_THEN_ELSE
-      && ((GET_CODE (XEXP (SET_SRC (PATTERN (jump_insn)), 1)) == LABEL_REF
-          && LABEL_OUTSIDE_LOOP_P (XEXP (SET_SRC (PATTERN (jump_insn)), 1)))
-         || (GET_CODE (XEXP (SET_SRC (PATTERN (jump_insn)), 2)) == LABEL_REF
-             && LABEL_OUTSIDE_LOOP_P (XEXP (SET_SRC (PATTERN (jump_insn)), 2)))))
-    return -1;
-
-  if (target_label)
-    {
-      /* If this is the test of a loop, it is very likely true.  We scan
-        backwards from the target label.  If we find a NOTE_INSN_LOOP_BEG
-        before the next real insn, we assume the branch is to the top of
-        the loop.  */
-      for (insn = PREV_INSN (target_label);
-          insn && GET_CODE (insn) == NOTE;
-          insn = PREV_INSN (insn))
-       if (NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_BEG)
-         return 2;
-
-      /* If this is a jump to the test of a loop, it is likely true.  We scan
-        forwards from the target label.  If we find a NOTE_INSN_LOOP_VTOP
-        before the next real insn, we assume the branch is to the loop branch
-        test.  */
-      for (insn = NEXT_INSN (target_label);
-          insn && GET_CODE (insn) == NOTE;
-          insn = PREV_INSN (insn))
-       if (NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_VTOP)
-         return 1;
-    }
-
   /* Look at the relative rarities of the fallthrough and destination.  If
      they differ, we can predict the branch that way.  */
+  rare_dest = rare_destination (target_label);
+  rare_fallthrough = rare_destination (NEXT_INSN (jump_insn));
 
   switch (rare_fallthrough - rare_dest)
     {
@@ -996,33 +1007,6 @@ mostly_true_jump (jump_insn, condition)
   if (condition == 0)
     return 0;
 
-  /* EQ tests are usually false and NE tests are usually true.  Also,
-     most quantities are positive, so we can make the appropriate guesses
-     about signed comparisons against zero.  */
-  switch (GET_CODE (condition))
-    {
-    case CONST_INT:
-      /* Unconditional branch.  */
-      return 1;
-    case EQ:
-      return 0;
-    case NE:
-      return 1;
-    case LE:
-    case LT:
-      if (XEXP (condition, 1) == const0_rtx)
-       return 0;
-      break;
-    case GE:
-    case GT:
-      if (XEXP (condition, 1) == const0_rtx)
-       return 1;
-      break;
-
-    default:
-      break;
-    }
-
   /* Predict backward branches usually take, forward branches usually not.  If
      we don't know whether this is forward or backward, assume the branch
      will be taken, since most are.  */
@@ -1038,9 +1022,7 @@ mostly_true_jump (jump_insn, condition)
    type of jump, or it doesn't go to TARGET, return 0.  */
 
 static rtx
-get_branch_condition (insn, target)
-     rtx insn;
-     rtx target;
+get_branch_condition (rtx insn, rtx target)
 {
   rtx pat = PATTERN (insn);
   rtx src;
@@ -1070,20 +1052,23 @@ get_branch_condition (insn, target)
               || (GET_CODE (XEXP (src, 2)) == LABEL_REF
                   && XEXP (XEXP (src, 2), 0) == target))
           && XEXP (src, 1) == pc_rtx)
-    return gen_rtx_fmt_ee (reverse_condition (GET_CODE (XEXP (src, 0))),
-                          GET_MODE (XEXP (src, 0)),
-                          XEXP (XEXP (src, 0), 0), XEXP (XEXP (src, 0), 1));
+    {
+      enum rtx_code rev;
+      rev = reversed_comparison_code (XEXP (src, 0), insn);
+      if (rev != UNKNOWN)
+       return gen_rtx_fmt_ee (rev, GET_MODE (XEXP (src, 0)),
+                              XEXP (XEXP (src, 0), 0),
+                              XEXP (XEXP (src, 0), 1));
+    }
 
   return 0;
 }
 
-/* Return non-zero if CONDITION is more strict than the condition of
+/* Return nonzero if CONDITION is more strict than the condition of
    INSN, i.e., if INSN will always branch if CONDITION is true.  */
 
 static int
-condition_dominates_p (condition, insn)
-     rtx condition;
-     rtx insn;
+condition_dominates_p (rtx condition, rtx insn)
 {
   rtx other_condition = get_branch_condition (insn, JUMP_LABEL (insn));
   enum rtx_code code = GET_CODE (condition);
@@ -1105,19 +1090,18 @@ condition_dominates_p (condition, insn)
   return comparison_dominates_p (code, other_code);
 }
 
-/* Return non-zero if redirecting JUMP to NEWLABEL does not invalidate
+/* Return nonzero if redirecting JUMP to NEWLABEL does not invalidate
    any insns already in the delay slot of JUMP.  */
 
 static int
-redirect_with_delay_slots_safe_p (jump, newlabel, seq)
-     rtx jump, newlabel, seq;
+redirect_with_delay_slots_safe_p (rtx jump, rtx newlabel, rtx seq)
 {
   int flags, i;
   rtx pat = PATTERN (seq);
 
   /* Make sure all the delay slots of this jump would still
      be valid after threading the jump.  If they are still
-     valid, then return non-zero.  */
+     valid, then return nonzero.  */
 
   flags = get_jump_flags (jump, newlabel);
   for (i = 1; i < XVECLEN (pat, 0); i++)
@@ -1140,19 +1124,18 @@ redirect_with_delay_slots_safe_p (jump, newlabel, seq)
   return (i == XVECLEN (pat, 0));
 }
 
-/* Return non-zero if redirecting JUMP to NEWLABEL does not invalidate
+/* Return nonzero if redirecting JUMP to NEWLABEL does not invalidate
    any insns we wish to place in the delay slot of JUMP.  */
 
 static int
-redirect_with_delay_list_safe_p (jump, newlabel, delay_list)
-     rtx jump, newlabel, delay_list;
+redirect_with_delay_list_safe_p (rtx jump, rtx newlabel, rtx delay_list)
 {
   int flags, i;
   rtx li;
 
   /* Make sure all the insns in DELAY_LIST would still be
      valid after threading the jump.  If they are still
-     valid, then return non-zero.  */
+     valid, then return nonzero.  */
 
   flags = get_jump_flags (jump, newlabel);
   for (li = delay_list, i = 0; li; li = XEXP (li, 1), i++)
@@ -1178,9 +1161,7 @@ redirect_with_delay_list_safe_p (jump, newlabel, delay_list)
    If not, return 0; otherwise return 1.  */
 
 static int
-check_annul_list_true_false (annul_true_p, delay_list)
-     int annul_true_p;
-     rtx delay_list;
+check_annul_list_true_false (int annul_true_p, rtx delay_list)
 {
   rtx temp;
 
@@ -1212,26 +1193,20 @@ check_annul_list_true_false (annul_true_p, delay_list)
    insns in DELAY_LIST).  It is updated with the number that have been
    filled from the SEQUENCE, if any.
 
-   PANNUL_P points to a non-zero value if we already know that we need
+   PANNUL_P points to a nonzero value if we already know that we need
    to annul INSN.  If this routine determines that annulling is needed,
-   it may set that value non-zero.
+   it may set that value nonzero.
 
    PNEW_THREAD points to a location that is to receive the place at which
    execution should continue.  */
 
 static rtx
-steal_delay_list_from_target (insn, condition, seq, delay_list,
-                             sets, needed, other_needed,
-                             slots_to_fill, pslots_filled, pannul_p,
-                             pnew_thread)
-     rtx insn, condition;
-     rtx seq;
-     rtx delay_list;
-     struct resources *sets, *needed, *other_needed;
-     int slots_to_fill;
-     int *pslots_filled;
-     int *pannul_p;
-     rtx *pnew_thread;
+steal_delay_list_from_target (rtx insn, rtx condition, rtx seq,
+                             rtx delay_list, struct resources *sets,
+                             struct resources *needed,
+                             struct resources *other_needed,
+                             int slots_to_fill, int *pslots_filled,
+                             int *pannul_p, rtx *pnew_thread)
 {
   rtx temp;
   int slots_remaining = slots_to_fill - *pslots_filled;
@@ -1312,7 +1287,7 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
       if (! must_annul
          && ((condition == const_true_rtx
               || (! insn_sets_resource_p (trial, other_needed, 0)
-                  && ! may_trap_p (PATTERN (trial)))))
+                  && ! may_trap_or_fault_p (PATTERN (trial)))))
          ? eligible_for_delay (insn, total_slots_filled, trial, flags)
          : (must_annul || (delay_list == NULL && new_delay_list == NULL))
             && (must_annul = 1,
@@ -1359,16 +1334,12 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
    for INSN since unconditional branches are much easier to fill.  */
 
 static rtx
-steal_delay_list_from_fallthrough (insn, condition, seq,
-                                  delay_list, sets, needed, other_needed,
-                                  slots_to_fill, pslots_filled, pannul_p)
-     rtx insn, condition;
-     rtx seq;
-     rtx delay_list;
-     struct resources *sets, *needed, *other_needed;
-     int slots_to_fill;
-     int *pslots_filled;
-     int *pannul_p;
+steal_delay_list_from_fallthrough (rtx insn, rtx condition, rtx seq,
+                                  rtx delay_list, struct resources *sets,
+                                  struct resources *needed,
+                                  struct resources *other_needed,
+                                  int slots_to_fill, int *pslots_filled,
+                                  int *pannul_p)
 {
   int i;
   int flags;
@@ -1410,7 +1381,7 @@ steal_delay_list_from_fallthrough (insn, condition, seq,
       if (! must_annul
          && ((condition == const_true_rtx
               || (! insn_sets_resource_p (trial, other_needed, 0)
-                  && ! may_trap_p (PATTERN (trial)))))
+                  && ! may_trap_or_fault_p (PATTERN (trial)))))
          ? eligible_for_delay (insn, *pslots_filled, trial, flags)
          : (must_annul || delay_list == NULL) && (must_annul = 1,
             check_annul_list_true_false (1, delay_list)
@@ -1443,8 +1414,7 @@ steal_delay_list_from_fallthrough (insn, condition, seq,
    we delete the merged insn.  */
 
 static void
-try_merge_delay_insns (insn, thread)
-     rtx insn, thread;
+try_merge_delay_insns (rtx insn, rtx thread)
 {
   rtx trial, next_trial;
   rtx delay_insn = XVECEXP (PATTERN (insn), 0, 0);
@@ -1481,7 +1451,7 @@ try_merge_delay_insns (insn, thread)
       next_trial = next_nonnote_insn (trial);
 
       /* TRIAL must be a CALL_INSN or INSN.  Skip USE and CLOBBER.  */
-      if (GET_CODE (trial) == INSN
+      if (NONJUMP_INSN_P (trial)
          && (GET_CODE (pat) == USE || GET_CODE (pat) == CLOBBER))
        continue;
 
@@ -1529,7 +1499,7 @@ try_merge_delay_insns (insn, thread)
   /* See if we stopped on a filled insn.  If we did, try to see if its
      delay slots match.  */
   if (slot_number != num_slots
-      && trial && GET_CODE (trial) == INSN
+      && trial && NONJUMP_INSN_P (trial)
       && GET_CODE (PATTERN (trial)) == SEQUENCE
       && ! INSN_ANNULLED_BRANCH_P (XVECEXP (PATTERN (trial), 0, 0)))
     {
@@ -1625,7 +1595,7 @@ try_merge_delay_insns (insn, thread)
    If we are not careful, this routine can take up a significant fraction
    of the total compilation time (4%), but only wins rarely.  Hence we
    speed this routine up by making two passes.  The first pass goes back
-   until it hits a label and sees if it find an insn with an identical
+   until it hits a label and sees if it finds an insn with an identical
    pattern.  Only in this (relatively rare) event does it check for
    data conflicts.
 
@@ -1634,10 +1604,7 @@ try_merge_delay_insns (insn, thread)
    gain in rare cases.  */
 
 static rtx
-redundant_insn (insn, target, delay_list)
-     rtx insn;
-     rtx target;
-     rtx delay_list;
+redundant_insn (rtx insn, rtx target, rtx delay_list)
 {
   rtx target_main = target;
   rtx ipat = PATTERN (insn);
@@ -1657,7 +1624,7 @@ redundant_insn (insn, target, delay_list)
        trial && insns_to_search > 0;
        trial = PREV_INSN (trial), --insns_to_search)
     {
-      if (GET_CODE (trial) == CODE_LABEL)
+      if (LABEL_P (trial))
        return 0;
 
       if (! INSN_P (trial))
@@ -1671,7 +1638,7 @@ redundant_insn (insn, target, delay_list)
        {
          /* Stop for a CALL and its delay slots because it is difficult to
             track its resource needs correctly.  */
-         if (GET_CODE (XVECEXP (pat, 0, 0)) == CALL_INSN)
+         if (CALL_P (XVECEXP (pat, 0, 0)))
            return 0;
 
          /* Stop for an INSN or JUMP_INSN with delayed effects and its delay
@@ -1719,7 +1686,7 @@ redundant_insn (insn, target, delay_list)
   mark_referenced_resources (insn, &needed, 1);
 
   /* If TARGET is a SEQUENCE, get the main insn.  */
-  if (GET_CODE (target) == INSN && GET_CODE (PATTERN (target)) == SEQUENCE)
+  if (NONJUMP_INSN_P (target) && GET_CODE (PATTERN (target)) == SEQUENCE)
     target_main = XVECEXP (PATTERN (target), 0, 0);
 
   if (resource_conflicts_p (&needed, &set)
@@ -1748,7 +1715,7 @@ redundant_insn (insn, target, delay_list)
       delay_list = XEXP (delay_list, 1);
     }
 
-  if (GET_CODE (target) == INSN && GET_CODE (PATTERN (target)) == SEQUENCE)
+  if (NONJUMP_INSN_P (target) && GET_CODE (PATTERN (target)) == SEQUENCE)
     for (i = 1; i < XVECLEN (PATTERN (target), 0); i++)
       if (insn_sets_resource_p (XVECEXP (PATTERN (target), 0, i), &needed, 1))
        return 0;
@@ -1758,11 +1725,10 @@ redundant_insn (insn, target, delay_list)
 
   for (trial = PREV_INSN (target),
         insns_to_search = MAX_DELAY_SLOT_INSN_SEARCH;
-       trial && GET_CODE (trial) != CODE_LABEL && insns_to_search > 0;
+       trial && !LABEL_P (trial) && insns_to_search > 0;
        trial = PREV_INSN (trial), --insns_to_search)
     {
-      if (GET_CODE (trial) != INSN && GET_CODE (trial) != CALL_INSN
-         && GET_CODE (trial) != JUMP_INSN)
+      if (!INSN_P (trial))
        continue;
 
       pat = PATTERN (trial);
@@ -1773,7 +1739,7 @@ redundant_insn (insn, target, delay_list)
        {
          /* If this is a CALL_INSN and its delay slots, it is hard to track
             the resource needs properly, so give up.  */
-         if (GET_CODE (XVECEXP (pat, 0, 0)) == CALL_INSN)
+         if (CALL_P (XVECEXP (pat, 0, 0)))
            return 0;
 
          /* If this is an INSN or JUMP_INSN with delayed effects, it
@@ -1835,19 +1801,16 @@ redundant_insn (insn, target, delay_list)
   return 0;
 }
 \f
-/* Return 1 if THREAD can only be executed in one way.  If LABEL is non-zero,
+/* Return 1 if THREAD can only be executed in one way.  If LABEL is nonzero,
    it is the target of the branch insn being scanned.  If ALLOW_FALLTHROUGH
-   is non-zero, we are allowed to fall into this thread; otherwise, we are
+   is nonzero, we are allowed to fall into this thread; otherwise, we are
    not.
 
    If LABEL is used more than one or we pass a label other than LABEL before
    finding an active insn, we do not own this thread.  */
 
 static int
-own_thread_p (thread, label, allow_fallthrough)
-     rtx thread;
-     rtx label;
-     int allow_fallthrough;
+own_thread_p (rtx thread, rtx label, int allow_fallthrough)
 {
   rtx active_insn;
   rtx insn;
@@ -1860,7 +1823,7 @@ own_thread_p (thread, label, allow_fallthrough)
   active_insn = next_active_insn (PREV_INSN (thread));
 
   for (insn = thread; insn != active_insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == CODE_LABEL
+    if (LABEL_P (insn)
        && (insn != label || LABEL_NUSES (insn) != 1))
       return 0;
 
@@ -1869,11 +1832,11 @@ own_thread_p (thread, label, allow_fallthrough)
 
   /* Ensure that we reach a BARRIER before any insn or label.  */
   for (insn = prev_nonnote_insn (thread);
-       insn == 0 || GET_CODE (insn) != BARRIER;
+       insn == 0 || !BARRIER_P (insn);
        insn = prev_nonnote_insn (insn))
     if (insn == 0
-       || GET_CODE (insn) == CODE_LABEL
-       || (GET_CODE (insn) == INSN
+       || LABEL_P (insn)
+       || (NONJUMP_INSN_P (insn)
            && GET_CODE (PATTERN (insn)) != USE
            && GET_CODE (PATTERN (insn)) != CLOBBER))
       return 0;
@@ -1891,9 +1854,7 @@ own_thread_p (thread, label, allow_fallthrough)
    BARRIER in relax_delay_slots.  */
 
 static void
-update_block (insn, where)
-     rtx insn;
-     rtx where;
+update_block (rtx insn, rtx where)
 {
   /* Ignore if this was in a delay slot and it came from the target of
      a branch.  */
@@ -1912,9 +1873,7 @@ update_block (insn, where)
    the basic block containing the jump.  */
 
 static int
-reorg_redirect_jump (jump, nlabel)
-     rtx jump;
-     rtx nlabel;
+reorg_redirect_jump (rtx jump, rtx nlabel)
 {
   incr_ticks_for_insn (jump);
   return redirect_jump (jump, nlabel, 1);
@@ -1925,15 +1884,14 @@ reorg_redirect_jump (jump, nlabel)
    that reference values used in INSN.  If we find one, then we move the
    REG_DEAD note to INSN.
 
-   This is needed to handle the case where an later insn (after INSN) has a
+   This is needed to handle the case where a later insn (after INSN) has a
    REG_DEAD note for a register used by INSN, and this later insn subsequently
    gets moved before a CODE_LABEL because it is a redundant insn.  In this
    case, mark_target_live_regs may be confused into thinking the register
    is dead because it sees a REG_DEAD note immediately before a CODE_LABEL.  */
 
 static void
-update_reg_dead_notes (insn, delayed_insn)
-     rtx insn, delayed_insn;
+update_reg_dead_notes (rtx insn, rtx delayed_insn)
 {
   rtx p, link, next;
 
@@ -1944,7 +1902,7 @@ update_reg_dead_notes (insn, delayed_insn)
        next = XEXP (link, 1);
 
        if (REG_NOTE_KIND (link) != REG_DEAD
-           || GET_CODE (XEXP (link, 0)) != REG)
+           || !REG_P (XEXP (link, 0)))
          continue;
 
        if (reg_referenced_p (XEXP (link, 0), PATTERN (insn)))
@@ -1966,8 +1924,7 @@ update_reg_dead_notes (insn, delayed_insn)
    confused into thinking the register is dead.  */
 
 static void
-fix_reg_dead_note (start_insn, stop_insn)
-     rtx start_insn, stop_insn;
+fix_reg_dead_note (rtx start_insn, rtx stop_insn)
 {
   rtx p, link, next;
 
@@ -1978,7 +1935,7 @@ fix_reg_dead_note (start_insn, stop_insn)
        next = XEXP (link, 1);
 
        if (REG_NOTE_KIND (link) != REG_DEAD
-           || GET_CODE (XEXP (link, 0)) != REG)
+           || !REG_P (XEXP (link, 0)))
          continue;
 
        if (reg_set_p (XEXP (link, 0), PATTERN (start_insn)))
@@ -1997,8 +1954,7 @@ fix_reg_dead_note (start_insn, stop_insn)
    does.  */
 
 static void
-update_reg_unused_notes (insn, redundant_insn)
-     rtx insn, redundant_insn;
+update_reg_unused_notes (rtx insn, rtx redundant_insn)
 {
   rtx link, next;
 
@@ -2007,7 +1963,7 @@ update_reg_unused_notes (insn, redundant_insn)
       next = XEXP (link, 1);
 
       if (REG_NOTE_KIND (link) != REG_UNUSED
-         || GET_CODE (XEXP (link, 0)) != REG)
+         || !REG_P (XEXP (link, 0)))
        continue;
 
       if (! find_regno_note (redundant_insn, REG_UNUSED,
@@ -2019,7 +1975,7 @@ update_reg_unused_notes (insn, redundant_insn)
 /* Scan a function looking for insns that need a delay slot and find insns to
    put into the delay slot.
 
-   NON_JUMPS_P is non-zero if we are to only try to fill non-jump insns (such
+   NON_JUMPS_P is nonzero if we are to only try to fill non-jump insns (such
    as calls).  We do these first since we don't want jump insns (that are
    easier to fill) to get the only insns that could be used for non-jump insns.
    When it is zero, only try to fill JUMP_INSNs.
@@ -2031,8 +1987,7 @@ update_reg_unused_notes (insn, redundant_insn)
    through FINAL_SEQUENCE.  */
 
 static void
-fill_simple_delay_slots (non_jumps_p)
-     int non_jumps_p;
+fill_simple_delay_slots (int non_jumps_p)
 {
   rtx insn, pat, trial, next_trial;
   int i;
@@ -2050,10 +2005,10 @@ fill_simple_delay_slots (non_jumps_p)
       insn = unfilled_slots_base[i];
       if (insn == 0
          || INSN_DELETED_P (insn)
-         || (GET_CODE (insn) == INSN
+         || (NONJUMP_INSN_P (insn)
              && GET_CODE (PATTERN (insn)) == SEQUENCE)
-         || (GET_CODE (insn) == JUMP_INSN && non_jumps_p)
-         || (GET_CODE (insn) != JUMP_INSN && ! non_jumps_p))
+         || (JUMP_P (insn) && non_jumps_p)
+         || (!JUMP_P (insn) && ! non_jumps_p))
        continue;
 
       /* It may have been that this insn used to need delay slots, but
@@ -2097,16 +2052,17 @@ fill_simple_delay_slots (non_jumps_p)
       slots_filled = 0;
       delay_list = 0;
 
-      if (GET_CODE (insn) == JUMP_INSN)
+      if (JUMP_P (insn))
        flags = get_jump_flags (insn, JUMP_LABEL (insn));
       else
        flags = get_jump_flags (insn, NULL_RTX);
 
       if ((trial = next_active_insn (insn))
-         && GET_CODE (trial) == JUMP_INSN
+         && JUMP_P (trial)
          && simplejump_p (trial)
          && eligible_for_delay (insn, slots_filled, trial, flags)
-         && no_labels_between_p (insn, trial))
+         && no_labels_between_p (insn, trial)
+         && ! can_throw_internal (trial))
        {
          rtx *tmp;
          slots_filled++;
@@ -2176,7 +2132,7 @@ fill_simple_delay_slots (non_jumps_p)
                  /* Can't separate set of cc0 from its use.  */
                  && ! (reg_mentioned_p (cc0_rtx, pat) && ! sets_cc0_p (pat))
 #endif
-                 )
+                 && ! can_throw_internal (trial))
                {
                  trial = try_split (pat, trial, 1);
                  next_trial = prev_nonnote_insn (trial);
@@ -2209,7 +2165,7 @@ fill_simple_delay_slots (non_jumps_p)
 #if defined(ANNUL_IFFALSE_SLOTS) || defined(ANNUL_IFTRUE_SLOTS)
       if (slots_filled != slots_to_fill
          && delay_list == 0
-         && GET_CODE (insn) == JUMP_INSN
+         && JUMP_P (insn)
          && (condjump_p (insn) || condjump_in_parallel_p (insn)))
        {
          delay_list = optimize_skip (insn);
@@ -2252,8 +2208,8 @@ fill_simple_delay_slots (non_jumps_p)
 
             Presumably, we should also check to see if we could get
             back to this function via `setjmp'.  */
-         && !can_throw_internal (insn)
-         && (GET_CODE (insn) != JUMP_INSN
+         && ! can_throw_internal (insn)
+         && (!JUMP_P (insn)
              || ((condjump_p (insn) || condjump_in_parallel_p (insn))
                  && ! simplejump_p (insn)
                  && JUMP_LABEL (insn) != 0)))
@@ -2267,7 +2223,7 @@ fill_simple_delay_slots (non_jumps_p)
          CLEAR_RESOURCE (&needed);
          CLEAR_RESOURCE (&set);
 
-         if (GET_CODE (insn) == CALL_INSN)
+         if (CALL_P (insn))
            {
              mark_set_resources (insn, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (insn, &needed, 1);
@@ -2277,7 +2233,7 @@ fill_simple_delay_slots (non_jumps_p)
            {
              mark_set_resources (insn, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (insn, &needed, 1);
-             if (GET_CODE (insn) == JUMP_INSN)
+             if (JUMP_P (insn))
                target = JUMP_LABEL (insn);
            }
 
@@ -2286,8 +2242,8 @@ fill_simple_delay_slots (non_jumps_p)
              {
                next_trial = next_nonnote_insn (trial);
 
-               if (GET_CODE (trial) == CODE_LABEL
-                   || GET_CODE (trial) == BARRIER)
+               if (LABEL_P (trial)
+                   || BARRIER_P (trial))
                  break;
 
                /* We must have an INSN, JUMP_INSN, or CALL_INSN.  */
@@ -2305,7 +2261,7 @@ fill_simple_delay_slots (non_jumps_p)
                  trial_delay = trial;
 
                /* Stop our search when seeing an unconditional jump.  */
-               if (GET_CODE (trial_delay) == JUMP_INSN)
+               if (JUMP_P (trial_delay))
                  break;
 
                /* See if we have a resource problem before we try to
@@ -2317,9 +2273,10 @@ fill_simple_delay_slots (non_jumps_p)
 #ifdef HAVE_cc0
                    && ! (reg_mentioned_p (cc0_rtx, pat) && ! sets_cc0_p (pat))
 #endif
-                   && ! (maybe_never && may_trap_p (pat))
+                   && ! (maybe_never && may_trap_or_fault_p (pat))
                    && (trial = try_split (pat, trial, 0))
-                   && eligible_for_delay (insn, slots_filled, trial, flags))
+                   && eligible_for_delay (insn, slots_filled, trial, flags)
+                   && ! can_throw_internal(trial))
                  {
                    next_trial = next_nonnote_insn (trial);
                    delay_list = add_to_delay_list (trial, delay_list);
@@ -2344,8 +2301,8 @@ fill_simple_delay_slots (non_jumps_p)
                set.cc = 1;
 
                /* If this is a call or jump, we might not get here.  */
-               if (GET_CODE (trial_delay) == CALL_INSN
-                   || GET_CODE (trial_delay) == JUMP_INSN)
+               if (CALL_P (trial_delay)
+                   || JUMP_P (trial_delay))
                  maybe_never = 1;
              }
 
@@ -2356,45 +2313,51 @@ fill_simple_delay_slots (non_jumps_p)
             Don't do this if the insn at the branch target is a branch.  */
          if (slots_to_fill != slots_filled
              && trial
-             && GET_CODE (trial) == JUMP_INSN
+             && JUMP_P (trial)
              && simplejump_p (trial)
              && (target == 0 || JUMP_LABEL (trial) == target)
              && (next_trial = next_active_insn (JUMP_LABEL (trial))) != 0
-             && ! (GET_CODE (next_trial) == INSN
+             && ! (NONJUMP_INSN_P (next_trial)
                    && GET_CODE (PATTERN (next_trial)) == SEQUENCE)
-             && GET_CODE (next_trial) != JUMP_INSN
+             && !JUMP_P (next_trial)
              && ! insn_references_resource_p (next_trial, &set, 1)
              && ! insn_sets_resource_p (next_trial, &set, 1)
              && ! insn_sets_resource_p (next_trial, &needed, 1)
 #ifdef HAVE_cc0
              && ! reg_mentioned_p (cc0_rtx, PATTERN (next_trial))
 #endif
-             && ! (maybe_never && may_trap_p (PATTERN (next_trial)))
+             && ! (maybe_never && may_trap_or_fault_p (PATTERN (next_trial)))
              && (next_trial = try_split (PATTERN (next_trial), next_trial, 0))
-             && eligible_for_delay (insn, slots_filled, next_trial, flags))
+             && eligible_for_delay (insn, slots_filled, next_trial, flags)
+             && ! can_throw_internal (trial))
            {
-             rtx new_label = next_active_insn (next_trial);
+             /* See comment in relax_delay_slots about necessity of using
+                next_real_insn here.  */
+             rtx new_label = next_real_insn (next_trial);
 
              if (new_label != 0)
                new_label = get_label_before (new_label);
              else
                new_label = find_end_label ();
 
-             delay_list
-               = add_to_delay_list (copy_rtx (next_trial), delay_list);
-             slots_filled++;
-             reorg_redirect_jump (trial, new_label);
-
-             /* If we merged because we both jumped to the same place,
-                redirect the original insn also.  */
-             if (target)
-               reorg_redirect_jump (insn, new_label);
+             if (new_label)
+               {
+                 delay_list
+                   = add_to_delay_list (copy_rtx (next_trial), delay_list);
+                 slots_filled++;
+                 reorg_redirect_jump (trial, new_label);
+
+                 /* If we merged because we both jumped to the same place,
+                    redirect the original insn also.  */
+                 if (target)
+                   reorg_redirect_jump (insn, new_label);
+               }
            }
        }
 
       /* If this is an unconditional jump, then try to get insns from the
         target of the jump.  */
-      if (GET_CODE (insn) == JUMP_INSN
+      if (JUMP_P (insn)
          && simplejump_p (insn)
          && slots_filled != slots_to_fill)
        delay_list
@@ -2442,10 +2405,8 @@ fill_simple_delay_slots (non_jumps_p)
 #if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
       SET_HARD_REG_BIT (needed.regs, HARD_FRAME_POINTER_REGNUM);
 #endif
-#ifdef EXIT_IGNORE_STACK
       if (! EXIT_IGNORE_STACK
          || current_function_sp_is_unchanging)
-#endif
        SET_HARD_REG_BIT (needed.regs, STACK_POINTER_REGNUM);
     }
   else
@@ -2462,7 +2423,7 @@ fill_simple_delay_slots (non_jumps_p)
   for (trial = get_last_insn (); ! stop_search_p (trial, 1);
        trial = PREV_INSN (trial))
     {
-      if (GET_CODE (trial) == NOTE)
+      if (NOTE_P (trial))
        continue;
       pat = PATTERN (trial);
       if (GET_CODE (pat) == USE || GET_CODE (pat) == CLOBBER)
@@ -2475,7 +2436,7 @@ fill_simple_delay_slots (non_jumps_p)
          /* Don't want to mess with cc0 here.  */
          && ! reg_mentioned_p (cc0_rtx, pat)
 #endif
-         )
+         && ! can_throw_internal (trial))
        {
          trial = try_split (pat, trial, 1);
          if (ELIGIBLE_FOR_EPILOGUE_DELAY (trial, slots_filled))
@@ -2519,7 +2480,7 @@ fill_simple_delay_slots (non_jumps_p)
    OPPOSITE_THREAD is the thread in the opposite direction.  It is used
    to see if any potential delay slot insns set things needed there.
 
-   LIKELY is non-zero if it is extremely likely that the branch will be
+   LIKELY is nonzero if it is extremely likely that the branch will be
    taken and THREAD_IF_TRUE is set.  This is used for the branch at the
    end of a loop back up to the top.
 
@@ -2532,17 +2493,10 @@ fill_simple_delay_slots (non_jumps_p)
    slot.  We then adjust the jump to point after the insns we have taken.  */
 
 static rtx
-fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
-                       thread_if_true, own_thread,
-                       slots_to_fill, pslots_filled, delay_list)
-     rtx insn;
-     rtx condition;
-     rtx thread, opposite_thread;
-     int likely;
-     int thread_if_true;
-     int own_thread;
-     int slots_to_fill, *pslots_filled;
-     rtx delay_list;
+fill_slots_from_thread (rtx insn, rtx condition, rtx thread,
+                       rtx opposite_thread, int likely, int thread_if_true,
+                       int own_thread, int slots_to_fill,
+                       int *pslots_filled, rtx delay_list)
 {
   rtx new_thread;
   struct resources opposite_needed, set, needed;
@@ -2552,9 +2506,8 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
   int flags;
 
   /* Validate our arguments.  */
-  if ((condition == const_true_rtx && ! thread_if_true)
-      || (! own_thread && ! thread_if_true))
-    abort ();
+  gcc_assert(condition != const_true_rtx || thread_if_true);
+  gcc_assert(own_thread || thread_if_true);
 
   flags = get_jump_flags (insn, JUMP_LABEL (insn));
 
@@ -2597,7 +2550,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
       rtx pat, old_trial;
 
       /* If we have passed a label, we no longer own this thread.  */
-      if (GET_CODE (trial) == CODE_LABEL)
+      if (LABEL_P (trial))
        {
          own_thread = 0;
          continue;
@@ -2616,7 +2569,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
          && ! (reg_mentioned_p (cc0_rtx, pat)
                && (! own_thread || ! sets_cc0_p (pat)))
 #endif
-         )
+         && ! can_throw_internal (trial))
        {
          rtx prior_insn;
 
@@ -2653,7 +2606,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
          if (!must_annul
              && (condition == const_true_rtx
                  || (! insn_sets_resource_p (trial, &opposite_needed, 1)
-                     && ! may_trap_p (pat))))
+                     && ! may_trap_or_fault_p (pat))))
            {
              old_trial = trial;
              trial = try_split (pat, trial, 0);
@@ -2703,6 +2656,8 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
                     starting point of this thread.  */
                  if (own_thread)
                    {
+                     rtx note;
+
                      update_block (trial, thread);
                      if (trial == thread)
                        {
@@ -2710,7 +2665,19 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
                          if (new_thread == trial)
                            new_thread = thread;
                        }
+
+                     /* We are moving this insn, not deleting it.  We must
+                        temporarily increment the use count on any referenced
+                        label lest it be deleted by delete_related_insns.  */
+                     note = find_reg_note (trial, REG_LABEL, 0);
+                     /* REG_LABEL could be NOTE_INSN_DELETED_LABEL too.  */
+                     if (note && LABEL_P (XEXP (note, 0)))
+                       LABEL_NUSES (XEXP (note, 0))++;
+
                      delete_related_insns (trial);
+
+                     if (note && LABEL_P (XEXP (note, 0)))
+                       LABEL_NUSES (XEXP (note, 0))--;
                    }
                  else
                    new_thread = next_active_insn (trial);
@@ -2773,15 +2740,17 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
         that would make the replacement into the insn invalid.  We also can't
         do this if it modifies our source, because it might be an earlyclobber
         operand.  This latter test also prevents updating the contents of
-        a PRE_INC.  */
+        a PRE_INC.  We also can't do this if there's overlap of source and
+        destination.  Overlap may happen for larger-than-register-size modes.  */
 
-      if (GET_CODE (trial) == INSN && GET_CODE (pat) == SET
-         && GET_CODE (SET_SRC (pat)) == REG
-         && GET_CODE (SET_DEST (pat)) == REG)
+      if (NONJUMP_INSN_P (trial) && GET_CODE (pat) == SET
+         && REG_P (SET_SRC (pat))
+         && REG_P (SET_DEST (pat))
+         && !reg_overlap_mentioned_p (SET_DEST (pat), SET_SRC (pat)))
        {
          rtx next = next_nonnote_insn (trial);
 
-         if (next && GET_CODE (next) == INSN
+         if (next && NONJUMP_INSN_P (next)
              && GET_CODE (PATTERN (next)) != USE
              && ! reg_set_p (SET_DEST (pat), next)
              && ! reg_set_p (SET_SRC (pat), next)
@@ -2793,9 +2762,9 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
 
   /* If we stopped on a branch insn that has delay slots, see if we can
      steal some of the insns in those slots.  */
-  if (trial && GET_CODE (trial) == INSN
+  if (trial && NONJUMP_INSN_P (trial)
       && GET_CODE (PATTERN (trial)) == SEQUENCE
-      && GET_CODE (XVECEXP (PATTERN (trial), 0, 0)) == JUMP_INSN)
+      && JUMP_P (XVECEXP (PATTERN (trial), 0, 0)))
     {
       /* If this is the `true' thread, we will want to follow the jump,
         so we can only do this if we have taken everything up to here.  */
@@ -2828,7 +2797,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
      arithmetic insn after the jump insn and put the arithmetic insn in the
      delay slot.  If we can't do this, return.  */
   if (delay_list == 0 && likely && new_thread
-      && GET_CODE (new_thread) == INSN
+      && NONJUMP_INSN_P (new_thread)
       && GET_CODE (PATTERN (new_thread)) != ASM_INPUT
       && asm_noperands (PATTERN (new_thread)) < 0)
     {
@@ -2839,8 +2808,10 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
       trial = new_thread;
       pat = PATTERN (trial);
 
-      if (GET_CODE (trial) != INSN || GET_CODE (pat) != SET
-         || ! eligible_for_delay (insn, 0, trial, flags))
+      if (!NONJUMP_INSN_P (trial)
+         || GET_CODE (pat) != SET
+         || ! eligible_for_delay (insn, 0, trial, flags)
+         || can_throw_internal (trial))
        return 0;
 
       dest = SET_DEST (pat), src = SET_SRC (pat);
@@ -2906,10 +2877,9 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
     {
       rtx label;
 
-      if (! thread_if_true)
-       abort ();
+      gcc_assert (thread_if_true);
 
-      if (new_thread && GET_CODE (new_thread) == JUMP_INSN
+      if (new_thread && JUMP_P (new_thread)
          && (simplejump_p (new_thread)
              || GET_CODE (PATTERN (new_thread)) == RETURN)
          && redirect_with_delay_list_safe_p (insn,
@@ -2919,12 +2889,13 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
 
       if (new_thread == 0)
        label = find_end_label ();
-      else if (GET_CODE (new_thread) == CODE_LABEL)
+      else if (LABEL_P (new_thread))
        label = new_thread;
       else
        label = get_label_before (new_thread);
 
-      reorg_redirect_jump (insn, label);
+      if (label)
+       reorg_redirect_jump (insn, label);
     }
 
   return delay_list;
@@ -2941,7 +2912,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
    if safe.  */
 
 static void
-fill_eager_delay_slots ()
+fill_eager_delay_slots (void)
 {
   rtx insn;
   int i;
@@ -2959,7 +2930,7 @@ fill_eager_delay_slots ()
       insn = unfilled_slots_base[i];
       if (insn == 0
          || INSN_DELETED_P (insn)
-         || GET_CODE (insn) != JUMP_INSN
+         || !JUMP_P (insn)
          || ! (condjump_p (insn) || condjump_in_parallel_p (insn)))
        continue;
 
@@ -2968,7 +2939,7 @@ fill_eager_delay_slots ()
         delay slots only in certain circumstances which may depend on
         nearby insns (which change due to reorg's actions).
 
-        For example, the PA port normally has delay slots for unconditional
+        For example, the PA port normally has delay slots for unconditional
         jumps.
 
         However, the PA port claims such jumps do not have a delay slot
@@ -3069,8 +3040,7 @@ fill_eager_delay_slots ()
    threading.  */
 
 static void
-relax_delay_slots (first)
-     rtx first;
+relax_delay_slots (rtx first)
 {
   rtx insn, next, pat;
   rtx trial, delay_insn, target_label;
@@ -3085,31 +3055,31 @@ relax_delay_slots (first)
       /* If this is a jump insn, see if it now jumps to a jump, jumps to
         the next insn, or jumps to a label that is not the last of a
         group of consecutive labels.  */
-      if (GET_CODE (insn) == JUMP_INSN
+      if (JUMP_P (insn)
          && (condjump_p (insn) || condjump_in_parallel_p (insn))
          && (target_label = JUMP_LABEL (insn)) != 0)
        {
-         target_label = follow_jumps (target_label);
-         target_label = prev_label (next_active_insn (target_label));
-
+         target_label = skip_consecutive_labels (follow_jumps (target_label));
          if (target_label == 0)
            target_label = find_end_label ();
 
-         if (next_active_insn (target_label) == next
+         if (target_label && next_active_insn (target_label) == next
              && ! condjump_in_parallel_p (insn))
            {
              delete_jump (insn);
              continue;
            }
 
-         if (target_label != JUMP_LABEL (insn))
+         if (target_label && target_label != JUMP_LABEL (insn))
            reorg_redirect_jump (insn, target_label);
 
-         /* See if this jump branches around an unconditional jump.
-            If so, invert this jump and point it to the target of the
+         /* See if this jump conditionally branches around an unconditional
+            jump.  If so, invert this jump and point it to the target of the
             second jump.  */
-         if (next && GET_CODE (next) == JUMP_INSN
+         if (next && JUMP_P (next)
+             && any_condjump_p (insn)
              && (simplejump_p (next) || GET_CODE (PATTERN (next)) == RETURN)
+             && target_label
              && next_active_insn (target_label) == next_active_insn (next)
              && no_labels_between_p (insn, next))
            {
@@ -3150,10 +3120,10 @@ relax_delay_slots (first)
         Don't do this if we expect the conditional branch to be true, because
         we would then be making the more common case longer.  */
 
-      if (GET_CODE (insn) == JUMP_INSN
+      if (JUMP_P (insn)
          && (simplejump_p (insn) || GET_CODE (PATTERN (insn)) == RETURN)
          && (other = prev_active_insn (insn)) != 0
-         && (condjump_p (other) || condjump_in_parallel_p (other))
+         && any_condjump_p (other)
          && no_labels_between_p (other, insn)
          && 0 > mostly_true_jump (other,
                                   get_branch_condition (other,
@@ -3167,7 +3137,7 @@ relax_delay_slots (first)
        }
 
       /* Now look only at cases where we have filled a delay slot.  */
-      if (GET_CODE (insn) != INSN
+      if (!NONJUMP_INSN_P (insn)
          || GET_CODE (PATTERN (insn)) != SEQUENCE)
        continue;
 
@@ -3186,7 +3156,7 @@ relax_delay_slots (first)
 
       /* See if we have a RETURN insn with a filled delay slot followed
         by a RETURN insn with an unfilled a delay slot.  If so, we can delete
-        the first RETURN (but not it's delay insn).  This gives the same
+        the first RETURN (but not its delay insn).  This gives the same
         effect in fewer instructions.
 
         Only do so if optimizing for size since this results in slower, but
@@ -3194,9 +3164,10 @@ relax_delay_slots (first)
       if (optimize_size
          && GET_CODE (PATTERN (delay_insn)) == RETURN
          && next
-         && GET_CODE (next) == JUMP_INSN
+         && JUMP_P (next)
          && GET_CODE (PATTERN (next)) == RETURN)
        {
+         rtx after;
          int i;
 
          /* Delete the RETURN and just execute the delay list insns.
@@ -3213,13 +3184,20 @@ relax_delay_slots (first)
 
          trial = PREV_INSN (insn);
          delete_related_insns (insn);
-         emit_insn_after (pat, trial);
+         gcc_assert (GET_CODE (pat) == SEQUENCE);
+         after = trial;
+         for (i = 0; i < XVECLEN (pat, 0); i++)
+           {
+             rtx this_insn = XVECEXP (pat, 0, i);
+             add_insn_after (this_insn, after);
+             after = this_insn;
+           }
          delete_scheduled_jump (delay_insn);
          continue;
        }
 
       /* Now look only at the cases where we have a filled JUMP_INSN.  */
-      if (GET_CODE (XVECEXP (PATTERN (insn), 0, 0)) != JUMP_INSN
+      if (!JUMP_P (XVECEXP (PATTERN (insn), 0, 0))
          || ! (condjump_p (XVECEXP (PATTERN (insn), 0, 0))
                || condjump_in_parallel_p (XVECEXP (PATTERN (insn), 0, 0))))
        continue;
@@ -3230,17 +3208,11 @@ relax_delay_slots (first)
        {
          /* If this jump goes to another unconditional jump, thread it, but
             don't convert a jump into a RETURN here.  */
-         trial = follow_jumps (target_label);
-         /* We use next_real_insn instead of next_active_insn, so that
-            the special USE insns emitted by reorg won't be ignored.
-            If they are ignored, then they will get deleted if target_label
-            is now unreachable, and that would cause mark_target_live_regs
-            to fail.  */
-         trial = prev_label (next_real_insn (trial));
-         if (trial == 0 && target_label != 0)
+         trial = skip_consecutive_labels (follow_jumps (target_label));
+         if (trial == 0)
            trial = find_end_label ();
 
-         if (trial != target_label
+         if (trial && trial != target_label
              && redirect_with_delay_slots_safe_p (delay_insn, trial, insn))
            {
              reorg_redirect_jump (delay_insn, trial);
@@ -3251,32 +3223,34 @@ relax_delay_slots (first)
             insn, redirect the jump to the following insn process again.  */
          trial = next_active_insn (target_label);
          if (trial && GET_CODE (PATTERN (trial)) != SEQUENCE
-             && redundant_insn (trial, insn, 0))
+             && redundant_insn (trial, insn, 0)
+             && ! can_throw_internal (trial))
            {
-             rtx tmp;
-
              /* Figure out where to emit the special USE insn so we don't
                 later incorrectly compute register live/death info.  */
-             tmp = next_active_insn (trial);
+             rtx tmp = next_active_insn (trial);
              if (tmp == 0)
                tmp = find_end_label ();
 
-             /* Insert the special USE insn and update dataflow info.  */
-             update_block (trial, tmp);
+             if (tmp)
+               {
+                 /* Insert the special USE insn and update dataflow info.  */
+                 update_block (trial, tmp);
 
-             /* Now emit a label before the special USE insn, and
-                redirect our jump to the new label.  */
-             target_label = get_label_before (PREV_INSN (tmp));
-             reorg_redirect_jump (delay_insn, target_label);
-             next = insn;
-             continue;
+                 /* Now emit a label before the special USE insn, and
+                    redirect our jump to the new label.  */
+                 target_label = get_label_before (PREV_INSN (tmp));
+                 reorg_redirect_jump (delay_insn, target_label);
+                 next = insn;
+                 continue;
+               }
            }
 
          /* Similarly, if it is an unconditional jump with one insn in its
             delay list and that insn is redundant, thread the jump.  */
          if (trial && GET_CODE (PATTERN (trial)) == SEQUENCE
              && XVECLEN (PATTERN (trial), 0) == 2
-             && GET_CODE (XVECEXP (PATTERN (trial), 0, 0)) == JUMP_INSN
+             && JUMP_P (XVECEXP (PATTERN (trial), 0, 0))
              && (simplejump_p (XVECEXP (PATTERN (trial), 0, 0))
                  || GET_CODE (PATTERN (XVECEXP (PATTERN (trial), 0, 0))) == RETURN)
              && redundant_insn (XVECEXP (PATTERN (trial), 0, 1), insn, 0))
@@ -3285,8 +3259,9 @@ relax_delay_slots (first)
              if (target_label == 0)
                target_label = find_end_label ();
 
-             if (redirect_with_delay_slots_safe_p (delay_insn, target_label,
-                                                   insn))
+             if (target_label
+                 && redirect_with_delay_slots_safe_p (delay_insn, target_label,
+                                                      insn))
                {
                  reorg_redirect_jump (delay_insn, target_label);
                  next = insn;
@@ -3308,6 +3283,7 @@ relax_delay_slots (first)
 #endif
          )
        {
+         rtx after;
          int i;
 
          /* All this insn does is execute its delay list and jump to the
@@ -3326,7 +3302,14 @@ relax_delay_slots (first)
 
          trial = PREV_INSN (insn);
          delete_related_insns (insn);
-         emit_insn_after (pat, trial);
+         gcc_assert (GET_CODE (pat) == SEQUENCE);
+         after = trial;
+         for (i = 0; i < XVECLEN (pat, 0); i++)
+           {
+             rtx this_insn = XVECEXP (pat, 0, i);
+             add_insn_after (this_insn, after);
+             after = this_insn;
+           }
          delete_scheduled_jump (delay_insn);
          continue;
        }
@@ -3334,7 +3317,7 @@ relax_delay_slots (first)
       /* See if this is an unconditional jump around a single insn which is
         identical to the one in its delay slot.  In this case, we can just
         delete the branch and the insn in its delay slot.  */
-      if (next && GET_CODE (next) == INSN
+      if (next && NONJUMP_INSN_P (next)
          && prev_label (next_active_insn (next)) == target_label
          && simplejump_p (insn)
          && XVECLEN (pat, 0) == 2
@@ -3350,7 +3333,8 @@ relax_delay_slots (first)
         annulled jumps, though.  Again, don't convert a jump to a RETURN
         here.  */
       if (! INSN_ANNULLED_BRANCH_P (delay_insn)
-         && next && GET_CODE (next) == JUMP_INSN
+         && any_condjump_p (delay_insn)
+         && next && JUMP_P (next)
          && (simplejump_p (next) || GET_CODE (PATTERN (next)) == RETURN)
          && next_active_insn (target_label) == next_active_insn (next)
          && no_labels_between_p (insn, next))
@@ -3362,7 +3346,8 @@ relax_delay_slots (first)
            label = find_end_label ();
 
          /* find_end_label can generate a new label. Check this first.  */
-         if (no_labels_between_p (insn, next)
+         if (label
+             && no_labels_between_p (insn, next)
              && redirect_with_delay_slots_safe_p (delay_insn, label, insn))
            {
              /* Be careful how we do this to avoid deleting code or labels
@@ -3416,18 +3401,28 @@ relax_delay_slots (first)
    RETURN as well.  */
 
 static void
-make_return_insns (first)
-     rtx first;
+make_return_insns (rtx first)
 {
   rtx insn, jump_insn, pat;
   rtx real_return_label = end_of_function_label;
   int slots, i;
 
+#ifdef DELAY_SLOTS_FOR_EPILOGUE
+  /* If a previous pass filled delay slots in the epilogue, things get a
+     bit more complicated, as those filler insns would generally (without
+     data flow analysis) have to be executed after any existing branch
+     delay slot filler insns.  It is also unknown whether such a
+     transformation would actually be profitable.  Note that the existing
+     code only cares for branches with (some) filled delay slots.  */
+  if (current_function_epilogue_delay_list != NULL)
+    return;
+#endif
+
   /* See if there is a RETURN insn in the function other than the one we
      made for END_OF_FUNCTION_LABEL.  If so, set up anything we can't change
      into a RETURN to jump to it.  */
   for (insn = first; insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == JUMP_INSN && GET_CODE (PATTERN (insn)) == RETURN)
+    if (JUMP_P (insn) && GET_CODE (PATTERN (insn)) == RETURN)
       {
        real_return_label = get_label_before (insn);
        break;
@@ -3446,9 +3441,9 @@ make_return_insns (first)
 
       /* Only look at filled JUMP_INSNs that go to the end of function
         label.  */
-      if (GET_CODE (insn) != INSN
+      if (!NONJUMP_INSN_P (insn)
          || GET_CODE (PATTERN (insn)) != SEQUENCE
-         || GET_CODE (XVECEXP (PATTERN (insn), 0, 0)) != JUMP_INSN
+         || !JUMP_P (XVECEXP (PATTERN (insn), 0, 0))
          || JUMP_LABEL (XVECEXP (PATTERN (insn), 0, 0)) != end_of_function_label)
        continue;
 
@@ -3537,23 +3532,10 @@ make_return_insns (first)
 /* Try to find insns to place in delay slots.  */
 
 void
-dbr_schedule (first, file)
-     rtx first;
-     FILE *file;
+dbr_schedule (rtx first, FILE *file)
 {
   rtx insn, next, epilogue_insn = 0;
   int i;
-#if 0
-  int old_flag_no_peephole = flag_no_peephole;
-
-  /* Execute `final' once in prescan mode to delete any insns that won't be
-     used.  Don't let final try to do any peephole optimization--it will
-     ruin dataflow information for this pass.  */
-
-  flag_no_peephole = 1;
-  final (first, 0, NO_DEBUG, 1, 1);
-  flag_no_peephole = old_flag_no_peephole;
-#endif
 
   /* If the current function has no insns other than the prologue and
      epilogue, then do not try to fill any delay slots.  */
@@ -3566,12 +3548,12 @@ dbr_schedule (first, file)
     {
       if (INSN_UID (insn) > max_uid)
        max_uid = INSN_UID (insn);
-      if (GET_CODE (insn) == NOTE
+      if (NOTE_P (insn)
          && NOTE_LINE_NUMBER (insn) == NOTE_INSN_EPILOGUE_BEG)
        epilogue_insn = insn;
     }
 
-  uid_to_ruid = (int *) xmalloc ((max_uid + 1) * sizeof (int));
+  uid_to_ruid = xmalloc ((max_uid + 1) * sizeof (int));
   for (i = 0, insn = first; insn; i++, insn = NEXT_INSN (insn))
     uid_to_ruid[INSN_UID (insn)] = i;
 
@@ -3579,7 +3561,7 @@ dbr_schedule (first, file)
   if (unfilled_firstobj == 0)
     {
       gcc_obstack_init (&unfilled_slots_obstack);
-      unfilled_firstobj = (rtx *) obstack_alloc (&unfilled_slots_obstack, 0);
+      unfilled_firstobj = obstack_alloc (&unfilled_slots_obstack, 0);
     }
 
   for (insn = next_active_insn (first); insn; insn = next_active_insn (insn))
@@ -3590,7 +3572,7 @@ dbr_schedule (first, file)
       INSN_FROM_TARGET_P (insn) = 0;
 
       /* Skip vector tables.  We can't get attributes for them.  */
-      if (GET_CODE (insn) == JUMP_INSN
+      if (JUMP_P (insn)
          && (GET_CODE (PATTERN (insn)) == ADDR_VEC
              || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC))
        continue;
@@ -3599,10 +3581,10 @@ dbr_schedule (first, file)
        obstack_ptr_grow (&unfilled_slots_obstack, insn);
 
       /* Ensure all jumps go to the last of a set of consecutive labels.  */
-      if (GET_CODE (insn) == JUMP_INSN
+      if (JUMP_P (insn)
          && (condjump_p (insn) || condjump_in_parallel_p (insn))
          && JUMP_LABEL (insn) != 0
-         && ((target = prev_label (next_active_insn (JUMP_LABEL (insn))))
+         && ((target = skip_consecutive_labels (JUMP_LABEL (insn)))
              != JUMP_LABEL (insn)))
        redirect_jump (insn, target, 1);
     }
@@ -3613,8 +3595,8 @@ dbr_schedule (first, file)
   end_of_function_label = 0;
 
   /* Initialize the statistics for this function.  */
-  memset ((char *) num_insns_needing_delays, 0, sizeof num_insns_needing_delays);
-  memset ((char *) num_filled_delays, 0, sizeof num_filled_delays);
+  memset (num_insns_needing_delays, 0, sizeof num_insns_needing_delays);
+  memset (num_filled_delays, 0, sizeof num_filled_delays);
 
   /* Now do the delay slot filling.  Try everything twice in case earlier
      changes make more slots fillable.  */
@@ -3635,7 +3617,7 @@ dbr_schedule (first, file)
     {
       next = NEXT_INSN (insn);
 
-      if (GET_CODE (insn) == INSN && GET_CODE (PATTERN (insn)) == USE
+      if (NONJUMP_INSN_P (insn) && GET_CODE (PATTERN (insn)) == USE
          && INSN_P (XEXP (PATTERN (insn), 0)))
        next = delete_related_insns (insn);
     }
@@ -3654,11 +3636,7 @@ dbr_schedule (first, file)
   obstack_free (&unfilled_slots_obstack, unfilled_firstobj);
 
   /* It is not clear why the line below is needed, but it does seem to be.  */
-  unfilled_firstobj = (rtx *) obstack_alloc (&unfilled_slots_obstack, 0);
-
-  /* Reposition the prologue and epilogue notes in case we moved the
-     prologue/epilogue insns.  */
-  reposition_prologue_and_epilogue_notes (first);
+  unfilled_firstobj = obstack_alloc (&unfilled_slots_obstack, 0);
 
   if (file)
     {
@@ -3691,12 +3669,12 @@ dbr_schedule (first, file)
              fprintf (file, "\n");
            }
        }
-      memset ((char *) total_delay_slots, 0, sizeof total_delay_slots);
-      memset ((char *) total_annul_slots, 0, sizeof total_annul_slots);
+      memset (total_delay_slots, 0, sizeof total_delay_slots);
+      memset (total_annul_slots, 0, sizeof total_annul_slots);
       for (insn = first; insn; insn = NEXT_INSN (insn))
        {
          if (! INSN_DELETED_P (insn)
-             && GET_CODE (insn) == INSN
+             && NONJUMP_INSN_P (insn)
              && GET_CODE (PATTERN (insn)) != USE
              && GET_CODE (PATTERN (insn)) != CLOBBER)
            {
@@ -3754,14 +3732,14 @@ dbr_schedule (first, file)
     {
       int pred_flags;
 
-      if (GET_CODE (insn) == INSN)
+      if (NONJUMP_INSN_P (insn))
        {
          rtx pat = PATTERN (insn);
 
          if (GET_CODE (pat) == SEQUENCE)
            insn = XVECEXP (pat, 0, 0);
        }
-      if (GET_CODE (insn) != JUMP_INSN)
+      if (!JUMP_P (insn))
        continue;
 
       pred_flags = get_jump_flags (insn, JUMP_LABEL (insn));
@@ -3771,5 +3749,87 @@ dbr_schedule (first, file)
     }
   free_resource_info ();
   free (uid_to_ruid);
+#ifdef DELAY_SLOTS_FOR_EPILOGUE
+  /* SPARC assembler, for instance, emit warning when debug info is output
+     into the delay slot.  */
+  {
+    rtx link;
+
+    for (link = current_function_epilogue_delay_list;
+         link;
+         link = XEXP (link, 1))
+      INSN_LOCATOR (XEXP (link, 0)) = 0;
+  }
+#endif
 }
 #endif /* DELAY_SLOTS */
+\f
+static bool
+gate_handle_delay_slots (void)
+{
+#ifdef DELAY_SLOTS
+  return flag_delayed_branch;
+#else 
+  return 0;
+#endif
+}
+
+/* Run delay slot optimization.  */
+static void
+rest_of_handle_delay_slots (void)
+{
+#ifdef DELAY_SLOTS
+  dbr_schedule (get_insns (), dump_file);
+#endif
+}   
+
+struct tree_opt_pass pass_delay_slots =
+{
+  "dbr",                                /* name */
+  gate_handle_delay_slots,              /* gate */
+  rest_of_handle_delay_slots,           /* execute */
+  NULL,                                 /* sub */
+  NULL,                                 /* next */
+  0,                                    /* static_pass_number */
+  TV_DBR_SCHED,                         /* tv_id */
+  0,                                    /* properties_required */
+  0,                                    /* properties_provided */
+  0,                                    /* properties_destroyed */
+  0,                                    /* todo_flags_start */
+  TODO_dump_func |
+  TODO_ggc_collect,                     /* todo_flags_finish */
+  'd'                                   /* letter */
+};
+
+/* Machine dependent reorg pass.  */
+static bool
+gate_handle_machine_reorg (void)
+{
+  return targetm.machine_dependent_reorg != 0;
+}
+
+
+static void
+rest_of_handle_machine_reorg (void)
+{
+  targetm.machine_dependent_reorg ();
+}
+
+struct tree_opt_pass pass_machine_reorg =
+{
+  "mach",                               /* name */
+  gate_handle_machine_reorg,            /* gate */
+  rest_of_handle_machine_reorg,         /* execute */
+  NULL,                                 /* sub */
+  NULL,                                 /* next */
+  0,                                    /* static_pass_number */
+  TV_MACH_DEP,                          /* tv_id */
+  0,                                    /* properties_required */
+  0,                                    /* properties_provided */
+  0,                                    /* properties_destroyed */
+  0,                                    /* todo_flags_start */
+  TODO_dump_func |
+  TODO_ggc_collect,                     /* todo_flags_finish */
+  'M'                                   /* letter */
+};
+