OSDN Git Service

* parse.y (check_static_final_variable_assignment_flag): Fix spelling.
[pf3gnuchains/gcc-fork.git] / gcc / reorg.c
index 3a5a7e9..6d3b26a 100644 (file)
@@ -1,5 +1,6 @@
 /* Perform instruction reorganizations for delay slot filling.
-   Copyright (C) 1992, 93, 94, 95, 96, 1997 Free Software Foundation, Inc.
+   Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998,
+   1999, 2000 Free Software Foundation, Inc.
    Contributed by Richard Kenner (kenner@vlsi1.ultra.nyu.edu).
    Hacked by Michael Tiemann (tiemann@cygnus.com).
 
@@ -55,12 +56,16 @@ Boston, MA 02111-1307, USA.  */
    is taken.
 
    The HP-PA always has a branch delay slot.  For unconditional branches
-   its effects can be annulled when the branch is taken.  The effects 
+   its effects can be annulled when the branch is taken.  The effects
    of the delay slot in a conditional branch can be nullified for forward
    taken branches, or for untaken backward branches.  This means
    we can hoist insns from the fall-through path for forward branches or
    steal insns from the target of backward branches.
 
+   The TMS320C3x and C4x have three branch delay slots.  When the three
+   slots are filled, the branch penalty is zero.  Most insns can fill the
+   delay slots except jump insns.
+
    Three techniques for filling delay slots have been implemented so far:
 
    (1) `fill_simple_delay_slots' is the simplest, most efficient way
@@ -115,9 +120,13 @@ Boston, MA 02111-1307, USA.  */
    The HP-PA can conditionally nullify insns, providing a similar
    effect to the ARM, differing mostly in which insn is "in charge".   */
 
-#include <stdio.h>
 #include "config.h"
+#include "system.h"
+#include "toplev.h"
 #include "rtl.h"
+#include "tm_p.h"
+#include "expr.h"
+#include "function.h"
 #include "insn-config.h"
 #include "conditions.h"
 #include "hard-reg-set.h"
@@ -129,13 +138,7 @@ Boston, MA 02111-1307, USA.  */
 #include "output.h"
 #include "obstack.h"
 #include "insn-attr.h"
-
-/* Import list of registers used as spill regs from reload.  */
-extern HARD_REG_SET used_spill_regs;
-
-/* Import highest label used in function at end of reload.  */
-extern int max_label_num_after_reload;
-
+#include "resource.h"
 
 #ifdef DELAY_SLOTS
 
@@ -164,58 +167,9 @@ static rtx *unfilled_firstobj;
 #define unfilled_slots_next    \
   ((rtx *) obstack_next_free (&unfilled_slots_obstack))
 
-/* This structure is used to indicate which hardware resources are set or
-   needed by insns so far.  */
-
-struct resources
-{
-  char memory;                 /* Insn sets or needs a memory location.  */
-  char unch_memory;            /* Insn sets of needs a "unchanging" MEM.  */
-  char volatil;                        /* Insn sets or needs a volatile memory loc.  */
-  char cc;                     /* Insn sets or needs the condition codes.  */
-  HARD_REG_SET regs;           /* Which registers are set or needed.  */
-};
-
-/* Macro to clear all resources.  */
-#define CLEAR_RESOURCE(RES)    \
- do { (RES)->memory = (RES)->unch_memory = (RES)->volatil = (RES)->cc = 0; \
-      CLEAR_HARD_REG_SET ((RES)->regs); } while (0)
-
-/* Indicates what resources are required at the beginning of the epilogue.  */
-static struct resources start_of_epilogue_needs;
-
-/* Indicates what resources are required at function end.  */
-static struct resources end_of_function_needs;
-
 /* Points to the label before the end of the function.  */
 static rtx end_of_function_label;
 
-/* This structure is used to record liveness information at the targets or
-   fallthrough insns of branches.  We will most likely need the information
-   at targets again, so save them in a hash table rather than recomputing them
-   each time.  */
-
-struct target_info
-{
-  int uid;                     /* INSN_UID of target.  */
-  struct target_info *next;    /* Next info for same hash bucket.  */
-  HARD_REG_SET live_regs;      /* Registers live at target.  */
-  int block;                   /* Basic block number containing target.  */
-  int bb_tick;                 /* Generation count of basic block info.  */
-};
-
-#define TARGET_HASH_PRIME 257
-
-/* Define the hash table itself.  */
-static struct target_info **target_hash_table;
-
-/* For each basic block, we maintain a generation number of its basic
-   block info, which is updated each time we move an insn from the
-   target of a jump.  This is the generation number indexed by block
-   number.  */
-
-static int *bb_ticks;
-
 /* Mapping between INSN_UID's and position in the code since INSN_UID's do
    not always monotonically increase.  */
 static int *uid_to_ruid;
@@ -223,458 +177,54 @@ static int *uid_to_ruid;
 /* Highest valid index in `uid_to_ruid'.  */
 static int max_uid;
 
-static void mark_referenced_resources PROTO((rtx, struct resources *, int));
-static void mark_set_resources PROTO((rtx, struct resources *, int, int));
-static int stop_search_p       PROTO((rtx, int));
-static int resource_conflicts_p        PROTO((struct resources *,
-                                      struct resources *));
-static int insn_references_resource_p PROTO((rtx, struct resources *, int));
-static int insn_sets_resources_p PROTO((rtx, struct resources *, int));
-static rtx find_end_label      PROTO((void));
-static rtx emit_delay_sequence PROTO((rtx, rtx, int, int));
-static rtx add_to_delay_list   PROTO((rtx, rtx));
-static void delete_from_delay_slot PROTO((rtx));
-static void delete_scheduled_jump PROTO((rtx));
-static void note_delay_statistics PROTO((int, int));
-static rtx optimize_skip       PROTO((rtx));
-static int get_jump_flags PROTO((rtx, rtx));
-static int rare_destination PROTO((rtx));
-static int mostly_true_jump    PROTO((rtx, rtx));
-static rtx get_branch_condition        PROTO((rtx, rtx));
-static int condition_dominates_p PROTO((rtx, rtx));
-static rtx steal_delay_list_from_target PROTO((rtx, rtx, rtx, rtx,
+static int stop_search_p               PARAMS ((rtx, int));
+static int resource_conflicts_p                PARAMS ((struct resources *,
+                                              struct resources *));
+static int insn_references_resource_p  PARAMS ((rtx, struct resources *, int));
+static int insn_sets_resource_p                PARAMS ((rtx, struct resources *, int));
+static rtx find_end_label              PARAMS ((void));
+static rtx emit_delay_sequence         PARAMS ((rtx, rtx, int));
+static rtx add_to_delay_list           PARAMS ((rtx, rtx));
+static rtx delete_from_delay_slot      PARAMS ((rtx));
+static void delete_scheduled_jump      PARAMS ((rtx));
+static void note_delay_statistics      PARAMS ((int, int));
+#if defined(ANNUL_IFFALSE_SLOTS) || defined(ANNUL_IFTRUE_SLOTS)
+static rtx optimize_skip               PARAMS ((rtx));
+#endif
+static int get_jump_flags              PARAMS ((rtx, rtx));
+static int rare_destination            PARAMS ((rtx));
+static int mostly_true_jump            PARAMS ((rtx, rtx));
+static rtx get_branch_condition                PARAMS ((rtx, rtx));
+static int condition_dominates_p       PARAMS ((rtx, rtx));
+static int redirect_with_delay_slots_safe_p PARAMS ((rtx, rtx, rtx));
+static int redirect_with_delay_list_safe_p PARAMS ((rtx, rtx, rtx));
+static int check_annul_list_true_false PARAMS ((int, rtx));
+static rtx steal_delay_list_from_target PARAMS ((rtx, rtx, rtx, rtx,
                                               struct resources *,
                                               struct resources *,
                                               struct resources *,
                                               int, int *, int *, rtx *));
-static rtx steal_delay_list_from_fallthrough PROTO((rtx, rtx, rtx, rtx,
+static rtx steal_delay_list_from_fallthrough PARAMS ((rtx, rtx, rtx, rtx,
                                                    struct resources *,
                                                    struct resources *,
                                                    struct resources *,
                                                    int, int *, int *));
-static void try_merge_delay_insns PROTO((rtx, rtx));
-static rtx redundant_insn      PROTO((rtx, rtx, rtx));
-static int own_thread_p                PROTO((rtx, rtx, int));
-static int find_basic_block    PROTO((rtx));
-static void update_block       PROTO((rtx, rtx));
-static int reorg_redirect_jump PROTO((rtx, rtx));
-static void update_reg_dead_notes PROTO((rtx, rtx));
-static void fix_reg_dead_note PROTO((rtx, rtx));
-static void update_reg_unused_notes PROTO((rtx, rtx));
-static void update_live_status PROTO((rtx, rtx));
-static rtx next_insn_no_annul  PROTO((rtx));
-static void mark_target_live_regs PROTO((rtx, struct resources *));
-static void fill_simple_delay_slots PROTO((rtx, int));
-static rtx fill_slots_from_thread PROTO((rtx, rtx, rtx, rtx, int, int,
-                                        int, int, int, int *));
-static void fill_eager_delay_slots PROTO((rtx));
-static void relax_delay_slots  PROTO((rtx));
-static void make_return_insns  PROTO((rtx));
-static int redirect_with_delay_slots_safe_p PROTO ((rtx, rtx, rtx));
-static int redirect_with_delay_list_safe_p PROTO ((rtx, rtx, rtx));
-\f
-/* Given X, some rtl, and RES, a pointer to a `struct resource', mark
-   which resources are references by the insn.  If INCLUDE_CALLED_ROUTINE
-   is TRUE, resources used by the called routine will be included for
-   CALL_INSNs.  */
-
-static void
-mark_referenced_resources (x, res, include_delayed_effects)
-     register rtx x;
-     register struct resources *res;
-     register int include_delayed_effects;
-{
-  register enum rtx_code code = GET_CODE (x);
-  register int i, j;
-  register char *format_ptr;
-
-  /* Handle leaf items for which we set resource flags.  Also, special-case
-     CALL, SET and CLOBBER operators.  */
-  switch (code)
-    {
-    case CONST:
-    case CONST_INT:
-    case CONST_DOUBLE:
-    case PC:
-    case SYMBOL_REF:
-    case LABEL_REF:
-      return;
-
-    case SUBREG:
-      if (GET_CODE (SUBREG_REG (x)) != REG)
-       mark_referenced_resources (SUBREG_REG (x), res, 0);
-      else
-       {
-         int regno = REGNO (SUBREG_REG (x)) + SUBREG_WORD (x);
-         int last_regno = regno + HARD_REGNO_NREGS (regno, GET_MODE (x));
-         for (i = regno; i < last_regno; i++)
-           SET_HARD_REG_BIT (res->regs, i);
-       }
-      return;
-
-    case REG:
-      for (i = 0; i < HARD_REGNO_NREGS (REGNO (x), GET_MODE (x)); i++)
-       SET_HARD_REG_BIT (res->regs, REGNO (x) + i);
-      return;
-
-    case MEM:
-      /* If this memory shouldn't change, it really isn't referencing
-        memory.  */
-      if (RTX_UNCHANGING_P (x))
-       res->unch_memory = 1;
-      else
-       res->memory = 1;
-      res->volatil = MEM_VOLATILE_P (x);
-
-      /* Mark registers used to access memory.  */
-      mark_referenced_resources (XEXP (x, 0), res, 0);
-      return;
-
-    case CC0:
-      res->cc = 1;
-      return;
-
-    case UNSPEC_VOLATILE:
-    case ASM_INPUT:
-    case TRAP_IF:
-      /* Traditional asm's are always volatile.  */
-      res->volatil = 1;
-      return;
-
-    case ASM_OPERANDS:
-      res->volatil = MEM_VOLATILE_P (x);
-
-      /* For all ASM_OPERANDS, we must traverse the vector of input operands.
-        We can not just fall through here since then we would be confused
-        by the ASM_INPUT rtx inside ASM_OPERANDS, which do not indicate
-        traditional asms unlike their normal usage.  */
-      
-      for (i = 0; i < ASM_OPERANDS_INPUT_LENGTH (x); i++)
-       mark_referenced_resources (ASM_OPERANDS_INPUT (x, i), res, 0);
-      return;
-
-    case CALL:
-      /* The first operand will be a (MEM (xxx)) but doesn't really reference
-        memory.  The second operand may be referenced, though.  */
-      mark_referenced_resources (XEXP (XEXP (x, 0), 0), res, 0);
-      mark_referenced_resources (XEXP (x, 1), res, 0);
-      return;
-
-    case SET:
-      /* Usually, the first operand of SET is set, not referenced.  But
-        registers used to access memory are referenced.  SET_DEST is
-        also referenced if it is a ZERO_EXTRACT or SIGN_EXTRACT.  */
-
-      mark_referenced_resources (SET_SRC (x), res, 0);
-
-      x = SET_DEST (x);
-      if (GET_CODE (x) == SIGN_EXTRACT || GET_CODE (x) == ZERO_EXTRACT)
-       mark_referenced_resources (x, res, 0);
-      else if (GET_CODE (x) == SUBREG)
-       x = SUBREG_REG (x);
-      if (GET_CODE (x) == MEM)
-       mark_referenced_resources (XEXP (x, 0), res, 0);
-      return;
-
-    case CLOBBER:
-      return;
-
-    case CALL_INSN:
-      if (include_delayed_effects)
-       {
-         /* A CALL references memory, the frame pointer if it exists, the
-            stack pointer, any global registers and any registers given in
-            USE insns immediately in front of the CALL.
-
-            However, we may have moved some of the parameter loading insns
-            into the delay slot of this CALL.  If so, the USE's for them
-            don't count and should be skipped.  */
-         rtx insn = PREV_INSN (x);
-         rtx sequence = 0;
-         int seq_size = 0;
-         rtx next = NEXT_INSN (x);
-         int i;
-
-         /* If we are part of a delay slot sequence, point at the SEQUENCE.  */
-         if (NEXT_INSN (insn) != x)
-           {
-             next = NEXT_INSN (NEXT_INSN (insn));
-             sequence = PATTERN (NEXT_INSN (insn));
-             seq_size = XVECLEN (sequence, 0);
-             if (GET_CODE (sequence) != SEQUENCE)
-               abort ();
-           }
-
-         res->memory = 1;
-         SET_HARD_REG_BIT (res->regs, STACK_POINTER_REGNUM);
-         if (frame_pointer_needed)
-           {
-             SET_HARD_REG_BIT (res->regs, FRAME_POINTER_REGNUM);
-#if FRAME_POINTER_REGNUM != HARD_FRAME_POINTER_REGNUM
-             SET_HARD_REG_BIT (res->regs, HARD_FRAME_POINTER_REGNUM);
-#endif
-           }
-
-         for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-           if (global_regs[i])
-             SET_HARD_REG_BIT (res->regs, i);
-
-         /* Check for a NOTE_INSN_SETJMP.  If it exists, then we must
-            assume that this call can need any register.
-
-            This is done to be more conservative about how we handle setjmp.
-            We assume that they both use and set all registers.  Using all
-            registers ensures that a register will not be considered dead
-            just because it crosses a setjmp call.  A register should be
-            considered dead only if the setjmp call returns non-zero.  */
-         if (next && GET_CODE (next) == NOTE
-             && NOTE_LINE_NUMBER (next) == NOTE_INSN_SETJMP)
-           SET_HARD_REG_SET (res->regs);
-
-         {
-           rtx link;
-
-           for (link = CALL_INSN_FUNCTION_USAGE (x);
-                link;
-                link = XEXP (link, 1))
-             if (GET_CODE (XEXP (link, 0)) == USE)
-               {
-                 for (i = 1; i < seq_size; i++)
-                   {
-                     rtx slot_pat = PATTERN (XVECEXP (sequence, 0, i));
-                     if (GET_CODE (slot_pat) == SET
-                         && rtx_equal_p (SET_DEST (slot_pat),
-                                         SET_DEST (XEXP (link, 0))))
-                       break;
-                   }
-                 if (i >= seq_size)
-                   mark_referenced_resources (SET_DEST (XEXP (link, 0)),
-                                              res, 0);
-               }
-         }
-       }
-
-      /* ... fall through to other INSN processing ...  */
-
-    case INSN:
-    case JUMP_INSN:
-
-#ifdef INSN_REFERENCES_ARE_DELAYED
-      if (! include_delayed_effects
-         && INSN_REFERENCES_ARE_DELAYED (x))
-       return;
-#endif
-
-      /* No special processing, just speed up.  */
-      mark_referenced_resources (PATTERN (x), res, include_delayed_effects);
-      return;
-    }
-
-  /* Process each sub-expression and flag what it needs.  */
-  format_ptr = GET_RTX_FORMAT (code);
-  for (i = 0; i < GET_RTX_LENGTH (code); i++)
-    switch (*format_ptr++)
-      {
-      case 'e':
-       mark_referenced_resources (XEXP (x, i), res, include_delayed_effects);
-       break;
-
-      case 'E':
-       for (j = 0; j < XVECLEN (x, i); j++)
-         mark_referenced_resources (XVECEXP (x, i, j), res,
-                                    include_delayed_effects);
-       break;
-      }
-}
-\f
-/* Given X, a part of an insn, and a pointer to a `struct resource', RES,
-   indicate which resources are modified by the insn. If INCLUDE_CALLED_ROUTINE
-   is nonzero, also mark resources potentially set by the called routine.
-
-   If IN_DEST is nonzero, it means we are inside a SET.  Otherwise,
-   objects are being referenced instead of set.
-
-   We never mark the insn as modifying the condition code unless it explicitly
-   SETs CC0 even though this is not totally correct.  The reason for this is
-   that we require a SET of CC0 to immediately precede the reference to CC0.
-   So if some other insn sets CC0 as a side-effect, we know it cannot affect
-   our computation and thus may be placed in a delay slot.   */
-
-static void
-mark_set_resources (x, res, in_dest, include_delayed_effects)
-     register rtx x;
-     register struct resources *res;
-     int in_dest;
-     int include_delayed_effects;
-{
-  register enum rtx_code code;
-  register int i, j;
-  register char *format_ptr;
-
- restart:
-
-  code = GET_CODE (x);
-
-  switch (code)
-    {
-    case NOTE:
-    case BARRIER:
-    case CODE_LABEL:
-    case USE:
-    case CONST_INT:
-    case CONST_DOUBLE:
-    case LABEL_REF:
-    case SYMBOL_REF:
-    case CONST:
-    case PC:
-      /* These don't set any resources.  */
-      return;
-
-    case CC0:
-      if (in_dest)
-       res->cc = 1;
-      return;
-
-    case CALL_INSN:
-      /* Called routine modifies the condition code, memory, any registers
-        that aren't saved across calls, global registers and anything
-        explicitly CLOBBERed immediately after the CALL_INSN.  */
-
-      if (include_delayed_effects)
-       {
-         rtx next = NEXT_INSN (x);
-         rtx prev = PREV_INSN (x);
-         rtx link;
-
-         res->cc = res->memory = 1;
-         for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-           if (call_used_regs[i] || global_regs[i])
-             SET_HARD_REG_BIT (res->regs, i);
-
-         /* If X is part of a delay slot sequence, then NEXT should be
-            the first insn after the sequence.  */
-         if (NEXT_INSN (prev) != x)
-           next = NEXT_INSN (NEXT_INSN (prev));
-
-         for (link = CALL_INSN_FUNCTION_USAGE (x);
-              link; link = XEXP (link, 1))
-           if (GET_CODE (XEXP (link, 0)) == CLOBBER)
-             mark_set_resources (SET_DEST (XEXP (link, 0)), res, 1, 0);
-
-         /* Check for a NOTE_INSN_SETJMP.  If it exists, then we must
-            assume that this call can clobber any register.  */
-         if (next && GET_CODE (next) == NOTE
-             && NOTE_LINE_NUMBER (next) == NOTE_INSN_SETJMP)
-           SET_HARD_REG_SET (res->regs);
-       }
-
-      /* ... and also what it's RTL says it modifies, if anything.  */
-
-    case JUMP_INSN:
-    case INSN:
-
-       /* An insn consisting of just a CLOBBER (or USE) is just for flow
-          and doesn't actually do anything, so we ignore it.  */
-
-#ifdef INSN_SETS_ARE_DELAYED
-      if (! include_delayed_effects
-         && INSN_SETS_ARE_DELAYED (x))
-       return;
+static void try_merge_delay_insns      PARAMS ((rtx, rtx));
+static rtx redundant_insn              PARAMS ((rtx, rtx, rtx));
+static int own_thread_p                        PARAMS ((rtx, rtx, int));
+static void update_block               PARAMS ((rtx, rtx));
+static int reorg_redirect_jump         PARAMS ((rtx, rtx));
+static void update_reg_dead_notes      PARAMS ((rtx, rtx));
+static void fix_reg_dead_note          PARAMS ((rtx, rtx));
+static void update_reg_unused_notes    PARAMS ((rtx, rtx));
+static void fill_simple_delay_slots    PARAMS ((int));
+static rtx fill_slots_from_thread      PARAMS ((rtx, rtx, rtx, rtx, int, int,
+                                              int, int, int *, rtx));
+static void fill_eager_delay_slots     PARAMS ((void));
+static void relax_delay_slots          PARAMS ((rtx));
+#ifdef HAVE_return
+static void make_return_insns          PARAMS ((rtx));
 #endif
-
-      x = PATTERN (x);
-      if (GET_CODE (x) != USE && GET_CODE (x) != CLOBBER)
-       goto restart;
-      return;
-
-    case SET:
-      /* If the source of a SET is a CALL, this is actually done by
-        the called routine.  So only include it if we are to include the
-        effects of the calling routine.  */
-
-      mark_set_resources (SET_DEST (x), res,
-                         (include_delayed_effects
-                          || GET_CODE (SET_SRC (x)) != CALL),
-                         0);
-
-      mark_set_resources (SET_SRC (x), res, 0, 0);
-      return;
-
-    case CLOBBER:
-      mark_set_resources (XEXP (x, 0), res, 1, 0);
-      return;
-      
-    case SEQUENCE:
-      for (i = 0; i < XVECLEN (x, 0); i++)
-       if (! (INSN_ANNULLED_BRANCH_P (XVECEXP (x, 0, 0))
-              && INSN_FROM_TARGET_P (XVECEXP (x, 0, i))))
-         mark_set_resources (XVECEXP (x, 0, i), res, 0,
-                             include_delayed_effects);
-      return;
-
-    case POST_INC:
-    case PRE_INC:
-    case POST_DEC:
-    case PRE_DEC:
-      mark_set_resources (XEXP (x, 0), res, 1, 0);
-      return;
-
-    case ZERO_EXTRACT:
-      mark_set_resources (XEXP (x, 0), res, in_dest, 0);
-      mark_set_resources (XEXP (x, 1), res, 0, 0);
-      mark_set_resources (XEXP (x, 2), res, 0, 0);
-      return;
-
-    case MEM:
-      if (in_dest)
-       {
-         res->memory = 1;
-         res->unch_memory = RTX_UNCHANGING_P (x);
-         res->volatil = MEM_VOLATILE_P (x);
-       }
-
-      mark_set_resources (XEXP (x, 0), res, 0, 0);
-      return;
-
-    case SUBREG:
-      if (in_dest)
-       {
-         if (GET_CODE (SUBREG_REG (x)) != REG)
-           mark_set_resources (SUBREG_REG (x), res,
-                               in_dest, include_delayed_effects);
-         else
-           {
-             int regno = REGNO (SUBREG_REG (x)) + SUBREG_WORD (x);
-             int last_regno = regno + HARD_REGNO_NREGS (regno, GET_MODE (x));
-             for (i = regno; i < last_regno; i++)
-               SET_HARD_REG_BIT (res->regs, i);
-           }
-       }
-      return;
-
-    case REG:
-      if (in_dest)
-        for (i = 0; i < HARD_REGNO_NREGS (REGNO (x), GET_MODE (x)); i++)
-         SET_HARD_REG_BIT (res->regs, REGNO (x) + i);
-      return;
-    }
-
-  /* Process each sub-expression and flag what it needs.  */
-  format_ptr = GET_RTX_FORMAT (code);
-  for (i = 0; i < GET_RTX_LENGTH (code); i++)
-    switch (*format_ptr++)
-      {
-      case 'e':
-       mark_set_resources (XEXP (x, i), res, in_dest, include_delayed_effects);
-       break;
-
-      case 'E':
-       for (j = 0; j < XVECLEN (x, i); j++)
-         mark_set_resources (XVECEXP (x, i, j), res, in_dest,
-                             include_delayed_effects);
-       break;
-      }
-}
 \f
 /* Return TRUE if this insn should stop the search for insn to fill delay
    slots.  LABELS_P indicates that labels should terminate the search.
@@ -740,7 +290,7 @@ resource_conflicts_p (res1, res2)
 }
 
 /* Return TRUE if any resource marked in RES, a `struct resources', is
-   referenced by INSN.  If INCLUDE_CALLED_ROUTINE is set, return if the called
+   referenced by INSN.  If INCLUDE_DELAYED_EFFECTS is set, return if the called
    routine is using those resources.
 
    We compute this by computing all the resources referenced by INSN and
@@ -762,7 +312,7 @@ insn_references_resource_p (insn, res, include_delayed_effects)
 }
 
 /* Return TRUE if INSN modifies resources that are marked in RES.
-   INCLUDE_CALLED_ROUTINE is set if the actions of that routine should be
+   INCLUDE_DELAYED_EFFECTS is set if the actions of that routine should be
    included.   CC0 is only modified if it is explicitly set; see comments
    in front of mark_set_resources for details.  */
 
@@ -802,7 +352,7 @@ find_end_label ()
                 || GET_CODE (PATTERN (insn)) == CLOBBER)))
     insn = PREV_INSN (insn);
 
-  /* When a target threads its epilogue we might already have a 
+  /* When a target threads its epilogue we might already have a
      suitable return insn.  If so put a label before it for the
      end_of_function_label.  */
   if (GET_CODE (insn) == BARRIER
@@ -824,22 +374,42 @@ find_end_label ()
     end_of_function_label = insn;
   else
     {
-      /* Otherwise, make a new label and emit a RETURN and BARRIER,
-        if needed.  */
       end_of_function_label = gen_label_rtx ();
       LABEL_NUSES (end_of_function_label) = 0;
-      emit_label (end_of_function_label);
-#ifdef HAVE_return
-      if (HAVE_return)
+      /* If the basic block reorder pass moves the return insn to
+        some other place try to locate it again and put our
+        end_of_function_label there.  */
+      while (insn && ! (GET_CODE (insn) == JUMP_INSN
+                       && (GET_CODE (PATTERN (insn)) == RETURN)))
+       insn = PREV_INSN (insn);
+      if (insn)
        {
-         /* The return we make may have delay slots too.  */
-         rtx insn = gen_return ();
-         insn = emit_jump_insn (insn);
-         emit_barrier ();
-          if (num_delay_slots (insn) > 0)
-           obstack_ptr_grow (&unfilled_slots_obstack, insn);
+         insn = PREV_INSN (insn);
+
+         /* Put the label before an USE insns that may proceed the
+            RETURN insn.  */
+         while (GET_CODE (insn) == USE)
+           insn = PREV_INSN (insn);
+
+         emit_label_after (end_of_function_label, insn);
        }
+      else
+       {
+         /* Otherwise, make a new label and emit a RETURN and BARRIER,
+            if needed.  */
+         emit_label (end_of_function_label);
+#ifdef HAVE_return
+         if (HAVE_return)
+           {
+             /* The return we make may have delay slots too.  */
+             rtx insn = gen_return ();
+             insn = emit_jump_insn (insn);
+             emit_barrier ();
+             if (num_delay_slots (insn) > 0)
+               obstack_ptr_grow (&unfilled_slots_obstack, insn);
+           }
 #endif
+       }
     }
 
   /* Show one additional use for this label so it won't go away until
@@ -860,19 +430,18 @@ find_end_label ()
    Returns the SEQUENCE that replaces INSN.  */
 
 static rtx
-emit_delay_sequence (insn, list, length, avail)
+emit_delay_sequence (insn, list, length)
      rtx insn;
      rtx list;
      int length;
-     int avail;
 {
   register int i = 1;
   register rtx li;
   int had_barrier = 0;
 
-  /* Allocate the the rtvec to hold the insns and the SEQUENCE.  */
+  /* Allocate the rtvec to hold the insns and the SEQUENCE.  */
   rtvec seqv = rtvec_alloc (length + 1);
-  rtx seq = gen_rtx (SEQUENCE, VOIDmode, seqv);
+  rtx seq = gen_rtx_SEQUENCE (VOIDmode, seqv);
   rtx seq_insn = make_insn_raw (seq);
   rtx first = get_insns ();
   rtx last = get_last_insn ();
@@ -881,7 +450,7 @@ emit_delay_sequence (insn, list, length, avail)
   rtx delay_insn = copy_rtx (insn);
 
   /* If INSN is followed by a BARRIER, delete the BARRIER since it will only
-     confuse further processing.  Update LAST in case it was the last insn.  
+     confuse further processing.  Update LAST in case it was the last insn.
      We will put the BARRIER back in later.  */
   if (NEXT_INSN (insn) && GET_CODE (NEXT_INSN (insn)) == BARRIER)
     {
@@ -894,15 +463,22 @@ emit_delay_sequence (insn, list, length, avail)
   NEXT_INSN (seq_insn) = NEXT_INSN (insn);
   PREV_INSN (seq_insn) = PREV_INSN (insn);
 
+  if (insn != last)
+    PREV_INSN (NEXT_INSN (seq_insn)) = seq_insn;
+
+  if (insn != first)
+    NEXT_INSN (PREV_INSN (seq_insn)) = seq_insn;
+
+  /* Note the calls to set_new_first_and_last_insn must occur after
+     SEQ_INSN has been completely spliced into the insn stream.
+
+     Otherwise CUR_INSN_UID will get set to an incorrect value because
+     set_new_first_and_last_insn will not find SEQ_INSN in the chain.  */
   if (insn == last)
     set_new_first_and_last_insn (first, seq_insn);
-  else
-    PREV_INSN (NEXT_INSN (seq_insn)) = seq_insn;
 
   if (insn == first)
     set_new_first_and_last_insn (seq_insn, last);
-  else
-    NEXT_INSN (PREV_INSN (seq_insn)) = seq_insn;
 
   /* Build our SEQUENCE and rebuild the insn chain.  */
   XVECEXP (seq, 0, 0) = delay_insn;
@@ -943,7 +519,7 @@ emit_delay_sequence (insn, list, length, avail)
   if (NEXT_INSN (seq_insn) && GET_CODE (NEXT_INSN (seq_insn)) == INSN
       && GET_CODE (PATTERN (NEXT_INSN (seq_insn))) == SEQUENCE)
     PREV_INSN (XVECEXP (PATTERN (NEXT_INSN (seq_insn)), 0, 0)) = seq_insn;
-    
+
   /* If there used to be a BARRIER, put it back.  */
   if (had_barrier)
     emit_barrier_after (seq_insn);
@@ -963,22 +539,13 @@ add_to_delay_list (insn, delay_list)
      rtx delay_list;
 {
   /* If we have an empty list, just make a new list element.  If
-     INSN has it's block number recorded, clear it since we may
+     INSN has its block number recorded, clear it since we may
      be moving the insn to a new block.  */
 
   if (delay_list == 0)
     {
-      struct target_info *tinfo;
-      
-      for (tinfo = target_hash_table[INSN_UID (insn) % TARGET_HASH_PRIME];
-          tinfo; tinfo = tinfo->next)
-       if (tinfo->uid == INSN_UID (insn))
-         break;
-
-      if (tinfo)
-       tinfo->block = -1;
-
-      return gen_rtx (INSN_LIST, VOIDmode, insn, NULL_RTX);
+      clear_hashed_info_for_insn (insn);
+      return gen_rtx_INSN_LIST (VOIDmode, insn, NULL_RTX);
     }
 
   /* Otherwise this must be an INSN_LIST.  Add INSN to the end of the
@@ -986,12 +553,12 @@ add_to_delay_list (insn, delay_list)
   XEXP (delay_list, 1) = add_to_delay_list (insn, XEXP (delay_list, 1));
 
   return delay_list;
-}   
+}
 \f
-/* Delete INSN from the the delay slot of the insn that it is in.  This may
-   produce an insn without anything in its delay slots.  */
+/* Delete INSN from the delay slot of the insn that it is in, which may
+   produce an insn with no delay slots.  Return the new insn.  */
 
-static void
+static rtx
 delete_from_delay_slot (insn)
      rtx insn;
 {
@@ -1032,7 +599,7 @@ delete_from_delay_slot (insn)
   /* If there are any delay insns, remit them.  Otherwise clear the
      annul flag.  */
   if (delay_list)
-    trial = emit_delay_sequence (trial, delay_list, XVECLEN (seq, 0) - 2, 0);
+    trial = emit_delay_sequence (trial, delay_list, XVECLEN (seq, 0) - 2);
   else
     INSN_ANNULLED_BRANCH_P (trial) = 0;
 
@@ -1040,6 +607,8 @@ delete_from_delay_slot (insn)
 
   /* Show we need to fill this insn again.  */
   obstack_ptr_grow (&unfilled_slots_obstack, trial);
+
+  return trial;
 }
 \f
 /* Delete INSN, a JUMP_INSN.  If it is a conditional jump, we must track down
@@ -1173,7 +742,8 @@ optimize_skip (insn)
      we have one insn followed by a branch to the same label we branch to.
      In both of these cases, inverting the jump and annulling the delay
      slot give the same effect in fewer insns.  */
-  if ((next_trial == next_active_insn (JUMP_LABEL (insn)))
+  if ((next_trial == next_active_insn (JUMP_LABEL (insn))
+       && ! (next_trial == 0 && current_function_epilogue_delay_list != 0))
       || (next_trial != 0
          && GET_CODE (next_trial) == JUMP_INSN
          && JUMP_LABEL (insn) == JUMP_LABEL (next_trial)
@@ -1182,7 +752,7 @@ optimize_skip (insn)
     {
       if (eligible_for_annul_false (insn, 0, trial, flags))
        {
-         if (invert_jump (insn, JUMP_LABEL (insn)))
+         if (invert_jump (insn, JUMP_LABEL (insn), 1))
            INSN_FROM_TARGET_P (trial) = 1;
          else if (! eligible_for_annul_true (insn, 0, trial, flags))
            return 0;
@@ -1221,7 +791,6 @@ optimize_skip (insn)
 }
 #endif
 \f
-
 /*  Encode and return branch direction and prediction information for
     INSN assuming it will jump to LABEL.
 
@@ -1245,15 +814,15 @@ get_jump_flags (insn, label)
       && INSN_UID (insn) <= max_uid
       && label != 0
       && INSN_UID (label) <= max_uid)
-    flags 
+    flags
       = (uid_to_ruid[INSN_UID (label)] > uid_to_ruid[INSN_UID (insn)])
         ? ATTR_FLAG_forward : ATTR_FLAG_backward;
   /* No valid direction information.  */
   else
     flags = 0;
-  
+
   /* If insn is a conditional branch call mostly_true_jump to get
-     determine the branch prediction.  
+     determine the branch prediction.
 
      Non conditional branches are predicted as very likely taken.  */
   if (GET_CODE (insn) == JUMP_INSN
@@ -1264,21 +833,21 @@ get_jump_flags (insn, label)
       prediction = mostly_true_jump (insn, get_branch_condition (insn, label));
       switch (prediction)
        {
-         case 2:
-           flags |= (ATTR_FLAG_very_likely | ATTR_FLAG_likely);
-           break;
-         case 1:
-           flags |= ATTR_FLAG_likely;
-           break;
-         case 0:
-           flags |= ATTR_FLAG_unlikely;
-           break;
-         case -1:
-           flags |= (ATTR_FLAG_very_unlikely | ATTR_FLAG_unlikely);
-           break;
+       case 2:
+         flags |= (ATTR_FLAG_very_likely | ATTR_FLAG_likely);
+         break;
+       case 1:
+         flags |= ATTR_FLAG_likely;
+         break;
+       case 0:
+         flags |= ATTR_FLAG_unlikely;
+         break;
+       case -1:
+         flags |= (ATTR_FLAG_very_unlikely | ATTR_FLAG_unlikely);
+         break;
 
-         default:
-           abort();
+       default:
+         abort ();
        }
     }
   else
@@ -1311,7 +880,7 @@ rare_destination (insn)
        case CODE_LABEL:
          return 0;
        case BARRIER:
-         /* A BARRIER can either be after a JUMP_INSN or a CALL_INSN.  We 
+         /* A BARRIER can either be after a JUMP_INSN or a CALL_INSN.  We
             don't scan past JUMP_INSNs, so any barrier we find here must
             have been after a CALL_INSN and hence mean the call doesn't
             return.  */
@@ -1324,6 +893,9 @@ rare_destination (insn)
            next = JUMP_LABEL (insn);
          else
            return 0;
+
+       default:
+         break;
        }
     }
 
@@ -1346,30 +918,29 @@ mostly_true_jump (jump_insn, condition)
      rtx jump_insn, condition;
 {
   rtx target_label = JUMP_LABEL (jump_insn);
-  rtx insn;
+  rtx insn, note;
   int rare_dest = rare_destination (target_label);
   int rare_fallthrough = rare_destination (NEXT_INSN (jump_insn));
 
   /* If branch probabilities are available, then use that number since it
      always gives a correct answer.  */
-  if (flag_branch_probabilities)
+  note = find_reg_note (jump_insn, REG_BR_PROB, 0);
+  if (note)
     {
-      rtx note = find_reg_note (jump_insn, REG_BR_PROB, 0);;
-      if (note)
-       {
-         int prob = XINT (note, 0);
+      int prob = INTVAL (XEXP (note, 0));
 
-         if (prob >= REG_BR_PROB_BASE * 9 / 10)
-           return 2;
-         else if (prob >= REG_BR_PROB_BASE / 2)
-           return 1;
-         else if (prob >= REG_BR_PROB_BASE / 10)
-           return 0;
-         else
-           return -1;
-       }
+      if (prob >= REG_BR_PROB_BASE * 9 / 10)
+       return 2;
+      else if (prob >= REG_BR_PROB_BASE / 2)
+       return 1;
+      else if (prob >= REG_BR_PROB_BASE / 10)
+       return 0;
+      else
+       return -1;
     }
 
+  /* ??? Ought to use estimate_probability instead.  */
+
   /* If this is a branch outside a loop, it is highly unlikely.  */
   if (GET_CODE (PATTERN (jump_insn)) == SET
       && GET_CODE (SET_SRC (PATTERN (jump_insn))) == IF_THEN_ELSE
@@ -1383,7 +954,7 @@ mostly_true_jump (jump_insn, condition)
     {
       /* If this is the test of a loop, it is very likely true.  We scan
         backwards from the target label.  If we find a NOTE_INSN_LOOP_BEG
-        before the next real insn, we assume the branch is to the top of 
+        before the next real insn, we assume the branch is to the top of
         the loop.  */
       for (insn = PREV_INSN (target_label);
           insn && GET_CODE (insn) == NOTE;
@@ -1419,7 +990,7 @@ mostly_true_jump (jump_insn, condition)
       return 2;
     }
 
-  /* If we couldn't figure out what this jump was, assume it won't be 
+  /* If we couldn't figure out what this jump was, assume it won't be
      taken.  This should be rare.  */
   if (condition == 0)
     return 0;
@@ -1439,13 +1010,16 @@ mostly_true_jump (jump_insn, condition)
     case LE:
     case LT:
       if (XEXP (condition, 1) == const0_rtx)
-        return 0;
+       return 0;
       break;
     case GE:
     case GT:
       if (XEXP (condition, 1) == const0_rtx)
        return 1;
       break;
+
+    default:
+      break;
     }
 
   /* Predict backward branches usually take, forward branches usually not.  If
@@ -1454,7 +1028,7 @@ mostly_true_jump (jump_insn, condition)
   return (target_label == 0 || INSN_UID (jump_insn) > max_uid
          || INSN_UID (target_label) > max_uid
          || (uid_to_ruid[INSN_UID (jump_insn)]
-             > uid_to_ruid[INSN_UID (target_label)]));;
+             > uid_to_ruid[INSN_UID (target_label)]));
 }
 
 /* Return the condition under which INSN will branch to TARGET.  If TARGET
@@ -1469,7 +1043,7 @@ get_branch_condition (insn, target)
 {
   rtx pat = PATTERN (insn);
   rtx src;
-  
+
   if (condjump_in_parallel_p (insn))
     pat = XVECEXP (pat, 0, 0);
 
@@ -1495,9 +1069,9 @@ get_branch_condition (insn, target)
               || (GET_CODE (XEXP (src, 2)) == LABEL_REF
                   && XEXP (XEXP (src, 2), 0) == target))
           && XEXP (src, 1) == pc_rtx)
-    return gen_rtx (reverse_condition (GET_CODE (XEXP (src, 0))),
-                   GET_MODE (XEXP (src, 0)),
-                   XEXP (XEXP (src, 0), 0), XEXP (XEXP (src, 0), 1));
+    return gen_rtx_fmt_ee (reverse_condition (GET_CODE (XEXP (src, 0))),
+                          GET_MODE (XEXP (src, 0)),
+                          XEXP (XEXP (src, 0), 0), XEXP (XEXP (src, 0), 1));
 
   return 0;
 }
@@ -1537,7 +1111,7 @@ static int
 redirect_with_delay_slots_safe_p (jump, newlabel, seq)
      rtx jump, newlabel, seq;
 {
-  int flags, slots, i;
+  int flags, i;
   rtx pat = PATTERN (seq);
 
   /* Make sure all the delay slots of this jump would still
@@ -1559,7 +1133,7 @@ redirect_with_delay_slots_safe_p (jump, newlabel, seq)
           ? eligible_for_annul_true (jump, i - 1,
                                      XVECEXP (pat, 0, i), flags) :
 #endif
-          eligible_for_delay (jump, i -1, XVECEXP (pat, 0, i), flags)))
+          eligible_for_delay (jump, i - 1, XVECEXP (pat, 0, i), flags)))
       break;
 
   return (i == XVECLEN (pat, 0));
@@ -1598,6 +1172,31 @@ redirect_with_delay_list_safe_p (jump, newlabel, delay_list)
   return (li == NULL);
 }
 
+/* DELAY_LIST is a list of insns that have already been placed into delay
+   slots.  See if all of them have the same annulling status as ANNUL_TRUE_P.
+   If not, return 0; otherwise return 1.  */
+
+static int
+check_annul_list_true_false (annul_true_p, delay_list)
+     int annul_true_p;
+     rtx delay_list;
+{
+  rtx temp;
+
+  if (delay_list)
+    {
+      for (temp = delay_list; temp; temp = XEXP (temp, 1))
+       {
+         rtx trial = XEXP (temp, 0);
+
+         if ((annul_true_p && INSN_FROM_TARGET_P (trial))
+             || (!annul_true_p && !INSN_FROM_TARGET_P (trial)))
+           return 0;
+       }
+    }
+
+  return 1;
+}
 \f
 /* INSN branches to an insn whose pattern SEQ is a SEQUENCE.  Given that
    the condition tested by INSN is CONDITION and the resources shown in
@@ -1638,7 +1237,9 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
   int total_slots_filled = *pslots_filled;
   rtx new_delay_list = 0;
   int must_annul = *pannul_p;
+  int used_annul = 0;
   int i;
+  struct resources cc_set;
 
   /* We can't do anything if there are more delay slots in SEQ than we
      can handle, or if we don't know that it will be a taken branch.
@@ -1648,7 +1249,23 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
      Also, exit if the branch has more than one set, since then it is computing
      other results that can't be ignored, e.g. the HPPA mov&branch instruction.
      ??? It may be possible to move other sets into INSN in addition to
-     moving the instructions in the delay slots.  */
+     moving the instructions in the delay slots.
+
+     We can not steal the delay list if one of the instructions in the
+     current delay_list modifies the condition codes and the jump in the
+     sequence is a conditional jump. We can not do this because we can
+     not change the direction of the jump because the condition codes
+     will effect the direction of the jump in the sequence.  */
+
+  CLEAR_RESOURCE (&cc_set);
+  for (temp = delay_list; temp; temp = XEXP (temp, 1))
+    {
+      rtx trial = XEXP (temp, 0);
+
+      mark_set_resources (trial, &cc_set, 0, MARK_SRC_DEST_CALL);
+      if (insn_references_resource_p (XVECEXP (seq , 0, 0), &cc_set, 0))
+       return delay_list;
+    }
 
   if (XVECLEN (seq, 0) - 1 > slots_remaining
       || ! condition_dominates_p (condition, XVECEXP (seq, 0, 0))
@@ -1688,9 +1305,15 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
               || (! insn_sets_resource_p (trial, other_needed, 0)
                   && ! may_trap_p (PATTERN (trial)))))
          ? eligible_for_delay (insn, total_slots_filled, trial, flags)
-         : (must_annul = 1,
-            eligible_for_annul_false (insn, total_slots_filled, trial, flags)))
+         : (must_annul || (delay_list == NULL && new_delay_list == NULL))
+            && (must_annul = 1,
+                check_annul_list_true_false (0, delay_list)
+                && check_annul_list_true_false (0, new_delay_list)
+                && eligible_for_annul_false (insn, total_slots_filled,
+                                             trial, flags)))
        {
+         if (must_annul)
+           used_annul = 1;
          temp = copy_rtx (trial);
          INSN_FROM_TARGET_P (temp) = 1;
          new_delay_list = add_to_delay_list (temp, new_delay_list);
@@ -1709,7 +1332,8 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
   /* Add any new insns to the delay list and update the count of the
      number of slots filled.  */
   *pslots_filled = total_slots_filled;
-  *pannul_p = must_annul;
+  if (used_annul)
+    *pannul_p = 1;
 
   if (delay_list == 0)
     return new_delay_list;
@@ -1720,13 +1344,13 @@ steal_delay_list_from_target (insn, condition, seq, delay_list,
   return delay_list;
 }
 \f
-/* Similar to steal_delay_list_from_target except that SEQ is on the 
+/* Similar to steal_delay_list_from_target except that SEQ is on the
    fallthrough path of INSN.  Here we only do something if the delay insn
    of SEQ is an unconditional branch.  In that case we steal its delay slot
    for INSN since unconditional branches are much easier to fill.  */
 
 static rtx
-steal_delay_list_from_fallthrough (insn, condition, seq, 
+steal_delay_list_from_fallthrough (insn, condition, seq,
                                   delay_list, sets, needed, other_needed,
                                   slots_to_fill, pslots_filled, pannul_p)
      rtx insn, condition;
@@ -1739,6 +1363,8 @@ steal_delay_list_from_fallthrough (insn, condition, seq,
 {
   int i;
   int flags;
+  int must_annul = *pannul_p;
+  int used_annul = 0;
 
   flags = get_jump_flags (insn, JUMP_LABEL (insn));
 
@@ -1772,14 +1398,17 @@ steal_delay_list_from_fallthrough (insn, condition, seq,
          continue;
        }
 
-      if (! *pannul_p
+      if (! must_annul
          && ((condition == const_true_rtx
               || (! insn_sets_resource_p (trial, other_needed, 0)
                   && ! may_trap_p (PATTERN (trial)))))
          ? eligible_for_delay (insn, *pslots_filled, trial, flags)
-         : (*pannul_p = 1,
-            eligible_for_annul_true (insn, *pslots_filled, trial, flags)))
+         : (must_annul || delay_list == NULL) && (must_annul = 1,
+            check_annul_list_true_false (1, delay_list)
+            && eligible_for_annul_true (insn, *pslots_filled, trial, flags)))
        {
+         if (must_annul)
+           used_annul = 1;
          delete_from_delay_slot (trial);
          delay_list = add_to_delay_list (trial, delay_list);
 
@@ -1790,6 +1419,8 @@ steal_delay_list_from_fallthrough (insn, condition, seq,
        break;
     }
 
+  if (used_annul)
+    *pannul_p = 1;
   return delay_list;
 }
 \f
@@ -1823,13 +1454,15 @@ try_merge_delay_insns (insn, thread)
   CLEAR_RESOURCE (&set);
 
   /* If this is not an annulling branch, take into account anything needed in
-     NEXT_TO_MATCH.  This prevents two increments from being incorrectly
+     INSN's delay slot.  This prevents two increments from being incorrectly
      folded into one.  If we are annulling, this would be the correct
      thing to do.  (The alternative, looking at things set in NEXT_TO_MATCH
      will essentially disable this optimization.  This method is somewhat of
      a kludge, but I don't see a better way.)  */
   if (! annul_p)
-    mark_referenced_resources (next_to_match, &needed, 1);
+    for (i = 1 ; i < num_slots; i++)
+      if (XVECEXP (PATTERN (insn), 0, i))
+       mark_referenced_resources (XVECEXP (PATTERN (insn), 0, i), &needed, 1);
 
   for (trial = thread; !stop_search_p (trial, 1); trial = next_trial)
     {
@@ -1872,17 +1505,15 @@ try_merge_delay_insns (insn, thread)
              INSN_FROM_TARGET_P (next_to_match) = 0;
            }
          else
-           merged_insns = gen_rtx (INSN_LIST, VOIDmode, trial, merged_insns);
+           merged_insns = gen_rtx_INSN_LIST (VOIDmode, trial, merged_insns);
 
          if (++slot_number == num_slots)
            break;
 
          next_to_match = XVECEXP (PATTERN (insn), 0, slot_number);
-         if (! annul_p)
-           mark_referenced_resources (next_to_match, &needed, 1);
        }
 
-      mark_set_resources (trial, &set, 0, 1);
+      mark_set_resources (trial, &set, 0, MARK_SRC_DEST_CALL);
       mark_referenced_resources (trial, &needed, 1);
     }
 
@@ -1897,7 +1528,7 @@ try_merge_delay_insns (insn, thread)
       rtx filled_insn = XVECEXP (pat, 0, 0);
 
       /* Account for resources set/needed by the filled insn.  */
-      mark_set_resources (filled_insn, &set, 0, 1);
+      mark_set_resources (filled_insn, &set, 0, MARK_SRC_DEST_CALL);
       mark_referenced_resources (filled_insn, &needed, 1);
 
       for (i = 1; i < XVECLEN (pat, 0); i++)
@@ -1915,25 +1546,36 @@ try_merge_delay_insns (insn, thread)
            {
              if (! annul_p)
                {
+                 rtx new;
+
                  update_block (dtrial, thread);
-                 delete_from_delay_slot (dtrial);
+                 new = delete_from_delay_slot (dtrial);
+                 if (INSN_DELETED_P (thread))
+                   thread = new;
                  INSN_FROM_TARGET_P (next_to_match) = 0;
                }
              else
-               merged_insns = gen_rtx (INSN_LIST, SImode, dtrial,
-                                       merged_insns);
+               merged_insns = gen_rtx_INSN_LIST (SImode, dtrial,
+                                                 merged_insns);
 
              if (++slot_number == num_slots)
                break;
 
              next_to_match = XVECEXP (PATTERN (insn), 0, slot_number);
            }
+         else
+           {
+             /* Keep track of the set/referenced resources for the delay
+                slots of any trial insns we encounter.  */
+             mark_set_resources (dtrial, &set, 0, MARK_SRC_DEST_CALL);
+             mark_referenced_resources (dtrial, &needed, 1);
+           }
        }
     }
 
   /* If all insns in the delay slot have been matched and we were previously
      annulling the branch, we need not any more.  In that case delete all the
-     merged insns.  Also clear the INSN_FROM_TARGET_P bit of each insn the
+     merged insns.  Also clear the INSN_FROM_TARGET_P bit of each insn in
      the delay list so that we know that it isn't only being used at the
      target.  */
   if (slot_number == num_slots && annul_p)
@@ -1942,8 +1584,12 @@ try_merge_delay_insns (insn, thread)
        {
          if (GET_MODE (merged_insns) == SImode)
            {
+             rtx new;
+
              update_block (XEXP (merged_insns, 0), thread);
-             delete_from_delay_slot (XEXP (merged_insns, 0));
+             new = delete_from_delay_slot (XEXP (merged_insns, 0));
+             if (INSN_DELETED_P (thread))
+               thread = new;
            }
          else
            {
@@ -1990,13 +1636,18 @@ redundant_insn (insn, target, delay_list)
   struct resources needed, set;
   int i;
 
+  /* If INSN has any REG_UNUSED notes, it can't match anything since we
+     are allowed to not actually assign to such a register.  */
+  if (find_reg_note (insn, REG_UNUSED, NULL_RTX) != 0)
+    return 0;
+
   /* Scan backwards looking for a match.  */
   for (trial = PREV_INSN (target); trial; trial = PREV_INSN (trial))
     {
       if (GET_CODE (trial) == CODE_LABEL)
        return 0;
 
-      if (GET_RTX_CLASS (GET_CODE (trial)) != 'i')
+      if (! INSN_P (trial))
        continue;
 
       pat = PATTERN (trial);
@@ -2011,24 +1662,25 @@ redundant_insn (insn, target, delay_list)
            return 0;
 
          /* Stop for an INSN or JUMP_INSN with delayed effects and its delay
-            slots because it is difficult to track its resource needs 
+            slots because it is difficult to track its resource needs
             correctly.  */
 
 #ifdef INSN_SETS_ARE_DELAYED
          if (INSN_SETS_ARE_DELAYED (XVECEXP (pat, 0, 0)))
-           return 0; 
+           return 0;
 #endif
 
 #ifdef INSN_REFERENCES_ARE_DELAYED
          if (INSN_REFERENCES_ARE_DELAYED (XVECEXP (pat, 0, 0)))
-           return 0; 
+           return 0;
 #endif
 
          /* See if any of the insns in the delay slot match, updating
             resource requirements as we go.  */
          for (i = XVECLEN (pat, 0) - 1; i > 0; i--)
            if (GET_CODE (XVECEXP (pat, 0, i)) == GET_CODE (insn)
-               && rtx_equal_p (PATTERN (XVECEXP (pat, 0, i)), ipat))
+               && rtx_equal_p (PATTERN (XVECEXP (pat, 0, i)), ipat)
+               && ! find_reg_note (XVECEXP (pat, 0, i), REG_UNUSED, NULL_RTX))
              break;
 
          /* If found a match, exit this loop early.  */
@@ -2036,7 +1688,8 @@ redundant_insn (insn, target, delay_list)
            break;
        }
 
-      else if (GET_CODE (trial) == GET_CODE (insn) && rtx_equal_p (pat, ipat))
+      else if (GET_CODE (trial) == GET_CODE (insn) && rtx_equal_p (pat, ipat)
+              && ! find_reg_note (trial, REG_UNUSED, NULL_RTX))
        break;
     }
 
@@ -2049,7 +1702,7 @@ redundant_insn (insn, target, delay_list)
 
   CLEAR_RESOURCE (&needed);
   CLEAR_RESOURCE (&set);
-  mark_set_resources (insn, &set, 0, 1);
+  mark_set_resources (insn, &set, 0, MARK_SRC_DEST_CALL);
   mark_referenced_resources (insn, &needed, 1);
 
   /* If TARGET is a SEQUENCE, get the main insn.  */
@@ -2109,17 +1762,17 @@ redundant_insn (insn, target, delay_list)
          if (GET_CODE (XVECEXP (pat, 0, 0)) == CALL_INSN)
            return 0;
 
-         /* If this this is an INSN or JUMP_INSN with delayed effects, it
+         /* If this is an INSN or JUMP_INSN with delayed effects, it
             is hard to track the resource needs properly, so give up.  */
 
 #ifdef INSN_SETS_ARE_DELAYED
          if (INSN_SETS_ARE_DELAYED (XVECEXP (pat, 0, 0)))
-           return 0; 
+           return 0;
 #endif
 
 #ifdef INSN_REFERENCES_ARE_DELAYED
          if (INSN_REFERENCES_ARE_DELAYED (XVECEXP (pat, 0, 0)))
-           return 0; 
+           return 0;
 #endif
 
          /* See if any of the insns in the delay slot match, updating
@@ -2147,8 +1800,7 @@ redundant_insn (insn, target, delay_list)
                return 0;
            }
 
-
-         /* If the insn requiring the delay slot conflicts with INSN, we 
+         /* If the insn requiring the delay slot conflicts with INSN, we
             must stop.  */
          if (insn_sets_resource_p (XVECEXP (pat, 0, 0), &needed, 1))
            return 0;
@@ -2215,41 +1867,6 @@ own_thread_p (thread, label, allow_fallthrough)
   return 1;
 }
 \f
-/* Find the number of the basic block that starts closest to INSN.  Return -1
-   if we couldn't find such a basic block.  */
-
-static int
-find_basic_block (insn)
-     rtx insn;
-{
-  int i;
-
-  /* Scan backwards to the previous BARRIER.  Then see if we can find a
-     label that starts a basic block.  Return the basic block number.  */
-
-  for (insn = prev_nonnote_insn (insn);
-       insn && GET_CODE (insn) != BARRIER;
-       insn = prev_nonnote_insn (insn))
-    ;
-
-  /* The start of the function is basic block zero.  */
-  if (insn == 0)
-    return 0;
-
-  /* See if any of the upcoming CODE_LABELs start a basic block.  If we reach
-     anything other than a CODE_LABEL or note, we can't find this code.  */
-  for (insn = next_nonnote_insn (insn);
-       insn && GET_CODE (insn) == CODE_LABEL;
-       insn = next_nonnote_insn (insn))
-    {
-      for (i = 0; i < n_basic_blocks; i++)
-       if (insn == basic_block_head[i])
-         return i;
-    }
-
-  return -1;
-}
-\f
 /* Called when INSN is being moved from a location near the target of a jump.
    We leave a marker of the form (use (INSN)) immediately in front
    of WHERE for mark_target_live_regs.  These markers will be deleted when
@@ -2264,21 +1881,17 @@ update_block (insn, where)
      rtx insn;
      rtx where;
 {
-  int b;
-
-  /* Ignore if this was in a delay slot and it came from the target of 
+  /* Ignore if this was in a delay slot and it came from the target of
      a branch.  */
   if (INSN_FROM_TARGET_P (insn))
     return;
 
-  emit_insn_before (gen_rtx (USE, VOIDmode, insn), where);
+  emit_insn_before (gen_rtx_USE (VOIDmode, insn), where);
 
   /* INSN might be making a value live in a block where it didn't use to
      be.  So recompute liveness information for this block.  */
 
-  b = find_basic_block (insn);
-  if (b != -1)
-    bb_ticks[b]++;
+  incr_ticks_for_insn (insn);
 }
 
 /* Similar to REDIRECT_JUMP except that we update the BB_TICKS entry for
@@ -2289,12 +1902,8 @@ reorg_redirect_jump (jump, nlabel)
      rtx jump;
      rtx nlabel;
 {
-  int b = find_basic_block (jump);
-
-  if (b != -1)
-    bb_ticks[b]++;
-
-  return redirect_jump (jump, nlabel);
+  incr_ticks_for_insn (jump);
+  return redirect_jump (jump, nlabel, 1);
 }
 
 /* Called when INSN is being moved forward into a delay slot of DELAYED_INSN.
@@ -2377,7 +1986,7 @@ static void
 update_reg_unused_notes (insn, redundant_insn)
      rtx insn, redundant_insn;
 {
-  rtx p, link, next;
+  rtx link, next;
 
   for (link = REG_NOTES (insn); link; link = next)
     {
@@ -2393,555 +2002,6 @@ update_reg_unused_notes (insn, redundant_insn)
     }
 }
 \f
-/* Marks registers possibly live at the current place being scanned by
-   mark_target_live_regs.  Used only by next two function.    */
-
-static HARD_REG_SET current_live_regs;
-
-/* Marks registers for which we have seen a REG_DEAD note but no assignment.
-   Also only used by the next two functions.  */
-
-static HARD_REG_SET pending_dead_regs;
-
-/* Utility function called from mark_target_live_regs via note_stores.
-   It deadens any CLOBBERed registers and livens any SET registers.  */
-
-static void
-update_live_status (dest, x)
-     rtx dest;
-     rtx x;
-{
-  int first_regno, last_regno;
-  int i;
-
-  if (GET_CODE (dest) != REG
-      && (GET_CODE (dest) != SUBREG || GET_CODE (SUBREG_REG (dest)) != REG))
-    return;
-
-  if (GET_CODE (dest) == SUBREG)
-    first_regno = REGNO (SUBREG_REG (dest)) + SUBREG_WORD (dest);
-  else
-    first_regno = REGNO (dest);
-
-  last_regno = first_regno + HARD_REGNO_NREGS (first_regno, GET_MODE (dest));
-
-  if (GET_CODE (x) == CLOBBER)
-    for (i = first_regno; i < last_regno; i++)
-      CLEAR_HARD_REG_BIT (current_live_regs, i);
-  else
-    for (i = first_regno; i < last_regno; i++)
-      {
-       SET_HARD_REG_BIT (current_live_regs, i);
-       CLEAR_HARD_REG_BIT (pending_dead_regs, i);
-      }
-}
-
-/* Similar to next_insn, but ignores insns in the delay slots of
-   an annulled branch.  */
-
-static rtx
-next_insn_no_annul (insn)
-     rtx insn;
-{
-  if (insn)
-    {
-      /* If INSN is an annulled branch, skip any insns from the target
-        of the branch.  */
-      if (INSN_ANNULLED_BRANCH_P (insn)
-         && NEXT_INSN (PREV_INSN (insn)) != insn)
-       while (INSN_FROM_TARGET_P (NEXT_INSN (insn)))
-         insn = NEXT_INSN (insn);
-
-      insn = NEXT_INSN (insn);
-      if (insn && GET_CODE (insn) == INSN
-         && GET_CODE (PATTERN (insn)) == SEQUENCE)
-       insn = XVECEXP (PATTERN (insn), 0, 0);
-    }
-
-  return insn;
-}
-\f
-/* A subroutine of mark_target_live_regs.  Search forward from TARGET
-   looking for registers that are set before they are used.  These are dead. 
-   Stop after passing a few conditional jumps, and/or a small
-   number of unconditional branches.  */
-
-static rtx
-find_dead_or_set_registers (target, res, jump_target, jump_count, set, needed)
-     rtx target;
-     struct resources *res;
-     rtx *jump_target;
-     int jump_count;
-     struct resources set, needed;
-{
-  HARD_REG_SET scratch;
-  rtx insn, next;
-  rtx jump_insn = 0;
-  int i;
-
-  for (insn = target; insn; insn = next)
-    {
-      rtx this_jump_insn = insn;
-
-      next = NEXT_INSN (insn);
-      switch (GET_CODE (insn))
-       {
-       case CODE_LABEL:
-         /* After a label, any pending dead registers that weren't yet
-            used can be made dead.  */
-         AND_COMPL_HARD_REG_SET (pending_dead_regs, needed.regs);
-         AND_COMPL_HARD_REG_SET (res->regs, pending_dead_regs);
-         CLEAR_HARD_REG_SET (pending_dead_regs);
-
-         if (CODE_LABEL_NUMBER (insn) < max_label_num_after_reload)
-           {
-             /* All spill registers are dead at a label, so kill all of the
-                ones that aren't needed also.  */
-             COPY_HARD_REG_SET (scratch, used_spill_regs);
-             AND_COMPL_HARD_REG_SET (scratch, needed.regs);
-             AND_COMPL_HARD_REG_SET (res->regs, scratch);
-           }
-         continue;
-
-       case BARRIER:
-       case NOTE:
-         continue;
-
-       case INSN:
-         if (GET_CODE (PATTERN (insn)) == USE)
-           {
-             /* If INSN is a USE made by update_block, we care about the
-                underlying insn.  Any registers set by the underlying insn
-                are live since the insn is being done somewhere else.  */
-             if (GET_RTX_CLASS (GET_CODE (XEXP (PATTERN (insn), 0))) == 'i')
-               mark_set_resources (XEXP (PATTERN (insn), 0), res, 0, 1);
-
-             /* All other USE insns are to be ignored.  */
-             continue;
-           }
-         else if (GET_CODE (PATTERN (insn)) == CLOBBER)
-           continue;
-         else if (GET_CODE (PATTERN (insn)) == SEQUENCE)
-           {
-             /* An unconditional jump can be used to fill the delay slot
-                of a call, so search for a JUMP_INSN in any position.  */
-             for (i = 0; i < XVECLEN (PATTERN (insn), 0); i++)
-               {
-                 this_jump_insn = XVECEXP (PATTERN (insn), 0, i);
-                 if (GET_CODE (this_jump_insn) == JUMP_INSN)
-                   break;
-               }
-           }
-       }
-
-      if (GET_CODE (this_jump_insn) == JUMP_INSN)
-       {
-         if (jump_count++ < 10)
-           {
-             if (simplejump_p (this_jump_insn)
-                 || GET_CODE (PATTERN (this_jump_insn)) == RETURN)
-               {
-                 next = JUMP_LABEL (this_jump_insn);
-                 if (jump_insn == 0)
-                   {
-                     jump_insn = insn;
-                     if (jump_target)
-                       *jump_target = JUMP_LABEL (this_jump_insn);
-                   }
-               }
-             else if (condjump_p (this_jump_insn)
-                      || condjump_in_parallel_p (this_jump_insn))
-               {
-                 struct resources target_set, target_res;
-                 struct resources fallthrough_res;
-
-                 /* We can handle conditional branches here by following
-                    both paths, and then IOR the results of the two paths
-                    together, which will give us registers that are dead
-                    on both paths.  Since this is expensive, we give it
-                    a much higher cost than unconditional branches.  The
-                    cost was chosen so that we will follow at most 1
-                    conditional branch.  */
-
-                 jump_count += 4;
-                 if (jump_count >= 10)
-                   break;
-
-                 mark_referenced_resources (insn, &needed, 1);
-
-                 /* For an annulled branch, mark_set_resources ignores slots
-                    filled by instructions from the target.  This is correct
-                    if the branch is not taken.  Since we are following both
-                    paths from the branch, we must also compute correct info
-                    if the branch is taken.  We do this by inverting all of
-                    the INSN_FROM_TARGET_P bits, calling mark_set_resources,
-                    and then inverting the INSN_FROM_TARGET_P bits again.  */
-
-                 if (GET_CODE (PATTERN (insn)) == SEQUENCE
-                     && INSN_ANNULLED_BRANCH_P (this_jump_insn))
-                   {
-                     for (i = 1; i < XVECLEN (PATTERN (insn), 0); i++)
-                       INSN_FROM_TARGET_P (XVECEXP (PATTERN (insn), 0, i))
-                         = ! INSN_FROM_TARGET_P (XVECEXP (PATTERN (insn), 0, i));
-
-                     target_set = set;
-                     mark_set_resources (insn, &target_set, 0, 1);
-
-                     for (i = 1; i < XVECLEN (PATTERN (insn), 0); i++)
-                       INSN_FROM_TARGET_P (XVECEXP (PATTERN (insn), 0, i))
-                         = ! INSN_FROM_TARGET_P (XVECEXP (PATTERN (insn), 0, i));
-
-                     mark_set_resources (insn, &set, 0, 1);
-                   }
-                 else
-                   {
-                     mark_set_resources (insn, &set, 0, 1);
-                     target_set = set;
-                   }
-
-                 target_res = *res;
-                 COPY_HARD_REG_SET (scratch, target_set.regs);
-                 AND_COMPL_HARD_REG_SET (scratch, needed.regs);
-                 AND_COMPL_HARD_REG_SET (target_res.regs, scratch);
-
-                 fallthrough_res = *res;
-                 COPY_HARD_REG_SET (scratch, set.regs);
-                 AND_COMPL_HARD_REG_SET (scratch, needed.regs);
-                 AND_COMPL_HARD_REG_SET (fallthrough_res.regs, scratch);
-
-                 find_dead_or_set_registers (JUMP_LABEL (this_jump_insn),
-                                             &target_res, 0, jump_count,
-                                             target_set, needed);
-                 find_dead_or_set_registers (next,
-                                             &fallthrough_res, 0, jump_count,
-                                             set, needed);
-                 IOR_HARD_REG_SET (fallthrough_res.regs, target_res.regs);
-                 AND_HARD_REG_SET (res->regs, fallthrough_res.regs);
-                 break;
-               }
-             else
-               break;
-           }
-         else
-           {
-             /* Don't try this optimization if we expired our jump count
-                above, since that would mean there may be an infinite loop
-                in the function being compiled.  */
-             jump_insn = 0;
-             break;
-           }
-       }
-
-      mark_referenced_resources (insn, &needed, 1);
-      mark_set_resources (insn, &set, 0, 1);
-
-      COPY_HARD_REG_SET (scratch, set.regs);
-      AND_COMPL_HARD_REG_SET (scratch, needed.regs);
-      AND_COMPL_HARD_REG_SET (res->regs, scratch);
-    }
-
-  return jump_insn;
-}
-
-/* Set the resources that are live at TARGET.
-
-   If TARGET is zero, we refer to the end of the current function and can
-   return our precomputed value.
-
-   Otherwise, we try to find out what is live by consulting the basic block
-   information.  This is tricky, because we must consider the actions of
-   reload and jump optimization, which occur after the basic block information
-   has been computed.
-
-   Accordingly, we proceed as follows::
-
-   We find the previous BARRIER and look at all immediately following labels
-   (with no intervening active insns) to see if any of them start a basic
-   block.  If we hit the start of the function first, we use block 0.
-
-   Once we have found a basic block and a corresponding first insns, we can
-   accurately compute the live status from basic_block_live_regs and
-   reg_renumber.  (By starting at a label following a BARRIER, we are immune
-   to actions taken by reload and jump.)  Then we scan all insns between
-   that point and our target.  For each CLOBBER (or for call-clobbered regs
-   when we pass a CALL_INSN), mark the appropriate registers are dead.  For
-   a SET, mark them as live.
-
-   We have to be careful when using REG_DEAD notes because they are not
-   updated by such things as find_equiv_reg.  So keep track of registers
-   marked as dead that haven't been assigned to, and mark them dead at the
-   next CODE_LABEL since reload and jump won't propagate values across labels.
-
-   If we cannot find the start of a basic block (should be a very rare
-   case, if it can happen at all), mark everything as potentially live.
-
-   Next, scan forward from TARGET looking for things set or clobbered
-   before they are used.  These are not live.
-
-   Because we can be called many times on the same target, save our results
-   in a hash table indexed by INSN_UID.  */
-
-static void
-mark_target_live_regs (target, res)
-     rtx target;
-     struct resources *res;
-{
-  int b = -1;
-  int i;
-  struct target_info *tinfo;
-  rtx insn, next;
-  rtx jump_insn = 0;
-  rtx jump_target;
-  HARD_REG_SET scratch;
-  struct resources set, needed;
-  int jump_count = 0;
-
-  /* Handle end of function.  */
-  if (target == 0)
-    {
-      *res = end_of_function_needs;
-      return;
-    }
-
-  /* We have to assume memory is needed, but the CC isn't.  */
-  res->memory = 1;
-  res->volatil = res->unch_memory = 0;
-  res->cc = 0;
-
-  /* See if we have computed this value already.  */
-  for (tinfo = target_hash_table[INSN_UID (target) % TARGET_HASH_PRIME];
-       tinfo; tinfo = tinfo->next)
-    if (tinfo->uid == INSN_UID (target))
-      break;
-
-  /* Start by getting the basic block number.  If we have saved information,
-     we can get it from there unless the insn at the start of the basic block
-     has been deleted.  */
-  if (tinfo && tinfo->block != -1
-      && ! INSN_DELETED_P (basic_block_head[tinfo->block]))
-    b = tinfo->block;
-
-  if (b == -1)
-    b = find_basic_block (target);
-
-  if (tinfo)
-    {
-      /* If the information is up-to-date, use it.  Otherwise, we will
-        update it below.  */
-      if (b == tinfo->block && b != -1 && tinfo->bb_tick == bb_ticks[b])
-       {
-         COPY_HARD_REG_SET (res->regs, tinfo->live_regs);
-         return;
-       }
-    }
-  else
-    {
-      /* Allocate a place to put our results and chain it into the 
-        hash table.  */
-      tinfo = (struct target_info *) oballoc (sizeof (struct target_info));
-      tinfo->uid = INSN_UID (target);
-      tinfo->block = b;
-      tinfo->next = target_hash_table[INSN_UID (target) % TARGET_HASH_PRIME];
-      target_hash_table[INSN_UID (target) % TARGET_HASH_PRIME] = tinfo;
-    }
-
-  CLEAR_HARD_REG_SET (pending_dead_regs);
-
-  /* If we found a basic block, get the live registers from it and update
-     them with anything set or killed between its start and the insn before
-     TARGET.  Otherwise, we must assume everything is live.  */
-  if (b != -1)
-    {
-      regset regs_live = basic_block_live_at_start[b];
-      int offset, j;
-      REGSET_ELT_TYPE bit;
-      int regno;
-      rtx start_insn, stop_insn;
-
-      /* Compute hard regs live at start of block -- this is the real hard regs
-        marked live, plus live pseudo regs that have been renumbered to
-        hard regs.  */
-
-      REG_SET_TO_HARD_REG_SET (current_live_regs, regs_live);
-
-      EXECUTE_IF_SET_IN_REG_SET (regs_live, 0, i,
-                                {
-                                  if ((regno = reg_renumber[i]) >= 0)
-                                    for (j = regno;
-                                         j < regno + HARD_REGNO_NREGS (regno,
-                                                                       PSEUDO_REGNO_MODE (i));
-                                         j++)
-                                      SET_HARD_REG_BIT (current_live_regs, j);
-                                });
-
-      /* Get starting and ending insn, handling the case where each might
-        be a SEQUENCE.  */
-      start_insn = (b == 0 ? get_insns () : basic_block_head[b]);
-      stop_insn = target;
-
-      if (GET_CODE (start_insn) == INSN
-         && GET_CODE (PATTERN (start_insn)) == SEQUENCE)
-       start_insn = XVECEXP (PATTERN (start_insn), 0, 0);
-
-      if (GET_CODE (stop_insn) == INSN
-         && GET_CODE (PATTERN (stop_insn)) == SEQUENCE)
-       stop_insn = next_insn (PREV_INSN (stop_insn));
-
-      for (insn = start_insn; insn != stop_insn;
-          insn = next_insn_no_annul (insn))
-       {
-         rtx link;
-         rtx real_insn = insn;
-
-         /* If this insn is from the target of a branch, it isn't going to
-            be used in the sequel.  If it is used in both cases, this
-            test will not be true.  */
-         if (INSN_FROM_TARGET_P (insn))
-           continue;
-
-         /* If this insn is a USE made by update_block, we care about the
-            underlying insn.  */
-         if (GET_CODE (insn) == INSN && GET_CODE (PATTERN (insn)) == USE
-             && GET_RTX_CLASS (GET_CODE (XEXP (PATTERN (insn), 0))) == 'i')
-             real_insn = XEXP (PATTERN (insn), 0);
-
-         if (GET_CODE (real_insn) == CALL_INSN)
-           {
-             /* CALL clobbers all call-used regs that aren't fixed except
-                sp, ap, and fp.  Do this before setting the result of the
-                call live.  */
-             for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-               if (call_used_regs[i]
-                   && i != STACK_POINTER_REGNUM && i != FRAME_POINTER_REGNUM
-                   && i != ARG_POINTER_REGNUM
-#if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
-                   && i != HARD_FRAME_POINTER_REGNUM
-#endif
-#if ARG_POINTER_REGNUM != FRAME_POINTER_REGNUM
-                   && ! (i == ARG_POINTER_REGNUM && fixed_regs[i])
-#endif
-#ifdef PIC_OFFSET_TABLE_REGNUM
-                   && ! (i == PIC_OFFSET_TABLE_REGNUM && flag_pic)
-#endif
-                   )
-                 CLEAR_HARD_REG_BIT (current_live_regs, i);
-
-             /* A CALL_INSN sets any global register live, since it may
-                have been modified by the call.  */
-             for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-               if (global_regs[i])
-                 SET_HARD_REG_BIT (current_live_regs, i);
-           }
-
-         /* Mark anything killed in an insn to be deadened at the next
-            label.  Ignore USE insns; the only REG_DEAD notes will be for
-            parameters.  But they might be early.  A CALL_INSN will usually
-            clobber registers used for parameters.  It isn't worth bothering
-            with the unlikely case when it won't.  */
-         if ((GET_CODE (real_insn) == INSN
-              && GET_CODE (PATTERN (real_insn)) != USE
-              && GET_CODE (PATTERN (real_insn)) != CLOBBER)
-             || GET_CODE (real_insn) == JUMP_INSN
-             || GET_CODE (real_insn) == CALL_INSN)
-           {
-             for (link = REG_NOTES (real_insn); link; link = XEXP (link, 1))
-               if (REG_NOTE_KIND (link) == REG_DEAD
-                   && GET_CODE (XEXP (link, 0)) == REG
-                   && REGNO (XEXP (link, 0)) < FIRST_PSEUDO_REGISTER)
-                 {
-                   int first_regno = REGNO (XEXP (link, 0));
-                   int last_regno
-                     = (first_regno
-                        + HARD_REGNO_NREGS (first_regno,
-                                            GET_MODE (XEXP (link, 0))));
-                        
-                   for (i = first_regno; i < last_regno; i++)
-                     SET_HARD_REG_BIT (pending_dead_regs, i);
-                 }
-
-             note_stores (PATTERN (real_insn), update_live_status);
-
-             /* If any registers were unused after this insn, kill them.
-                These notes will always be accurate.  */
-             for (link = REG_NOTES (real_insn); link; link = XEXP (link, 1))
-               if (REG_NOTE_KIND (link) == REG_UNUSED
-                   && GET_CODE (XEXP (link, 0)) == REG
-                   && REGNO (XEXP (link, 0)) < FIRST_PSEUDO_REGISTER)
-                 {
-                   int first_regno = REGNO (XEXP (link, 0));
-                   int last_regno
-                     = (first_regno
-                        + HARD_REGNO_NREGS (first_regno,
-                                            GET_MODE (XEXP (link, 0))));
-                        
-                   for (i = first_regno; i < last_regno; i++)
-                     CLEAR_HARD_REG_BIT (current_live_regs, i);
-                 }
-           }
-
-         else if (GET_CODE (real_insn) == CODE_LABEL)
-           {
-             /* A label clobbers the pending dead registers since neither
-                reload nor jump will propagate a value across a label.  */
-             AND_COMPL_HARD_REG_SET (current_live_regs, pending_dead_regs);
-             CLEAR_HARD_REG_SET (pending_dead_regs);
-           }
-
-         /* The beginning of the epilogue corresponds to the end of the
-            RTL chain when there are no epilogue insns.  Certain resources
-            are implicitly required at that point.  */
-         else if (GET_CODE (real_insn) == NOTE
-                  && NOTE_LINE_NUMBER (real_insn) == NOTE_INSN_EPILOGUE_BEG)
-           IOR_HARD_REG_SET (current_live_regs, start_of_epilogue_needs.regs);
-       }
-
-      COPY_HARD_REG_SET (res->regs, current_live_regs);
-      tinfo->block = b;
-      tinfo->bb_tick = bb_ticks[b];
-    }
-  else
-    /* We didn't find the start of a basic block.  Assume everything
-       in use.  This should happen only extremely rarely.  */
-    SET_HARD_REG_SET (res->regs);
-
-  CLEAR_RESOURCE (&set);
-  CLEAR_RESOURCE (&needed);
-
-  jump_insn = find_dead_or_set_registers (target, res, &jump_target, 0,
-                                         set, needed);
-
-  /* If we hit an unconditional branch, we have another way of finding out
-     what is live: we can see what is live at the branch target and include
-     anything used but not set before the branch.  The only things that are
-     live are those that are live using the above test and the test below.  */
-
-  if (jump_insn)
-    {
-      struct resources new_resources;
-      rtx stop_insn = next_active_insn (jump_insn);
-
-      mark_target_live_regs (next_active_insn (jump_target), &new_resources);
-      CLEAR_RESOURCE (&set);
-      CLEAR_RESOURCE (&needed);
-
-      /* Include JUMP_INSN in the needed registers.  */
-      for (insn = target; insn != stop_insn; insn = next_active_insn (insn))
-       {
-         mark_referenced_resources (insn, &needed, 1);
-
-         COPY_HARD_REG_SET (scratch, needed.regs);
-         AND_COMPL_HARD_REG_SET (scratch, set.regs);
-         IOR_HARD_REG_SET (new_resources.regs, scratch);
-
-         mark_set_resources (insn, &set, 0, 1);
-       }
-
-      AND_HARD_REG_SET (res->regs, new_resources.regs);
-    }
-
-  COPY_HARD_REG_SET (tinfo->live_regs, res->regs);
-}
-\f
 /* Scan a function looking for insns that need a delay slot and find insns to
    put into the delay slot.
 
@@ -2957,12 +2017,11 @@ mark_target_live_regs (target, res)
    through FINAL_SEQUENCE.  */
 
 static void
-fill_simple_delay_slots (first, non_jumps_p)
-     rtx first;
+fill_simple_delay_slots (non_jumps_p)
      int non_jumps_p;
 {
   register rtx insn, pat, trial, next_trial;
-  register int i, j;
+  register int i;
   int num_unfilled_slots = unfilled_slots_next - unfilled_slots_base;
   struct resources needed, set;
   int slots_to_fill, slots_filled;
@@ -2982,14 +2041,26 @@ fill_simple_delay_slots (first, non_jumps_p)
          || (GET_CODE (insn) == JUMP_INSN && non_jumps_p)
          || (GET_CODE (insn) != JUMP_INSN && ! non_jumps_p))
        continue;
-     
-      if (GET_CODE (insn) == JUMP_INSN)
-       flags = get_jump_flags (insn, JUMP_LABEL (insn));
-      else
-       flags = get_jump_flags (insn, NULL_RTX);
+
+      /* It may have been that this insn used to need delay slots, but
+        now doesn't; ignore in that case.  This can happen, for example,
+        on the HP PA RISC, where the number of delay slots depends on
+        what insns are nearby.  */
       slots_to_fill = num_delay_slots (insn);
+
+      /* Some machine description have defined instructions to have
+        delay slots only in certain circumstances which may depend on
+        nearby insns (which change due to reorg's actions).
+
+        For example, the PA port normally has delay slots for unconditional
+        jumps.
+
+        However, the PA port claims such jumps do not have a delay slot
+        if they are immediate successors of certain CALL_INSNs.  This
+        allows the port to favor filling the delay slot of the call with
+        the unconditional jump.  */
       if (slots_to_fill == 0)
-       abort ();
+       continue;
 
       /* This insn needs, or can use, some delay slots.  SLOTS_TO_FILL
         says how many.  After initialization, first try optimizing
@@ -3006,12 +2077,17 @@ fill_simple_delay_slots (first, non_jumps_p)
         insn must exist when it is subsequently scanned.
 
         This is tried on each insn with delay slots as some machines
-        have insns which perform calls, but are not represented as 
+        have insns which perform calls, but are not represented as
         CALL_INSNs.  */
 
       slots_filled = 0;
       delay_list = 0;
 
+      if (GET_CODE (insn) == JUMP_INSN)
+       flags = get_jump_flags (insn, JUMP_LABEL (insn));
+      else
+       flags = get_jump_flags (insn, NULL_RTX);
+
       if ((trial = next_active_insn (insn))
          && GET_CODE (trial) == JUMP_INSN
          && simplejump_p (trial)
@@ -3053,7 +2129,7 @@ fill_simple_delay_slots (first, non_jumps_p)
         forward in execution sequence), it must not need or set any resources
         that were set by later insns and must not set any resources that
         are needed for those insns.
-        
+
         The delay slot insn itself sets resources unless it is a call
         (in which case the called routine, not the insn itself, is doing
         the setting).  */
@@ -3062,7 +2138,7 @@ fill_simple_delay_slots (first, non_jumps_p)
        {
          CLEAR_RESOURCE (&needed);
          CLEAR_RESOURCE (&set);
-         mark_set_resources (insn, &set, 0, 0);
+         mark_set_resources (insn, &set, 0, MARK_SRC_DEST);
          mark_referenced_resources (insn, &needed, 0);
 
          for (trial = prev_nonnote_insn (insn); ! stop_search_p (trial, 1);
@@ -3077,15 +2153,14 @@ fill_simple_delay_slots (first, non_jumps_p)
              if (GET_CODE (pat) == USE || GET_CODE (pat) == CLOBBER)
                continue;
 
-             /* Check for resource conflict first, to avoid unnecessary 
+             /* Check for resource conflict first, to avoid unnecessary
                 splitting.  */
              if (! insn_references_resource_p (trial, &set, 1)
                  && ! insn_sets_resource_p (trial, &set, 1)
                  && ! insn_sets_resource_p (trial, &needed, 1)
 #ifdef HAVE_cc0
                  /* Can't separate set of cc0 from its use.  */
-                 && ! (reg_mentioned_p (cc0_rtx, pat)
-                       && ! sets_cc0_p (cc0_rtx, pat))
+                 && ! (reg_mentioned_p (cc0_rtx, pat) && ! sets_cc0_p (pat))
 #endif
                  )
                {
@@ -3099,8 +2174,8 @@ fill_simple_delay_slots (first, non_jumps_p)
                         tail, of the list.  */
 
                      update_reg_dead_notes (trial, insn);
-                     delay_list = gen_rtx (INSN_LIST, VOIDmode,
-                                           trial, delay_list);
+                     delay_list = gen_rtx_INSN_LIST (VOIDmode,
+                                                     trial, delay_list);
                      update_block (trial, trial);
                      delete_insn (trial);
                      if (slots_to_fill == ++slots_filled)
@@ -3109,7 +2184,7 @@ fill_simple_delay_slots (first, non_jumps_p)
                    }
                }
 
-             mark_set_resources (trial, &set, 0, 1);
+             mark_set_resources (trial, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (trial, &needed, 1);
            }
        }
@@ -3120,7 +2195,7 @@ fill_simple_delay_slots (first, non_jumps_p)
 #if defined(ANNUL_IFFALSE_SLOTS) || defined(ANNUL_IFTRUE_SLOTS)
       if (slots_filled != slots_to_fill
          && delay_list == 0
-         && GET_CODE (insn) == JUMP_INSN 
+         && GET_CODE (insn) == JUMP_INSN
          && (condjump_p (insn) || condjump_in_parallel_p (insn)))
        {
          delay_list = optimize_skip (insn);
@@ -3143,10 +2218,10 @@ fill_simple_delay_slots (first, non_jumps_p)
         fill_eager_delay_slots anyways, it was just deleted.  */
 
       if (slots_filled != slots_to_fill
-          && (GET_CODE (insn) != JUMP_INSN
+         && (GET_CODE (insn) != JUMP_INSN
              || ((condjump_p (insn) || condjump_in_parallel_p (insn))
-                  && ! simplejump_p (insn)
-                  && JUMP_LABEL (insn) != 0)))
+                 && ! simplejump_p (insn)
+                 && JUMP_LABEL (insn) != 0)))
        {
          rtx target = 0;
          int maybe_never = 0;
@@ -3157,13 +2232,13 @@ fill_simple_delay_slots (first, non_jumps_p)
 
          if (GET_CODE (insn) == CALL_INSN)
            {
-             mark_set_resources (insn, &set, 0, 1);
+             mark_set_resources (insn, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (insn, &needed, 1);
              maybe_never = 1;
            }
-         else 
+         else
            {
-             mark_set_resources (insn, &set, 0, 1);
+             mark_set_resources (insn, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (insn, &needed, 1);
              if (GET_CODE (insn) == JUMP_INSN)
                target = JUMP_LABEL (insn);
@@ -3203,9 +2278,11 @@ fill_simple_delay_slots (first, non_jumps_p)
                    break;
                  else if (JUMP_LABEL (trial_delay) != target)
                    {
-                     mark_target_live_regs
-                       (next_active_insn (JUMP_LABEL (trial_delay)),
-                        &needed_at_jump);
+                     rtx ninsn =
+                       next_active_insn (JUMP_LABEL (trial_delay));
+
+                     mark_target_live_regs (get_insns (), ninsn,
+                                            &needed_at_jump);
                      needed.memory |= needed_at_jump.memory;
                      needed.unch_memory |= needed_at_jump.unch_memory;
                      IOR_HARD_REG_SET (needed.regs, needed_at_jump.regs);
@@ -3240,7 +2317,7 @@ fill_simple_delay_slots (first, non_jumps_p)
                  continue;
                }
 
-             mark_set_resources (trial, &set, 0, 1);
+             mark_set_resources (trial, &set, 0, MARK_SRC_DEST_CALL);
              mark_referenced_resources (trial, &needed, 1);
 
              /* Ensure we don't put insns between the setting of cc and the
@@ -3256,7 +2333,7 @@ fill_simple_delay_slots (first, non_jumps_p)
 
          /* If there are slots left to fill and our search was stopped by an
             unconditional branch, try the insn at the branch target.  We can
-            redirect the branch if it works. 
+            redirect the branch if it works.
 
             Don't do this if the insn at the branch target is a branch.  */
          if (slots_to_fill != slots_filled
@@ -3285,7 +2362,7 @@ fill_simple_delay_slots (first, non_jumps_p)
              else
                new_label = find_end_label ();
 
-             delay_list 
+             delay_list
                = add_to_delay_list (copy_rtx (next_trial), delay_list);
              slots_filled++;
              reorg_redirect_jump (trial, new_label);
@@ -3308,12 +2385,12 @@ fill_simple_delay_slots (first, non_jumps_p)
                                    NULL, 1, 1,
                                    own_thread_p (JUMP_LABEL (insn),
                                                  JUMP_LABEL (insn), 0),
-                                   0, slots_to_fill, &slots_filled);
+                                   slots_to_fill, &slots_filled,
+                                   delay_list);
 
       if (delay_list)
        unfilled_slots_base[i]
-         = emit_delay_sequence (insn, delay_list,
-                                slots_filled, slots_to_fill);
+         = emit_delay_sequence (insn, delay_list, slots_filled);
 
       if (slots_to_fill == slots_filled)
        unfilled_slots_base[i] = 0;
@@ -3323,7 +2400,7 @@ fill_simple_delay_slots (first, non_jumps_p)
 
 #ifdef DELAY_SLOTS_FOR_EPILOGUE
   /* See if the epilogue needs any delay slots.  Try to fill them if so.
-     The only thing we can do is scan backwards from the end of the 
+     The only thing we can do is scan backwards from the end of the
      function.  If we did this in a previous pass, it is incorrect to do it
      again.  */
   if (current_function_epilogue_delay_list)
@@ -3348,7 +2425,8 @@ fill_simple_delay_slots (first, non_jumps_p)
       SET_HARD_REG_BIT (needed.regs, HARD_FRAME_POINTER_REGNUM);
 #endif
 #ifdef EXIT_IGNORE_STACK
-      if (! EXIT_IGNORE_STACK)
+      if (! EXIT_IGNORE_STACK
+         || current_function_sp_is_unchanging)
 #endif
        SET_HARD_REG_BIT (needed.regs, STACK_POINTER_REGNUM);
     }
@@ -3356,7 +2434,7 @@ fill_simple_delay_slots (first, non_jumps_p)
     SET_HARD_REG_BIT (needed.regs, STACK_POINTER_REGNUM);
 
 #ifdef EPILOGUE_USES
-  for (i = 0; i <FIRST_PSEUDO_REGISTER; i++)
+  for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
     {
       if (EPILOGUE_USES (i))
        SET_HARD_REG_BIT (needed.regs, i);
@@ -3388,9 +2466,9 @@ fill_simple_delay_slots (first, non_jumps_p)
                 insns we find on the head of the list.  */
 
              current_function_epilogue_delay_list
-               = gen_rtx (INSN_LIST, VOIDmode, trial,
-                          current_function_epilogue_delay_list);
-             mark_referenced_resources (trial, &end_of_function_needs, 1);
+               = gen_rtx_INSN_LIST (VOIDmode, trial,
+                                    current_function_epilogue_delay_list);
+             mark_end_of_function_resources (trial, 1);
              update_block (trial, trial);
              delete_insn (trial);
 
@@ -3403,7 +2481,7 @@ fill_simple_delay_slots (first, non_jumps_p)
            }
        }
 
-      mark_set_resources (trial, &set, 0, 1);
+      mark_set_resources (trial, &set, 0, MARK_SRC_DEST_CALL);
       mark_referenced_resources (trial, &needed, 1);
     }
 
@@ -3437,18 +2515,18 @@ fill_simple_delay_slots (first, non_jumps_p)
 
 static rtx
 fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
-                       thread_if_true, own_thread, own_opposite_thread,
-                       slots_to_fill, pslots_filled)
+                       thread_if_true, own_thread,
+                       slots_to_fill, pslots_filled, delay_list)
      rtx insn;
      rtx condition;
      rtx thread, opposite_thread;
      int likely;
      int thread_if_true;
-     int own_thread, own_opposite_thread;
+     int own_thread;
      int slots_to_fill, *pslots_filled;
+     rtx delay_list;
 {
   rtx new_thread;
-  rtx delay_list = 0;
   struct resources opposite_needed, set, needed;
   rtx trial;
   int lose = 0;
@@ -3465,14 +2543,14 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
   /* If our thread is the end of subroutine, we can't get any delay
      insns from that.  */
   if (thread == 0)
-    return 0;
+    return delay_list;
 
   /* If this is an unconditional branch, nothing is needed at the
      opposite thread.  Otherwise, compute what is needed there.  */
   if (condition == const_true_rtx)
     CLEAR_RESOURCE (&opposite_needed);
   else
-    mark_target_live_regs (opposite_thread, &opposite_needed);
+    mark_target_live_regs (get_insns (), opposite_thread, &opposite_needed);
 
   /* If the insn at THREAD can be split, do it here to avoid having to
      update THREAD and NEW_THREAD if it is done in the loop below.  Also
@@ -3527,7 +2605,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
          /* If TRIAL is redundant with some insn before INSN, we don't
             actually need to add it to the delay list; we can merely pretend
             we did.  */
-         if (prior_insn = redundant_insn (trial, insn, delay_list))
+         if ((prior_insn = redundant_insn (trial, insn, delay_list)))
            {
              fix_reg_dead_note (prior_insn, insn);
              if (own_thread)
@@ -3554,9 +2632,10 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
          /* There are two ways we can win:  If TRIAL doesn't set anything
             needed at the opposite thread and can't trap, or if it can
             go into an annulled delay slot.  */
-         if (condition == const_true_rtx
-             || (! insn_sets_resource_p (trial, &opposite_needed, 1)
-                 && ! may_trap_p (pat)))
+         if (!must_annul
+             && (condition == const_true_rtx
+                 || (! insn_sets_resource_p (trial, &opposite_needed, 1)
+                     && ! may_trap_p (pat))))
            {
              old_trial = trial;
              trial = try_split (pat, trial, 0);
@@ -3584,9 +2663,11 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
              if (thread == old_trial)
                thread = trial;
              pat = PATTERN (trial);
-             if ((thread_if_true
-                  ? eligible_for_annul_false (insn, *pslots_filled, trial, flags)
-                  : eligible_for_annul_true (insn, *pslots_filled, trial, flags)))
+             if ((must_annul || delay_list == NULL) && (thread_if_true
+                  ? check_annul_list_true_false (0, delay_list)
+                    && eligible_for_annul_false (insn, *pslots_filled, trial, flags)
+                  : check_annul_list_true_false (1, delay_list)
+                    && eligible_for_annul_true (insn, *pslots_filled, trial, flags)))
                {
                  rtx temp;
 
@@ -3632,8 +2713,16 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
                             && ! insn_sets_resource_p (new_thread, &needed, 1)
                             && ! insn_references_resource_p (new_thread,
                                                              &set, 1)
-                            && redundant_insn (new_thread, insn, delay_list))
-                       new_thread = next_active_insn (new_thread);
+                            && (prior_insn
+                                = redundant_insn (new_thread, insn,
+                                                  delay_list)))
+                       {
+                         /* We know we do not own the thread, so no need
+                            to call update_block and delete_insn.  */
+                         fix_reg_dead_note (prior_insn, insn);
+                         update_reg_unused_notes (prior_insn, new_thread);
+                         new_thread = next_active_insn (new_thread);
+                       }
                      break;
                    }
 
@@ -3644,7 +2733,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
 
       /* This insn can't go into a delay slot.  */
       lose = 1;
-      mark_set_resources (trial, &set, 0, 1);
+      mark_set_resources (trial, &set, 0, MARK_SRC_DEST_CALL);
       mark_referenced_resources (trial, &needed, 1);
 
       /* Ensure we don't put insns between the setting of cc and the comparison
@@ -3678,7 +2767,8 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
              && GET_CODE (PATTERN (next)) != USE
              && ! reg_set_p (SET_DEST (pat), next)
              && ! reg_set_p (SET_SRC (pat), next)
-             && reg_referenced_p (SET_DEST (pat), PATTERN (next)))
+             && reg_referenced_p (SET_DEST (pat), PATTERN (next))
+             && ! modified_in_p (SET_DEST (pat), next))
            validate_replace_rtx (SET_DEST (pat), SET_SRC (pat), next);
        }
     }
@@ -3732,7 +2822,8 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
       dest = SET_DEST (pat), src = SET_SRC (pat);
       if ((GET_CODE (src) == PLUS || GET_CODE (src) == MINUS)
          && rtx_equal_p (XEXP (src, 0), dest)
-         && ! reg_overlap_mentioned_p (dest, XEXP (src, 1)))
+         && ! reg_overlap_mentioned_p (dest, XEXP (src, 1))
+         && ! side_effects_p (pat))
        {
          rtx other = XEXP (src, 1);
          rtx new_arith;
@@ -3742,18 +2833,17 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
             the negated constant.  Otherwise, reverse the sense of the
             arithmetic.  */
          if (GET_CODE (other) == CONST_INT)
-           new_arith = gen_rtx (GET_CODE (src), GET_MODE (src), dest,
-                                negate_rtx (GET_MODE (src), other));
+           new_arith = gen_rtx_fmt_ee (GET_CODE (src), GET_MODE (src), dest,
+                                       negate_rtx (GET_MODE (src), other));
          else
-           new_arith = gen_rtx (GET_CODE (src) == PLUS ? MINUS : PLUS,
-                                GET_MODE (src), dest, other);
+           new_arith = gen_rtx_fmt_ee (GET_CODE (src) == PLUS ? MINUS : PLUS,
+                                       GET_MODE (src), dest, other);
 
-         ninsn = emit_insn_after (gen_rtx (SET, VOIDmode, dest, new_arith),
+         ninsn = emit_insn_after (gen_rtx_SET (VOIDmode, dest, new_arith),
                                   insn);
 
          if (recog_memoized (ninsn) < 0
-             || (insn_extract (ninsn),
-                 ! constrain_operands (INSN_CODE (ninsn), 1)))
+             || (extract_insn (ninsn), ! constrain_operands (1)))
            {
              delete_insn (ninsn);
              return 0;
@@ -3827,8 +2917,7 @@ fill_slots_from_thread (insn, condition, thread, opposite_thread, likely,
    if safe.  */
 
 static void
-fill_eager_delay_slots (first)
-     rtx first;
+fill_eager_delay_slots ()
 {
   register rtx insn;
   register int i;
@@ -3851,8 +2940,19 @@ fill_eager_delay_slots (first)
        continue;
 
       slots_to_fill = num_delay_slots (insn);
+      /* Some machine description have defined instructions to have
+        delay slots only in certain circumstances which may depend on
+        nearby insns (which change due to reorg's actions).
+
+        For example, the PA port normally has delay slots for unconditional
+        jumps.
+
+        However, the PA port claims such jumps do not have a delay slot
+        if they are immediate successors of certain CALL_INSNs.  This
+        allows the port to favor filling the delay slot of the call with
+        the unconditional jump.  */
       if (slots_to_fill == 0)
-       abort ();
+       continue;
 
       slots_filled = 0;
       target_label = JUMP_LABEL (insn);
@@ -3890,8 +2990,8 @@ fill_eager_delay_slots (first)
          delay_list
            = fill_slots_from_thread (insn, condition, insn_at_target,
                                      fallthrough_insn, prediction == 2, 1,
-                                     own_target, own_fallthrough,
-                                     slots_to_fill, &slots_filled);
+                                     own_target,
+                                     slots_to_fill, &slots_filled, delay_list);
 
          if (delay_list == 0 && own_fallthrough)
            {
@@ -3905,8 +3005,9 @@ fill_eager_delay_slots (first)
              delay_list
                = fill_slots_from_thread (insn, condition, fallthrough_insn,
                                          insn_at_target, 0, 0,
-                                         own_fallthrough, own_target,
-                                         slots_to_fill, &slots_filled);
+                                         own_fallthrough,
+                                         slots_to_fill, &slots_filled,
+                                         delay_list);
            }
        }
       else
@@ -3915,21 +3016,22 @@ fill_eager_delay_slots (first)
            delay_list
              = fill_slots_from_thread (insn, condition, fallthrough_insn,
                                        insn_at_target, 0, 0,
-                                       own_fallthrough, own_target,
-                                       slots_to_fill, &slots_filled);
+                                       own_fallthrough,
+                                       slots_to_fill, &slots_filled,
+                                       delay_list);
 
          if (delay_list == 0)
            delay_list
              = fill_slots_from_thread (insn, condition, insn_at_target,
                                        next_active_insn (insn), 0, 1,
-                                       own_target, own_fallthrough,
-                                       slots_to_fill, &slots_filled);
+                                       own_target,
+                                       slots_to_fill, &slots_filled,
+                                       delay_list);
        }
 
       if (delay_list)
        unfilled_slots_base[i]
-         = emit_delay_sequence (insn, delay_list,
-                                slots_filled, slots_to_fill);
+         = emit_delay_sequence (insn, delay_list, slots_filled);
 
       if (slots_to_fill == slots_filled)
        unfilled_slots_base[i] = 0;
@@ -4000,7 +3102,7 @@ relax_delay_slots (first)
              if (label)
                ++LABEL_NUSES (label);
 
-             if (invert_jump (insn, label))
+             if (invert_jump (insn, label, 1))
                {
                  delete_insn (next);
                  next = insn;
@@ -4015,7 +3117,7 @@ relax_delay_slots (first)
              continue;
            }
        }
-         
+
       /* If this is an unconditional jump and the previous insn is a
         conditional jump, try reversing the condition of the previous
         insn and swapping our targets.  The next pass might be able to
@@ -4029,23 +3131,15 @@ relax_delay_slots (first)
          && (other = prev_active_insn (insn)) != 0
          && (condjump_p (other) || condjump_in_parallel_p (other))
          && no_labels_between_p (other, insn)
-         && 0 < mostly_true_jump (other,
+         && 0 > mostly_true_jump (other,
                                   get_branch_condition (other,
                                                         JUMP_LABEL (other))))
        {
          rtx other_target = JUMP_LABEL (other);
          target_label = JUMP_LABEL (insn);
 
-         /* Increment the count of OTHER_TARGET, so it doesn't get deleted
-            as we move the label.  */
-         if (other_target)
-           ++LABEL_NUSES (other_target);
-
-         if (invert_jump (other, target_label))
+         if (invert_jump (other, target_label, 0))
            reorg_redirect_jump (insn, other_target);
-
-         if (other_target)
-           --LABEL_NUSES (other_target);
        }
 
       /* Now look only at cases where we have filled a delay slot.  */
@@ -4066,6 +3160,40 @@ relax_delay_slots (first)
          continue;
        }
 
+      /* See if we have a RETURN insn with a filled delay slot followed
+        by a RETURN insn with an unfilled a delay slot.  If so, we can delete
+        the first RETURN (but not it's delay insn).  This gives the same
+        effect in fewer instructions.
+
+        Only do so if optimizing for size since this results in slower, but
+        smaller code.  */
+      if (optimize_size
+         && GET_CODE (PATTERN (delay_insn)) == RETURN
+         && next
+         && GET_CODE (next) == JUMP_INSN
+         && GET_CODE (PATTERN (next)) == RETURN)
+       {
+         int i;
+
+         /* Delete the RETURN and just execute the delay list insns.
+
+            We do this by deleting the INSN containing the SEQUENCE, then
+            re-emitting the insns separately, and then deleting the RETURN.
+            This allows the count of the jump target to be properly
+            decremented.  */
+
+         /* Clear the from target bit, since these insns are no longer
+            in delay slots.  */
+         for (i = 0; i < XVECLEN (pat, 0); i++)
+           INSN_FROM_TARGET_P (XVECEXP (pat, 0, i)) = 0;
+
+         trial = PREV_INSN (insn);
+         delete_insn (insn);
+         emit_insn_after (pat, trial);
+         delete_scheduled_jump (delay_insn);
+         continue;
+       }
+
       /* Now look only at the cases where we have a filled JUMP_INSN.  */
       if (GET_CODE (XVECEXP (PATTERN (insn), 0, 0)) != JUMP_INSN
          || ! (condjump_p (XVECEXP (PATTERN (insn), 0, 0))
@@ -4088,7 +3216,7 @@ relax_delay_slots (first)
          if (trial == 0 && target_label != 0)
            trial = find_end_label ();
 
-         if (trial != target_label 
+         if (trial != target_label
              && redirect_with_delay_slots_safe_p (delay_insn, trial, insn))
            {
              reorg_redirect_jump (delay_insn, trial);
@@ -4110,10 +3238,10 @@ relax_delay_slots (first)
                tmp = find_end_label ();
 
              /* Insert the special USE insn and update dataflow info.  */
-              update_block (trial, tmp);
+             update_block (trial, tmp);
 
              /* Now emit a label before the special USE insn, and
-                redirect our jump to the new label.  */ 
+                redirect our jump to the new label.  */
              target_label = get_label_before (PREV_INSN (tmp));
              reorg_redirect_jump (delay_insn, target_label);
              next = insn;
@@ -4133,7 +3261,7 @@ relax_delay_slots (first)
              if (target_label == 0)
                target_label = find_end_label ();
 
-             if (redirect_with_delay_slots_safe_p (delay_insn, target_label, 
+             if (redirect_with_delay_slots_safe_p (delay_insn, target_label,
                                                    insn))
                {
                  reorg_redirect_jump (delay_insn, target_label);
@@ -4209,7 +3337,9 @@ relax_delay_slots (first)
          if (label == 0)
            label = find_end_label ();
 
-         if (redirect_with_delay_slots_safe_p (delay_insn, label, insn))
+         /* find_end_label can generate a new label. Check this first.  */
+         if (no_labels_between_p (insn, next)
+             && redirect_with_delay_slots_safe_p (delay_insn, label, insn))
            {
              /* Be careful how we do this to avoid deleting code or labels
                 that are momentarily dead.  See similar optimization in
@@ -4217,7 +3347,7 @@ relax_delay_slots (first)
              if (old_label)
                ++LABEL_NUSES (old_label);
 
-             if (invert_jump (delay_insn, label))
+             if (invert_jump (delay_insn, label, 1))
                {
                  int i;
 
@@ -4278,7 +3408,7 @@ make_return_insns (first)
        real_return_label = get_label_before (insn);
        break;
       }
-  
+
   /* Show an extra usage of REAL_RETURN_LABEL so it won't go away if it
      was equal to END_OF_FUNCTION_LABEL.  */
   LABEL_NUSES (real_return_label)++;
@@ -4336,7 +3466,8 @@ make_return_insns (first)
                   ? eligible_for_annul_true (jump_insn, i - 1,
                                              XVECEXP (pat, 0, i), flags) :
 #endif
-                  eligible_for_delay (jump_insn, i -1, XVECEXP (pat, 0, i), flags)))
+                  eligible_for_delay (jump_insn, i - 1,
+                                      XVECEXP (pat, 0, i), flags)))
              break;
        }
       else
@@ -4374,8 +3505,8 @@ make_return_insns (first)
   if (--LABEL_NUSES (real_return_label) == 0)
     delete_insn (real_return_label);
 
-  fill_simple_delay_slots (first, 1);
-  fill_simple_delay_slots (first, 0);
+  fill_simple_delay_slots (1);
+  fill_simple_delay_slots (0);
 }
 #endif
 \f
@@ -4400,7 +3531,7 @@ dbr_schedule (first, file)
   flag_no_peephole = old_flag_no_peephole;
 #endif
 
-  /* If the current function has no insns other than the prologue and 
+  /* If the current function has no insns other than the prologue and
      epilogue, then do not try to fill any delay slots.  */
   if (n_basic_blocks == 0)
     return;
@@ -4416,10 +3547,10 @@ dbr_schedule (first, file)
        epilogue_insn = insn;
     }
 
-  uid_to_ruid = (int *) alloca ((max_uid + 1) * sizeof (int *));
+  uid_to_ruid = (int *) xmalloc ((max_uid + 1) * sizeof (int));
   for (i = 0, insn = first; insn; i++, insn = NEXT_INSN (insn))
     uid_to_ruid[INSN_UID (insn)] = i;
-  
+
   /* Initialize the list of insns that need filling.  */
   if (unfilled_firstobj == 0)
     {
@@ -4439,96 +3570,27 @@ dbr_schedule (first, file)
          && (GET_CODE (PATTERN (insn)) == ADDR_VEC
              || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC))
        continue;
-    
+
       if (num_delay_slots (insn) > 0)
        obstack_ptr_grow (&unfilled_slots_obstack, insn);
 
       /* Ensure all jumps go to the last of a set of consecutive labels.  */
-      if (GET_CODE (insn) == JUMP_INSN 
+      if (GET_CODE (insn) == JUMP_INSN
          && (condjump_p (insn) || condjump_in_parallel_p (insn))
          && JUMP_LABEL (insn) != 0
          && ((target = prev_label (next_active_insn (JUMP_LABEL (insn))))
              != JUMP_LABEL (insn)))
-       redirect_jump (insn, target);
-    }
-
-  /* Indicate what resources are required to be valid at the end of the current
-     function.  The condition code never is and memory always is.  If the
-     frame pointer is needed, it is and so is the stack pointer unless
-     EXIT_IGNORE_STACK is non-zero.  If the frame pointer is not needed, the
-     stack pointer is.  Registers used to return the function value are
-     needed.  Registers holding global variables are needed.  */
-
-  end_of_function_needs.cc = 0;
-  end_of_function_needs.memory = 1;
-  end_of_function_needs.unch_memory = 0;
-  CLEAR_HARD_REG_SET (end_of_function_needs.regs);
-
-  if (frame_pointer_needed)
-    {
-      SET_HARD_REG_BIT (end_of_function_needs.regs, FRAME_POINTER_REGNUM);
-#if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
-      SET_HARD_REG_BIT (end_of_function_needs.regs, HARD_FRAME_POINTER_REGNUM);
-#endif
-#ifdef EXIT_IGNORE_STACK
-      if (! EXIT_IGNORE_STACK)
-#endif
-       SET_HARD_REG_BIT (end_of_function_needs.regs, STACK_POINTER_REGNUM);
+       redirect_jump (insn, target, 1);
     }
-  else
-    SET_HARD_REG_BIT (end_of_function_needs.regs, STACK_POINTER_REGNUM);
 
-  if (current_function_return_rtx != 0
-      && GET_CODE (current_function_return_rtx) == REG)
-    mark_referenced_resources (current_function_return_rtx,
-                              &end_of_function_needs, 1);
-
-  for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-    if (global_regs[i]
-#ifdef EPILOGUE_USES
-       || EPILOGUE_USES (i)
-#endif
-       )
-      SET_HARD_REG_BIT (end_of_function_needs.regs, i);
-
-  /* The registers required to be live at the end of the function are
-     represented in the flow information as being dead just prior to
-     reaching the end of the function.  For example, the return of a value
-     might be represented by a USE of the return register immediately
-     followed by an unconditional jump to the return label where the
-     return label is the end of the RTL chain.  The end of the RTL chain
-     is then taken to mean that the return register is live.
-
-     This sequence is no longer maintained when epilogue instructions are
-     added to the RTL chain.  To reconstruct the original meaning, the
-     start of the epilogue (NOTE_INSN_EPILOGUE_BEG) is regarded as the
-     point where these registers become live (start_of_epilogue_needs).
-     If epilogue instructions are present, the registers set by those
-     instructions won't have been processed by flow.  Thus, those
-     registers are additionally required at the end of the RTL chain
-     (end_of_function_needs).  */
-
-  start_of_epilogue_needs = end_of_function_needs;
-
-  while (epilogue_insn = next_nonnote_insn (epilogue_insn))
-    mark_set_resources (epilogue_insn, &end_of_function_needs, 0, 1);
+  init_resource_info (epilogue_insn);
 
   /* Show we haven't computed an end-of-function label yet.  */
   end_of_function_label = 0;
 
-  /* Allocate and initialize the tables used by mark_target_live_regs.  */
-  target_hash_table
-    = (struct target_info **) alloca ((TARGET_HASH_PRIME
-                                      * sizeof (struct target_info *)));
-  bzero ((char *) target_hash_table,
-        TARGET_HASH_PRIME * sizeof (struct target_info *));
-
-  bb_ticks = (int *) alloca (n_basic_blocks * sizeof (int));
-  bzero ((char *) bb_ticks, n_basic_blocks * sizeof (int));
-
   /* Initialize the statistics for this function.  */
-  bzero ((char *) num_insns_needing_delays, sizeof num_insns_needing_delays);
-  bzero ((char *) num_filled_delays, sizeof num_filled_delays);
+  memset ((char *) num_insns_needing_delays, 0, sizeof num_insns_needing_delays);
+  memset ((char *) num_filled_delays, 0, sizeof num_filled_delays);
 
   /* Now do the delay slot filling.  Try everything twice in case earlier
      changes make more slots fillable.  */
@@ -4537,9 +3599,9 @@ dbr_schedule (first, file)
        reorg_pass_number < MAX_REORG_PASSES;
        reorg_pass_number++)
     {
-      fill_simple_delay_slots (first, 1);
-      fill_simple_delay_slots (first, 0);
-      fill_eager_delay_slots (first);
+      fill_simple_delay_slots (1);
+      fill_simple_delay_slots (0);
+      fill_eager_delay_slots ();
       relax_delay_slots (first);
     }
 
@@ -4550,7 +3612,7 @@ dbr_schedule (first, file)
       next = NEXT_INSN (insn);
 
       if (GET_CODE (insn) == INSN && GET_CODE (PATTERN (insn)) == USE
-         && GET_RTX_CLASS (GET_CODE (XEXP (PATTERN (insn), 0))) == 'i')
+         && INSN_P (XEXP (PATTERN (insn), 0)))
        next = delete_insn (insn);
     }
 
@@ -4577,6 +3639,8 @@ dbr_schedule (first, file)
   if (file)
     {
       register int i, j, need_comma;
+      int total_delay_slots[MAX_DELAY_HISTOGRAM + 1];
+      int total_annul_slots[MAX_DELAY_HISTOGRAM + 1];
 
       for (reorg_pass_number = 0;
           reorg_pass_number < MAX_REORG_PASSES;
@@ -4591,7 +3655,7 @@ dbr_schedule (first, file)
              fprintf (file, ";; %d insns needing delay slots\n;; ",
                       num_insns_needing_delays[i][reorg_pass_number]);
 
-             for (j = 0; j < MAX_DELAY_HISTOGRAM; j++)
+             for (j = 0; j < MAX_DELAY_HISTOGRAM + 1; j++)
                if (num_filled_delays[i][j][reorg_pass_number])
                  {
                    if (need_comma)
@@ -4603,6 +3667,85 @@ dbr_schedule (first, file)
              fprintf (file, "\n");
            }
        }
+      memset ((char *) total_delay_slots, 0, sizeof total_delay_slots);
+      memset ((char *) total_annul_slots, 0, sizeof total_annul_slots);
+      for (insn = first; insn; insn = NEXT_INSN (insn))
+       {
+         if (! INSN_DELETED_P (insn)
+             && GET_CODE (insn) == INSN
+             && GET_CODE (PATTERN (insn)) != USE
+             && GET_CODE (PATTERN (insn)) != CLOBBER)
+           {
+             if (GET_CODE (PATTERN (insn)) == SEQUENCE)
+               {
+                 j = XVECLEN (PATTERN (insn), 0) - 1;
+                 if (j > MAX_DELAY_HISTOGRAM)
+                   j = MAX_DELAY_HISTOGRAM;
+                 if (INSN_ANNULLED_BRANCH_P (XVECEXP (PATTERN (insn), 0, 0)))
+                   total_annul_slots[j]++;
+                 else
+                   total_delay_slots[j]++;
+               }
+             else if (num_delay_slots (insn) > 0)
+               total_delay_slots[0]++;
+           }
+       }
+      fprintf (file, ";; Reorg totals: ");
+      need_comma = 0;
+      for (j = 0; j < MAX_DELAY_HISTOGRAM + 1; j++)
+       {
+         if (total_delay_slots[j])
+           {
+             if (need_comma)
+               fprintf (file, ", ");
+             need_comma = 1;
+             fprintf (file, "%d got %d delays", total_delay_slots[j], j);
+           }
+       }
+      fprintf (file, "\n");
+#if defined (ANNUL_IFTRUE_SLOTS) || defined (ANNUL_IFFALSE_SLOTS)
+      fprintf (file, ";; Reorg annuls: ");
+      need_comma = 0;
+      for (j = 0; j < MAX_DELAY_HISTOGRAM + 1; j++)
+       {
+         if (total_annul_slots[j])
+           {
+             if (need_comma)
+               fprintf (file, ", ");
+             need_comma = 1;
+             fprintf (file, "%d got %d delays", total_annul_slots[j], j);
+           }
+       }
+      fprintf (file, "\n");
+#endif
+      fprintf (file, "\n");
+    }
+
+  /* For all JUMP insns, fill in branch prediction notes, so that during
+     assembler output a target can set branch prediction bits in the code.
+     We have to do this now, as up until this point the destinations of
+     JUMPS can be moved around and changed, but past right here that cannot
+     happen.  */
+  for (insn = first; insn; insn = NEXT_INSN (insn))
+    {
+      int pred_flags;
+
+      if (GET_CODE (insn) == INSN)
+       {
+         rtx pat = PATTERN (insn);
+
+         if (GET_CODE (pat) == SEQUENCE)
+           insn = XVECEXP (pat, 0, 0);
+       }
+      if (GET_CODE (insn) != JUMP_INSN)
+       continue;
+
+      pred_flags = get_jump_flags (insn, JUMP_LABEL (insn));
+      REG_NOTES (insn) = gen_rtx_EXPR_LIST (REG_BR_PRED,
+                                           GEN_INT (pred_flags),
+                                           REG_NOTES (insn));
     }
+  free_resource_info ();
+  free (uid_to_ruid);
 }
 #endif /* DELAY_SLOTS */