OSDN Git Service

(TARGET_CPU_CPP_BUILTINS): Add builtin assert of cpu=xstormy16.
[pf3gnuchains/gcc-fork.git] / gcc / expmed.c
index 75427e1..b2e6235 100644 (file)
@@ -298,7 +298,7 @@ mode_for_extraction (enum extraction_pattern pattern, int opno)
       return MAX_MACHINE_MODE;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   if (opno == -1)
@@ -338,6 +338,7 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
   unsigned HOST_WIDE_INT bitpos = bitnum % unit;
   rtx op0 = str_rtx;
   int byte_offset;
+  rtx orig_value;
 
   enum machine_mode op_mode = mode_for_extraction (EP_insv, 3);
 
@@ -386,10 +387,9 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
 
       /* We could handle this, but we should always be called with a pseudo
         for our targets and all insns should take them as outputs.  */
-      if (! (*insn_data[icode].operand[0].predicate) (dest, mode0)
-         || ! (*insn_data[icode].operand[1].predicate) (src, mode1)
-         || ! (*insn_data[icode].operand[2].predicate) (rtxpos, mode2))
-       abort ();
+      gcc_assert ((*insn_data[icode].operand[0].predicate) (dest, mode0)
+                 && (*insn_data[icode].operand[1].predicate) (src, mode1)
+                 && (*insn_data[icode].operand[2].predicate) (rtxpos, mode2));
       pat = GEN_FCN (icode) (dest, src, rtxpos);
       seq = get_insns ();
       end_sequence ();
@@ -433,15 +433,14 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
        {
          if (GET_CODE (op0) == SUBREG)
            {
-             if (GET_MODE (SUBREG_REG (op0)) == fieldmode
-                 || GET_MODE_CLASS (fieldmode) == MODE_INT
-                 || GET_MODE_CLASS (fieldmode) == MODE_PARTIAL_INT)
-               op0 = SUBREG_REG (op0);
-             else
-               /* Else we've got some float mode source being extracted into
-                  a different float mode destination -- this combination of
-                  subregs results in Severe Tire Damage.  */
-               abort ();
+             /* Else we've got some float mode source being extracted
+                into a different float mode destination -- this
+                combination of subregs results in Severe Tire
+                Damage.  */
+             gcc_assert (GET_MODE (SUBREG_REG (op0)) == fieldmode
+                         || GET_MODE_CLASS (fieldmode) == MODE_INT
+                         || GET_MODE_CLASS (fieldmode) == MODE_PARTIAL_INT);
+             op0 = SUBREG_REG (op0);
            }
          if (REG_P (op0))
            op0 = gen_rtx_SUBREG (fieldmode, op0, byte_offset);
@@ -462,10 +461,11 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
       {
        if (MEM_P (op0))
          op0 = adjust_address (op0, imode, 0);
-       else if (imode != BLKmode)
-         op0 = gen_lowpart (imode, op0);
        else
-         abort ();
+         {
+           gcc_assert (imode != BLKmode);
+           op0 = gen_lowpart (imode, op0);
+         }
       }
   }
 
@@ -510,15 +510,13 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
 
       if (GET_CODE (op0) == SUBREG)
        {
-         if (GET_MODE (SUBREG_REG (op0)) == fieldmode
-             || GET_MODE_CLASS (fieldmode) == MODE_INT
-             || GET_MODE_CLASS (fieldmode) == MODE_PARTIAL_INT)
-           op0 = SUBREG_REG (op0);
-         else
-           /* Else we've got some float mode source being extracted into
-              a different float mode destination -- this combination of
-              subregs results in Severe Tire Damage.  */
-           abort ();
+         /* Else we've got some float mode source being extracted into
+            a different float mode destination -- this combination of
+            subregs results in Severe Tire Damage.  */
+         gcc_assert (GET_MODE (SUBREG_REG (op0)) == fieldmode
+                     || GET_MODE_CLASS (fieldmode) == MODE_INT
+                     || GET_MODE_CLASS (fieldmode) == MODE_PARTIAL_INT);
+         op0 = SUBREG_REG (op0);
        }
 
       emit_insn (GEN_FCN (icode)
@@ -589,12 +587,10 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
                 pseudo.  We can trivially remove a SUBREG that does not
                 change the size of the operand.  Such a SUBREG may have been
                 added above.  Otherwise, abort.  */
-             if (GET_CODE (op0) == SUBREG
-                 && (GET_MODE_SIZE (GET_MODE (op0))
-                     == GET_MODE_SIZE (GET_MODE (SUBREG_REG (op0)))))
-               op0 = SUBREG_REG (op0);
-             else
-               abort ();
+             gcc_assert (GET_CODE (op0) == SUBREG
+                         && (GET_MODE_SIZE (GET_MODE (op0))
+                             == GET_MODE_SIZE (GET_MODE (SUBREG_REG (op0)))));
+             op0 = SUBREG_REG (op0);
            }
          op0 = gen_rtx_SUBREG (mode_for_size (BITS_PER_WORD, MODE_INT, 0),
                                op0, (offset * UNITS_PER_WORD));
@@ -606,6 +602,7 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
      corresponding size.  This can occur on a machine with 64 bit registers
      that uses SFmode for float.  This can also occur for unaligned float
      structure fields.  */
+  orig_value = value;
   if (GET_MODE_CLASS (GET_MODE (value)) != MODE_INT
       && GET_MODE_CLASS (GET_MODE (value)) != MODE_PARTIAL_INT)
     value = gen_lowpart ((GET_MODE (value) == VOIDmode
@@ -672,7 +669,7 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
          /* Fetch that unit, store the bitfield in it, then store
             the unit.  */
          tempreg = copy_to_reg (op0);
-         store_bit_field (tempreg, bitsize, bitpos, fieldmode, value);
+         store_bit_field (tempreg, bitsize, bitpos, fieldmode, orig_value);
          emit_move_insn (op0, tempreg);
          return value;
        }
@@ -731,12 +728,12 @@ store_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
            }
          else if (GET_CODE (value) == CONST_INT)
            value1 = gen_int_mode (INTVAL (value), maxmode);
-         else if (!CONSTANT_P (value))
+         else
            /* Parse phase is supposed to make VALUE's data type
               match that of the component reference, which is a type
               at least as wide as the field; so VALUE should have
               a mode that corresponds to that type.  */
-           abort ();
+           gcc_assert (CONSTANT_P (value));
        }
 
       /* If this machine's insv insists on a register,
@@ -790,8 +787,7 @@ store_fixed_bit_field (rtx op0, unsigned HOST_WIDE_INT offset,
 
   if (REG_P (op0) || GET_CODE (op0) == SUBREG)
     {
-      if (offset != 0)
-       abort ();
+      gcc_assert (!offset);
       /* Special treatment for a bit field split across two registers.  */
       if (bitsize + bitpos > BITS_PER_WORD)
        {
@@ -899,8 +895,7 @@ store_fixed_bit_field (rtx op0, unsigned HOST_WIDE_INT offset,
                              NULL_RTX, 1, OPTAB_LIB_WIDEN);
       if (bitpos > 0)
        value = expand_shift (LSHIFT_EXPR, mode, value,
-                             build_int_cst (NULL_TREE,
-                                            bitpos, 0), NULL_RTX, 1);
+                             build_int_cst (NULL_TREE, bitpos), NULL_RTX, 1);
     }
 
   /* Now clear the chosen bits in OP0,
@@ -1147,10 +1142,9 @@ extract_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
 
       /* We could handle this, but we should always be called with a pseudo
         for our targets and all insns should take them as outputs.  */
-      if (! (*insn_data[icode].operand[0].predicate) (dest, mode0)
-         || ! (*insn_data[icode].operand[1].predicate) (src, mode1)
-         || ! (*insn_data[icode].operand[2].predicate) (rtxpos, mode2))
-       abort ();
+      gcc_assert ((*insn_data[icode].operand[0].predicate) (dest, mode0)
+                 && (*insn_data[icode].operand[1].predicate) (src, mode1)
+                 && (*insn_data[icode].operand[2].predicate) (rtxpos, mode2));
 
       pat = GEN_FCN (icode) (dest, src, rtxpos);
       seq = get_insns ();
@@ -1171,10 +1165,11 @@ extract_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
       {
        if (MEM_P (op0))
          op0 = adjust_address (op0, imode, 0);
-       else if (imode != BLKmode)
-         op0 = gen_lowpart (imode, op0);
        else
-         abort ();
+         {
+           gcc_assert (imode != BLKmode);
+           op0 = gen_lowpart (imode, op0);
+         }
       }
   }
 
@@ -1300,8 +1295,7 @@ extract_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
                                 bitnum + bit_offset, 1, target_part, mode,
                                 word_mode);
 
-         if (target_part == 0)
-           abort ();
+         gcc_assert (target_part);
 
          if (result_part != target_part)
            emit_move_insn (target_part, result_part);
@@ -1329,13 +1323,11 @@ extract_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
       /* Signed bit field: sign-extend with two arithmetic shifts.  */
       target = expand_shift (LSHIFT_EXPR, mode, target,
                             build_int_cst (NULL_TREE,
-                                           GET_MODE_BITSIZE (mode) - bitsize,
-                                           0),
+                                           GET_MODE_BITSIZE (mode) - bitsize),
                             NULL_RTX, 0);
       return expand_shift (RSHIFT_EXPR, mode, target,
                           build_int_cst (NULL_TREE,
-                                         GET_MODE_BITSIZE (mode) - bitsize,
-                                         0),
+                                         GET_MODE_BITSIZE (mode) - bitsize),
                           NULL_RTX, 0);
     }
 
@@ -1349,13 +1341,11 @@ extract_bit_field (rtx str_rtx, unsigned HOST_WIDE_INT bitsize,
   int_mode = int_mode_for_mode (tmode);
   if (int_mode == BLKmode)
     int_mode = int_mode_for_mode (mode);
-  if (int_mode == BLKmode)
-    abort ();    /* Should probably push op0 out to memory and then
-                   do a load.  */
+  /* Should probably push op0 out to memory and then do a load.  */
+  gcc_assert (int_mode != BLKmode);
 
   /* OFFSET is the number of words or bytes (UNIT says which)
      from STR_RTX to the first word or byte containing part of the field.  */
-
   if (!MEM_P (op0))
     {
       if (offset != 0
@@ -1740,7 +1730,7 @@ extract_fixed_bit_field (enum machine_mode tmode, rtx op0,
        {
          /* If the field does not already start at the lsb,
             shift it so it does.  */
-         tree amount = build_int_cst (NULL_TREE, bitpos, 0);
+         tree amount = build_int_cst (NULL_TREE, bitpos);
          /* Maybe propagate the target for the shift.  */
          /* But not if we will return it--could confuse integrate.c.  */
          rtx subtarget = (target != 0 && REG_P (target) ? target : 0);
@@ -1781,7 +1771,7 @@ extract_fixed_bit_field (enum machine_mode tmode, rtx op0,
     {
       tree amount
        = build_int_cst (NULL_TREE,
-                        GET_MODE_BITSIZE (mode) - (bitsize + bitpos), 0);
+                        GET_MODE_BITSIZE (mode) - (bitsize + bitpos));
       /* Maybe propagate the target for the shift.  */
       rtx subtarget = (target != 0 && REG_P (target) ? target : 0);
       op0 = expand_shift (LSHIFT_EXPR, mode, op0, amount, subtarget, 1);
@@ -1789,7 +1779,7 @@ extract_fixed_bit_field (enum machine_mode tmode, rtx op0,
 
   return expand_shift (RSHIFT_EXPR, mode, op0,
                       build_int_cst (NULL_TREE,
-                                     GET_MODE_BITSIZE (mode) - bitsize, 0),
+                                     GET_MODE_BITSIZE (mode) - bitsize),
                       target, 0);
 }
 \f
@@ -1863,6 +1853,152 @@ lshift_value (enum machine_mode mode, rtx value, int bitpos, int bitsize)
   return immed_double_const (low, high, mode);
 }
 \f
+/* Extract a bit field from a memory by forcing the alignment of the
+   memory.  This efficient only if the field spans at least 4 boundaries.
+
+   OP0 is the MEM.
+   BITSIZE is the field width; BITPOS is the position of the first bit.
+   UNSIGNEDP is true if the result should be zero-extended.  */
+
+static rtx
+extract_force_align_mem_bit_field (rtx op0, unsigned HOST_WIDE_INT bitsize,
+                                  unsigned HOST_WIDE_INT bitpos,
+                                  int unsignedp)
+{
+  enum machine_mode mode, dmode;
+  unsigned int m_bitsize, m_size;
+  unsigned int sign_shift_up, sign_shift_dn;
+  rtx base, a1, a2, v1, v2, comb, shift, result, start;
+
+  /* Choose a mode that will fit BITSIZE.  */
+  mode = smallest_mode_for_size (bitsize, MODE_INT);
+  m_size = GET_MODE_SIZE (mode);
+  m_bitsize = GET_MODE_BITSIZE (mode);
+
+  /* Choose a mode twice as wide.  Fail if no such mode exists.  */
+  dmode = mode_for_size (m_bitsize * 2, MODE_INT, false);
+  if (dmode == BLKmode)
+    return NULL;
+
+  do_pending_stack_adjust ();
+  start = get_last_insn ();
+
+  /* At the end, we'll need an additional shift to deal with sign/zero
+     extension.  By default this will be a left+right shift of the
+     appropriate size.  But we may be able to eliminate one of them.  */
+  sign_shift_up = sign_shift_dn = m_bitsize - bitsize;
+
+  if (STRICT_ALIGNMENT)
+    {
+      base = plus_constant (XEXP (op0, 0), bitpos / BITS_PER_UNIT);
+      bitpos %= BITS_PER_UNIT;
+
+      /* We load two values to be concatenate.  There's an edge condition
+        that bears notice -- an aligned value at the end of a page can
+        only load one value lest we segfault.  So the two values we load
+        are at "base & -size" and "(base + size - 1) & -size".  If base
+        is unaligned, the addresses will be aligned and sequential; if
+        base is aligned, the addresses will both be equal to base.  */
+
+      a1 = expand_simple_binop (Pmode, AND, force_operand (base, NULL),
+                               GEN_INT (-(HOST_WIDE_INT)m_size),
+                               NULL, true, OPTAB_LIB_WIDEN);
+      mark_reg_pointer (a1, m_bitsize);
+      v1 = gen_rtx_MEM (mode, a1);
+      set_mem_align (v1, m_bitsize);
+      v1 = force_reg (mode, validize_mem (v1));
+
+      a2 = plus_constant (base, GET_MODE_SIZE (mode) - 1);
+      a2 = expand_simple_binop (Pmode, AND, force_operand (a2, NULL),
+                               GEN_INT (-(HOST_WIDE_INT)m_size),
+                               NULL, true, OPTAB_LIB_WIDEN);
+      v2 = gen_rtx_MEM (mode, a2);
+      set_mem_align (v2, m_bitsize);
+      v2 = force_reg (mode, validize_mem (v2));
+
+      /* Combine these two values into a double-word value.  */
+      if (m_bitsize == BITS_PER_WORD)
+       {
+         comb = gen_reg_rtx (dmode);
+         emit_insn (gen_rtx_CLOBBER (VOIDmode, comb));
+         emit_move_insn (gen_rtx_SUBREG (mode, comb, 0), v1);
+         emit_move_insn (gen_rtx_SUBREG (mode, comb, m_size), v2);
+       }
+      else
+       {
+         if (BYTES_BIG_ENDIAN)
+           comb = v1, v1 = v2, v2 = comb;
+         v1 = convert_modes (dmode, mode, v1, true);
+         if (v1 == NULL)
+           goto fail;
+         v2 = convert_modes (dmode, mode, v2, true);
+         v2 = expand_simple_binop (dmode, ASHIFT, v2, GEN_INT (m_bitsize),
+                                   NULL, true, OPTAB_LIB_WIDEN);
+         if (v2 == NULL)
+           goto fail;
+         comb = expand_simple_binop (dmode, IOR, v1, v2, NULL,
+                                     true, OPTAB_LIB_WIDEN);
+         if (comb == NULL)
+           goto fail;
+       }
+
+      shift = expand_simple_binop (Pmode, AND, base, GEN_INT (m_size - 1),
+                                  NULL, true, OPTAB_LIB_WIDEN);
+      shift = expand_mult (Pmode, shift, GEN_INT (BITS_PER_UNIT), NULL, 1);
+
+      if (bitpos != 0)
+       {
+         if (sign_shift_up <= bitpos)
+           bitpos -= sign_shift_up, sign_shift_up = 0;
+         shift = expand_simple_binop (Pmode, PLUS, shift, GEN_INT (bitpos),
+                                      NULL, true, OPTAB_LIB_WIDEN);
+       }
+    }
+  else
+    {
+      unsigned HOST_WIDE_INT offset = bitpos / BITS_PER_UNIT;
+      bitpos %= BITS_PER_UNIT;
+
+      /* When strict alignment is not required, we can just load directly
+        from memory without masking.  If the remaining BITPOS offset is
+        small enough, we may be able to do all operations in MODE as 
+        opposed to DMODE.  */
+      if (bitpos + bitsize <= m_bitsize)
+       dmode = mode;
+      comb = adjust_address (op0, dmode, offset);
+
+      if (sign_shift_up <= bitpos)
+       bitpos -= sign_shift_up, sign_shift_up = 0;
+      shift = GEN_INT (bitpos);
+    }
+
+  /* Shift down the double-word such that the requested value is at bit 0.  */
+  if (shift != const0_rtx)
+    comb = expand_simple_binop (dmode, unsignedp ? LSHIFTRT : ASHIFTRT,
+                               comb, shift, NULL, unsignedp, OPTAB_LIB_WIDEN);
+  if (comb == NULL)
+    goto fail;
+
+  /* If the field exactly matches MODE, then all we need to do is return the
+     lowpart.  Otherwise, shift to get the sign bits set properly.  */
+  result = force_reg (mode, gen_lowpart (mode, comb));
+
+  if (sign_shift_up)
+    result = expand_simple_binop (mode, ASHIFT, result,
+                                 GEN_INT (sign_shift_up),
+                                 NULL_RTX, 0, OPTAB_LIB_WIDEN);
+  if (sign_shift_dn)
+    result = expand_simple_binop (mode, unsignedp ? LSHIFTRT : ASHIFTRT,
+                                 result, GEN_INT (sign_shift_dn),
+                                 NULL_RTX, 0, OPTAB_LIB_WIDEN);
+
+  return result;
+
+ fail:
+  delete_insns_since (start);
+  return NULL;
+}
+
 /* Extract a bit field that is split across two words
    and return an RTX for the result.
 
@@ -1884,7 +2020,16 @@ extract_split_bit_field (rtx op0, unsigned HOST_WIDE_INT bitsize,
   if (REG_P (op0) || GET_CODE (op0) == SUBREG)
     unit = BITS_PER_WORD;
   else
-    unit = MIN (MEM_ALIGN (op0), BITS_PER_WORD);
+    {
+      unit = MIN (MEM_ALIGN (op0), BITS_PER_WORD);
+      if (0 && bitsize / unit > 2)
+       {
+         rtx tmp = extract_force_align_mem_bit_field (op0, bitsize, bitpos,
+                                                      unsignedp);
+         if (tmp)
+           return tmp;
+       }
+    }
 
   while (bitsdone < bitsize)
     {
@@ -1937,15 +2082,15 @@ extract_split_bit_field (rtx op0, unsigned HOST_WIDE_INT bitsize,
        {
          if (bitsize != bitsdone)
            part = expand_shift (LSHIFT_EXPR, word_mode, part,
-                                build_int_cst (NULL_TREE,
-                                               bitsize - bitsdone, 0), 0, 1);
+                                build_int_cst (NULL_TREE, bitsize - bitsdone),
+                                0, 1);
        }
       else
        {
          if (bitsdone != thissize)
            part = expand_shift (LSHIFT_EXPR, word_mode, part,
                                 build_int_cst (NULL_TREE,
-                                               bitsdone - thissize, 0), 0, 1);
+                                               bitsdone - thissize), 0, 1);
        }
 
       if (first)
@@ -1964,12 +2109,11 @@ extract_split_bit_field (rtx op0, unsigned HOST_WIDE_INT bitsize,
     return result;
   /* Signed bit field: sign-extend with two arithmetic shifts.  */
   result = expand_shift (LSHIFT_EXPR, word_mode, result,
-                        build_int_cst (NULL_TREE,
-                                       BITS_PER_WORD - bitsize, 0),
+                        build_int_cst (NULL_TREE, BITS_PER_WORD - bitsize),
                         NULL_RTX, 0);
   return expand_shift (RSHIFT_EXPR, word_mode, result,
-                      build_int_cst (NULL_TREE,
-                                     BITS_PER_WORD - bitsize, 0), NULL_RTX, 0);
+                      build_int_cst (NULL_TREE, BITS_PER_WORD - bitsize),
+                      NULL_RTX, 0);
 }
 \f
 /* Add INC into TARGET.  */
@@ -2088,7 +2232,7 @@ expand_shift (enum tree_code code, enum machine_mode mode, rtx shifted,
              tree other_amount
                = fold (build2 (MINUS_EXPR, type, convert
                                (type, build_int_cst
-                                (NULL_TREE, GET_MODE_BITSIZE (mode), 0)),
+                                (NULL_TREE, GET_MODE_BITSIZE (mode))),
                                amount));
 
              shifted = force_reg (mode, shifted);
@@ -2149,16 +2293,44 @@ expand_shift (enum tree_code code, enum machine_mode mode, rtx shifted,
         define_expand for lshrsi3 was added to vax.md.  */
     }
 
-  if (temp == 0)
-    abort ();
+  gcc_assert (temp);
   return temp;
 }
 \f
 enum alg_code { alg_zero, alg_m, alg_shift,
                  alg_add_t_m2, alg_sub_t_m2,
                  alg_add_factor, alg_sub_factor,
-                 alg_add_t2_m, alg_sub_t2_m,
-                 alg_add, alg_subtract, alg_factor, alg_shiftop };
+                 alg_add_t2_m, alg_sub_t2_m };
+
+/* This structure holds the "cost" of a multiply sequence.  The
+   "cost" field holds the total rtx_cost of every operator in the
+   synthetic multiplication sequence, hence cost(a op b) is defined
+   as rtx_cost(op) + cost(a) + cost(b), where cost(leaf) is zero.
+   The "latency" field holds the minimum possible latency of the
+   synthetic multiply, on a hypothetical infinitely parallel CPU.
+   This is the critical path, or the maximum height, of the expression
+   tree which is the sum of rtx_costs on the most expensive path from
+   any leaf to the root.  Hence latency(a op b) is defined as zero for
+   leaves and rtx_cost(op) + max(latency(a), latency(b)) otherwise.  */
+
+struct mult_cost {
+  short cost;     /* Total rtx_cost of the multiplication sequence.  */
+  short latency;  /* The latency of the multiplication sequence.  */
+};
+
+/* This macro is used to compare a pointer to a mult_cost against an
+   single integer "rtx_cost" value.  This is equivalent to the macro
+   CHEAPER_MULT_COST(X,Z) where Z = {Y,Y}.  */
+#define MULT_COST_LESS(X,Y) ((X)->cost < (Y)   \
+                            || ((X)->cost == (Y) && (X)->latency < (Y)))
+
+/* This macro is used to compare two pointers to mult_costs against
+   each other.  The macro returns true if X is cheaper than Y.
+   Currently, the cheaper of two mult_costs is the one with the
+   lower "cost".  If "cost"s are tied, the lower latency is cheaper.  */
+#define CHEAPER_MULT_COST(X,Y)  ((X)->cost < (Y)->cost         \
+                                || ((X)->cost == (Y)->cost     \
+                                    && (X)->latency < (Y)->latency))
 
 /* This structure records a sequence of operations.
    `ops' is the number of operations recorded.
@@ -2181,7 +2353,7 @@ enum alg_code { alg_zero, alg_m, alg_shift,
 
 struct algorithm
 {
-  short cost;
+  struct mult_cost cost;
   short ops;
   /* The size of the OP and LOG fields are not directly related to the
      word size, but the worst-case algorithms will be if we have few
@@ -2199,7 +2371,7 @@ struct algorithm
 enum mult_variant {basic_variant, negate_variant, add_variant};
 
 static void synth_mult (struct algorithm *, unsigned HOST_WIDE_INT,
-                       int, enum machine_mode mode);
+                       const struct mult_cost *, enum machine_mode mode);
 static bool choose_mult_variant (enum machine_mode, HOST_WIDE_INT,
                                 struct algorithm *, enum mult_variant *, int);
 static rtx expand_mult_const (enum machine_mode, rtx, HOST_WIDE_INT, rtx,
@@ -2219,19 +2391,23 @@ static rtx expand_mult_highpart_optab (enum machine_mode, rtx, rtx, rtx,
 
 static void
 synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
-           int cost_limit, enum machine_mode mode)
+           const struct mult_cost *cost_limit, enum machine_mode mode)
 {
   int m;
   struct algorithm *alg_in, *best_alg;
-  int cost;
+  struct mult_cost best_cost;
+  struct mult_cost new_limit;
+  int op_cost, op_latency;
   unsigned HOST_WIDE_INT q;
   int maxm = MIN (BITS_PER_WORD, GET_MODE_BITSIZE (mode));
 
   /* Indicate that no algorithm is yet found.  If no algorithm
      is found, this value will be returned and indicate failure.  */
-  alg_out->cost = cost_limit;
+  alg_out->cost.cost = cost_limit->cost + 1;
+  alg_out->cost.latency = cost_limit->latency + 1;
 
-  if (cost_limit <= 0)
+  if (cost_limit->cost < 0
+      || (cost_limit->cost == 0 && cost_limit->latency <= 0))
     return;
 
   /* Restrict the bits of "t" to the multiplication's mode.  */
@@ -2241,7 +2417,8 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
   if (t == 1)
     {
       alg_out->ops = 1;
-      alg_out->cost = 0;
+      alg_out->cost.cost = 0;
+      alg_out->cost.latency = 0;
       alg_out->op[0] = alg_m;
       return;
     }
@@ -2250,12 +2427,13 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
      fail now.  */
   if (t == 0)
     {
-      if (zero_cost >= cost_limit)
+      if (MULT_COST_LESS (cost_limit, zero_cost))
        return;
       else
        {
          alg_out->ops = 1;
-         alg_out->cost = zero_cost;
+         alg_out->cost.cost = zero_cost;
+         alg_out->cost.latency = zero_cost;
          alg_out->op[0] = alg_zero;
          return;
        }
@@ -2265,6 +2443,7 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
 
   alg_in = alloca (sizeof (struct algorithm));
   best_alg = alloca (sizeof (struct algorithm));
+  best_cost = *cost_limit;
 
   /* If we have a group of zero bits at the low-order part of T, try
      multiplying by the remaining bits and then doing a shift.  */
@@ -2278,19 +2457,22 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
          /* The function expand_shift will choose between a shift and
             a sequence of additions, so the observed cost is given as
             MIN (m * add_cost[mode], shift_cost[mode][m]).  */
-         cost = m * add_cost[mode];
-         if (shift_cost[mode][m] < cost)
-           cost = shift_cost[mode][m];
-         synth_mult (alg_in, q, cost_limit - cost, mode);
-
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         op_cost = m * add_cost[mode];
+         if (shift_cost[mode][m] < op_cost)
+           op_cost = shift_cost[mode][m];
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_cost;
+         synth_mult (alg_in, q, &new_limit, mode);
+
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = m;
              best_alg->op[best_alg->ops] = alg_shift;
-             cost_limit = cost;
            }
        }
     }
@@ -2315,34 +2497,40 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
        {
          /* T ends with ...111.  Multiply by (T + 1) and subtract 1.  */
 
-         cost = add_cost[mode];
-         synth_mult (alg_in, t + 1, cost_limit - cost, mode);
+         op_cost = add_cost[mode];
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_cost;
+         synth_mult (alg_in, t + 1, &new_limit, mode);
 
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = 0;
              best_alg->op[best_alg->ops] = alg_sub_t_m2;
-             cost_limit = cost;
            }
        }
       else
        {
          /* T ends with ...01 or ...011.  Multiply by (T - 1) and add 1.  */
 
-         cost = add_cost[mode];
-         synth_mult (alg_in, t - 1, cost_limit - cost, mode);
+         op_cost = add_cost[mode];
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_cost;
+         synth_mult (alg_in, t - 1, &new_limit, mode);
 
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = 0;
              best_alg->op[best_alg->ops] = alg_add_t_m2;
-             cost_limit = cost;
            }
        }
     }
@@ -2364,19 +2552,36 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
       d = ((unsigned HOST_WIDE_INT) 1 << m) + 1;
       if (t % d == 0 && t > d && m < maxm)
        {
-         cost = add_cost[mode] + shift_cost[mode][m];
-         if (shiftadd_cost[mode][m] < cost)
-           cost = shiftadd_cost[mode][m];
-         synth_mult (alg_in, t / d, cost_limit - cost, mode);
+         /* If the target has a cheap shift-and-add instruction use
+            that in preference to a shift insn followed by an add insn.
+            Assume that the shift-and-add is "atomic" with a latency
+            equal to it's cost, otherwise assume that on superscalar
+            hardware the shift may be executed concurrently with the
+            earlier steps in the algorithm.  */
+         op_cost = add_cost[mode] + shift_cost[mode][m];
+         if (shiftadd_cost[mode][m] < op_cost)
+           {
+             op_cost = shiftadd_cost[mode][m];
+             op_latency = op_cost;
+           }
+         else
+           op_latency = add_cost[mode];
+
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_latency;
+         synth_mult (alg_in, t / d, &new_limit, mode);
 
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_latency;
+         if (alg_in->cost.latency < op_cost)
+           alg_in->cost.latency = op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = m;
              best_alg->op[best_alg->ops] = alg_add_factor;
-             cost_limit = cost;
            }
          /* Other factors will have been taken care of in the recursion.  */
          break;
@@ -2385,19 +2590,36 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
       d = ((unsigned HOST_WIDE_INT) 1 << m) - 1;
       if (t % d == 0 && t > d && m < maxm)
        {
-         cost = add_cost[mode] + shift_cost[mode][m];
-         if (shiftsub_cost[mode][m] < cost)
-           cost = shiftsub_cost[mode][m];
-         synth_mult (alg_in, t / d, cost_limit - cost, mode);
+         /* If the target has a cheap shift-and-subtract insn use
+            that in preference to a shift insn followed by a sub insn.
+            Assume that the shift-and-sub is "atomic" with a latency
+            equal to it's cost, otherwise assume that on superscalar
+            hardware the shift may be executed concurrently with the
+            earlier steps in the algorithm.  */
+         op_cost = add_cost[mode] + shift_cost[mode][m];
+         if (shiftsub_cost[mode][m] < op_cost)
+           {
+             op_cost = shiftsub_cost[mode][m];
+             op_latency = op_cost;
+           }
+         else
+           op_latency = add_cost[mode];
 
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.cost = best_cost.cost - op_latency;
+         synth_mult (alg_in, t / d, &new_limit, mode);
+
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_latency;
+         if (alg_in->cost.latency < op_cost)
+           alg_in->cost.latency = op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = m;
              best_alg->op[best_alg->ops] = alg_sub_factor;
-             cost_limit = cost;
            }
          break;
        }
@@ -2412,17 +2634,20 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
       m = exact_log2 (q);
       if (m >= 0 && m < maxm)
        {
-         cost = shiftadd_cost[mode][m];
-         synth_mult (alg_in, (t - 1) >> m, cost_limit - cost, mode);
-
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         op_cost = shiftadd_cost[mode][m];
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_cost;
+         synth_mult (alg_in, (t - 1) >> m, &new_limit, mode);
+
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = m;
              best_alg->op[best_alg->ops] = alg_add_t2_m;
-             cost_limit = cost;
            }
        }
 
@@ -2431,24 +2656,26 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
       m = exact_log2 (q);
       if (m >= 0 && m < maxm)
        {
-         cost = shiftsub_cost[mode][m];
-         synth_mult (alg_in, (t + 1) >> m, cost_limit - cost, mode);
-
-         cost += alg_in->cost;
-         if (cost < cost_limit)
+         op_cost = shiftsub_cost[mode][m];
+         new_limit.cost = best_cost.cost - op_cost;
+         new_limit.latency = best_cost.latency - op_cost;
+         synth_mult (alg_in, (t + 1) >> m, &new_limit, mode);
+
+         alg_in->cost.cost += op_cost;
+         alg_in->cost.latency += op_cost;
+         if (CHEAPER_MULT_COST (&alg_in->cost, &best_cost))
            {
              struct algorithm *x;
+             best_cost = alg_in->cost;
              x = alg_in, alg_in = best_alg, best_alg = x;
              best_alg->log[best_alg->ops] = m;
              best_alg->op[best_alg->ops] = alg_sub_t2_m;
-             cost_limit = cost;
            }
        }
     }
 
-  /* If cost_limit has not decreased since we stored it in alg_out->cost,
-     we have not found any algorithm.  */
-  if (cost_limit == alg_out->cost)
+  /* If best_cost has not decreased, we have not found any algorithm.  */
+  if (!CHEAPER_MULT_COST (&best_cost, cost_limit))
     return;
 
   /* If we are getting a too long sequence for `struct algorithm'
@@ -2460,7 +2687,7 @@ synth_mult (struct algorithm *alg_out, unsigned HOST_WIDE_INT t,
      We avoid using structure assignment because the majority of
      best_alg is normally undefined, and this is a critical function.  */
   alg_out->ops = best_alg->ops + 1;
-  alg_out->cost = cost_limit;
+  alg_out->cost = best_cost;
   memcpy (alg_out->op, best_alg->op,
          alg_out->ops * sizeof *alg_out->op);
   memcpy (alg_out->log, best_alg->log,
@@ -2483,29 +2710,57 @@ choose_mult_variant (enum machine_mode mode, HOST_WIDE_INT val,
                     int mult_cost)
 {
   struct algorithm alg2;
+  struct mult_cost limit;
+  int op_cost;
 
   *variant = basic_variant;
-  synth_mult (alg, val, mult_cost, mode);
+  limit.cost = mult_cost;
+  limit.latency = mult_cost;
+  synth_mult (alg, val, &limit, mode);
 
   /* This works only if the inverted value actually fits in an
      `unsigned int' */
   if (HOST_BITS_PER_INT >= GET_MODE_BITSIZE (mode))
     {
-      synth_mult (&alg2, -val, MIN (alg->cost, mult_cost) - neg_cost[mode],
-                 mode);
-      alg2.cost += neg_cost[mode];
-      if (alg2.cost < alg->cost)
+      op_cost = neg_cost[mode];
+      if (MULT_COST_LESS (&alg->cost, mult_cost))
+       {
+         limit.cost = alg->cost.cost - op_cost;
+         limit.latency = alg->cost.latency - op_cost;
+       }
+      else
+       {
+         limit.cost = mult_cost - op_cost;
+         limit.latency = mult_cost - op_cost;
+       }
+
+      synth_mult (&alg2, -val, &limit, mode);
+      alg2.cost.cost += op_cost;
+      alg2.cost.latency += op_cost;
+      if (CHEAPER_MULT_COST (&alg2.cost, &alg->cost))
        *alg = alg2, *variant = negate_variant;
     }
 
   /* This proves very useful for division-by-constant.  */
-  synth_mult (&alg2, val - 1, MIN (alg->cost, mult_cost) - add_cost[mode],
-             mode);
-  alg2.cost += add_cost[mode];
-  if (alg2.cost < alg->cost)
+  op_cost = add_cost[mode];
+  if (MULT_COST_LESS (&alg->cost, mult_cost))
+    {
+      limit.cost = alg->cost.cost - op_cost;
+      limit.latency = alg->cost.latency - op_cost;
+    }
+  else
+    {
+      limit.cost = mult_cost - op_cost;
+      limit.latency = mult_cost - op_cost;
+    }
+
+  synth_mult (&alg2, val - 1, &limit, mode);
+  alg2.cost.cost += op_cost;
+  alg2.cost.latency += op_cost;
+  if (CHEAPER_MULT_COST (&alg2.cost, &alg->cost))
     *alg = alg2, *variant = add_variant;
 
-  return alg->cost < mult_cost;
+  return MULT_COST_LESS (&alg->cost, mult_cost);
 }
 
 /* A subroutine of expand_mult, used for constant multiplications.
@@ -2542,31 +2797,30 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
       val_so_far = 1;
     }
   else
-    abort ();
+    gcc_unreachable ();
 
   for (opno = 1; opno < alg->ops; opno++)
     {
       int log = alg->log[opno];
-      int preserve = preserve_subexpressions_p ();
-      rtx shift_subtarget = preserve ? 0 : accum;
+      rtx shift_subtarget = optimize ? 0 : accum;
       rtx add_target
        = (opno == alg->ops - 1 && target != 0 && variant != add_variant
-          && ! preserve)
+          && !optimize)
          ? target : 0;
-      rtx accum_target = preserve ? 0 : accum;
+      rtx accum_target = optimize ? 0 : accum;
 
       switch (alg->op[opno])
        {
        case alg_shift:
          accum = expand_shift (LSHIFT_EXPR, mode, accum,
-                               build_int_cst (NULL_TREE, log, 0),
+                               build_int_cst (NULL_TREE, log),
                                NULL_RTX, 0);
          val_so_far <<= log;
          break;
 
        case alg_add_t_m2:
          tem = expand_shift (LSHIFT_EXPR, mode, op0,
-                             build_int_cst (NULL_TREE, log, 0),
+                             build_int_cst (NULL_TREE, log),
                              NULL_RTX, 0);
          accum = force_operand (gen_rtx_PLUS (mode, accum, tem),
                                 add_target ? add_target : accum_target);
@@ -2575,7 +2829,7 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
 
        case alg_sub_t_m2:
          tem = expand_shift (LSHIFT_EXPR, mode, op0,
-                             build_int_cst (NULL_TREE, log, 0),
+                             build_int_cst (NULL_TREE, log),
                              NULL_RTX, 0);
          accum = force_operand (gen_rtx_MINUS (mode, accum, tem),
                                 add_target ? add_target : accum_target);
@@ -2584,7 +2838,7 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
 
        case alg_add_t2_m:
          accum = expand_shift (LSHIFT_EXPR, mode, accum,
-                               build_int_cst (NULL_TREE, log, 0),
+                               build_int_cst (NULL_TREE, log),
                                shift_subtarget,
                                0);
          accum = force_operand (gen_rtx_PLUS (mode, accum, op0),
@@ -2594,7 +2848,7 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
 
        case alg_sub_t2_m:
          accum = expand_shift (LSHIFT_EXPR, mode, accum,
-                               build_int_cst (NULL_TREE, log, 0),
+                               build_int_cst (NULL_TREE, log),
                                shift_subtarget, 0);
          accum = force_operand (gen_rtx_MINUS (mode, accum, op0),
                                 add_target ? add_target : accum_target);
@@ -2603,7 +2857,7 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
 
        case alg_add_factor:
          tem = expand_shift (LSHIFT_EXPR, mode, accum,
-                             build_int_cst (NULL_TREE, log, 0),
+                             build_int_cst (NULL_TREE, log),
                              NULL_RTX, 0);
          accum = force_operand (gen_rtx_PLUS (mode, accum, tem),
                                 add_target ? add_target : accum_target);
@@ -2612,16 +2866,16 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
 
        case alg_sub_factor:
          tem = expand_shift (LSHIFT_EXPR, mode, accum,
-                             build_int_cst (NULL_TREE, log, 0),
+                             build_int_cst (NULL_TREE, log),
                              NULL_RTX, 0);
          accum = force_operand (gen_rtx_MINUS (mode, tem, accum),
-                                (add_target ? add_target
-                                 : preserve ? 0 : tem));
+                                (add_target
+                                 ? add_target : (optimize ? 0 : tem)));
          val_so_far = (val_so_far << log) - val_so_far;
          break;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
 
       /* Write a REG_EQUAL note on the last insn so that we can cse
@@ -2656,8 +2910,7 @@ expand_mult_const (enum machine_mode mode, rtx op0, HOST_WIDE_INT val,
      in the result mode, to avoid sign-/zero-extension confusion.  */
   val &= GET_MODE_MASK (mode);
   val_so_far &= GET_MODE_MASK (mode);
-  if (val != val_so_far)
-    abort ();
+  gcc_assert (val == val_so_far);
 
   return accum;
 }
@@ -2742,8 +2995,7 @@ expand_mult (enum machine_mode mode, rtx op0, rtx op1, rtx target,
                      && flag_trapv && (GET_MODE_CLASS(mode) == MODE_INT)
                      ? smulv_optab : smul_optab,
                      op0, op1, target, unsignedp, OPTAB_LIB_WIDEN);
-  if (op0 == 0)
-    abort ();
+  gcc_assert (op0);
   return op0;
 }
 \f
@@ -2787,18 +3039,15 @@ choose_multiplier (unsigned HOST_WIDE_INT d, int n, int precision,
   /* lgup = ceil(log2(divisor)); */
   lgup = ceil_log2 (d);
 
-  if (lgup > n)
-    abort ();
+  gcc_assert (lgup <= n);
 
   pow = n + lgup;
   pow2 = n + lgup - precision;
 
-  if (pow == 2 * HOST_BITS_PER_WIDE_INT)
-    {
-      /* We could handle this with some effort, but this case is much better
-        handled directly with a scc insn, so rely on caller using that.  */
-      abort ();
-    }
+  /* We could handle this with some effort, but this case is much
+     better handled directly with a scc insn, so rely on caller using
+     that.  */
+  gcc_assert (pow != 2 * HOST_BITS_PER_WIDE_INT);
 
   /* mlow = 2^(N + lgup)/d */
  if (pow >= HOST_BITS_PER_WIDE_INT)
@@ -2822,13 +3071,11 @@ choose_multiplier (unsigned HOST_WIDE_INT d, int n, int precision,
   div_and_round_double (TRUNC_DIV_EXPR, 1, nl, nh, d, (HOST_WIDE_INT) 0,
                        &mhigh_lo, &mhigh_hi, &dummy1, &dummy2);
 
-  if (mhigh_hi && nh - d >= d)
-    abort ();
-  if (mhigh_hi > 1 || mlow_hi > 1)
-    abort ();
+  gcc_assert (!mhigh_hi || nh - d < d);
+  gcc_assert (mhigh_hi <= 1 && mlow_hi <= 1);
   /* Assert that mlow < mhigh.  */
-  if (! (mlow_hi < mhigh_hi || (mlow_hi == mhigh_hi && mlow_lo < mhigh_lo)))
-    abort ();
+  gcc_assert (mlow_hi < mhigh_hi
+             || (mlow_hi == mhigh_hi && mlow_lo < mhigh_lo));
 
   /* If precision == N, then mlow, mhigh exceed 2^N
      (but they do not exceed 2^(N+1)).  */
@@ -2908,8 +3155,7 @@ expand_mult_highpart_adjust (enum machine_mode mode, rtx adj_operand, rtx op0,
   enum rtx_code adj_code = unsignedp ? PLUS : MINUS;
 
   tem = expand_shift (RSHIFT_EXPR, mode, op0,
-                     build_int_cst (NULL_TREE,
-                                    GET_MODE_BITSIZE (mode) - 1, 0),
+                     build_int_cst (NULL_TREE, GET_MODE_BITSIZE (mode) - 1),
                      NULL_RTX, 0);
   tem = expand_and (mode, tem, op1, NULL_RTX);
   adj_operand
@@ -2917,8 +3163,7 @@ expand_mult_highpart_adjust (enum machine_mode mode, rtx adj_operand, rtx op0,
                     adj_operand);
 
   tem = expand_shift (RSHIFT_EXPR, mode, op1,
-                     build_int_cst (NULL_TREE,
-                                    GET_MODE_BITSIZE (mode) - 1, 0),
+                     build_int_cst (NULL_TREE, GET_MODE_BITSIZE (mode) - 1),
                      NULL_RTX, 0);
   tem = expand_and (mode, tem, op0, NULL_RTX);
   target = force_operand (gen_rtx_fmt_ee (adj_code, mode, adj_operand, tem),
@@ -2939,8 +3184,7 @@ extract_high_half (enum machine_mode mode, rtx op)
 
   wider_mode = GET_MODE_WIDER_MODE (mode);
   op = expand_shift (RSHIFT_EXPR, wider_mode, op,
-                    build_int_cst (NULL_TREE,
-                                   GET_MODE_BITSIZE (mode), 0), 0, 1);
+                    build_int_cst (NULL_TREE, GET_MODE_BITSIZE (mode)), 0, 1);
   return convert_modes (mode, wider_mode, op, 0);
 }
 
@@ -3053,8 +3297,7 @@ expand_mult_highpart (enum machine_mode mode, rtx op0,
   rtx op1, tem;
 
   /* We can't support modes wider than HOST_BITS_PER_INT.  */
-  if (GET_MODE_BITSIZE (mode) > HOST_BITS_PER_WIDE_INT)
-    abort ();
+  gcc_assert (GET_MODE_BITSIZE (mode) <= HOST_BITS_PER_WIDE_INT);
 
   op1 = gen_int_mode (cnst1, wider_mode);
   cnst1 &= GET_MODE_MASK (mode);
@@ -3082,8 +3325,8 @@ expand_mult_highpart (enum machine_mode mode, rtx op0,
     {
       /* See whether the specialized multiplication optabs are
         cheaper than the shift/add version.  */
-      tem = expand_mult_highpart_optab (mode, op0, op1, target,
-                                       unsignedp, alg.cost + extra_cost);
+      tem = expand_mult_highpart_optab (mode, op0, op1, target, unsignedp,
+                                       alg.cost.cost + extra_cost);
       if (tem)
        return tem;
 
@@ -3107,7 +3350,7 @@ expand_mult_highpart (enum machine_mode mode, rtx op0,
 static rtx
 expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
 {
-  unsigned HOST_WIDE_INT mask;
+  unsigned HOST_WIDE_INT masklow, maskhigh;
   rtx result, temp, shift, label;
   int logd;
 
@@ -3123,14 +3366,14 @@ expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
       if (signmask)
        {
          signmask = force_reg (mode, signmask);
-         mask = ((HOST_WIDE_INT) 1 << logd) - 1;
+         masklow = ((HOST_WIDE_INT) 1 << logd) - 1;
          shift = GEN_INT (GET_MODE_BITSIZE (mode) - logd);
 
          /* Use the rtx_cost of a LSHIFTRT instruction to determine
             which instruction sequence to use.  If logical right shifts
             are expensive the use 2 XORs, 2 SUBs and an AND, otherwise
             use a LSHIFTRT, 1 ADD, 1 SUB and an AND.  */
-            
+
          temp = gen_rtx_LSHIFTRT (mode, result, shift);
          if (lshr_optab->handlers[mode].insn_code == CODE_FOR_nothing
              || rtx_cost (temp, SET) > COSTS_N_INSNS (2))
@@ -3139,7 +3382,7 @@ expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
              temp = expand_binop (mode, sub_optab, temp, signmask,
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
-             temp = expand_binop (mode, and_optab, temp, GEN_INT (mask),
+             temp = expand_binop (mode, and_optab, temp, GEN_INT (masklow),
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
              temp = expand_binop (mode, xor_optab, temp, signmask,
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
@@ -3154,7 +3397,7 @@ expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
 
              temp = expand_binop (mode, add_optab, op0, signmask,
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
-             temp = expand_binop (mode, and_optab, temp, GEN_INT (mask),
+             temp = expand_binop (mode, and_optab, temp, GEN_INT (masklow),
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
              temp = expand_binop (mode, sub_optab, temp, signmask,
                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
@@ -3168,11 +3411,19 @@ expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
      can avoid an explicit compare operation in the following comparison
      against zero.  */
 
-  mask = (HOST_WIDE_INT) -1 << (GET_MODE_BITSIZE (mode) - 1)
-        | (((HOST_WIDE_INT) 1 << logd) - 1);
+  masklow = ((HOST_WIDE_INT) 1 << logd) - 1;
+  if (GET_MODE_BITSIZE (mode) <= HOST_BITS_PER_WIDE_INT)
+    {
+      masklow |= (HOST_WIDE_INT) -1 << (GET_MODE_BITSIZE (mode) - 1);
+      maskhigh = -1;
+    }
+  else
+    maskhigh = (HOST_WIDE_INT) -1
+                << (GET_MODE_BITSIZE (mode) - HOST_BITS_PER_WIDE_INT - 1);
 
-  temp = expand_binop (mode, and_optab, op0, GEN_INT (mask), result,
-                      1, OPTAB_LIB_WIDEN);
+  temp = expand_binop (mode, and_optab, op0,
+                      immed_double_const (masklow, maskhigh, mode),
+                      result, 1, OPTAB_LIB_WIDEN);
   if (temp != result)
     emit_move_insn (result, temp);
 
@@ -3181,9 +3432,11 @@ expand_smod_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
 
   temp = expand_binop (mode, sub_optab, result, const1_rtx, result,
                       0, OPTAB_LIB_WIDEN);
-  mask = (HOST_WIDE_INT) -1 << logd;
-  temp = expand_binop (mode, ior_optab, temp, GEN_INT (mask), result,
-                      1, OPTAB_LIB_WIDEN);
+  masklow = (HOST_WIDE_INT) -1 << logd;
+  maskhigh = -1;
+  temp = expand_binop (mode, ior_optab, temp,
+                      immed_double_const (masklow, maskhigh, mode),
+                      result, 1, OPTAB_LIB_WIDEN);
   temp = expand_binop (mode, add_optab, temp, const1_rtx, result,
                       0, OPTAB_LIB_WIDEN);
   if (temp != result)
@@ -3203,7 +3456,7 @@ expand_sdiv_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
   int logd;
 
   logd = floor_log2 (d);
-  shift = build_int_cst (NULL_TREE, logd, 0);
+  shift = build_int_cst (NULL_TREE, logd);
 
   if (d == 2 && BRANCH_COST >= 1)
     {
@@ -3219,6 +3472,11 @@ expand_sdiv_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
     {
       rtx temp2;
 
+      /* ??? emit_conditional_move forces a stack adjustment via
+        compare_from_rtx so, if the sequence is discarded, it will
+        be lost.  Do it now instead.  */
+      do_pending_stack_adjust ();
+
       start_sequence ();
       temp2 = copy_to_mode_reg (mode, op0);
       temp = expand_binop (mode, add_optab, temp2, GEN_INT (d-1),
@@ -3250,7 +3508,7 @@ expand_sdiv_pow2 (enum machine_mode mode, rtx op0, HOST_WIDE_INT d)
                             NULL_RTX, 0, OPTAB_LIB_WIDEN);
       else
        temp = expand_shift (RSHIFT_EXPR, mode, temp,
-                            build_int_cst (NULL_TREE, ushift, 0),
+                            build_int_cst (NULL_TREE, ushift),
                             NULL_RTX, 1);
       temp = expand_binop (mode, add_optab, temp, op0, NULL_RTX,
                           0, OPTAB_LIB_WIDEN);
@@ -3528,7 +3786,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                      }
                    quotient = expand_shift (RSHIFT_EXPR, compute_mode, op0,
                                             build_int_cst (NULL_TREE,
-                                                           pre_shift, 0),
+                                                           pre_shift),
                                             tquotient, 1);
                  }
                else if (size <= HOST_BITS_PER_WIDE_INT)
@@ -3559,8 +3817,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                            mh = choose_multiplier (d >> pre_shift, size,
                                                    size - pre_shift,
                                                    &ml, &post_shift, &dummy);
-                           if (mh)
-                             abort ();
+                           gcc_assert (!mh);
                          }
                        else
                          pre_shift = 0;
@@ -3586,15 +3843,14 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                                                NULL_RTX);
                            t3 = expand_shift
                              (RSHIFT_EXPR, compute_mode, t2,
-                              build_int_cst (NULL_TREE, 1, 0),
+                              build_int_cst (NULL_TREE, 1),
                               NULL_RTX,1);
                            t4 = force_operand (gen_rtx_PLUS (compute_mode,
                                                              t1, t3),
                                                NULL_RTX);
                            quotient = expand_shift
                              (RSHIFT_EXPR, compute_mode, t4,
-                              build_int_cst (NULL_TREE,
-                                             post_shift - 1, 0),
+                              build_int_cst (NULL_TREE, post_shift - 1),
                               tquotient, 1);
                          }
                        else
@@ -3607,7 +3863,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
 
                            t1 = expand_shift
                              (RSHIFT_EXPR, compute_mode, op0,
-                              build_int_cst (NULL_TREE, pre_shift, 0),
+                              build_int_cst (NULL_TREE, pre_shift),
                               NULL_RTX, 1);
                            extra_cost
                              = (shift_cost[compute_mode][pre_shift]
@@ -3619,8 +3875,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                              goto fail1;
                            quotient = expand_shift
                              (RSHIFT_EXPR, compute_mode, t2,
-                              build_int_cst (NULL_TREE,
-                                             post_shift, 0),
+                              build_int_cst (NULL_TREE, post_shift),
                               tquotient, 1);
                          }
                      }
@@ -3682,7 +3937,19 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                        if (remainder)
                          return gen_lowpart (mode, remainder);
                      }
-                   quotient = expand_sdiv_pow2 (compute_mode, op0, abs_d);
+
+                   if (sdiv_pow2_cheap[compute_mode]
+                       && ((sdiv_optab->handlers[compute_mode].insn_code
+                            != CODE_FOR_nothing)
+                           || (sdivmod_optab->handlers[compute_mode].insn_code
+                               != CODE_FOR_nothing)))
+                     quotient = expand_divmod (0, TRUNC_DIV_EXPR,
+                                               compute_mode, op0,
+                                               gen_int_mode (abs_d,
+                                                             compute_mode),
+                                               NULL_RTX, 0);
+                   else
+                     quotient = expand_sdiv_pow2 (compute_mode, op0, abs_d);
 
                    /* We have computed OP0 / abs(OP1).  If OP1 is negative,
                       negate the quotient.  */
@@ -3729,11 +3996,11 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                          goto fail1;
                        t2 = expand_shift
                          (RSHIFT_EXPR, compute_mode, t1,
-                          build_int_cst (NULL_TREE, post_shift, 0),
+                          build_int_cst (NULL_TREE, post_shift),
                           NULL_RTX, 0);
                        t3 = expand_shift
                          (RSHIFT_EXPR, compute_mode, op0,
-                          build_int_cst (NULL_TREE, size - 1, 0),
+                          build_int_cst (NULL_TREE, size - 1),
                           NULL_RTX, 0);
                        if (d < 0)
                          quotient
@@ -3768,11 +4035,11 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                                            NULL_RTX);
                        t3 = expand_shift
                          (RSHIFT_EXPR, compute_mode, t2,
-                          build_int_cst (NULL_TREE, post_shift, 0),
+                          build_int_cst (NULL_TREE, post_shift),
                           NULL_RTX, 0);
                        t4 = expand_shift
                          (RSHIFT_EXPR, compute_mode, op0,
-                          build_int_cst (NULL_TREE, size - 1, 0),
+                          build_int_cst (NULL_TREE, size - 1),
                           NULL_RTX, 0);
                        if (d < 0)
                          quotient
@@ -3829,7 +4096,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                      }
                    quotient = expand_shift
                      (RSHIFT_EXPR, compute_mode, op0,
-                      build_int_cst (NULL_TREE, pre_shift, 0),
+                      build_int_cst (NULL_TREE, pre_shift),
                       tquotient, 0);
                  }
                else
@@ -3838,15 +4105,14 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
 
                    mh = choose_multiplier (d, size, size - 1,
                                            &ml, &post_shift, &lgup);
-                   if (mh)
-                     abort ();
+                   gcc_assert (!mh);
 
                    if (post_shift < BITS_PER_WORD
                        && size - 1 < BITS_PER_WORD)
                      {
                        t1 = expand_shift
                          (RSHIFT_EXPR, compute_mode, op0,
-                          build_int_cst (NULL_TREE, size - 1, 0),
+                          build_int_cst (NULL_TREE, size - 1),
                           NULL_RTX, 0);
                        t2 = expand_binop (compute_mode, xor_optab, op0, t1,
                                           NULL_RTX, 0, OPTAB_WIDEN);
@@ -3860,7 +4126,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                          {
                            t4 = expand_shift
                              (RSHIFT_EXPR, compute_mode, t3,
-                              build_int_cst (NULL_TREE, post_shift, 0),
+                              build_int_cst (NULL_TREE, post_shift),
                               NULL_RTX, 1);
                            quotient = expand_binop (compute_mode, xor_optab,
                                                     t4, t1, tquotient, 0,
@@ -3878,7 +4144,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                                   0, OPTAB_WIDEN);
                nsign = expand_shift
                  (RSHIFT_EXPR, compute_mode, t2,
-                  build_int_cst (NULL_TREE, size - 1, 0),
+                  build_int_cst (NULL_TREE, size - 1),
                   NULL_RTX, 0);
                t3 = force_operand (gen_rtx_MINUS (compute_mode, t1, nsign),
                                    NULL_RTX);
@@ -3993,8 +4259,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                rtx t1, t2, t3;
                unsigned HOST_WIDE_INT d = INTVAL (op1);
                t1 = expand_shift (RSHIFT_EXPR, compute_mode, op0,
-                                  build_int_cst (NULL_TREE,
-                                                 floor_log2 (d), 0),
+                                  build_int_cst (NULL_TREE, floor_log2 (d)),
                                   tquotient, 1);
                t2 = expand_binop (compute_mode, and_optab, op0,
                                   GEN_INT (d - 1),
@@ -4092,8 +4357,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
                rtx t1, t2, t3;
                unsigned HOST_WIDE_INT d = INTVAL (op1);
                t1 = expand_shift (RSHIFT_EXPR, compute_mode, op0,
-                                  build_int_cst (NULL_TREE,
-                                                 floor_log2 (d), 0),
+                                  build_int_cst (NULL_TREE, floor_log2 (d)),
                                   tquotient, 0);
                t2 = expand_binop (compute_mode, and_optab, op0,
                                   GEN_INT (d - 1),
@@ -4215,7 +4479,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
            pre_shift = floor_log2 (d & -d);
            ml = invert_mod2n (d >> pre_shift, size);
            t1 = expand_shift (RSHIFT_EXPR, compute_mode, op0,
-                              build_int_cst (NULL_TREE, pre_shift, 0),
+                              build_int_cst (NULL_TREE, pre_shift),
                               NULL_RTX, unsignedp);
            quotient = expand_mult (compute_mode, t1,
                                    gen_int_mode (ml, compute_mode),
@@ -4250,7 +4514,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
              }
            tem = plus_constant (op1, -1);
            tem = expand_shift (RSHIFT_EXPR, compute_mode, tem,
-                               build_int_cst (NULL_TREE, 1, 0),
+                               build_int_cst (NULL_TREE, 1),
                                NULL_RTX, 1);
            do_cmp_and_jump (remainder, tem, LEU, compute_mode, label);
            expand_inc (quotient, const1_rtx);
@@ -4276,13 +4540,13 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
            abs_rem = expand_abs (compute_mode, remainder, NULL_RTX, 1, 0);
            abs_op1 = expand_abs (compute_mode, op1, NULL_RTX, 1, 0);
            tem = expand_shift (LSHIFT_EXPR, compute_mode, abs_rem,
-                               build_int_cst (NULL_TREE, 1, 0),
+                               build_int_cst (NULL_TREE, 1),
                                NULL_RTX, 1);
            do_cmp_and_jump (tem, abs_op1, LTU, compute_mode, label);
            tem = expand_binop (compute_mode, xor_optab, op0, op1,
                                NULL_RTX, 0, OPTAB_WIDEN);
            mask = expand_shift (RSHIFT_EXPR, compute_mode, tem,
-                                build_int_cst (NULL_TREE, size - 1, 0),
+                                build_int_cst (NULL_TREE, size - 1),
                                 NULL_RTX, 0);
            tem = expand_binop (compute_mode, xor_optab, mask, const1_rtx,
                                NULL_RTX, 0, OPTAB_WIDEN);
@@ -4299,7 +4563,7 @@ expand_divmod (int rem_flag, enum tree_code code, enum machine_mode mode,
        return gen_lowpart (mode, rem_flag ? remainder : quotient);
 
       default:
-       abort ();
+       gcc_unreachable ();
       }
 
   if (quotient == 0)
@@ -4435,14 +4699,15 @@ make_tree (tree type, rtx x)
                     < HOST_BITS_PER_WIDE_INT)))
          hi = -1;
       
-       t = build_int_cst (type, INTVAL (x), hi);
+       t = build_int_cst_wide (type, INTVAL (x), hi);
        
        return t;
       }
       
     case CONST_DOUBLE:
       if (GET_MODE (x) == VOIDmode)
-       t = build_int_cst (type, CONST_DOUBLE_LOW (x), CONST_DOUBLE_HIGH (x));
+       t = build_int_cst_wide (type,
+                               CONST_DOUBLE_LOW (x), CONST_DOUBLE_HIGH (x));
       else
        {
          REAL_VALUE_TYPE d;
@@ -4551,7 +4816,8 @@ make_tree (tree type, rtx x)
    UNSIGNEDP is nonzero to do unsigned multiplication.  */
 
 bool
-const_mult_add_overflow_p (rtx x, rtx mult, rtx add, enum machine_mode mode, int unsignedp)
+const_mult_add_overflow_p (rtx x, rtx mult, rtx add,
+                          enum machine_mode mode, int unsignedp)
 {
   tree type, mult_type, add_type, result;
 
@@ -4562,7 +4828,9 @@ const_mult_add_overflow_p (rtx x, rtx mult, rtx add, enum machine_mode mode, int
   mult_type = type;
   if (unsignedp)
     {
-      mult_type = copy_node (type);
+      /* FIXME:It would be nice if we could step directly from this
+        type to its sizetype equivalent.  */
+      mult_type = build_distinct_type_copy (type);
       TYPE_IS_SIZETYPE (mult_type) = 1;
     }
 
@@ -4796,20 +5064,23 @@ emit_store_flag (rtx target, enum rtx_code code, rtx op0, rtx op1,
        = compare_from_rtx (op0, op1, code, unsignedp, mode, NULL_RTX);
       if (CONSTANT_P (comparison))
        {
-         if (GET_CODE (comparison) == CONST_INT)
+         switch (GET_CODE (comparison))
            {
+           case CONST_INT:
              if (comparison == const0_rtx)
                return const0_rtx;
-           }
+             break;
+             
 #ifdef FLOAT_STORE_FLAG_VALUE
-         else if (GET_CODE (comparison) == CONST_DOUBLE)
-           {
+           case CONST_DOUBLE:
              if (comparison == CONST0_RTX (GET_MODE (comparison)))
                return const0_rtx;
-           }
+             break;
 #endif
-         else
-           abort ();
+           default:
+             gcc_unreachable ();
+           }
+         
          if (normalizep == 1)
            return const1_rtx;
          if (normalizep == -1)
@@ -4829,8 +5100,7 @@ emit_store_flag (rtx target, enum rtx_code code, rtx op0, rtx op1,
       compare_mode = insn_data[(int) icode].operand[0].mode;
       subtarget = target;
       pred = insn_data[(int) icode].operand[0].predicate;
-      if (preserve_subexpressions_p ()
-         || ! (*pred) (subtarget, compare_mode))
+      if (optimize || ! (*pred) (subtarget, compare_mode))
        subtarget = gen_reg_rtx (compare_mode);
 
       pattern = GEN_FCN (icode) (subtarget);
@@ -4863,7 +5133,7 @@ emit_store_flag (rtx target, enum rtx_code code, rtx op0, rtx op1,
          /* If we want to keep subexpressions around, don't reuse our
             last target.  */
 
-         if (preserve_subexpressions_p ())
+         if (optimize)
            subtarget = 0;
 
          /* Now normalize to the proper value in COMPARE_MODE.  Sometimes
@@ -4885,14 +5155,14 @@ emit_store_flag (rtx target, enum rtx_code code, rtx op0, rtx op1,
            op0 = expand_shift (RSHIFT_EXPR, compare_mode, op0,
                                size_int (GET_MODE_BITSIZE (compare_mode) - 1),
                                subtarget, normalizep == 1);
-         else if (STORE_FLAG_VALUE & 1)
+         else
            {
+             gcc_assert (STORE_FLAG_VALUE & 1);
+             
              op0 = expand_and (compare_mode, op0, const1_rtx, subtarget);
              if (normalizep == -1)
                op0 = expand_unop (compare_mode, neg_optab, op0, op0, 0);
            }
-         else
-           abort ();
 
          /* If we were converting to a smaller mode, do the
             conversion now.  */
@@ -4908,10 +5178,10 @@ emit_store_flag (rtx target, enum rtx_code code, rtx op0, rtx op1,
 
   delete_insns_since (last);
 
-  /* If expensive optimizations, use different pseudo registers for each
-     insn, instead of reusing the same pseudo.  This leads to better CSE,
-     but slows down the compiler, since there are more pseudos */
-  subtarget = (!flag_expensive_optimizations
+  /* If optimizing, use different pseudo registers for each insn, instead
+     of reusing the same pseudo.  This leads to better CSE, but slows
+     down the compiler, since there are more pseudos */
+  subtarget = (!optimize
               && (target_mode == mode)) ? target : NULL_RTX;
 
   /* If we reached here, we can't do this with a scc insn.  However, there
@@ -5160,19 +5430,17 @@ do_cmp_and_jump (rtx arg1, rtx arg2, enum rtx_code op, enum machine_mode mode,
          /* do_jump_by_parts_equality_rtx compares with zero.  Luckily
             that's the only equality operations we do */
        case EQ:
-         if (arg2 != const0_rtx || mode != GET_MODE(arg1))
-           abort ();
+         gcc_assert (arg2 == const0_rtx && mode == GET_MODE(arg1));
          do_jump_by_parts_equality_rtx (arg1, label2, label);
          break;
 
        case NE:
-         if (arg2 != const0_rtx || mode != GET_MODE(arg1))
-           abort ();
+         gcc_assert (arg2 == const0_rtx && mode == GET_MODE(arg1));
          do_jump_by_parts_equality_rtx (arg1, label, label2);
          break;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
 
       emit_label (label2);