OSDN Git Service

* config/arm/arm.h (ARM_EABI_CTORS_SECTION_OP): Do not define if a
[pf3gnuchains/gcc-fork.git] / gcc / regclass.c
index c24dfd4..5ed04e0 100644 (file)
@@ -1,6 +1,7 @@
 /* Compute register class preferences for pseudo-registers.
    Copyright (C) 1987, 1988, 1991, 1992, 1993, 1994, 1995, 1996
-   1997, 1998, 1999, 2000, 2001, 2002, 2003 Free Software Foundation, Inc.
+   1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005
+   Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -44,9 +45,9 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "output.h"
 #include "ggc.h"
 #include "timevar.h"
+#include "hashtab.h"
 
 static void init_reg_sets_1 (void);
-static void init_reg_modes (void);
 static void init_reg_autoinc (void);
 
 /* If we have auto-increment or auto-decrement and we can have secondary
@@ -104,6 +105,13 @@ static const char initial_call_used_regs[] = CALL_USED_REGISTERS;
 char call_really_used_regs[] = CALL_REALLY_USED_REGISTERS;
 #endif
 
+#ifdef CALL_REALLY_USED_REGISTERS
+#define CALL_REALLY_USED_REGNO_P(X)  call_really_used_regs[X]
+#else
+#define CALL_REALLY_USED_REGNO_P(X)  call_used_regs[X]
+#endif
+
+
 /* Indexed by hard register number, contains 1 for registers that are
    fixed use or call used registers that cannot hold quantities across
    calls even if we are willing to save and restore them.  call fixed
@@ -164,11 +172,11 @@ unsigned int reg_class_size[N_REG_CLASSES];
 
 /* For each reg class, table listing all the containing classes.  */
 
-enum reg_class reg_class_superclasses[N_REG_CLASSES][N_REG_CLASSES];
+static enum reg_class reg_class_superclasses[N_REG_CLASSES][N_REG_CLASSES];
 
 /* For each reg class, table listing all the classes contained in it.  */
 
-enum reg_class reg_class_subclasses[N_REG_CLASSES][N_REG_CLASSES];
+static enum reg_class reg_class_subclasses[N_REG_CLASSES][N_REG_CLASSES];
 
 /* For each pair of reg classes,
    a largest reg class contained in their union.  */
@@ -180,12 +188,13 @@ enum reg_class reg_class_subunion[N_REG_CLASSES][N_REG_CLASSES];
 
 enum reg_class reg_class_superunion[N_REG_CLASSES][N_REG_CLASSES];
 
-/* Array containing all of the register names.  Unless
-   DEBUG_REGISTER_NAMES is defined, use the copy in print-rtl.c.  */
+/* Array containing all of the register names.  */
 
-#ifdef DEBUG_REGISTER_NAMES
 const char * reg_names[] = REGISTER_NAMES;
-#endif
+
+/* Array containing all of the register class names.  */
+
+const char * reg_class_names[] = REG_CLASS_NAMES;
 
 /* For each hard register, the widest mode object that it can contain.
    This will be a MODE_INT mode if the register can hold integers.  Otherwise
@@ -194,6 +203,10 @@ const char * reg_names[] = REGISTER_NAMES;
 
 enum machine_mode reg_raw_mode[FIRST_PSEUDO_REGISTER];
 
+/* 1 if there is a register of given mode.  */
+
+bool have_regs_of_mode [MAX_MACHINE_MODE];
+
 /* 1 if class does contain register of given mode.  */
 
 static char contains_reg_of_mode [N_REG_CLASSES] [MAX_MACHINE_MODE];
@@ -227,12 +240,6 @@ static char *in_inc_dec;
 
 #endif /* FORBIDDEN_INC_DEC_CLASSES */
 
-#ifdef CANNOT_CHANGE_MODE_CLASS
-/* All registers that have been subreged.  Indexed by regno * MAX_MACHINE_MODE
-   + mode.  */
-bitmap_head subregs_of_mode;
-#endif
-
 /* Sample MEM values for use by memory_move_secondary_cost.  */
 
 static GTY(()) rtx top_of_stack[MAX_MACHINE_MODE];
@@ -256,6 +263,8 @@ static struct reg_info_data *reg_info_head;
 
 static int no_global_reg_vars = 0;
 
+/* Specify number of hard registers given machine mode occupy.  */
+unsigned char hard_regno_nregs[FIRST_PSEUDO_REGISTER][MAX_MACHINE_MODE];
 
 /* Function called only once to initialize the above data on reg usage.
    Once this is done, various switches may override.  */
@@ -279,13 +288,15 @@ init_reg_sets (void)
          SET_HARD_REG_BIT (reg_class_contents[i], j);
     }
 
+  /* Sanity check: make sure the target macros FIXED_REGISTERS and
+     CALL_USED_REGISTERS had the right number of initializers.  */
+  gcc_assert (sizeof fixed_regs == sizeof initial_fixed_regs);
+  gcc_assert (sizeof call_used_regs == sizeof initial_call_used_regs);
+
   memcpy (fixed_regs, initial_fixed_regs, sizeof fixed_regs);
   memcpy (call_used_regs, initial_call_used_regs, sizeof call_used_regs);
   memset (global_regs, 0, sizeof global_regs);
 
-  /* Do any additional initialization regsets may need.  */
-  INIT_ONCE_REG_SET ();
-
 #ifdef REG_ALLOC_ORDER
   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
     inv_reg_alloc_order[reg_alloc_order[i]] = i;
@@ -300,7 +311,6 @@ init_reg_sets_1 (void)
 {
   unsigned int i, j;
   unsigned int /* enum machine_mode */ m;
-  char allocatable_regs_of_mode [MAX_MACHINE_MODE];
 
   /* This macro allows the fixed or call-used registers
      and the register classes to depend on target flags.  */
@@ -311,7 +321,7 @@ init_reg_sets_1 (void)
 
   /* Compute number of hard regs in each class.  */
 
-  memset ((char *) reg_class_size, 0, sizeof reg_class_size);
+  memset (reg_class_size, 0, sizeof reg_class_size);
   for (i = 0; i < N_REG_CLASSES; i++)
     for (j = 0; j < FIRST_PSEUDO_REGISTER; j++)
       if (TEST_HARD_REG_BIT (reg_class_contents[i], j))
@@ -325,10 +335,7 @@ init_reg_sets_1 (void)
     {
       for (j = 0; j < N_REG_CLASSES; j++)
        {
-#ifdef HARD_REG_SET
-         register              /* Declare it register if it's a scalar.  */
-#endif
-           HARD_REG_SET c;
+         HARD_REG_SET c;
          int k;
 
          COPY_HARD_REG_SET (c, reg_class_contents[i]);
@@ -340,7 +347,7 @@ init_reg_sets_1 (void)
              continue;
 
            subclass1:
-             /* keep the largest subclass */           /* SPEE 900308 */
+             /* Keep the largest subclass.  */         /* SPEE 900308 */
              GO_IF_HARD_REG_SUBSET (reg_class_contents[k],
                                     reg_class_contents[(int) reg_class_subunion[i][j]],
                                     subclass2);
@@ -359,10 +366,7 @@ init_reg_sets_1 (void)
     {
       for (j = 0; j < N_REG_CLASSES; j++)
        {
-#ifdef HARD_REG_SET
-         register              /* Declare it register if it's a scalar.  */
-#endif
-           HARD_REG_SET c;
+         HARD_REG_SET c;
          int k;
 
          COPY_HARD_REG_SET (c, reg_class_contents[i]);
@@ -425,6 +429,13 @@ init_reg_sets_1 (void)
 
   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
     {
+      /* call_used_regs must include fixed_regs.  */
+      gcc_assert (!fixed_regs[i] || call_used_regs[i]);
+#ifdef CALL_REALLY_USED_REGISTERS
+      /* call_used_regs must include call_really_used_regs.  */
+      gcc_assert (!call_really_used_regs[i] || call_used_regs[i]);
+#endif
+
       if (fixed_regs[i])
        SET_HARD_REG_BIT (fixed_reg_set, i);
       else
@@ -446,7 +457,11 @@ init_reg_sets_1 (void)
         If we are generating PIC code, the PIC offset table register is
         preserved across calls, though the target can override that.  */
 
-      if (i == STACK_POINTER_REGNUM || i == FRAME_POINTER_REGNUM)
+      if (i == STACK_POINTER_REGNUM)
+       ;
+      else if (global_regs[i])
+       SET_HARD_REG_BIT (regs_invalidated_by_call, i);
+      else if (i == FRAME_POINTER_REGNUM)
        ;
 #if HARD_FRAME_POINTER_REGNUM != FRAME_POINTER_REGNUM
       else if (i == HARD_FRAME_POINTER_REGNUM)
@@ -460,18 +475,12 @@ init_reg_sets_1 (void)
       else if (i == (unsigned) PIC_OFFSET_TABLE_REGNUM && fixed_regs[i])
        ;
 #endif
-      else if (0
-#ifdef CALL_REALLY_USED_REGISTERS
-              || call_really_used_regs[i]
-#else
-              || call_used_regs[i]
-#endif
-              || global_regs[i])
+      else if (CALL_REALLY_USED_REGNO_P (i))
        SET_HARD_REG_BIT (regs_invalidated_by_call, i);
     }
 
+  memset (have_regs_of_mode, 0, sizeof (have_regs_of_mode));
   memset (contains_reg_of_mode, 0, sizeof (contains_reg_of_mode));
-  memset (allocatable_regs_of_mode, 0, sizeof (allocatable_regs_of_mode));
   for (m = 0; m < (unsigned int) MAX_MACHINE_MODE; m++)
     for (i = 0; i < N_REG_CLASSES; i++)
       if ((unsigned) CLASS_MAX_NREGS (i, m) <= reg_class_size[i])
@@ -480,7 +489,7 @@ init_reg_sets_1 (void)
              && HARD_REGNO_MODE_OK (j, m))
             {
               contains_reg_of_mode [i][m] = 1;
-              allocatable_regs_of_mode [m] = 1;
+              have_regs_of_mode [m] = 1;
               break;
             }
 
@@ -488,7 +497,7 @@ init_reg_sets_1 (void)
      and take the maximum cost of moving any subset to any other.  */
 
   for (m = 0; m < (unsigned int) MAX_MACHINE_MODE; m++)
-    if (allocatable_regs_of_mode [m])
+    if (have_regs_of_mode [m])
       {
        for (i = 0; i < N_REG_CLASSES; i++)
          if (contains_reg_of_mode [i][m])
@@ -546,14 +555,18 @@ init_reg_sets_1 (void)
    These values are used to record death information for individual registers
    (as opposed to a multi-register mode).  */
 
-static void
-init_reg_modes (void)
+void
+init_reg_modes_once (void)
 {
-  int i;
+  int i, j;
+
+  for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
+    for (j = 0; j < MAX_MACHINE_MODE; j++)
+      hard_regno_nregs[i][j] = HARD_REGNO_NREGS(i, (enum machine_mode)j);
 
   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
     {
-      reg_raw_mode[i] = choose_hard_reg_mode (i, 1);
+      reg_raw_mode[i] = choose_hard_reg_mode (i, 1, false);
 
       /* If we couldn't find a valid mode, just use the previous mode.
          ??? One situation in which we need to do this is on the mips where
@@ -575,8 +588,6 @@ init_regs (void)
      until after register usage was specified.  */
   init_reg_sets_1 ();
 
-  init_reg_modes ();
-
   init_reg_autoinc ();
 }
 
@@ -641,7 +652,7 @@ memory_move_secondary_cost (enum machine_mode mode, enum reg_class class, int in
        what it is, so MEMORY_MOVE_COST really ought not to be calling
        here in that case.
 
-       I'm tempted to put in an abort here, but returning this will
+       I'm tempted to put in an assert here, but returning this will
        probably only give poor estimates, which is what we would've
        had before this code anyways.  */
     return partial_cost;
@@ -653,11 +664,12 @@ memory_move_secondary_cost (enum machine_mode mode, enum reg_class class, int in
 #endif
 
 /* Return a machine mode that is legitimate for hard reg REGNO and large
-   enough to save nregs.  If we can't find one, return VOIDmode.  */
+   enough to save nregs.  If we can't find one, return VOIDmode.
+   If CALL_SAVED is true, only consider modes that are call saved.  */
 
 enum machine_mode
 choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
-                     unsigned int nregs)
+                     unsigned int nregs, bool call_saved)
 {
   unsigned int /* enum machine_mode */ m;
   enum machine_mode found_mode = VOIDmode, mode;
@@ -669,8 +681,9 @@ choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
   for (mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
        mode != VOIDmode;
        mode = GET_MODE_WIDER_MODE (mode))
-    if ((unsigned) HARD_REGNO_NREGS (regno, mode) == nregs
-       && HARD_REGNO_MODE_OK (regno, mode))
+    if ((unsigned) hard_regno_nregs[regno][mode] == nregs
+       && HARD_REGNO_MODE_OK (regno, mode)
+       && (! call_saved || ! HARD_REGNO_CALL_PART_CLOBBERED (regno, mode)))
       found_mode = mode;
 
   if (found_mode != VOIDmode)
@@ -679,8 +692,9 @@ choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
   for (mode = GET_CLASS_NARROWEST_MODE (MODE_FLOAT);
        mode != VOIDmode;
        mode = GET_MODE_WIDER_MODE (mode))
-    if ((unsigned) HARD_REGNO_NREGS (regno, mode) == nregs
-       && HARD_REGNO_MODE_OK (regno, mode))
+    if ((unsigned) hard_regno_nregs[regno][mode] == nregs
+       && HARD_REGNO_MODE_OK (regno, mode)
+       && (! call_saved || ! HARD_REGNO_CALL_PART_CLOBBERED (regno, mode)))
       found_mode = mode;
 
   if (found_mode != VOIDmode)
@@ -689,8 +703,9 @@ choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
   for (mode = GET_CLASS_NARROWEST_MODE (MODE_VECTOR_FLOAT);
        mode != VOIDmode;
        mode = GET_MODE_WIDER_MODE (mode))
-    if ((unsigned) HARD_REGNO_NREGS (regno, mode) == nregs
-       && HARD_REGNO_MODE_OK (regno, mode))
+    if ((unsigned) hard_regno_nregs[regno][mode] == nregs
+       && HARD_REGNO_MODE_OK (regno, mode)
+       && (! call_saved || ! HARD_REGNO_CALL_PART_CLOBBERED (regno, mode)))
       found_mode = mode;
 
   if (found_mode != VOIDmode)
@@ -699,8 +714,9 @@ choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
   for (mode = GET_CLASS_NARROWEST_MODE (MODE_VECTOR_INT);
        mode != VOIDmode;
        mode = GET_MODE_WIDER_MODE (mode))
-    if ((unsigned) HARD_REGNO_NREGS (regno, mode) == nregs
-       && HARD_REGNO_MODE_OK (regno, mode))
+    if ((unsigned) hard_regno_nregs[regno][mode] == nregs
+       && HARD_REGNO_MODE_OK (regno, mode)
+       && (! call_saved || ! HARD_REGNO_CALL_PART_CLOBBERED (regno, mode)))
       found_mode = mode;
 
   if (found_mode != VOIDmode)
@@ -710,8 +726,9 @@ choose_hard_reg_mode (unsigned int regno ATTRIBUTE_UNUSED,
   for (m = (unsigned int) CCmode; m < (unsigned int) NUM_MACHINE_MODES; ++m)
     {
       mode = (enum machine_mode) m;
-      if ((unsigned) HARD_REGNO_NREGS (regno, mode) == nregs
-         && HARD_REGNO_MODE_OK (regno, mode))
+      if ((unsigned) hard_regno_nregs[regno][mode] == nregs
+         && HARD_REGNO_MODE_OK (regno, mode)
+         && (! call_saved || ! HARD_REGNO_CALL_PART_CLOBBERED (regno, mode)))
        return mode;
     }
 
@@ -761,7 +778,7 @@ fix_register (const char *name, int fixed, int call_used)
     }
   else
     {
-      warning ("unknown register name: %s", name);
+      warning (0, "unknown register name: %s", name);
     }
 }
 
@@ -775,26 +792,34 @@ globalize_reg (int i)
 
   if (global_regs[i])
     {
-      warning ("register used for two global register variables");
+      warning (0, "register used for two global register variables");
       return;
     }
 
   if (call_used_regs[i] && ! fixed_regs[i])
-    warning ("call-clobbered register used for global register variable");
+    warning (0, "call-clobbered register used for global register variable");
 
   global_regs[i] = 1;
 
+  /* If we're globalizing the frame pointer, we need to set the
+     appropriate regs_invalidated_by_call bit, even if it's already
+     set in fixed_regs.  */
+  if (i != STACK_POINTER_REGNUM)
+    SET_HARD_REG_BIT (regs_invalidated_by_call, i);
+
   /* If already fixed, nothing else to do.  */
   if (fixed_regs[i])
     return;
 
   fixed_regs[i] = call_used_regs[i] = call_fixed_regs[i] = 1;
+#ifdef CALL_REALLY_USED_REGISTERS
+  call_really_used_regs[i] = 1;
+#endif
   n_non_fixed_regs--;
 
   SET_HARD_REG_BIT (fixed_reg_set, i);
   SET_HARD_REG_BIT (call_used_reg_set, i);
   SET_HARD_REG_BIT (call_fixed_reg_set, i);
-  SET_HARD_REG_BIT (regs_invalidated_by_call, i);
 }
 \f
 /* Now the data and code for the `regclass' pass, which happens
@@ -904,7 +929,6 @@ regclass_init (void)
 static void
 dump_regclass (FILE *dump)
 {
-  static const char *const reg_class_names[] = REG_CLASS_NAMES;
   int i;
   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
     {
@@ -960,7 +984,7 @@ record_operand_costs (rtx insn, struct costs *op_costs,
       if (GET_CODE (recog_data.operand[i]) == SUBREG)
        recog_data.operand[i] = SUBREG_REG (recog_data.operand[i]);
 
-      if (GET_CODE (recog_data.operand[i]) == MEM)
+      if (MEM_P (recog_data.operand[i]))
        record_address_regs (XEXP (recog_data.operand[i], 0),
                             MODE_BASE_REG_CLASS (modes[i]), frequency * 2);
       else if (constraints[i][0] == 'p'
@@ -1007,13 +1031,12 @@ record_operand_costs (rtx insn, struct costs *op_costs,
 static rtx
 scan_one_insn (rtx insn, int pass)
 {
-  enum rtx_code code = GET_CODE (insn);
   enum rtx_code pat_code;
   rtx set, note;
   int i, j;
   struct costs op_costs[MAX_RECOG_OPERANDS];
 
-  if (GET_RTX_CLASS (code) != 'i')
+  if (!INSN_P (insn))
     return insn;
 
   pat_code = GET_CODE (PATTERN (insn));
@@ -1031,11 +1054,11 @@ scan_one_insn (rtx insn, int pass)
      it represents a savings, rather than a cost, if the
      parameter is stored in memory.  Record this fact.  */
 
-  if (set != 0 && GET_CODE (SET_DEST (set)) == REG
-      && GET_CODE (SET_SRC (set)) == MEM
+  if (set != 0 && REG_P (SET_DEST (set))
+      && MEM_P (SET_SRC (set))
       && (note = find_reg_note (insn, REG_EQUIV,
                                NULL_RTX)) != 0
-      && GET_CODE (XEXP (note, 0)) == MEM)
+      && MEM_P (XEXP (note, 0)))
     {
       costs[REGNO (SET_DEST (set))].mem_cost
        -= (MEMORY_MOVE_COST (GET_MODE (SET_DEST (set)),
@@ -1065,7 +1088,7 @@ scan_one_insn (rtx insn, int pass)
       && CONSTANT_P (recog_data.operand[1])
       && ! rtx_equal_p (recog_data.operand[0], recog_data.operand[1])
       && ! rtx_equal_p (recog_data.operand[0], recog_data.operand[2])
-      && GET_CODE (recog_data.operand[0]) == REG
+      && REG_P (recog_data.operand[0])
       && MODES_TIEABLE_P (GET_MODE (recog_data.operand[0]),
                          recog_data.operand_mode[1]))
     {
@@ -1081,12 +1104,12 @@ scan_one_insn (rtx insn, int pass)
         We need not check for code_label here;
         while a basic block can start with a code_label,
         INSN could not be at the beginning of that block.  */
-      if (previnsn == 0 || GET_CODE (previnsn) == JUMP_INSN)
+      if (previnsn == 0 || JUMP_P (previnsn))
        {
          basic_block b;
          FOR_EACH_BB (b)
-           if (insn == b->head)
-             b->head = newinsn;
+           if (insn == BB_HEAD (b))
+             BB_HEAD (b) = newinsn;
        }
 
       /* This makes one more setting of new insns's dest.  */
@@ -1114,7 +1137,7 @@ scan_one_insn (rtx insn, int pass)
      its register.  */
 
   for (i = 0; i < recog_data.n_operands; i++)
-    if (GET_CODE (recog_data.operand[i]) == REG
+    if (REG_P (recog_data.operand[i])
        && REGNO (recog_data.operand[i]) >= FIRST_PSEUDO_REGISTER)
       {
        int regno = REGNO (recog_data.operand[i]);
@@ -1196,11 +1219,11 @@ regclass (rtx f, int nregs, FILE *dump)
 
   init_recog ();
 
-  costs = (struct costs *) xmalloc (nregs * sizeof (struct costs));
+  costs = xmalloc (nregs * sizeof (struct costs));
 
 #ifdef FORBIDDEN_INC_DEC_CLASSES
 
-  in_inc_dec = (char *) xmalloc (nregs);
+  in_inc_dec = xmalloc (nregs);
 
 #endif /* FORBIDDEN_INC_DEC_CLASSES */
 
@@ -1217,7 +1240,7 @@ regclass (rtx f, int nregs, FILE *dump)
        fprintf (dump, "\n\nPass %i\n\n",pass);
       /* Zero out our accumulation of the cost of each class for each reg.  */
 
-      memset ((char *) costs, 0, nregs * sizeof (struct costs));
+      memset (costs, 0, nregs * sizeof (struct costs));
 
 #ifdef FORBIDDEN_INC_DEC_CLASSES
       memset (in_inc_dec, 0, nregs);
@@ -1240,10 +1263,10 @@ regclass (rtx f, int nregs, FILE *dump)
               aggressive than the assumptions made elsewhere and is being
               tried as an experiment.  */
            frequency = REG_FREQ_FROM_BB (bb);
-           for (insn = bb->head; ; insn = NEXT_INSN (insn))
+           for (insn = BB_HEAD (bb); ; insn = NEXT_INSN (insn))
              {
                insn = scan_one_insn (insn, pass);
-               if (insn == bb->end)
+               if (insn == BB_END (bb))
                  break;
              }
          }
@@ -1328,7 +1351,6 @@ regclass (rtx f, int nregs, FILE *dump)
              && (reg_pref[i].prefclass != (int) best
                  || reg_pref[i].altclass != (int) alt))
            {
-             static const char *const reg_class_names[] = REG_CLASS_NAMES;
              fprintf (dump, "  Register %i", i);
              if (alt == ALL_REGS || best == ALL_REGS)
                fprintf (dump, " pref %s\n", reg_class_names[(int) best]);
@@ -1416,8 +1438,8 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
 
          if (*p == 0)
            {
-             if (GET_CODE (op) == REG && REGNO (op) >= FIRST_PSEUDO_REGISTER)
-               memset ((char *) &this_op_costs[i], 0, sizeof this_op_costs[i]);
+             if (REG_P (op) && REGNO (op) >= FIRST_PSEUDO_REGISTER)
+               memset (&this_op_costs[i], 0, sizeof this_op_costs[i]);
 
              continue;
            }
@@ -1439,7 +1461,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
              classes[i] = classes[j];
              allows_mem[i] = allows_mem[j];
 
-             if (GET_CODE (op) != REG || REGNO (op) < FIRST_PSEUDO_REGISTER)
+             if (!REG_P (op) || REGNO (op) < FIRST_PSEUDO_REGISTER)
                {
                  /* If this matches the other operand, we have no added
                     cost and we win.  */
@@ -1453,7 +1475,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                  else if (classes[j] != NO_REGS)
                    alt_cost += copy_cost (op, mode, classes[j], 1), win = 1;
                }
-             else if (GET_CODE (ops[j]) != REG
+             else if (!REG_P (ops[j])
                       || REGNO (ops[j]) < FIRST_PSEUDO_REGISTER)
                {
                  /* This op is a pseudo but the one it matches is not.  */
@@ -1554,7 +1576,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                  win = address_operand (op, GET_MODE (op));
                  /* We know this operand is an address, so we want it to be
                     allocated to a register that can be the base of an
-                    address, ie BASE_REG_CLASS.  */
+                    address, i.e. BASE_REG_CLASS.  */
                  classes[i]
                    = reg_class_subunion[(int) classes[i]]
                      [(int) MODE_BASE_REG_CLASS (VOIDmode)];
@@ -1564,19 +1586,19 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                  /* It doesn't seem worth distinguishing between offsettable
                     and non-offsettable addresses here.  */
                  allows_mem[i] = 1;
-                 if (GET_CODE (op) == MEM)
+                 if (MEM_P (op))
                    win = 1;
                  break;
 
                case '<':
-                 if (GET_CODE (op) == MEM
+                 if (MEM_P (op)
                      && (GET_CODE (XEXP (op, 0)) == PRE_DEC
                          || GET_CODE (XEXP (op, 0)) == POST_DEC))
                    win = 1;
                  break;
 
                case '>':
-                 if (GET_CODE (op) == MEM
+                 if (MEM_P (op)
                      && (GET_CODE (XEXP (op, 0)) == PRE_INC
                          || GET_CODE (XEXP (op, 0)) == POST_INC))
                    win = 1;
@@ -1605,10 +1627,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                    break;
                case 'i':
                  if (CONSTANT_P (op)
-#ifdef LEGITIMATE_PIC_OPERAND_P
-                     && (! flag_pic || LEGITIMATE_PIC_OPERAND_P (op))
-#endif
-                     )
+                     && (! flag_pic || LEGITIMATE_PIC_OPERAND_P (op)))
                    win = 1;
                  break;
 
@@ -1637,12 +1656,9 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                  break;
 
                case 'g':
-                 if (GET_CODE (op) == MEM
+                 if (MEM_P (op)
                      || (CONSTANT_P (op)
-#ifdef LEGITIMATE_PIC_OPERAND_P
-                         && (! flag_pic || LEGITIMATE_PIC_OPERAND_P (op))
-#endif
-                         ))
+                         && (! flag_pic || LEGITIMATE_PIC_OPERAND_P (op))))
                    win = 1;
                  allows_mem[i] = 1;
                case 'r':
@@ -1663,7 +1679,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                    {
                      /* Every MEM can be reloaded to fit.  */
                      allows_mem[i] = 1;
-                     if (GET_CODE (op) == MEM)
+                     if (MEM_P (op))
                        win = 1;
                    }
                  if (EXTRA_ADDRESS_CONSTRAINT (c, p))
@@ -1674,7 +1690,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                        win = 1;
                      /* We know this operand is an address, so we want it to
                         be allocated to a register that can be the base of an
-                        address, ie BASE_REG_CLASS.  */
+                        address, i.e. BASE_REG_CLASS.  */
                      classes[i]
                        = reg_class_subunion[(int) classes[i]]
                          [(int) MODE_BASE_REG_CLASS (VOIDmode)];
@@ -1696,7 +1712,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
             register preferencing.  If some register class is valid, compute
             the costs of moving the pseudo into that class.  */
 
-         if (GET_CODE (op) == REG && REGNO (op) >= FIRST_PSEUDO_REGISTER)
+         if (REG_P (op) && REGNO (op) >= FIRST_PSEUDO_REGISTER)
            {
              if (classes[i] == NO_REGS)
                {
@@ -1751,7 +1767,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
             the proper class, there is no cost for this alternative.  */
 
          else if (win
-                  || (GET_CODE (op) == REG
+                  || (REG_P (op)
                       && reg_fits_class_p (op, classes[i], 0, GET_MODE (op))))
            ;
 
@@ -1783,7 +1799,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
         about this alternative.  */
 
       for (i = 0; i < n_ops; i++)
-       if (GET_CODE (ops[i]) == REG
+       if (REG_P (ops[i])
            && REGNO (ops[i]) >= FIRST_PSEUDO_REGISTER)
          {
            struct costs *pp = &op_costs[i], *qq = &this_op_costs[i];
@@ -1814,7 +1830,7 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
 
   if ((set = single_set (insn)) != 0
       && ops[0] == SET_DEST (set) && ops[1] == SET_SRC (set)
-      && GET_CODE (ops[0]) == REG && GET_CODE (ops[1]) == REG
+      && REG_P (ops[0]) && REG_P (ops[1])
       && find_regno_note (insn, REG_DEAD, REGNO (ops[1])))
     for (i = 0; i <= 1; i++)
       if (REGNO (ops[i]) >= FIRST_PSEUDO_REGISTER)
@@ -1842,14 +1858,14 @@ record_reg_classes (int n_alts, int n_ops, rtx *ops,
                    op_costs[i].cost[class] = -1;
                  else
                    {
-                     for (nr = 0; nr < (unsigned) HARD_REGNO_NREGS (regno, mode); nr++)
+                     for (nr = 0; nr < (unsigned) hard_regno_nregs[regno][mode]; nr++)
                        {
                          if (! TEST_HARD_REG_BIT (reg_class_contents[class],
                                                   regno + nr))
                            break;
                        }
 
-                     if (nr == (unsigned) HARD_REGNO_NREGS (regno,mode))
+                     if (nr == (unsigned) hard_regno_nregs[regno][mode])
                        op_costs[i].cost[class] = -1;
                    }
                }
@@ -1903,10 +1919,10 @@ copy_cost (rtx x, enum machine_mode mode ATTRIBUTE_UNUSED,
      cost to move between the register classes, and use 2 for everything
      else (constants).  */
 
-  if (GET_CODE (x) == MEM || class == NO_REGS)
+  if (MEM_P (x) || class == NO_REGS)
     return MEMORY_MOVE_COST (mode, class, to_p);
 
-  else if (GET_CODE (x) == REG)
+  else if (REG_P (x))
     return move_cost[mode][(int) REGNO_REG_CLASS (REGNO (x))][(int) class];
 
   else
@@ -1994,25 +2010,27 @@ record_address_regs (rtx x, enum reg_class class, int scale)
          record_address_regs (arg0, INDEX_REG_CLASS, scale);
 
        /* If both operands are registers but one is already a hard register
-          of index or base class, give the other the class that the hard
-          register is not.  */
+          of index or reg-base class, give the other the class that the
+          hard register is not.  */
 
-#ifdef REG_OK_FOR_BASE_P
        else if (code0 == REG && code1 == REG
                 && REGNO (arg0) < FIRST_PSEUDO_REGISTER
-                && (REG_OK_FOR_BASE_P (arg0) || REG_OK_FOR_INDEX_P (arg0)))
+                && (REG_MODE_OK_FOR_REG_BASE_P (arg0, VOIDmode)
+                    || REG_OK_FOR_INDEX_P (arg0)))
          record_address_regs (arg1,
-                              REG_OK_FOR_BASE_P (arg0)
-                              ? INDEX_REG_CLASS : MODE_BASE_REG_CLASS (VOIDmode),
+                              REG_MODE_OK_FOR_REG_BASE_P (arg0, VOIDmode)
+                              ? INDEX_REG_CLASS
+                              : MODE_BASE_REG_REG_CLASS (VOIDmode),
                               scale);
        else if (code0 == REG && code1 == REG
                 && REGNO (arg1) < FIRST_PSEUDO_REGISTER
-                && (REG_OK_FOR_BASE_P (arg1) || REG_OK_FOR_INDEX_P (arg1)))
+                && (REG_MODE_OK_FOR_REG_BASE_P (arg1, VOIDmode)
+                    || REG_OK_FOR_INDEX_P (arg1)))
          record_address_regs (arg0,
-                              REG_OK_FOR_BASE_P (arg1)
-                              ? INDEX_REG_CLASS : MODE_BASE_REG_CLASS (VOIDmode),
+                              REG_MODE_OK_FOR_REG_BASE_P (arg1, VOIDmode)
+                              ? INDEX_REG_CLASS
+                              : MODE_BASE_REG_REG_CLASS (VOIDmode),
                               scale);
-#endif
 
        /* If one operand is known to be a pointer, it must be the base
           with the other operand the index.  Likewise if the other operand
@@ -2021,14 +2039,16 @@ record_address_regs (rtx x, enum reg_class class, int scale)
        else if ((code0 == REG && REG_POINTER (arg0))
                 || code1 == MULT)
          {
-           record_address_regs (arg0, MODE_BASE_REG_CLASS (VOIDmode), scale);
+           record_address_regs (arg0, MODE_BASE_REG_REG_CLASS (VOIDmode),
+                                scale);
            record_address_regs (arg1, INDEX_REG_CLASS, scale);
          }
        else if ((code1 == REG && REG_POINTER (arg1))
                 || code0 == MULT)
          {
            record_address_regs (arg0, INDEX_REG_CLASS, scale);
-           record_address_regs (arg1, MODE_BASE_REG_CLASS (VOIDmode), scale);
+           record_address_regs (arg1, MODE_BASE_REG_REG_CLASS (VOIDmode),
+                                scale);
          }
 
        /* Otherwise, count equal chances that each might be a base
@@ -2036,10 +2056,10 @@ record_address_regs (rtx x, enum reg_class class, int scale)
 
        else
          {
-           record_address_regs (arg0, MODE_BASE_REG_CLASS (VOIDmode),
+           record_address_regs (arg0, MODE_BASE_REG_REG_CLASS (VOIDmode),
                                 scale / 2);
            record_address_regs (arg0, INDEX_REG_CLASS, scale / 2);
-           record_address_regs (arg1, MODE_BASE_REG_CLASS (VOIDmode),
+           record_address_regs (arg1, MODE_BASE_REG_REG_CLASS (VOIDmode),
                                 scale / 2);
            record_address_regs (arg1, INDEX_REG_CLASS, scale / 2);
          }
@@ -2068,7 +2088,7 @@ record_address_regs (rtx x, enum reg_class class, int scale)
         show it is being used in an INC_DEC context.  */
 
 #ifdef FORBIDDEN_INC_DEC_CLASSES
-      if (GET_CODE (XEXP (x, 0)) == REG
+      if (REG_P (XEXP (x, 0))
          && REGNO (XEXP (x, 0)) >= FIRST_PSEUDO_REGISTER)
        in_inc_dec[REGNO (XEXP (x, 0))] = 1;
 #endif
@@ -2150,42 +2170,41 @@ allocate_reg_info (size_t num_regs, int new_p, int renumber_p)
     {
       size_t old_allocated = regno_allocated;
 
-      regno_allocated = num_regs + (num_regs / 20);    /* add some slop space */
+      regno_allocated = num_regs + (num_regs / 20);    /* Add some slop space.  */
       size_renumber = regno_allocated * sizeof (short);
 
       if (!reg_n_info)
        {
          VARRAY_REG_INIT (reg_n_info, regno_allocated, "reg_n_info");
-         renumber = (short *) xmalloc (size_renumber);
-         reg_pref_buffer = (struct reg_pref *) xmalloc (regno_allocated
-                                             * sizeof (struct reg_pref));
+         renumber = xmalloc (size_renumber);
+         reg_pref_buffer = xmalloc (regno_allocated
+                                    * sizeof (struct reg_pref));
        }
-
       else
        {
          VARRAY_GROW (reg_n_info, regno_allocated);
 
-         if (new_p)            /* if we're zapping everything, no need to realloc */
+         if (new_p)            /* If we're zapping everything, no need to realloc.  */
            {
              free ((char *) renumber);
              free ((char *) reg_pref);
-             renumber = (short *) xmalloc (size_renumber);
-             reg_pref_buffer = (struct reg_pref *) xmalloc (regno_allocated
-                                                 * sizeof (struct reg_pref));
+             renumber = xmalloc (size_renumber);
+             reg_pref_buffer = xmalloc (regno_allocated
+                                        * sizeof (struct reg_pref));
            }
 
          else
            {
-             renumber = (short *) xrealloc ((char *) renumber, size_renumber);
-             reg_pref_buffer = (struct reg_pref *) xrealloc ((char *) reg_pref_buffer,
-                                                  regno_allocated
-                                                  * sizeof (struct reg_pref));
+             renumber = xrealloc (renumber, size_renumber);
+             reg_pref_buffer = xrealloc (reg_pref_buffer,
+                                         regno_allocated
+                                         * sizeof (struct reg_pref));
            }
        }
 
       size_info = (regno_allocated - old_allocated) * sizeof (reg_info)
        + sizeof (struct reg_info_data) - sizeof (reg_info);
-      reg_data = (struct reg_info_data *) xcalloc (size_info, 1);
+      reg_data = xcalloc (size_info, 1);
       reg_data->min_index = old_allocated;
       reg_data->max_index = regno_allocated - 1;
       reg_data->next = reg_info_head;
@@ -2215,8 +2234,8 @@ allocate_reg_info (size_t num_regs, int new_p, int renumber_p)
          if (!reg_data->used_p)        /* page just allocated with calloc */
            reg_data->used_p = 1;       /* no need to zero */
          else
-           memset ((char *) &reg_data->data[local_min], 0,
-                  sizeof (reg_info) * (max - min_index - local_min + 1));
+           memset (&reg_data->data[local_min], 0,
+                   sizeof (reg_info) * (max - min_index - local_min + 1));
 
          for (i = min_index+local_min; i <= max; i++)
            {
@@ -2236,9 +2255,6 @@ allocate_reg_info (size_t num_regs, int new_p, int renumber_p)
 
   if (renumber_p)
     reg_renumber = renumber;
-
-  /* Tell the regset code about the new number of registers.  */
-  MAX_REGNO_REG_SET (num_regs, new_p, renumber_p);
 }
 
 /* Free up the space allocated by allocate_reg_info.  */
@@ -2289,25 +2305,24 @@ int max_parallel;
 static int max_set_parallel;
 
 void
-reg_scan (rtx f, unsigned int nregs, int repeat ATTRIBUTE_UNUSED)
+reg_scan (rtx f, unsigned int nregs)
 {
   rtx insn;
 
+  timevar_push (TV_REG_SCAN);
+
   allocate_reg_info (nregs, TRUE, FALSE);
   max_parallel = 3;
   max_set_parallel = 0;
 
-  timevar_push (TV_REG_SCAN);
-
   for (insn = f; insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == INSN
-       || GET_CODE (insn) == CALL_INSN
-       || GET_CODE (insn) == JUMP_INSN)
+    if (INSN_P (insn))
       {
-       if (GET_CODE (PATTERN (insn)) == PARALLEL
-           && XVECLEN (PATTERN (insn), 0) > max_parallel)
-         max_parallel = XVECLEN (PATTERN (insn), 0);
-       reg_scan_mark_refs (PATTERN (insn), insn, 0, 0);
+       rtx pat = PATTERN (insn);
+       if (GET_CODE (pat) == PARALLEL
+           && XVECLEN (pat, 0) > max_parallel)
+         max_parallel = XVECLEN (pat, 0);
+       reg_scan_mark_refs (pat, insn, 0, 0);
 
        if (REG_NOTES (insn))
          reg_scan_mark_refs (REG_NOTES (insn), insn, 1, 0);
@@ -2331,14 +2346,13 @@ reg_scan_update (rtx first, rtx last, unsigned int old_max_regno)
   allocate_reg_info (max_reg_num (), FALSE, FALSE);
 
   for (insn = first; insn != last; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == INSN
-       || GET_CODE (insn) == CALL_INSN
-       || GET_CODE (insn) == JUMP_INSN)
+    if (INSN_P (insn))
       {
-       if (GET_CODE (PATTERN (insn)) == PARALLEL
-           && XVECLEN (PATTERN (insn), 0) > max_parallel)
-         max_parallel = XVECLEN (PATTERN (insn), 0);
-       reg_scan_mark_refs (PATTERN (insn), insn, 0, old_max_regno);
+       rtx pat = PATTERN (insn);
+       if (GET_CODE (pat) == PARALLEL
+           && XVECLEN (pat, 0) > max_parallel)
+         max_parallel = XVECLEN (pat, 0);
+       reg_scan_mark_refs (pat, insn, 0, old_max_regno);
 
        if (REG_NOTES (insn))
          reg_scan_mark_refs (REG_NOTES (insn), insn, 1, old_max_regno);
@@ -2380,7 +2394,6 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
 
        if (regno >= min_regno)
          {
-           REGNO_LAST_NOTE_UID (regno) = INSN_UID (insn);
            if (!note_flag)
              REGNO_LAST_UID (regno) = INSN_UID (insn);
            if (REGNO_FIRST_UID (regno) == 0)
@@ -2414,6 +2427,8 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
            REG_N_SETS (REGNO (reg))++;
            REG_N_REFS (REGNO (reg))++;
          }
+       else if (MEM_P (reg))
+         reg_scan_mark_refs (XEXP (reg, 0), insn, note_flag, min_regno);
       }
       break;
 
@@ -2430,7 +2445,7 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
       if (GET_CODE (dest) == PARALLEL)
        max_set_parallel = MAX (max_set_parallel, XVECLEN (dest, 0) - 1);
 
-      if (GET_CODE (dest) == REG
+      if (REG_P (dest)
          && REGNO (dest) >= min_regno)
        {
          REG_N_SETS (REGNO (dest))++;
@@ -2449,7 +2464,7 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
         variable since it should have already been set as a pointer based
         on the type.  */
 
-      if (GET_CODE (SET_DEST (x)) == REG
+      if (REG_P (SET_DEST (x))
          && REGNO (SET_DEST (x)) >= FIRST_PSEUDO_REGISTER
          && REGNO (SET_DEST (x)) >= min_regno
          /* If the destination pseudo is set more than once, then other
@@ -2460,12 +2475,12 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
          && REG_N_SETS (REGNO (SET_DEST (x))) == 1
          && ! REG_USERVAR_P (SET_DEST (x))
          && ! REG_POINTER (SET_DEST (x))
-         && ((GET_CODE (SET_SRC (x)) == REG
+         && ((REG_P (SET_SRC (x))
               && REG_POINTER (SET_SRC (x)))
              || ((GET_CODE (SET_SRC (x)) == PLUS
                   || GET_CODE (SET_SRC (x)) == LO_SUM)
                  && GET_CODE (XEXP (SET_SRC (x), 1)) == CONST_INT
-                 && GET_CODE (XEXP (SET_SRC (x), 0)) == REG
+                 && REG_P (XEXP (SET_SRC (x), 0))
                  && REG_POINTER (XEXP (SET_SRC (x), 0)))
              || GET_CODE (SET_SRC (x)) == CONST
              || GET_CODE (SET_SRC (x)) == SYMBOL_REF
@@ -2487,7 +2502,7 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
 
       /* If this is setting a register from a register or from a simple
         conversion of a register, propagate REG_EXPR.  */
-      if (GET_CODE (dest) == REG)
+      if (REG_P (dest))
        {
          rtx src = SET_SRC (x);
 
@@ -2499,7 +2514,7 @@ reg_scan_mark_refs (rtx x, rtx insn, int note_flag, unsigned int min_regno)
 
          if (!REG_ATTRS (dest) && REG_P (src))
            REG_ATTRS (dest) = REG_ATTRS (src);
-         if (!REG_ATTRS (dest) && GET_CODE (src) == MEM)
+         if (!REG_ATTRS (dest) && MEM_P (src))
            set_reg_attrs_from_mem (dest, src);
        }
 
@@ -2546,10 +2561,7 @@ reg_class_subset_p (enum reg_class c1, enum reg_class c2)
 int
 reg_classes_intersect_p (enum reg_class c1, enum reg_class c2)
 {
-#ifdef HARD_REG_SET
-  register
-#endif
-    HARD_REG_SET c;
+  HARD_REG_SET c;
 
   if (c1 == c2) return 1;
 
@@ -2566,15 +2578,71 @@ reg_classes_intersect_p (enum reg_class c1, enum reg_class c2)
   return 0;
 }
 
-/* Release any memory allocated by register sets.  */
+#ifdef CANNOT_CHANGE_MODE_CLASS
+
+struct subregs_of_mode_node
+{
+  unsigned int block;
+  unsigned char modes[MAX_MACHINE_MODE];
+};
+
+static htab_t subregs_of_mode;
+
+static hashval_t
+som_hash (const void *x)
+{
+  const struct subregs_of_mode_node *a = x;
+  return a->block;
+}
+
+static int
+som_eq (const void *x, const void *y)
+{
+  const struct subregs_of_mode_node *a = x;
+  const struct subregs_of_mode_node *b = y;
+  return a->block == b->block;
+}
 
 void
-regset_release_memory (void)
+init_subregs_of_mode (void)
 {
-  bitmap_release_memory ();
+  if (subregs_of_mode)
+    htab_empty (subregs_of_mode);
+  else
+    subregs_of_mode = htab_create (100, som_hash, som_eq, free);
+}
+
+void
+record_subregs_of_mode (rtx subreg)
+{
+  struct subregs_of_mode_node dummy, *node;
+  enum machine_mode mode;
+  unsigned int regno;
+  void **slot;
+
+  if (!REG_P (SUBREG_REG (subreg)))
+    return;
+
+  regno = REGNO (SUBREG_REG (subreg));
+  mode = GET_MODE (subreg);
+
+  if (regno < FIRST_PSEUDO_REGISTER)
+    return;
+
+  dummy.block = regno & -8;
+  slot = htab_find_slot_with_hash (subregs_of_mode, &dummy,
+                                  dummy.block, INSERT);
+  node = *slot;
+  if (node == NULL)
+    {
+      node = xcalloc (1, sizeof (*node));
+      node->block = regno & -8;
+      *slot = node;
+    }
+
+  node->modes[mode] |= 1 << (regno & 7);
 }
 
-#ifdef CANNOT_CHANGE_MODE_CLASS
 /* Set bits in *USED which correspond to registers which can't change
    their mode from FROM to any mode in which REGNO was encountered.  */
 
@@ -2582,19 +2650,23 @@ void
 cannot_change_mode_set_regs (HARD_REG_SET *used, enum machine_mode from,
                             unsigned int regno)
 {
+  struct subregs_of_mode_node dummy, *node;
   enum machine_mode to;
-  int n, i;
-  int start = regno * MAX_MACHINE_MODE;
+  unsigned char mask;
+  unsigned int i;
 
-  EXECUTE_IF_SET_IN_BITMAP (&subregs_of_mode, start, n,
-    if (n >= MAX_MACHINE_MODE + start)
-      return;
-    to = n - start;
-    for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
-      if (! TEST_HARD_REG_BIT (*used, i)
-         && REG_CANNOT_CHANGE_MODE_P (i, from, to))
-       SET_HARD_REG_BIT (*used, i);
-  );
+  dummy.block = regno & -8;
+  node = htab_find_with_hash (subregs_of_mode, &dummy, dummy.block);
+  if (node == NULL)
+    return;
+
+  mask = 1 << (regno & 7);
+  for (to = VOIDmode; to < NUM_MACHINE_MODES; to++)
+    if (node->modes[to] & mask)
+      for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
+       if (!TEST_HARD_REG_BIT (*used, i)
+           && REG_CANNOT_CHANGE_MODE_P (i, from, to))
+         SET_HARD_REG_BIT (*used, i);
 }
 
 /* Return 1 if REGNO has had an invalid mode change in CLASS from FROM
@@ -2602,20 +2674,24 @@ cannot_change_mode_set_regs (HARD_REG_SET *used, enum machine_mode from,
 
 bool
 invalid_mode_change_p (unsigned int regno, enum reg_class class,
-                      enum machine_mode from_mode)
+                      enum machine_mode from)
 {
-  enum machine_mode to_mode;
-  int n;
-  int start = regno * MAX_MACHINE_MODE;
-
-  EXECUTE_IF_SET_IN_BITMAP (&subregs_of_mode, start, n,
-    if (n >= MAX_MACHINE_MODE + start)
-      return 0;
-    to_mode = n - start;
-    if (CANNOT_CHANGE_MODE_CLASS (from_mode, to_mode, class))
-      return 1;
-  );
-  return 0;
+  struct subregs_of_mode_node dummy, *node;
+  enum machine_mode to;
+  unsigned char mask;
+
+  dummy.block = regno & -8;
+  node = htab_find_with_hash (subregs_of_mode, &dummy, dummy.block);
+  if (node == NULL)
+    return false;
+
+  mask = 1 << (regno & 7);
+  for (to = VOIDmode; to < NUM_MACHINE_MODES; to++)
+    if (node->modes[to] & mask)
+      if (CANNOT_CHANGE_MODE_CLASS (from, to, class))
+       return true;
+
+  return false;
 }
 #endif /* CANNOT_CHANGE_MODE_CLASS */