OSDN Git Service

(expand_builtin): Allow __builtin_next_arg to be used in varargs
[pf3gnuchains/gcc-fork.git] / gcc / expr.c
index 0404c6b..09178a6 100644 (file)
@@ -19,8 +19,10 @@ the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.  */
 
 
 #include "config.h"
+#include "machmode.h"
 #include "rtl.h"
 #include "tree.h"
+#include "obstack.h"
 #include "flags.h"
 #include "function.h"
 #include "insn-flags.h"
@@ -31,6 +33,13 @@ the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.  */
 #include "output.h"
 #include "typeclass.h"
 
+#include "bytecode.h"
+#include "bc-opcode.h"
+#include "bc-typecd.h"
+#include "bc-optab.h"
+#include "bc-emit.h"
+
+
 #define CEIL(x,y) (((x) + (y) - 1) / (y))
 
 /* Decide whether a function's arguments should be processed
@@ -111,6 +120,16 @@ struct move_by_pieces
   int reverse;
 };
 
+/* Used to generate bytecodes: keep track of size of local variables,
+   as well as depth of arithmetic stack. (Notice that variables are
+   stored on the machine's stack, not the arithmetic stack.) */
+
+int local_vars_size;
+extern int stack_depth;
+extern int max_stack_depth;
+extern struct obstack permanent_obstack;
+
+
 static rtx enqueue_insn                PROTO((rtx, rtx));
 static int queued_subexp_p     PROTO((rtx));
 static void init_queue         PROTO((void));
@@ -137,6 +156,20 @@ static rtx expand_builtin_apply_args PROTO((void));
 static rtx expand_builtin_apply        PROTO((rtx, rtx, rtx));
 static void expand_builtin_return PROTO((rtx));
 static rtx expand_increment    PROTO((tree, int));
+rtx bc_expand_increment                PROTO((struct increment_operator *, tree));
+tree bc_runtime_type_code      PROTO((tree));
+rtx bc_allocate_local          PROTO((int, int));
+void bc_store_memory           PROTO((tree, tree));
+tree bc_expand_component_address PROTO((tree));
+tree bc_expand_address                 PROTO((tree));
+void bc_expand_constructor     PROTO((tree));
+void bc_adjust_stack           PROTO((int));
+tree bc_canonicalize_array_ref PROTO((tree));
+void bc_load_memory            PROTO((tree, tree));
+void bc_load_externaddr                PROTO((rtx));
+void bc_load_externaddr_id     PROTO((tree, int));
+void bc_load_localaddr         PROTO((rtx));
+void bc_load_parmaddr          PROTO((rtx));
 static void preexpand_calls    PROTO((tree));
 static void do_jump_by_parts_greater PROTO((tree, int, rtx, rtx));
 static void do_jump_by_parts_greater_rtx PROTO((enum machine_mode, int, rtx, rtx, rtx, rtx));
@@ -183,6 +216,32 @@ enum insn_code movstr_optab[NUM_MACHINE_MODES];
 #define OUTGOING_REGNO(IN) (IN)
 #endif
 \f
+/* Maps used to convert modes to const, load, and store bytecodes. */
+enum bytecode_opcode mode_to_const_map[MAX_MACHINE_MODE];
+enum bytecode_opcode mode_to_load_map[MAX_MACHINE_MODE];
+enum bytecode_opcode mode_to_store_map[MAX_MACHINE_MODE];
+
+/* Initialize maps used to convert modes to const, load, and store
+   bytecodes. */
+void
+bc_init_mode_to_opcode_maps ()
+{
+  int mode;
+
+  for (mode = 0; mode < (int) MAX_MACHINE_MODE; mode++)
+    mode_to_const_map[mode] =
+      mode_to_load_map[mode] =
+       mode_to_store_map[mode] = neverneverland;
+      
+#define DEF_MODEMAP(SYM, CODE, UCODE, CONST, LOAD, STORE) \
+  mode_to_const_map[(int) SYM] = CONST; \
+  mode_to_load_map[(int) SYM] = LOAD; \
+  mode_to_store_map[(int) SYM] = STORE;
+
+#include "modemap.def"
+#undef DEF_MODEMAP
+}
+\f
 /* This is run once per compilation to set up which modes can be used
    directly in memory and to initialize the block move optab.  */
 
@@ -378,11 +437,24 @@ protect_from_queue (x, modify)
       /* Otherwise, recursively protect the subexpressions of all
         the kinds of rtx's that can contain a QUEUED.  */
       if (code == MEM)
-       XEXP (x, 0) = protect_from_queue (XEXP (x, 0), 0);
+       {
+         rtx tem = protect_from_queue (XEXP (x, 0), 0);
+         if (tem != XEXP (x, 0))
+           {
+             x = copy_rtx (x);
+             XEXP (x, 0) = tem;
+           }
+       }
       else if (code == PLUS || code == MULT)
        {
-         XEXP (x, 0) = protect_from_queue (XEXP (x, 0), 0);
-         XEXP (x, 1) = protect_from_queue (XEXP (x, 1), 0);
+         rtx new0 = protect_from_queue (XEXP (x, 0), 0);
+         rtx new1 = protect_from_queue (XEXP (x, 1), 0);
+         if (new0 != XEXP (x, 0) || new1 != XEXP (x, 1))
+           {
+             x = copy_rtx (x);
+             XEXP (x, 0) = new0;
+             XEXP (x, 1) = new1;
+           }
        }
       return x;
     }
@@ -494,6 +566,8 @@ convert_move (to, from, unsignedp)
 
   if (to_real)
     {
+      rtx value;
+
 #ifdef HAVE_extendqfhf2
       if (HAVE_extendqfsf2 && from_mode == QFmode && to_mode == HFmode)
        {
@@ -762,8 +836,9 @@ convert_move (to, from, unsignedp)
        /* This conversion is not implemented yet.  */
        abort ();
 
-      emit_library_call (libcall, 1, to_mode, 1, from, from_mode);
-      emit_move_insn (to, hard_libcall_value (to_mode));
+      value = emit_library_call_value (libcall, NULL_RTX, 1, to_mode,
+                                      1, from, from_mode);
+      emit_move_insn (to, value);
       return;
     }
 
@@ -799,6 +874,8 @@ convert_move (to, from, unsignedp)
               && ((code = can_extend_p (to_mode, word_mode, unsignedp))
                   != CODE_FOR_nothing))
        {
+         if (GET_CODE (to) == REG)
+           emit_insn (gen_rtx (CLOBBER, VOIDmode, to));
          convert_move (gen_lowpart (word_mode, to), from, unsignedp);
          emit_unop_insn (code, to,
                          gen_lowpart (word_mode, to), equiv_code);
@@ -1084,8 +1161,30 @@ convert_to_mode (mode, x, unsignedp)
      rtx x;
      int unsignedp;
 {
+  return convert_modes (mode, VOIDmode, x, unsignedp);
+}
+
+/* Return an rtx for a value that would result
+   from converting X from mode OLDMODE to mode MODE.
+   Both modes may be floating, or both integer.
+   UNSIGNEDP is nonzero if X is an unsigned value.
+
+   This can be done by referring to a part of X in place
+   or by copying to a new temporary with conversion.
+
+   You can give VOIDmode for OLDMODE, if you are sure X has a nonvoid mode.
+
+   This function *must not* call protect_from_queue
+   except when putting X into an insn (in which case convert_move does it).  */
+
+rtx
+convert_modes (mode, oldmode, x, unsignedp)
+     enum machine_mode mode, oldmode;
+     rtx x;
+     int unsignedp;
+{
   register rtx temp;
+
   /* If FROM is a SUBREG that indicates that we have already done at least
      the required extension, strip it.  */
 
@@ -1094,7 +1193,10 @@ convert_to_mode (mode, x, unsignedp)
       && SUBREG_PROMOTED_UNSIGNED_P (x) == unsignedp)
     x = gen_lowpart (mode, x);
 
-  if (mode == GET_MODE (x))
+  if (GET_MODE (x) != VOIDmode)
+    oldmode = GET_MODE (x);
+  if (mode == oldmode)
     return x;
 
   /* There is one case that we must handle specially: If we are converting
@@ -1110,18 +1212,40 @@ convert_to_mode (mode, x, unsignedp)
 
   /* We can do this with a gen_lowpart if both desired and current modes
      are integer, and this is either a constant integer, a register, or a
-     non-volatile MEM.  Except for the constant case, we must be narrowing
-     the operand.  */
+     non-volatile MEM.  Except for the constant case where MODE is no
+     wider than HOST_BITS_PER_WIDE_INT, we must be narrowing the operand.  */
 
-  if (GET_CODE (x) == CONST_INT
+  if ((GET_CODE (x) == CONST_INT
+       && GET_MODE_BITSIZE (mode) <= HOST_BITS_PER_WIDE_INT)
       || (GET_MODE_CLASS (mode) == MODE_INT
-         && GET_MODE_CLASS (GET_MODE (x)) == MODE_INT
+         && GET_MODE_CLASS (oldmode) == MODE_INT
          && (GET_CODE (x) == CONST_DOUBLE
-             || (GET_MODE_SIZE (mode) <= GET_MODE_SIZE (GET_MODE (x))
+             || (GET_MODE_SIZE (mode) <= GET_MODE_SIZE (oldmode)
                  && ((GET_CODE (x) == MEM && ! MEM_VOLATILE_P (x)
                       && direct_load[(int) mode])
                      || GET_CODE (x) == REG)))))
-    return gen_lowpart (mode, x);
+    {
+      /* ?? If we don't know OLDMODE, we have to assume here that
+        X does not need sign- or zero-extension.   This may not be
+        the case, but it's the best we can do.  */
+      if (GET_CODE (x) == CONST_INT && oldmode != VOIDmode
+         && GET_MODE_SIZE (mode) > GET_MODE_SIZE (oldmode))
+       {
+         HOST_WIDE_INT val = INTVAL (x);
+         int width = GET_MODE_BITSIZE (oldmode);
+
+         /* We must sign or zero-extend in this case.  Start by
+            zero-extending, then sign extend if we need to.  */
+         val &= ((HOST_WIDE_INT) 1 << width) - 1;
+         if (! unsignedp
+             && (val & ((HOST_WIDE_INT) 1 << (width - 1))))
+           val |= (HOST_WIDE_INT) (-1) << width;
+
+         return GEN_INT (val);
+       }
+
+      return gen_lowpart (mode, x);
+    }
 
   temp = gen_reg_rtx (mode);
   convert_move (temp, x, unsignedp);
@@ -1449,16 +1573,19 @@ move_block_to_reg (regno, x, nregs, mode)
 
   /* See if the machine can do this with a load multiple insn.  */
 #ifdef HAVE_load_multiple
-  last = get_last_insn ();
-  pat = gen_load_multiple (gen_rtx (REG, word_mode, regno), x,
-                          GEN_INT (nregs));
-  if (pat)
+  if (HAVE_load_multiple)
     {
-      emit_insn (pat);
-      return;
+      last = get_last_insn ();
+      pat = gen_load_multiple (gen_rtx (REG, word_mode, regno), x,
+                              GEN_INT (nregs));
+      if (pat)
+       {
+         emit_insn (pat);
+         return;
+       }
+      else
+       delete_insns_since (last);
     }
-  else
-    delete_insns_since (last);
 #endif
 
   for (i = 0; i < nregs; i++)
@@ -1501,16 +1628,19 @@ move_block_from_reg (regno, x, nregs, size)
 
   /* See if the machine can do this with a store multiple insn.  */
 #ifdef HAVE_store_multiple
-  last = get_last_insn ();
-  pat = gen_store_multiple (x, gen_rtx (REG, word_mode, regno),
-                           GEN_INT (nregs));
-  if (pat)
+  if (HAVE_store_multiple)
     {
-      emit_insn (pat);
-      return;
+      last = get_last_insn ();
+      pat = gen_store_multiple (x, gen_rtx (REG, word_mode, regno),
+                               GEN_INT (nregs));
+      if (pat)
+       {
+         emit_insn (pat);
+         return;
+       }
+      else
+       delete_insns_since (last);
     }
-  else
-    delete_insns_since (last);
 #endif
 
   for (i = 0; i < nregs; i++)
@@ -1678,20 +1808,22 @@ emit_move_insn_1 (x, y)
         the mode, not to change the address.  */
       if (stack)
        {
+         /* Note that the real part always precedes the imag part in memory
+            regardless of machine's endianness.  */
 #ifdef STACK_GROWS_DOWNWARD
          emit_insn (GEN_FCN (mov_optab->handlers[(int) submode].insn_code)
                     (gen_rtx (MEM, submode, (XEXP (x, 0))),
-                     gen_highpart (submode, y)));
+                     gen_imagpart (submode, y)));
          emit_insn (GEN_FCN (mov_optab->handlers[(int) submode].insn_code)
                     (gen_rtx (MEM, submode, (XEXP (x, 0))),
-                     gen_lowpart (submode, y)));
+                     gen_realpart (submode, y)));
 #else
          emit_insn (GEN_FCN (mov_optab->handlers[(int) submode].insn_code)
                     (gen_rtx (MEM, submode, (XEXP (x, 0))),
-                     gen_lowpart (submode, y)));
+                     gen_realpart (submode, y)));
          emit_insn (GEN_FCN (mov_optab->handlers[(int) submode].insn_code)
                     (gen_rtx (MEM, submode, (XEXP (x, 0))),
-                     gen_highpart (submode, y)));
+                     gen_imagpart (submode, y)));
 #endif
        }
       else
@@ -1702,7 +1834,11 @@ emit_move_insn_1 (x, y)
                     (gen_lowpart (submode, x), gen_lowpart (submode, y)));
        }
 
-      group_insns (prev);
+      if (GET_CODE (x) != CONCAT)
+       /* If X is a CONCAT, we got insns like RD = RS, ID = IS,
+          each with a separate pseudo as destination.
+          It's not correct for flow to treat them as a unit.  */
+       group_insns (prev);
 
       return get_last_insn ();
     }
@@ -2183,6 +2319,22 @@ expand_assignment (to, from, want_value, suggest_reg)
       return want_value ? result : NULL_RTX;
     }
 
+  if (output_bytecode)
+    {
+      tree dest_innermost;
+
+      bc_expand_expr (from);
+      bc_emit_instruction (duplicate);
+
+      dest_innermost = bc_expand_address (to);
+
+      /* Can't deduce from TYPE that we're dealing with a bitfield, so
+        take care of it here. */
+
+      bc_store_memory (TREE_TYPE (to), dest_innermost);
+      return NULL;
+    }
+
   /* Assignment of a structure component needs special treatment
      if the structure component's rtx is not simply a MEM.
      Assignment of an array element at a constant index
@@ -2200,7 +2352,11 @@ expand_assignment (to, from, want_value, suggest_reg)
       tree offset;
       int unsignedp;
       int volatilep = 0;
-      tree tem = get_inner_reference (to, &bitsize, &bitpos, &offset,
+      tree tem;
+      int alignment;
+
+      push_temp_slots ();
+      tem = get_inner_reference (to, &bitsize, &bitpos, &offset,
                                      &mode1, &unsignedp, &volatilep);
 
       /* If we are going to use store_bit_field and extract_bit_field,
@@ -2209,6 +2365,7 @@ expand_assignment (to, from, want_value, suggest_reg)
       if (mode1 == VOIDmode && want_value)
        tem = stabilize_reference (tem);
 
+      alignment = TYPE_ALIGN (TREE_TYPE (tem)) / BITS_PER_UNIT;
       to_rtx = expand_expr (tem, NULL_RTX, VOIDmode, 0);
       if (offset != 0)
        {
@@ -2219,6 +2376,14 @@ expand_assignment (to, from, want_value, suggest_reg)
          to_rtx = change_address (to_rtx, VOIDmode,
                                   gen_rtx (PLUS, Pmode, XEXP (to_rtx, 0),
                                            force_reg (Pmode, offset_rtx)));
+         /* If we have a variable offset, the known alignment
+            is only that of the innermost structure containing the field.
+            (Actually, we could sometimes do better by using the
+            align of an element of the innermost array, but no need.)  */
+         if (TREE_CODE (to) == COMPONENT_REF
+             || TREE_CODE (to) == BIT_FIELD_REF)
+           alignment
+             = TYPE_ALIGN (TREE_TYPE (TREE_OPERAND (to, 0))) / BITS_PER_UNIT;
        }
       if (volatilep)
        {
@@ -2239,15 +2404,18 @@ expand_assignment (to, from, want_value, suggest_reg)
                             : VOIDmode),
                            unsignedp,
                            /* Required alignment of containing datum.  */
-                           TYPE_ALIGN (TREE_TYPE (tem)) / BITS_PER_UNIT,
+                           alignment,
                            int_size_in_bytes (TREE_TYPE (tem)));
       preserve_temp_slots (result);
       free_temp_slots ();
+      pop_temp_slots ();
 
       /* If the value is meaningful, convert RESULT to the proper mode.
         Otherwise, return nothing.  */
-      return (want_value ? convert_to_mode (TYPE_MODE (TREE_TYPE (to)), result,
-                                           TREE_UNSIGNED (TREE_TYPE (to)))
+      return (want_value ? convert_modes (TYPE_MODE (TREE_TYPE (to)),
+                                         TYPE_MODE (TREE_TYPE (from)),
+                                         result,
+                                         TREE_UNSIGNED (TREE_TYPE (to)))
              : NULL_RTX);
     }
 
@@ -2255,15 +2423,25 @@ expand_assignment (to, from, want_value, suggest_reg)
      call the function before we start to compute the lhs.
      This is needed for correct code for cases such as
      val = setjmp (buf) on machines where reference to val
-     requires loading up part of an address in a separate insn.  */
-  if (TREE_CODE (from) == CALL_EXPR && ! aggregate_value_p (from))
+     requires loading up part of an address in a separate insn.
+
+     Don't do this if TO is a VAR_DECL whose DECL_RTL is REG since it might be
+     a promoted variable where the zero- or sign- extension needs to be done.
+     Handling this in the normal way is safe because no computation is done
+     before the call.  */
+  if (TREE_CODE (from) == CALL_EXPR && ! aggregate_value_p (from)
+      && ! (TREE_CODE (to) == VAR_DECL && GET_CODE (DECL_RTL (to)) == REG))
     {
-      rtx value = expand_expr (from, NULL_RTX, VOIDmode, 0);
+      rtx value;
+
+      push_temp_slots ();
+      value = expand_expr (from, NULL_RTX, VOIDmode, 0);
       if (to_rtx == 0)
        to_rtx = expand_expr (to, NULL_RTX, VOIDmode, 0);
       emit_move_insn (to_rtx, value);
       preserve_temp_slots (to_rtx);
       free_temp_slots ();
+      pop_temp_slots ();
       return want_value ? to_rtx : NULL_RTX;
     }
 
@@ -2276,10 +2454,14 @@ expand_assignment (to, from, want_value, suggest_reg)
   /* Don't move directly into a return register.  */
   if (TREE_CODE (to) == RESULT_DECL && GET_CODE (to_rtx) == REG)
     {
-      rtx temp = expand_expr (from, 0, GET_MODE (to_rtx), 0);
+      rtx temp;
+
+      push_temp_slots ();
+      temp = expand_expr (from, 0, GET_MODE (to_rtx), 0);
       emit_move_insn (to_rtx, temp);
       preserve_temp_slots (to_rtx);
       free_temp_slots ();
+      pop_temp_slots ();
       return want_value ? to_rtx : NULL_RTX;
     }
 
@@ -2290,8 +2472,11 @@ expand_assignment (to, from, want_value, suggest_reg)
       && current_function_returns_struct
       && !current_function_returns_pcc_struct)
     {
-      rtx from_rtx = expand_expr (from, NULL_RTX, VOIDmode, 0);
-      rtx size = expr_size (from);
+      rtx from_rtx, size;
+
+      push_temp_slots ();
+      size = expr_size (from);
+      from_rtx = expand_expr (from, NULL_RTX, VOIDmode, 0);
 
 #ifdef TARGET_MEM_FUNCTIONS
       emit_library_call (memcpy_libfunc, 0,
@@ -2311,14 +2496,17 @@ expand_assignment (to, from, want_value, suggest_reg)
 
       preserve_temp_slots (to_rtx);
       free_temp_slots ();
+      pop_temp_slots ();
       return want_value ? to_rtx : NULL_RTX;
     }
 
   /* Compute FROM and store the value in the rtx we got.  */
 
+  push_temp_slots ();
   result = store_expr (from, to_rtx, want_value);
   preserve_temp_slots (result);
   free_temp_slots ();
+  pop_temp_slots ();
   return want_value ? result : NULL_RTX;
 }
 
@@ -2428,6 +2616,14 @@ store_expr (exp, target, want_value)
        expression.  */
     {
       temp = expand_expr (exp, NULL_RTX, VOIDmode, 0);
+
+      /* If TEMP is a VOIDmode constant, use convert_modes to make
+        sure that we properly convert it.  */
+      if (CONSTANT_P (temp) && GET_MODE (temp) == VOIDmode)
+       temp = convert_modes (GET_MODE (SUBREG_REG (target)),
+                             TYPE_MODE (TREE_TYPE (exp)), temp,
+                             SUBREG_PROMOTED_UNSIGNED_P (target));
+
       convert_move (SUBREG_REG (target), temp,
                    SUBREG_PROMOTED_UNSIGNED_P (target));
       return want_value ? temp : NULL_RTX;
@@ -2451,6 +2647,15 @@ store_expr (exp, target, want_value)
        dont_return_target = 1;
     }
 
+  /* If TEMP is a VOIDmode constant and the mode of the type of EXP is not
+     the same as that of TARGET, adjust the constant.  This is needed, for
+     example, in case it is a CONST_DOUBLE and we want only a word-sized
+     value.  */
+  if (CONSTANT_P (temp) && GET_MODE (temp) == VOIDmode
+      && GET_MODE (target) != TYPE_MODE (TREE_TYPE (exp)))
+    temp = convert_modes (GET_MODE (target), TYPE_MODE (TREE_TYPE (exp)),
+                         temp, TREE_UNSIGNED (TREE_TYPE (exp)));
+
   /* If value was not generated in the target, store it there.
      Convert the value to TARGET's type first if nec.  */
 
@@ -2492,9 +2697,7 @@ store_expr (exp, target, want_value)
              /* Compute the size of the data to copy from the string.  */
              tree copy_size
                = size_binop (MIN_EXPR,
-                             size_binop (CEIL_DIV_EXPR,
-                                         TYPE_SIZE (TREE_TYPE (exp)),
-                                         size_int (BITS_PER_UNIT)),
+                             make_tree (sizetype, size),
                              convert (sizetype,
                                       build_int_2 (TREE_STRING_LENGTH (exp), 0)));
              rtx copy_size_rtx = expand_expr (copy_size, NULL_RTX,
@@ -2620,8 +2823,10 @@ store_constructor (exp, target)
          register tree field = TREE_PURPOSE (elt);
          register enum machine_mode mode;
          int bitsize;
-         int bitpos;
+         int bitpos = 0;
          int unsignedp;
+         tree pos, constant = 0, offset = 0;
+         rtx to_rtx = target;
 
          /* Just ignore missing fields.
             We cleared the whole structure, above,
@@ -2635,13 +2840,40 @@ store_constructor (exp, target)
          if (DECL_BIT_FIELD (field))
            mode = VOIDmode;
 
-         if (TREE_CODE (DECL_FIELD_BITPOS (field)) != INTEGER_CST)
-           /* ??? This case remains to be written.  */
-           abort ();
+         pos = DECL_FIELD_BITPOS (field);
+         if (TREE_CODE (pos) == INTEGER_CST)
+           constant = pos;
+         else if (TREE_CODE (pos) == PLUS_EXPR
+                  && TREE_CODE (TREE_OPERAND (pos, 1)) == INTEGER_CST)
+           constant = TREE_OPERAND (pos, 1), offset = TREE_OPERAND (pos, 0);
+         else
+           offset = pos;
 
-         bitpos = TREE_INT_CST_LOW (DECL_FIELD_BITPOS (field));
+         if (constant)
+           bitpos = TREE_INT_CST_LOW (DECL_FIELD_BITPOS (field));
+
+         if (offset)
+           {
+             rtx offset_rtx;
+
+             if (contains_placeholder_p (offset))
+               offset = build (WITH_RECORD_EXPR, sizetype,
+                               offset, exp);
 
-         store_field (target, bitsize, bitpos, mode, TREE_VALUE (elt),
+             offset = size_binop (FLOOR_DIV_EXPR, offset,
+                                  size_int (BITS_PER_UNIT));
+
+             offset_rtx = expand_expr (offset, NULL_RTX, VOIDmode, 0);
+             if (GET_CODE (to_rtx) != MEM)
+               abort ();
+
+             to_rtx
+               = change_address (to_rtx, VOIDmode,
+                                 gen_rtx (PLUS, Pmode, XEXP (to_rtx, 0),
+                                          force_reg (Pmode, offset_rtx)));
+           }
+
+         store_field (to_rtx, bitsize, bitpos, mode, TREE_VALUE (elt),
                       /* The alignment of TARGET is
                          at least what its type requires.  */
                       VOIDmode, 0,
@@ -2680,19 +2912,41 @@ store_constructor (exp, target)
          int bitsize;
          int bitpos;
          int unsignedp;
+         tree index = TREE_PURPOSE (elt);
+         rtx xtarget = target;
 
          mode = TYPE_MODE (elttype);
          bitsize = GET_MODE_BITSIZE (mode);
          unsignedp = TREE_UNSIGNED (elttype);
 
-         bitpos = (i * TREE_INT_CST_LOW (TYPE_SIZE (elttype)));
-
-         store_field (target, bitsize, bitpos, mode, TREE_VALUE (elt),
-                      /* The alignment of TARGET is
-                         at least what its type requires.  */
-                      VOIDmode, 0,
-                      TYPE_ALIGN (type) / BITS_PER_UNIT,
-                      int_size_in_bytes (type));
+         if (index != 0 && TREE_CODE (index) != INTEGER_CST)
+           {
+             /* We don't currently allow variable indices in a
+                C initializer, but let's try here to support them.  */
+             rtx pos_rtx, addr, xtarget;
+             tree position;
+
+             position = size_binop (MULT_EXPR, index, TYPE_SIZE (elttype));
+             pos_rtx = expand_expr (position, 0, VOIDmode, 0);
+             addr = gen_rtx (PLUS, Pmode, XEXP (target, 0), pos_rtx);
+             xtarget = change_address (target, mode, addr);
+             store_expr (TREE_VALUE (elt), xtarget, 0);
+           }
+         else
+           {
+             if (index != 0)
+               bitpos = ((TREE_INT_CST_LOW (index) - minelt)
+                         * TREE_INT_CST_LOW (TYPE_SIZE (elttype)));
+             else
+               bitpos = (i * TREE_INT_CST_LOW (TYPE_SIZE (elttype)));
+
+             store_field (xtarget, bitsize, bitpos, mode, TREE_VALUE (elt),
+                          /* The alignment of TARGET is
+                             at least what its type requires.  */
+                          VOIDmode, 0,
+                          TYPE_ALIGN (type) / BITS_PER_UNIT,
+                          int_size_in_bytes (type));
+           }
        }
     }
 
@@ -2758,9 +3012,11 @@ store_field (target, bitsize, bitpos, mode, exp, value_mode,
       store_field (blk_object, bitsize, bitpos, mode, exp, VOIDmode, 0,
                   align, total_size);
 
+      /* Even though we aren't returning target, we need to
+        give it the updated value.  */
       emit_move_insn (target, object);
 
-      return target;
+      return blk_object;
     }
 
   /* If the structure is in a register or if the component
@@ -2778,6 +3034,13 @@ store_field (target, bitsize, bitpos, mode, exp, value_mode,
       || (STRICT_ALIGNMENT && bitpos % GET_MODE_ALIGNMENT (mode) != 0))
     {
       rtx temp = expand_expr (exp, NULL_RTX, VOIDmode, 0);
+
+      /* Unless MODE is VOIDmode or BLKmode, convert TEMP to
+        MODE.  */
+      if (mode != VOIDmode && mode != BLKmode
+         && mode != TYPE_MODE (TREE_TYPE (exp)))
+       temp = convert_modes (mode, TYPE_MODE (TREE_TYPE (exp)), temp, 1);
+
       /* Store the value in the bitfield.  */
       store_bit_field (target, bitsize, bitpos, mode, temp, align, total_size);
       if (value_mode != VOIDmode)
@@ -2865,6 +3128,7 @@ get_inner_reference (exp, pbitsize, pbitpos, poffset, pmode,
      int *punsignedp;
      int *pvolatilep;
 {
+  tree orig_exp = exp;
   tree size_tree = 0;
   enum machine_mode mode = VOIDmode;
   tree offset = integer_zero_node;
@@ -3005,14 +3269,11 @@ get_inner_reference (exp, pbitsize, pbitpos, poffset, pmode,
   if (integer_zerop (offset))
     offset = 0;
 
+  if (offset != 0 && contains_placeholder_p (offset))
+    offset = build (WITH_RECORD_EXPR, sizetype, offset, orig_exp);
+
   *pmode = mode;
   *poffset = offset;
-#if 0
-  /* We aren't finished fixing the callers to really handle nonzero offset.  */
-  if (offset != 0)
-    abort ();
-#endif
-
   return exp;
 }
 \f
@@ -3354,6 +3615,9 @@ expand_expr (exp, target, tmode, modifier)
      enum machine_mode tmode;
      enum expand_modifier modifier;
 {
+  /* Chain of pending expressions for PLACEHOLDER_EXPR to replace.
+     This is static so it will be accessible to our recursive callees.  */
+  static tree placeholder_list = 0;
   register rtx op0, op1, temp;
   tree type = TREE_TYPE (exp);
   int unsignedp = TREE_UNSIGNED (type);
@@ -3363,12 +3627,21 @@ expand_expr (exp, target, tmode, modifier)
   /* Use subtarget as the target for operand 0 of a binary operation.  */
   rtx subtarget = (target != 0 && GET_CODE (target) == REG ? target : 0);
   rtx original_target = target;
+  /* Maybe defer this until sure not doing bytecode?  */
   int ignore = (target == const0_rtx
                || ((code == NON_LVALUE_EXPR || code == NOP_EXPR
-                    || code == CONVERT_EXPR || code == REFERENCE_EXPR)
+                    || code == CONVERT_EXPR || code == REFERENCE_EXPR
+                    || code == COND_EXPR)
                    && TREE_CODE (type) == VOID_TYPE));
   tree context;
 
+
+  if (output_bytecode)
+    {
+      bc_expand_expr (exp);
+      return NULL;
+    }
+
   /* Don't use hard regs as subtargets, because the combiner
      can only handle pseudo regs.  */
   if (subtarget && REGNO (subtarget) < FIRST_PSEUDO_REGISTER)
@@ -3380,7 +3653,9 @@ expand_expr (exp, target, tmode, modifier)
 
   /* If we are going to ignore this result, we need only do something
      if there is a side-effect somewhere in the expression.  If there
-     is, short-circuit the most common cases here.  */
+     is, short-circuit the most common cases here.  Note that we must
+     not call expand_expr with anything but const0_rtx in case this
+     is an initial expansion of a size that contains a PLACEHOLDER_EXPR.  */
 
   if (ignore)
     {
@@ -3415,7 +3690,7 @@ expand_expr (exp, target, tmode, modifier)
        return expand_expr (TREE_OPERAND (exp, 0), const0_rtx,
                            VOIDmode, modifier);
 
-      target = 0, original_target = 0;
+      target = 0;
     }
 
   /* If will do cse, generate all results into pseudo registers
@@ -3462,8 +3737,19 @@ expand_expr (exp, target, tmode, modifier)
          return CONST0_RTX (mode);
        }
 
-    case FUNCTION_DECL:
     case VAR_DECL:
+      /* If a static var's type was incomplete when the decl was written,
+        but the type is complete now, lay out the decl now.  */
+      if (DECL_SIZE (exp) == 0 && TYPE_SIZE (TREE_TYPE (exp)) != 0
+         && (TREE_STATIC (exp) || DECL_EXTERNAL (exp)))
+       {
+         push_obstacks_nochange ();
+         end_temporary_allocation ();
+         layout_decl (exp, 0);
+         PUT_MODE (DECL_RTL (exp), DECL_MODE (exp));
+         pop_obstacks ();
+       }
+    case FUNCTION_DECL:
     case RESULT_DECL:
       if (DECL_RTL (exp) == 0)
        abort ();
@@ -3665,12 +3951,24 @@ expand_expr (exp, target, tmode, modifier)
 
       /* If the mode of SAVE_EXPR_RTL does not match that of the expression, it
         must be a promoted value.  We return a SUBREG of the wanted mode,
-        but mark it so that we know that it was already extended.  Note
-        that `unsignedp' was modified above in this case.  */
+        but mark it so that we know that it was already extended. */
 
       if (GET_CODE (SAVE_EXPR_RTL (exp)) == REG
          && GET_MODE (SAVE_EXPR_RTL (exp)) != mode)
        {
+         enum machine_mode var_mode = mode;
+
+         if (TREE_CODE (type) == INTEGER_TYPE
+             || TREE_CODE (type) == ENUMERAL_TYPE
+             || TREE_CODE (type) == BOOLEAN_TYPE
+             || TREE_CODE (type) == CHAR_TYPE
+             || TREE_CODE (type) == REAL_TYPE
+             || TREE_CODE (type) == POINTER_TYPE
+             || TREE_CODE (type) == OFFSET_TYPE)
+           {
+             PROMOTE_MODE (var_mode, unsignedp, type);
+           }
+
          temp = gen_rtx (SUBREG, mode, SAVE_EXPR_RTL (exp), 0);
          SUBREG_PROMOTED_VAR_P (temp) = 1;
          SUBREG_PROMOTED_UNSIGNED_P (temp) = unsignedp;
@@ -3679,15 +3977,61 @@ expand_expr (exp, target, tmode, modifier)
 
       return SAVE_EXPR_RTL (exp);
 
+    case PLACEHOLDER_EXPR:
+      /* If there is an object on the head of the placeholder list,
+        see if some object in it's references is of type TYPE.  For
+        further information, see tree.def.  */
+      if (placeholder_list)
+       {
+         tree object;
+         tree old_list = placeholder_list;
+
+         for (object = TREE_PURPOSE (placeholder_list);
+              TREE_TYPE (object) != type
+              && (TREE_CODE_CLASS (TREE_CODE (object)) == 'r'
+                  || TREE_CODE_CLASS (TREE_CODE (object)) == '1'
+                  || TREE_CODE_CLASS (TREE_CODE (object)) == '2'
+                  || TREE_CODE_CLASS (TREE_CODE (object)) == 'e');
+              object = TREE_OPERAND (object, 0))
+           ;
+
+         if (object && TREE_TYPE (object) == type)
+           {
+             /* Expand this object skipping the list entries before
+                it was found in case it is also a PLACEHOLDER_EXPR.
+                In that case, we want to translate it using subsequent
+                entries.  */
+             placeholder_list = TREE_CHAIN (placeholder_list);
+             temp = expand_expr (object, original_target, tmode, modifier);
+             placeholder_list = old_list;
+             return temp;
+           }
+       }
+
+      /* We can't find the object or there was a missing WITH_RECORD_EXPR.  */
+      abort ();
+
+    case WITH_RECORD_EXPR:
+      /* Put the object on the placeholder list, expand our first operand,
+        and pop the list.  */
+      placeholder_list = tree_cons (TREE_OPERAND (exp, 1), NULL_TREE,
+                                   placeholder_list);
+      target = expand_expr (TREE_OPERAND (exp, 0), original_target,
+                           tmode, modifier);
+      placeholder_list = TREE_CHAIN (placeholder_list);
+      return target;
+
     case EXIT_EXPR:
       expand_exit_loop_if_false (NULL_PTR,
                                 invert_truthvalue (TREE_OPERAND (exp, 0)));
       return const0_rtx;
 
     case LOOP_EXPR:
+      push_temp_slots ();
       expand_start_loop (1);
       expand_expr_stmt (TREE_OPERAND (exp, 0));
       expand_end_loop ();
+      pop_temp_slots ();
 
       return const0_rtx;
 
@@ -3729,6 +4073,7 @@ expand_expr (exp, target, tmode, modifier)
        abort ();
       emit_insns (RTL_EXPR_SEQUENCE (exp));
       RTL_EXPR_SEQUENCE (exp) = const0_rtx;
+      free_temps_for_rtl_expr (exp);
       return RTL_EXPR_RTL (exp);
 
     case CONSTRUCTOR:
@@ -3827,7 +4172,7 @@ expand_expr (exp, target, tmode, modifier)
                    || TREE_CODE (TREE_TYPE (exp2)) == UNION_TYPE
                    || TREE_CODE (TREE_TYPE (exp2)) == QUAL_UNION_TYPE)))
          MEM_IN_STRUCT_P (temp) = 1;
-       MEM_VOLATILE_P (temp) = TREE_THIS_VOLATILE (exp);
+       MEM_VOLATILE_P (temp) = TREE_THIS_VOLATILE (exp) | flag_volatile;
 #if 0 /* It is incorrect to set RTX_UNCHANGING_P here, because the fact that
         a location is accessed through a pointer to const does not mean
         that the value there can never change.  */
@@ -3848,9 +4193,24 @@ expand_expr (exp, target, tmode, modifier)
        tree index_type = TREE_TYPE (index);
        int i;
 
-       /* Optimize the special-case of a zero lower bound.  */
+       if (TREE_CODE (low_bound) != INTEGER_CST
+           && contains_placeholder_p (low_bound))
+         low_bound = build (WITH_RECORD_EXPR, sizetype, low_bound, exp);
+
+       /* Optimize the special-case of a zero lower bound.
+
+          We convert the low_bound to sizetype to avoid some problems
+          with constant folding.  (E.g. suppose the lower bound is 1,
+          and its mode is QI.  Without the conversion,  (ARRAY
+          +(INDEX-(unsigned char)1)) becomes ((ARRAY+(-(unsigned char)1))
+          +INDEX), which becomes (ARRAY+255+INDEX).  Oops!)
+
+          But sizetype isn't quite right either (especially if
+          the lowbound is negative).  FIXME */
+
        if (! integer_zerop (low_bound))
-         index = fold (build (MINUS_EXPR, index_type, index, low_bound));
+         index = fold (build (MINUS_EXPR, index_type, index,
+                              convert (sizetype, low_bound)));
 
        if (TREE_CODE (index) != INTEGER_CST
            || TREE_CODE (TYPE_SIZE (type)) != INTEGER_CST)
@@ -3870,12 +4230,17 @@ expand_expr (exp, target, tmode, modifier)
            tree array_adr = build1 (ADDR_EXPR,
                                     build_pointer_type (variant_type), array);
            tree elt;
+           tree size = size_in_bytes (type);
 
            /* Convert the integer argument to a type the same size as a
               pointer so the multiply won't overflow spuriously.  */
            if (TYPE_PRECISION (index_type) != POINTER_SIZE)
              index = convert (type_for_size (POINTER_SIZE, 0), index);
 
+           if (TREE_CODE (size) != INTEGER_CST
+               && contains_placeholder_p (size))
+             size = build (WITH_RECORD_EXPR, sizetype, size, exp);
+
            /* Don't think the address has side effects
               just because the array does.
               (In some cases the address might have side effects,
@@ -3889,8 +4254,7 @@ expand_expr (exp, target, tmode, modifier)
                                       array_adr,
                                       fold (build (MULT_EXPR,
                                                    TYPE_POINTER_TO (variant_type),
-                                                   index,
-                                                   size_in_bytes (type))))));
+                                                   index, size)))));
 
            /* Volatility, etc., of new expression is same as old
               expression.  */
@@ -3961,7 +4325,8 @@ expand_expr (exp, target, tmode, modifier)
                  {
                    tree elem = CONSTRUCTOR_ELTS (init);
 
-                   while (elem && i--)
+                   while (elem
+                          && !tree_int_cst_equal (TREE_PURPOSE (elem), index))
                      elem = TREE_CHAIN (elem);
                    if (elem)
                      return expand_expr (fold (TREE_VALUE (elem)), target,
@@ -4002,6 +4367,7 @@ expand_expr (exp, target, tmode, modifier)
        int volatilep = 0;
        tree tem = get_inner_reference (exp, &bitsize, &bitpos, &offset,
                                        &mode1, &unsignedp, &volatilep);
+       int alignment;
 
        /* If we got back the original object, something is wrong.  Perhaps
           we are evaluating an expression too early.  In any event, don't
@@ -4025,6 +4391,7 @@ expand_expr (exp, target, tmode, modifier)
              op0 = validize_mem (force_const_mem (mode, op0));
          }
 
+       alignment = TYPE_ALIGN (TREE_TYPE (tem)) / BITS_PER_UNIT;
        if (offset != 0)
          {
            rtx offset_rtx = expand_expr (offset, NULL_RTX, VOIDmode, 0);
@@ -4034,6 +4401,14 @@ expand_expr (exp, target, tmode, modifier)
            op0 = change_address (op0, VOIDmode,
                                  gen_rtx (PLUS, Pmode, XEXP (op0, 0),
                                           force_reg (Pmode, offset_rtx)));
+         /* If we have a variable offset, the known alignment
+            is only that of the innermost structure containing the field.
+            (Actually, we could sometimes do better by using the
+            size of an element of the innermost array, but no need.)  */
+         if (TREE_CODE (exp) == COMPONENT_REF
+             || TREE_CODE (exp) == BIT_FIELD_REF)
+           alignment = (TYPE_ALIGN (TREE_TYPE (TREE_OPERAND (exp, 0)))
+                        / BITS_PER_UNIT);
          }
 
        /* Don't forget about volatility even if this is a bitfield.  */
@@ -4070,7 +4445,7 @@ expand_expr (exp, target, tmode, modifier)
 
            op0 = extract_bit_field (validize_mem (op0), bitsize, bitpos,
                                     unsignedp, target, ext_mode, ext_mode,
-                                    TYPE_ALIGN (TREE_TYPE (tem)) / BITS_PER_UNIT,
+                                    alignment,
                                     int_size_in_bytes (TREE_TYPE (tem)));
            if (mode == BLKmode)
              {
@@ -4244,7 +4619,9 @@ expand_expr (exp, target, tmode, modifier)
       if (RTL_EXPR_RTL (exp) == 0)
        {
          RTL_EXPR_RTL (exp)
-           = expand_expr (TREE_OPERAND (exp, 0), target, tmode, modifier);
+           = expand_expr (TREE_OPERAND (exp, 0),
+                          target ? target : const0_rtx,
+                          tmode, modifier);
          cleanups_this_call
            = tree_cons (NULL_TREE, TREE_OPERAND (exp, 2), cleanups_this_call);
          /* That's it for this cleanup.  */
@@ -4715,6 +5092,7 @@ expand_expr (exp, target, tmode, modifier)
       target = original_target;
       temp = gen_label_rtx ();
       if (target == 0 || ! safe_from_p (target, TREE_OPERAND (exp, 0))
+         || (GET_CODE (target) == MEM && MEM_VOLATILE_P (target))
          || (GET_CODE (target) == REG
              && REGNO (target) < FIRST_PSEUDO_REGISTER))
        target = gen_reg_rtx (mode);
@@ -4736,6 +5114,7 @@ expand_expr (exp, target, tmode, modifier)
     case MIN_EXPR:
       target = original_target;
       if (target == 0 || ! safe_from_p (target, TREE_OPERAND (exp, 1))
+         || (GET_CODE (target) == MEM && MEM_VOLATILE_P (target))
          || (GET_CODE (target) == REG
              && REGNO (target) < FIRST_PSEUDO_REGISTER))
        target = gen_reg_rtx (mode);
@@ -4823,18 +5202,26 @@ expand_expr (exp, target, tmode, modifier)
    treating TRUTH_AND_EXPR like TRUTH_ANDIF_EXPR;
    but the question is how to recognize those cases.  */
 
+      /* TRUTH_AND_EXPR can have a result whose mode doesn't match
+        th operands.  If so, don't use our target.  */
     case TRUTH_AND_EXPR:
+      if (mode != TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+       subtarget = 0;
     case BIT_AND_EXPR:
       this_optab = and_optab;
       goto binop;
 
 /* See comment above about TRUTH_AND_EXPR; it applies here too.  */
     case TRUTH_OR_EXPR:
+      if (mode != TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+       subtarget = 0;
     case BIT_IOR_EXPR:
       this_optab = ior_optab;
       goto binop;
 
     case TRUTH_XOR_EXPR:
+      if (mode != TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+       subtarget = 0;
     case BIT_XOR_EXPR:
       this_optab = xor_optab;
       goto binop;
@@ -4975,10 +5362,16 @@ expand_expr (exp, target, tmode, modifier)
            if (TYPE_SIZE (type) == 0
                || TREE_CODE (TYPE_SIZE (type)) != INTEGER_CST)
              abort ();
+
            temp = assign_stack_temp (BLKmode,
                                      (TREE_INT_CST_LOW (TYPE_SIZE (type))
                                       + BITS_PER_UNIT - 1)
                                      / BITS_PER_UNIT, 0);
+           MEM_IN_STRUCT_P (temp)
+             = (TREE_CODE (type) == RECORD_TYPE
+                || TREE_CODE (type) == UNION_TYPE
+                || TREE_CODE (type) == QUAL_UNION_TYPE
+                || TREE_CODE (type) == ARRAY_TYPE);
          }
        else
          temp = gen_reg_rtx (mode);
@@ -5237,29 +5630,23 @@ expand_expr (exp, target, tmode, modifier)
                DECL_RTL (slot) = target;
              }
 
-#if 0
-           /* I bet this needs to be done, and I bet that it needs to
-              be above, inside the else clause.  The reason is
-              simple, how else is it going to get cleaned up? (mrs)
-
-              The reason is probably did not work before, and was
-              commented out is because this was re-expanding already
-              expanded target_exprs (target == 0 and DECL_RTL (slot)
-              != 0) also cleaning them up many times as well.  :-( */
-
-           /* Since SLOT is not known to the called function
-              to belong to its stack frame, we must build an explicit
-              cleanup.  This case occurs when we must build up a reference
-              to pass the reference as an argument.  In this case,
-              it is very likely that such a reference need not be
-              built here.  */
-
-           if (TREE_OPERAND (exp, 2) == 0)
-             TREE_OPERAND (exp, 2) = maybe_build_cleanup (slot);
-           if (TREE_OPERAND (exp, 2))
-             cleanups_this_call = tree_cons (NULL_TREE, TREE_OPERAND (exp, 2),
-                                             cleanups_this_call);
-#endif
+           /* We set IGNORE when we know that we're already
+              doing this for a cleanup.  */
+           if (ignore == 0)
+             {
+               /* Since SLOT is not known to the called function
+                  to belong to its stack frame, we must build an explicit
+                  cleanup.  This case occurs when we must build up a reference
+                  to pass the reference as an argument.  In this case,
+                  it is very likely that such a reference need not be
+                  built here.  */
+
+               if (TREE_OPERAND (exp, 2) == 0)
+                 TREE_OPERAND (exp, 2) = maybe_build_cleanup (slot);
+               if (TREE_OPERAND (exp, 2))
+                 cleanups_this_call = tree_cons (NULL_TREE, TREE_OPERAND (exp, 2),
+                                                 cleanups_this_call);
+             }
          }
        else
          {
@@ -5397,7 +5784,10 @@ expand_expr (exp, target, tmode, modifier)
        }
       else
        {
-         op0 = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode,
+         /* We make sure to pass const0_rtx down if we came in with
+            ignore set, to avoid doing the cleanups twice for something.  */
+         op0 = expand_expr (TREE_OPERAND (exp, 0),
+                            ignore ? const0_rtx : NULL_RTX, VOIDmode,
                             (modifier == EXPAND_INITIALIZER
                              ? modifier : EXPAND_CONST_ADDRESS));
 
@@ -5467,7 +5857,11 @@ expand_expr (exp, target, tmode, modifier)
        emit_move_insn (gen_imagpart (mode, target), op1);
 
        /* Complex construction should appear as a single unit.  */
-       group_insns (prev);
+       if (GET_CODE (target) != CONCAT)
+         /* If TARGET is a CONCAT, we got insns like RD = RS, ID = IS,
+            each with a separate pseudo as destination.
+            It's not correct for flow to treat them as a unit.  */
+         group_insns (prev);
 
        return target;
       }
@@ -5507,7 +5901,11 @@ expand_expr (exp, target, tmode, modifier)
          emit_move_insn (imag_t, temp);
 
        /* Conjugate should appear as a single unit */
-       group_insns (prev);
+       if (GET_CODE (target) != CONCAT)
+         /* If TARGET is a CONCAT, we got insns like RD = RS, ID = - IS,
+            each with a separate pseudo as destination.
+            It's not correct for flow to treat them as a unit.  */
+         group_insns (prev);
 
        return target;
       }
@@ -5519,7 +5917,7 @@ expand_expr (exp, target, tmode, modifier)
       return const0_rtx;
 
     default:
-      return (*lang_expand_expr) (exp, target, tmode, modifier);
+      return (*lang_expand_expr) (exp, original_target, tmode, modifier);
     }
 
   /* Here to do an ordinary binary operator, generating an instruction
@@ -5537,88 +5935,599 @@ expand_expr (exp, target, tmode, modifier)
     abort ();
   return temp;
 }
-\f
-/* Return the alignment in bits of EXP, a pointer valued expression.
-   But don't return more than MAX_ALIGN no matter what.
-   The alignment returned is, by default, the alignment of the thing that
-   EXP points to (if it is not a POINTER_TYPE, 0 is returned).
 
-   Otherwise, look at the expression to see if we can do better, i.e., if the
-   expression is actually pointing at an object whose alignment is tighter.  */
 
-static int
-get_pointer_alignment (exp, max_align)
-     tree exp;
-     unsigned max_align;
+/* Emit bytecode to evaluate the given expression EXP to the stack. */
+void
+bc_expand_expr (exp)
+    tree exp;
 {
-  unsigned align, inner;
-
-  if (TREE_CODE (TREE_TYPE (exp)) != POINTER_TYPE)
-    return 0;
-
-  align = TYPE_ALIGN (TREE_TYPE (TREE_TYPE (exp)));
-  align = MIN (align, max_align);
-
-  while (1)
+  enum tree_code code;
+  tree type, arg0;
+  rtx r;
+  struct binary_operator *binoptab;
+  struct unary_operator *unoptab;
+  struct increment_operator *incroptab;
+  struct bc_label *lab, *lab1;
+  enum bytecode_opcode opcode;
+  
+  
+  code = TREE_CODE (exp);
+  
+  switch (code)
     {
-      switch (TREE_CODE (exp))
+    case PARM_DECL:
+      
+      if (DECL_RTL (exp) == 0)
        {
-       case NOP_EXPR:
-       case CONVERT_EXPR:
-       case NON_LVALUE_EXPR:
-         exp = TREE_OPERAND (exp, 0);
-         if (TREE_CODE (TREE_TYPE (exp)) != POINTER_TYPE)
-           return align;
-         inner = TYPE_ALIGN (TREE_TYPE (TREE_TYPE (exp)));
-         inner = MIN (inner, max_align);
-         align = MAX (align, inner);
-         break;
-
-       case PLUS_EXPR:
-         /* If sum of pointer + int, restrict our maximum alignment to that
-            imposed by the integer.  If not, we can't do any better than
-            ALIGN.  */
-         if (TREE_CODE (TREE_OPERAND (exp, 1)) != INTEGER_CST)
-           return align;
-
-         while (((TREE_INT_CST_LOW (TREE_OPERAND (exp, 1)) * BITS_PER_UNIT)
-                 & (max_align - 1))
-                != 0)
-           max_align >>= 1;
-
-         exp = TREE_OPERAND (exp, 0);
-         break;
-
-       case ADDR_EXPR:
-         /* See what we are pointing at and look at its alignment.  */
-         exp = TREE_OPERAND (exp, 0);
-         if (TREE_CODE (exp) == FUNCTION_DECL)
-           align = MAX (align, FUNCTION_BOUNDARY);
-         else if (TREE_CODE_CLASS (TREE_CODE (exp)) == 'd')
-           align = MAX (align, DECL_ALIGN (exp));
-#ifdef CONSTANT_ALIGNMENT
-         else if (TREE_CODE_CLASS (TREE_CODE (exp)) == 'c')
-           align = CONSTANT_ALIGNMENT (exp, align);
-#endif
-         return MIN (align, max_align);
-
-       default:
-         return align;
+         error_with_decl (exp, "prior parameter's size depends on `%s'");
+         return;
        }
-    }
-}
-\f
-/* Return the tree node and offset if a given argument corresponds to
-   a string constant.  */
-
-static tree
-string_constant (arg, ptr_offset)
-     tree arg;
-     tree *ptr_offset;
-{
-  STRIP_NOPS (arg);
+      
+      bc_load_parmaddr (DECL_RTL (exp));
+      bc_load_memory (TREE_TYPE (exp), exp);
+      
+      return;
+      
+    case VAR_DECL:
+      
+      if (DECL_RTL (exp) == 0)
+       abort ();
+      
+#if 0
+      if (BYTECODE_LABEL (DECL_RTL (exp)))
+       bc_load_externaddr (DECL_RTL (exp));
+      else
+       bc_load_localaddr (DECL_RTL (exp));
+#endif
+      if (TREE_PUBLIC (exp))
+       bc_load_externaddr_id (DECL_ASSEMBLER_NAME (exp),
+                              BYTECODE_BC_LABEL (DECL_RTL (exp))->offset);
+      else
+       bc_load_localaddr (DECL_RTL (exp));
+      
+      bc_load_memory (TREE_TYPE (exp), exp);
+      return;
+      
+    case INTEGER_CST:
+      
+#ifdef DEBUG_PRINT_CODE
+      fprintf (stderr, " [%x]\n", TREE_INT_CST_LOW (exp));
+#endif
+      bc_emit_instruction (mode_to_const_map[(int) (DECL_BIT_FIELD (exp)
+                                            ? SImode
+                                            : TYPE_MODE (TREE_TYPE (exp)))],
+                          (HOST_WIDE_INT) TREE_INT_CST_LOW (exp));
+      return;
+      
+    case REAL_CST:
+      
+#if 0
+#ifdef DEBUG_PRINT_CODE
+      fprintf (stderr, " [%g]\n", (double) TREE_INT_CST_LOW (exp));
+#endif
+      /* FIX THIS: find a better way to pass real_cst's. -bson */
+      bc_emit_instruction (mode_to_const_map[TYPE_MODE (TREE_TYPE (exp))],
+                          (double) TREE_REAL_CST (exp));
+#else
+      abort ();
+#endif
 
-  if (TREE_CODE (arg) == ADDR_EXPR
+      return;
+      
+    case CALL_EXPR:
+      
+      /* We build a call description vector describing the type of
+        the return value and of the arguments; this call vector,
+        together with a pointer to a location for the return value
+        and the base of the argument list, is passed to the low
+        level machine dependent call subroutine, which is responsible
+        for putting the arguments wherever real functions expect
+        them, as well as getting the return value back.  */
+      {
+       tree calldesc = 0, arg;
+       int nargs = 0, i;
+       rtx retval;
+       
+       /* Push the evaluated args on the evaluation stack in reverse
+          order.  Also make an entry for each arg in the calldesc
+          vector while we're at it.  */
+       
+       TREE_OPERAND (exp, 1) = nreverse (TREE_OPERAND (exp, 1));
+       
+       for (arg = TREE_OPERAND (exp, 1); arg; arg = TREE_CHAIN (arg))
+         {
+           ++nargs;
+           bc_expand_expr (TREE_VALUE (arg));
+           
+           calldesc = tree_cons ((tree) 0,
+                                 size_in_bytes (TREE_TYPE (TREE_VALUE (arg))),
+                                 calldesc);
+           calldesc = tree_cons ((tree) 0,
+                                 bc_runtime_type_code (TREE_TYPE (TREE_VALUE (arg))),
+                                 calldesc);
+         }
+       
+       TREE_OPERAND (exp, 1) = nreverse (TREE_OPERAND (exp, 1));
+       
+       /* Allocate a location for the return value and push its
+          address on the evaluation stack.  Also make an entry
+          at the front of the calldesc for the return value type. */
+       
+       type = TREE_TYPE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0))));
+       retval = bc_allocate_local (int_size_in_bytes (type), TYPE_ALIGN (type));
+       bc_load_localaddr (retval);
+       
+       calldesc = tree_cons ((tree) 0, size_in_bytes (type), calldesc);
+       calldesc = tree_cons ((tree) 0, bc_runtime_type_code (type), calldesc);
+       
+       /* Prepend the argument count.  */
+       calldesc = tree_cons ((tree) 0,
+                             build_int_2 (nargs, 0),
+                             calldesc);
+       
+       /* Push the address of the call description vector on the stack.  */
+       calldesc = build_nt (CONSTRUCTOR, (tree) 0, calldesc);
+       TREE_TYPE (calldesc) = build_array_type (integer_type_node,
+                                                build_index_type (build_int_2 (nargs * 2, 0)));
+       r = output_constant_def (calldesc);
+       bc_load_externaddr (r);
+       
+       /* Push the address of the function to be called. */
+       bc_expand_expr (TREE_OPERAND (exp, 0));
+       
+       /* Call the function, popping its address and the calldesc vector
+          address off the evaluation stack in the process.  */
+       bc_emit_instruction (call);
+       
+       /* Pop the arguments off the stack.  */
+       bc_adjust_stack (nargs);
+       
+       /* Load the return value onto the stack.  */
+       bc_load_localaddr (retval);
+       bc_load_memory (type, TREE_OPERAND (exp, 0));
+      }
+      return;
+      
+    case SAVE_EXPR:
+      
+      if (!SAVE_EXPR_RTL (exp))
+       {
+         /* First time around: copy to local variable */
+         SAVE_EXPR_RTL (exp) = bc_allocate_local (int_size_in_bytes (TREE_TYPE (exp)),
+                                                  TYPE_ALIGN (TREE_TYPE(exp)));
+         bc_expand_expr (TREE_OPERAND (exp, 0));
+         bc_emit_instruction (duplicate);
+         
+         bc_load_localaddr (SAVE_EXPR_RTL (exp));
+         bc_store_memory (TREE_TYPE (exp), TREE_OPERAND (exp, 0));
+       }
+      else
+       {
+         /* Consecutive reference: use saved copy */
+         bc_load_localaddr (SAVE_EXPR_RTL (exp));
+         bc_load_memory (TREE_TYPE (exp), TREE_OPERAND (exp, 0));
+       }
+      return;
+      
+#if 0
+      /* FIXME: the XXXX_STMT codes have been removed in GCC2, but
+        how are they handled instead? */
+    case LET_STMT:
+      
+      TREE_USED (exp) = 1;
+      bc_expand_expr (STMT_BODY (exp));
+      return;
+#endif
+      
+    case NOP_EXPR:
+    case CONVERT_EXPR:
+      
+      bc_expand_expr (TREE_OPERAND (exp, 0));
+      bc_expand_conversion (TREE_TYPE (TREE_OPERAND (exp, 0)), TREE_TYPE (exp));
+      return;
+      
+    case MODIFY_EXPR:
+      
+      expand_assignment (TREE_OPERAND (exp, 0), TREE_OPERAND (exp, 1), 0, 0);
+      return;
+      
+    case ADDR_EXPR:
+      
+      bc_expand_address (TREE_OPERAND (exp, 0));
+      return;
+      
+    case INDIRECT_REF:
+      
+      bc_expand_expr (TREE_OPERAND (exp, 0));
+      bc_load_memory (TREE_TYPE (exp), TREE_OPERAND (exp, 0));
+      return;
+      
+    case ARRAY_REF:
+      
+      bc_expand_expr (bc_canonicalize_array_ref (exp));
+      return;
+      
+    case COMPONENT_REF:
+      
+      bc_expand_component_address (exp);
+      
+      /* If we have a bitfield, generate a proper load */
+      bc_load_memory (TREE_TYPE (TREE_OPERAND (exp, 1)), TREE_OPERAND (exp, 1));
+      return;
+      
+    case COMPOUND_EXPR:
+      
+      bc_expand_expr (TREE_OPERAND (exp, 0));
+      bc_emit_instruction (drop);
+      bc_expand_expr (TREE_OPERAND (exp, 1));
+      return;
+      
+    case COND_EXPR:
+      
+      bc_expand_expr (TREE_OPERAND (exp, 0));
+      bc_expand_truth_conversion (TREE_TYPE (TREE_OPERAND (exp, 0)));
+      lab = bc_get_bytecode_label ();
+      bc_emit_bytecode (xjumpifnot);
+      bc_emit_bytecode_labelref (lab);
+      
+#ifdef DEBUG_PRINT_CODE
+      fputc ('\n', stderr);
+#endif
+      bc_expand_expr (TREE_OPERAND (exp, 1));
+      lab1 = bc_get_bytecode_label ();
+      bc_emit_bytecode (jump);
+      bc_emit_bytecode_labelref (lab1);
+      
+#ifdef DEBUG_PRINT_CODE
+      fputc ('\n', stderr);
+#endif
+      
+      bc_emit_bytecode_labeldef (lab);
+      bc_expand_expr (TREE_OPERAND (exp, 2));
+      bc_emit_bytecode_labeldef (lab1);
+      return;
+      
+    case TRUTH_ANDIF_EXPR:
+      
+      opcode = xjumpifnot;
+      goto andorif;
+      
+    case TRUTH_ORIF_EXPR:
+      
+      opcode = xjumpif;
+      goto andorif;
+      
+    case PLUS_EXPR:
+      
+      binoptab = optab_plus_expr;
+      goto binop;
+      
+    case MINUS_EXPR:
+      
+      binoptab = optab_minus_expr;
+      goto binop;
+      
+    case MULT_EXPR:
+      
+      binoptab = optab_mult_expr;
+      goto binop;
+      
+    case TRUNC_DIV_EXPR:
+    case FLOOR_DIV_EXPR:
+    case CEIL_DIV_EXPR:
+    case ROUND_DIV_EXPR:
+    case EXACT_DIV_EXPR:
+      
+      binoptab = optab_trunc_div_expr;
+      goto binop;
+      
+    case TRUNC_MOD_EXPR:
+    case FLOOR_MOD_EXPR:
+    case CEIL_MOD_EXPR:
+    case ROUND_MOD_EXPR:
+      
+      binoptab = optab_trunc_mod_expr;
+      goto binop;
+      
+    case FIX_ROUND_EXPR:
+    case FIX_FLOOR_EXPR:
+    case FIX_CEIL_EXPR:
+      abort ();                        /* Not used for C.  */
+      
+    case FIX_TRUNC_EXPR:
+    case FLOAT_EXPR:
+    case MAX_EXPR:
+    case MIN_EXPR:
+    case FFS_EXPR:
+    case LROTATE_EXPR:
+    case RROTATE_EXPR:
+      abort ();                        /* FIXME */
+      
+    case RDIV_EXPR:
+      
+      binoptab = optab_rdiv_expr;
+      goto binop;
+      
+    case BIT_AND_EXPR:
+      
+      binoptab = optab_bit_and_expr;
+      goto binop;
+      
+    case BIT_IOR_EXPR:
+      
+      binoptab = optab_bit_ior_expr;
+      goto binop;
+      
+    case BIT_XOR_EXPR:
+      
+      binoptab = optab_bit_xor_expr;
+      goto binop;
+      
+    case LSHIFT_EXPR:
+      
+      binoptab = optab_lshift_expr;
+      goto binop;
+      
+    case RSHIFT_EXPR:
+      
+      binoptab = optab_rshift_expr;
+      goto binop;
+      
+    case TRUTH_AND_EXPR:
+      
+      binoptab = optab_truth_and_expr;
+      goto binop;
+      
+    case TRUTH_OR_EXPR:
+      
+      binoptab = optab_truth_or_expr;
+      goto binop;
+      
+    case LT_EXPR:
+      
+      binoptab = optab_lt_expr;
+      goto binop;
+      
+    case LE_EXPR:
+      
+      binoptab = optab_le_expr;
+      goto binop;
+      
+    case GE_EXPR:
+      
+      binoptab = optab_ge_expr;
+      goto binop;
+      
+    case GT_EXPR:
+      
+      binoptab = optab_gt_expr;
+      goto binop;
+      
+    case EQ_EXPR:
+      
+      binoptab = optab_eq_expr;
+      goto binop;
+      
+    case NE_EXPR:
+      
+      binoptab = optab_ne_expr;
+      goto binop;
+      
+    case NEGATE_EXPR:
+      
+      unoptab = optab_negate_expr;
+      goto unop;
+      
+    case BIT_NOT_EXPR:
+      
+      unoptab = optab_bit_not_expr;
+      goto unop;
+      
+    case TRUTH_NOT_EXPR:
+      
+      unoptab = optab_truth_not_expr;
+      goto unop;
+      
+    case PREDECREMENT_EXPR:
+      
+      incroptab = optab_predecrement_expr;
+      goto increment;
+      
+    case PREINCREMENT_EXPR:
+      
+      incroptab = optab_preincrement_expr;
+      goto increment;
+      
+    case POSTDECREMENT_EXPR:
+      
+      incroptab = optab_postdecrement_expr;
+      goto increment;
+      
+    case POSTINCREMENT_EXPR:
+      
+      incroptab = optab_postincrement_expr;
+      goto increment;
+      
+    case CONSTRUCTOR:
+      
+      bc_expand_constructor (exp);
+      return;
+      
+    case ERROR_MARK:
+    case RTL_EXPR:
+      
+      return;
+      
+    case BIND_EXPR:
+      {
+       tree vars = TREE_OPERAND (exp, 0);
+       int vars_need_expansion = 0;
+       
+       /* Need to open a binding contour here because
+          if there are any cleanups they most be contained here.  */
+       expand_start_bindings (0);
+       
+       /* Mark the corresponding BLOCK for output.  */
+       if (TREE_OPERAND (exp, 2) != 0)
+         TREE_USED (TREE_OPERAND (exp, 2)) = 1;
+       
+       /* If VARS have not yet been expanded, expand them now.  */
+       while (vars)
+         {
+           if (DECL_RTL (vars) == 0)
+             {
+               vars_need_expansion = 1;
+               bc_expand_decl (vars, 0);
+             }
+           bc_expand_decl_init (vars);
+           vars = TREE_CHAIN (vars);
+         }
+       
+       bc_expand_expr (TREE_OPERAND (exp, 1));
+       
+       expand_end_bindings (TREE_OPERAND (exp, 0), 0, 0);
+       
+       return;
+      }
+    }
+  
+  abort ();
+  
+ binop:
+  
+  bc_expand_binary_operation (binoptab, TREE_TYPE (exp),
+                             TREE_OPERAND (exp, 0), TREE_OPERAND (exp, 1));
+  return;
+  
+  
+ unop:
+  
+  bc_expand_unary_operation (unoptab, TREE_TYPE (exp), TREE_OPERAND (exp, 0));
+  return;
+  
+  
+ andorif:
+  
+  bc_expand_expr (TREE_OPERAND (exp, 0));
+  bc_expand_truth_conversion (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  lab = bc_get_bytecode_label ();
+  
+  bc_emit_instruction (duplicate);
+  bc_emit_bytecode (opcode);
+  bc_emit_bytecode_labelref (lab);
+  
+#ifdef DEBUG_PRINT_CODE
+  fputc ('\n', stderr);
+#endif
+  
+  bc_emit_instruction (drop);
+  
+  bc_expand_expr (TREE_OPERAND (exp, 1));
+  bc_expand_truth_conversion (TREE_TYPE (TREE_OPERAND (exp, 1)));
+  bc_emit_bytecode_labeldef (lab);
+  return;
+  
+  
+ increment:
+  
+  type = TREE_TYPE (TREE_OPERAND (exp, 0));
+  
+  /* Push the quantum.  */
+  bc_expand_expr (TREE_OPERAND (exp, 1));
+  
+  /* Convert it to the lvalue's type.  */
+  bc_expand_conversion (TREE_TYPE (TREE_OPERAND (exp, 1)), type);
+  
+  /* Push the address of the lvalue */
+  bc_expand_expr (build1 (ADDR_EXPR, TYPE_POINTER_TO (type), TREE_OPERAND (exp, 0)));
+  
+  /* Perform actual increment */
+  bc_expand_increment (incroptab, type);
+  return;
+}
+\f
+/* Return the alignment in bits of EXP, a pointer valued expression.
+   But don't return more than MAX_ALIGN no matter what.
+   The alignment returned is, by default, the alignment of the thing that
+   EXP points to (if it is not a POINTER_TYPE, 0 is returned).
+
+   Otherwise, look at the expression to see if we can do better, i.e., if the
+   expression is actually pointing at an object whose alignment is tighter.  */
+
+static int
+get_pointer_alignment (exp, max_align)
+     tree exp;
+     unsigned max_align;
+{
+  unsigned align, inner;
+
+  if (TREE_CODE (TREE_TYPE (exp)) != POINTER_TYPE)
+    return 0;
+
+  align = TYPE_ALIGN (TREE_TYPE (TREE_TYPE (exp)));
+  align = MIN (align, max_align);
+
+  while (1)
+    {
+      switch (TREE_CODE (exp))
+       {
+       case NOP_EXPR:
+       case CONVERT_EXPR:
+       case NON_LVALUE_EXPR:
+         exp = TREE_OPERAND (exp, 0);
+         if (TREE_CODE (TREE_TYPE (exp)) != POINTER_TYPE)
+           return align;
+         inner = TYPE_ALIGN (TREE_TYPE (TREE_TYPE (exp)));
+         inner = MIN (inner, max_align);
+         align = MAX (align, inner);
+         break;
+
+       case PLUS_EXPR:
+         /* If sum of pointer + int, restrict our maximum alignment to that
+            imposed by the integer.  If not, we can't do any better than
+            ALIGN.  */
+         if (TREE_CODE (TREE_OPERAND (exp, 1)) != INTEGER_CST)
+           return align;
+
+         while (((TREE_INT_CST_LOW (TREE_OPERAND (exp, 1)) * BITS_PER_UNIT)
+                 & (max_align - 1))
+                != 0)
+           max_align >>= 1;
+
+         exp = TREE_OPERAND (exp, 0);
+         break;
+
+       case ADDR_EXPR:
+         /* See what we are pointing at and look at its alignment.  */
+         exp = TREE_OPERAND (exp, 0);
+         if (TREE_CODE (exp) == FUNCTION_DECL)
+           align = MAX (align, FUNCTION_BOUNDARY);
+         else if (TREE_CODE_CLASS (TREE_CODE (exp)) == 'd')
+           align = MAX (align, DECL_ALIGN (exp));
+#ifdef CONSTANT_ALIGNMENT
+         else if (TREE_CODE_CLASS (TREE_CODE (exp)) == 'c')
+           align = CONSTANT_ALIGNMENT (exp, align);
+#endif
+         return MIN (align, max_align);
+
+       default:
+         return align;
+       }
+    }
+}
+\f
+/* Return the tree node and offset if a given argument corresponds to
+   a string constant.  */
+
+static tree
+string_constant (arg, ptr_offset)
+     tree arg;
+     tree *ptr_offset;
+{
+  STRIP_NOPS (arg);
+
+  if (TREE_CODE (arg) == ADDR_EXPR
       && TREE_CODE (TREE_OPERAND (arg, 0)) == STRING_CST)
     {
       *ptr_offset = integer_zero_node;
@@ -5626,271 +6535,701 @@ string_constant (arg, ptr_offset)
     }
   else if (TREE_CODE (arg) == PLUS_EXPR)
     {
-      tree arg0 = TREE_OPERAND (arg, 0);
-      tree arg1 = TREE_OPERAND (arg, 1);
+      tree arg0 = TREE_OPERAND (arg, 0);
+      tree arg1 = TREE_OPERAND (arg, 1);
+
+      STRIP_NOPS (arg0);
+      STRIP_NOPS (arg1);
+
+      if (TREE_CODE (arg0) == ADDR_EXPR
+         && TREE_CODE (TREE_OPERAND (arg0, 0)) == STRING_CST)
+       {
+         *ptr_offset = arg1;
+         return TREE_OPERAND (arg0, 0);
+       }
+      else if (TREE_CODE (arg1) == ADDR_EXPR
+              && TREE_CODE (TREE_OPERAND (arg1, 0)) == STRING_CST)
+       {
+         *ptr_offset = arg0;
+         return TREE_OPERAND (arg1, 0);
+       }
+    }
+
+  return 0;
+}
+
+/* Compute the length of a C string.  TREE_STRING_LENGTH is not the right
+   way, because it could contain a zero byte in the middle.
+   TREE_STRING_LENGTH is the size of the character array, not the string.
+
+   Unfortunately, string_constant can't access the values of const char
+   arrays with initializers, so neither can we do so here.  */
+
+static tree
+c_strlen (src)
+     tree src;
+{
+  tree offset_node;
+  int offset, max;
+  char *ptr;
+
+  src = string_constant (src, &offset_node);
+  if (src == 0)
+    return 0;
+  max = TREE_STRING_LENGTH (src);
+  ptr = TREE_STRING_POINTER (src);
+  if (offset_node && TREE_CODE (offset_node) != INTEGER_CST)
+    {
+      /* If the string has an internal zero byte (e.g., "foo\0bar"), we can't
+        compute the offset to the following null if we don't know where to
+        start searching for it.  */
+      int i;
+      for (i = 0; i < max; i++)
+       if (ptr[i] == 0)
+         return 0;
+      /* We don't know the starting offset, but we do know that the string
+        has no internal zero bytes.  We can assume that the offset falls
+        within the bounds of the string; otherwise, the programmer deserves
+        what he gets.  Subtract the offset from the length of the string,
+        and return that.  */
+      /* This would perhaps not be valid if we were dealing with named
+         arrays in addition to literal string constants.  */
+      return size_binop (MINUS_EXPR, size_int (max), offset_node);
+    }
+
+  /* We have a known offset into the string.  Start searching there for
+     a null character.  */
+  if (offset_node == 0)
+    offset = 0;
+  else
+    {
+      /* Did we get a long long offset?  If so, punt.  */
+      if (TREE_INT_CST_HIGH (offset_node) != 0)
+       return 0;
+      offset = TREE_INT_CST_LOW (offset_node);
+    }
+  /* If the offset is known to be out of bounds, warn, and call strlen at
+     runtime.  */
+  if (offset < 0 || offset > max)
+    {
+      warning ("offset outside bounds of constant string");
+      return 0;
+    }
+  /* Use strlen to search for the first zero byte.  Since any strings
+     constructed with build_string will have nulls appended, we win even
+     if we get handed something like (char[4])"abcd".
+
+     Since OFFSET is our starting index into the string, no further
+     calculation is needed.  */
+  return size_int (strlen (ptr + offset));
+}
+\f
+/* Expand an expression EXP that calls a built-in function,
+   with result going to TARGET if that's convenient
+   (and in mode MODE if that's convenient).
+   SUBTARGET may be used as the target for computing one of EXP's operands.
+   IGNORE is nonzero if the value is to be ignored.  */
+
+static rtx
+expand_builtin (exp, target, subtarget, mode, ignore)
+     tree exp;
+     rtx target;
+     rtx subtarget;
+     enum machine_mode mode;
+     int ignore;
+{
+  tree fndecl = TREE_OPERAND (TREE_OPERAND (exp, 0), 0);
+  tree arglist = TREE_OPERAND (exp, 1);
+  rtx op0;
+  rtx lab1, insns;
+  enum machine_mode value_mode = TYPE_MODE (TREE_TYPE (exp));
+  optab builtin_optab;
+
+  switch (DECL_FUNCTION_CODE (fndecl))
+    {
+    case BUILT_IN_ABS:
+    case BUILT_IN_LABS:
+    case BUILT_IN_FABS:
+      /* build_function_call changes these into ABS_EXPR.  */
+      abort ();
+
+    case BUILT_IN_SIN:
+    case BUILT_IN_COS:
+    case BUILT_IN_FSQRT:
+      /* If not optimizing, call the library function.  */
+      if (! optimize)
+       break;
+
+      if (arglist == 0
+         /* Arg could be wrong type if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != REAL_TYPE)
+       break;
+
+      /* Stabilize and compute the argument.  */
+      if (TREE_CODE (TREE_VALUE (arglist)) != VAR_DECL
+         && TREE_CODE (TREE_VALUE (arglist)) != PARM_DECL)
+       {
+         exp = copy_node (exp);
+         arglist = copy_node (arglist);
+         TREE_OPERAND (exp, 1) = arglist;
+         TREE_VALUE (arglist) = save_expr (TREE_VALUE (arglist));
+       }
+      op0 = expand_expr (TREE_VALUE (arglist), subtarget, VOIDmode, 0);
+
+      /* Make a suitable register to place result in.  */
+      target = gen_reg_rtx (TYPE_MODE (TREE_TYPE (exp)));
+
+      emit_queue ();
+      start_sequence ();
+
+      switch (DECL_FUNCTION_CODE (fndecl))
+       {
+       case BUILT_IN_SIN:
+         builtin_optab = sin_optab; break;
+       case BUILT_IN_COS:
+         builtin_optab = cos_optab; break;
+       case BUILT_IN_FSQRT:
+         builtin_optab = sqrt_optab; break;
+       default:
+         abort ();
+       }
+
+      /* Compute into TARGET.
+        Set TARGET to wherever the result comes back.  */
+      target = expand_unop (TYPE_MODE (TREE_TYPE (TREE_VALUE (arglist))),
+                           builtin_optab, op0, target, 0);
+
+      /* If we were unable to expand via the builtin, stop the
+        sequence (without outputting the insns) and break, causing
+        a call the the library function.  */
+      if (target == 0)
+       {
+         end_sequence ();
+         break;
+        }
+
+      /* Check the results by default.  But if flag_fast_math is turned on,
+        then assume sqrt will always be called with valid arguments.  */
+
+      if (! flag_fast_math)
+       {
+         /* Don't define the builtin FP instructions
+            if your machine is not IEEE.  */
+         if (TARGET_FLOAT_FORMAT != IEEE_FLOAT_FORMAT)
+           abort ();
+
+         lab1 = gen_label_rtx ();
+
+         /* Test the result; if it is NaN, set errno=EDOM because
+            the argument was not in the domain.  */
+         emit_cmp_insn (target, target, EQ, 0, GET_MODE (target), 0, 0);
+         emit_jump_insn (gen_beq (lab1));
+
+#if TARGET_EDOM
+         {
+#ifdef GEN_ERRNO_RTX
+           rtx errno_rtx = GEN_ERRNO_RTX;
+#else
+           rtx errno_rtx
+             = gen_rtx (MEM, word_mode, gen_rtx (SYMBOL_REF, Pmode, "*errno"));
+#endif
+
+           emit_move_insn (errno_rtx, GEN_INT (TARGET_EDOM));
+         }
+#else
+         /* We can't set errno=EDOM directly; let the library call do it.
+            Pop the arguments right away in case the call gets deleted. */
+         NO_DEFER_POP;
+         expand_call (exp, target, 0);
+         OK_DEFER_POP;
+#endif
+
+         emit_label (lab1);
+       }
+
+      /* Output the entire sequence. */
+      insns = get_insns ();
+      end_sequence ();
+      emit_insns (insns);
+      return target;
+
+      /* __builtin_apply_args returns block of memory allocated on
+        the stack into which is stored the arg pointer, structure
+        value address, static chain, and all the registers that might
+        possibly be used in performing a function call.  The code is
+        moved to the start of the function so the incoming values are
+        saved.  */
+    case BUILT_IN_APPLY_ARGS:
+      /* Don't do __builtin_apply_args more than once in a function.
+        Save the result of the first call and reuse it.  */
+      if (apply_args_value != 0)
+       return apply_args_value;
+      {
+       /* When this function is called, it means that registers must be
+          saved on entry to this function.  So we migrate the
+          call to the first insn of this function.  */
+       rtx temp;
+       rtx seq;
+
+       start_sequence ();
+       temp = expand_builtin_apply_args ();
+       seq = get_insns ();
+       end_sequence ();
+
+       apply_args_value = temp;
+
+       /* Put the sequence after the NOTE that starts the function.
+          If this is inside a SEQUENCE, make the outer-level insn
+          chain current, so the code is placed at the start of the
+          function.  */
+       push_topmost_sequence ();
+       emit_insns_before (seq, NEXT_INSN (get_insns ()));
+       pop_topmost_sequence ();
+       return temp;
+      }
+
+      /* __builtin_apply (FUNCTION, ARGUMENTS, ARGSIZE) invokes
+        FUNCTION with a copy of the parameters described by
+        ARGUMENTS, and ARGSIZE.  It returns a block of memory
+        allocated on the stack into which is stored all the registers
+        that might possibly be used for returning the result of a
+        function.  ARGUMENTS is the value returned by
+        __builtin_apply_args.  ARGSIZE is the number of bytes of
+        arguments that must be copied.  ??? How should this value be
+        computed?  We'll also need a safe worst case value for varargs
+        functions.  */
+    case BUILT_IN_APPLY:
+      if (arglist == 0
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
+         || TREE_CHAIN (arglist) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE
+         || TREE_CHAIN (TREE_CHAIN (arglist)) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist))))) != INTEGER_TYPE)
+       return const0_rtx;
+      else
+       {
+         int i;
+         tree t;
+         rtx ops[3];
+
+         for (t = arglist, i = 0; t; t = TREE_CHAIN (t), i++)
+           ops[i] = expand_expr (TREE_VALUE (t), NULL_RTX, VOIDmode, 0);
+
+         return expand_builtin_apply (ops[0], ops[1], ops[2]);
+       }
+
+      /* __builtin_return (RESULT) causes the function to return the
+        value described by RESULT.  RESULT is address of the block of
+        memory returned by __builtin_apply.  */
+    case BUILT_IN_RETURN:
+      if (arglist
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         && TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) == POINTER_TYPE)
+       expand_builtin_return (expand_expr (TREE_VALUE (arglist),
+                                           NULL_RTX, VOIDmode, 0));
+      return const0_rtx;
+
+    case BUILT_IN_SAVEREGS:
+      /* Don't do __builtin_saveregs more than once in a function.
+        Save the result of the first call and reuse it.  */
+      if (saveregs_value != 0)
+       return saveregs_value;
+      {
+       /* When this function is called, it means that registers must be
+          saved on entry to this function.  So we migrate the
+          call to the first insn of this function.  */
+       rtx temp;
+       rtx seq;
+       rtx valreg, saved_valreg;
+
+       /* Now really call the function.  `expand_call' does not call
+          expand_builtin, so there is no danger of infinite recursion here.  */
+       start_sequence ();
+
+#ifdef EXPAND_BUILTIN_SAVEREGS
+       /* Do whatever the machine needs done in this case.  */
+       temp = EXPAND_BUILTIN_SAVEREGS (arglist);
+#else
+       /* The register where the function returns its value
+          is likely to have something else in it, such as an argument.
+          So preserve that register around the call.  */
+       if (value_mode != VOIDmode)
+         {
+           valreg = hard_libcall_value (value_mode);
+           saved_valreg = gen_reg_rtx (value_mode);
+           emit_move_insn (saved_valreg, valreg);
+         }
+
+       /* Generate the call, putting the value in a pseudo.  */
+       temp = expand_call (exp, target, ignore);
+
+       if (value_mode != VOIDmode)
+         emit_move_insn (valreg, saved_valreg);
+#endif
+
+       seq = get_insns ();
+       end_sequence ();
+
+       saveregs_value = temp;
+
+       /* Put the sequence after the NOTE that starts the function.
+          If this is inside a SEQUENCE, make the outer-level insn
+          chain current, so the code is placed at the start of the
+          function.  */
+       push_topmost_sequence ();
+       emit_insns_before (seq, NEXT_INSN (get_insns ()));
+       pop_topmost_sequence ();
+       return temp;
+      }
 
-      STRIP_NOPS (arg0);
-      STRIP_NOPS (arg1);
+      /* __builtin_args_info (N) returns word N of the arg space info
+        for the current function.  The number and meanings of words
+        is controlled by the definition of CUMULATIVE_ARGS.  */
+    case BUILT_IN_ARGS_INFO:
+      {
+       int nwords = sizeof (CUMULATIVE_ARGS) / sizeof (int);
+       int i;
+       int *word_ptr = (int *) &current_function_args_info;
+       tree type, elts, result;
 
-      if (TREE_CODE (arg0) == ADDR_EXPR
-         && TREE_CODE (TREE_OPERAND (arg0, 0)) == STRING_CST)
+       if (sizeof (CUMULATIVE_ARGS) % sizeof (int) != 0)
+         fatal ("CUMULATIVE_ARGS type defined badly; see %s, line %d",
+                __FILE__, __LINE__);
+
+       if (arglist != 0)
+         {
+           tree arg = TREE_VALUE (arglist);
+           if (TREE_CODE (arg) != INTEGER_CST)
+             error ("argument of `__builtin_args_info' must be constant");
+           else
+             {
+               int wordnum = TREE_INT_CST_LOW (arg);
+
+               if (wordnum < 0 || wordnum >= nwords || TREE_INT_CST_HIGH (arg))
+                 error ("argument of `__builtin_args_info' out of range");
+               else
+                 return GEN_INT (word_ptr[wordnum]);
+             }
+         }
+       else
+         error ("missing argument in `__builtin_args_info'");
+
+       return const0_rtx;
+
+#if 0
+       for (i = 0; i < nwords; i++)
+         elts = tree_cons (NULL_TREE, build_int_2 (word_ptr[i], 0));
+
+       type = build_array_type (integer_type_node,
+                                build_index_type (build_int_2 (nwords, 0)));
+       result = build (CONSTRUCTOR, type, NULL_TREE, nreverse (elts));
+       TREE_CONSTANT (result) = 1;
+       TREE_STATIC (result) = 1;
+       result = build (INDIRECT_REF, build_pointer_type (type), result);
+       TREE_CONSTANT (result) = 1;
+       return expand_expr (result, NULL_RTX, VOIDmode, 0);
+#endif
+      }
+
+      /* Return the address of the first anonymous stack arg.  */
+    case BUILT_IN_NEXT_ARG:
+      {
+       tree parm;
+       tree fntype = TREE_TYPE (current_function_decl);
+       tree fnargs = DECL_ARGUMENTS (current_function_decl);
+       if (!(TYPE_ARG_TYPES (fntype) != 0
+             && (TREE_VALUE (tree_last (TYPE_ARG_TYPES (fntype)))
+                 != void_type_node))
+           && !(fnargs
+                && (parm = tree_last (fnargs)) != 0
+                && DECL_NAME (parm)
+                && (! strcmp (IDENTIFIER_POINTER (DECL_NAME (parm)),
+                              "__builtin_va_alist"))))
+         {
+           error ("`va_start' used in function with fixed args");
+           return const0_rtx;
+         }
+      }
+
+      return expand_binop (Pmode, add_optab,
+                          current_function_internal_arg_pointer,
+                          current_function_arg_offset_rtx,
+                          NULL_RTX, 0, OPTAB_LIB_WIDEN);
+
+    case BUILT_IN_CLASSIFY_TYPE:
+      if (arglist != 0)
        {
-         *ptr_offset = arg1;
-         return TREE_OPERAND (arg0, 0);
+         tree type = TREE_TYPE (TREE_VALUE (arglist));
+         enum tree_code code = TREE_CODE (type);
+         if (code == VOID_TYPE)
+           return GEN_INT (void_type_class);
+         if (code == INTEGER_TYPE)
+           return GEN_INT (integer_type_class);
+         if (code == CHAR_TYPE)
+           return GEN_INT (char_type_class);
+         if (code == ENUMERAL_TYPE)
+           return GEN_INT (enumeral_type_class);
+         if (code == BOOLEAN_TYPE)
+           return GEN_INT (boolean_type_class);
+         if (code == POINTER_TYPE)
+           return GEN_INT (pointer_type_class);
+         if (code == REFERENCE_TYPE)
+           return GEN_INT (reference_type_class);
+         if (code == OFFSET_TYPE)
+           return GEN_INT (offset_type_class);
+         if (code == REAL_TYPE)
+           return GEN_INT (real_type_class);
+         if (code == COMPLEX_TYPE)
+           return GEN_INT (complex_type_class);
+         if (code == FUNCTION_TYPE)
+           return GEN_INT (function_type_class);
+         if (code == METHOD_TYPE)
+           return GEN_INT (method_type_class);
+         if (code == RECORD_TYPE)
+           return GEN_INT (record_type_class);
+         if (code == UNION_TYPE || code == QUAL_UNION_TYPE)
+           return GEN_INT (union_type_class);
+         if (code == ARRAY_TYPE)
+           return GEN_INT (array_type_class);
+         if (code == STRING_TYPE)
+           return GEN_INT (string_type_class);
+         if (code == SET_TYPE)
+           return GEN_INT (set_type_class);
+         if (code == FILE_TYPE)
+           return GEN_INT (file_type_class);
+         if (code == LANG_TYPE)
+           return GEN_INT (lang_type_class);
        }
-      else if (TREE_CODE (arg1) == ADDR_EXPR
-              && TREE_CODE (TREE_OPERAND (arg1, 0)) == STRING_CST)
+      return GEN_INT (no_type_class);
+
+    case BUILT_IN_CONSTANT_P:
+      if (arglist == 0)
+       return const0_rtx;
+      else
+       return (TREE_CODE_CLASS (TREE_CODE (TREE_VALUE (arglist))) == 'c'
+               ? const1_rtx : const0_rtx);
+
+    case BUILT_IN_FRAME_ADDRESS:
+      /* The argument must be a nonnegative integer constant.
+        It counts the number of frames to scan up the stack.
+        The value is the address of that frame.  */
+    case BUILT_IN_RETURN_ADDRESS:
+      /* The argument must be a nonnegative integer constant.
+        It counts the number of frames to scan up the stack.
+        The value is the return address saved in that frame.  */
+      if (arglist == 0)
+       /* Warning about missing arg was already issued.  */
+       return const0_rtx;
+      else if (TREE_CODE (TREE_VALUE (arglist)) != INTEGER_CST)
        {
-         *ptr_offset = arg0;
-         return TREE_OPERAND (arg1, 0);
+         error ("invalid arg to `__builtin_return_address'");
+         return const0_rtx;
        }
-    }
-
-  return 0;
-}
+      else if (tree_int_cst_lt (TREE_VALUE (arglist), integer_zero_node))
+       {
+         error ("invalid arg to `__builtin_return_address'");
+         return const0_rtx;
+       }
+      else
+       {
+         int count = TREE_INT_CST_LOW (TREE_VALUE (arglist)); 
+         rtx tem = frame_pointer_rtx;
+         int i;
 
-/* Compute the length of a C string.  TREE_STRING_LENGTH is not the right
-   way, because it could contain a zero byte in the middle.
-   TREE_STRING_LENGTH is the size of the character array, not the string.
+         /* Some machines need special handling before we can access arbitrary
+            frames.  For example, on the sparc, we must first flush all
+            register windows to the stack.  */
+#ifdef SETUP_FRAME_ADDRESSES
+         SETUP_FRAME_ADDRESSES ();
+#endif
 
-   Unfortunately, string_constant can't access the values of const char
-   arrays with initializers, so neither can we do so here.  */
+         /* On the sparc, the return address is not in the frame, it is
+            in a register.  There is no way to access it off of the current
+            frame pointer, but it can be accessed off the previous frame
+            pointer by reading the value from the register window save
+            area.  */
+#ifdef RETURN_ADDR_IN_PREVIOUS_FRAME
+         if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_RETURN_ADDRESS)
+           count--;
+#endif
 
-static tree
-c_strlen (src)
-     tree src;
-{
-  tree offset_node;
-  int offset, max;
-  char *ptr;
+         /* Scan back COUNT frames to the specified frame.  */
+         for (i = 0; i < count; i++)
+           {
+             /* Assume the dynamic chain pointer is in the word that
+                the frame address points to, unless otherwise specified.  */
+#ifdef DYNAMIC_CHAIN_ADDRESS
+             tem = DYNAMIC_CHAIN_ADDRESS (tem);
+#endif
+             tem = memory_address (Pmode, tem);
+             tem = copy_to_reg (gen_rtx (MEM, Pmode, tem));
+           }
 
-  src = string_constant (src, &offset_node);
-  if (src == 0)
-    return 0;
-  max = TREE_STRING_LENGTH (src);
-  ptr = TREE_STRING_POINTER (src);
-  if (offset_node && TREE_CODE (offset_node) != INTEGER_CST)
-    {
-      /* If the string has an internal zero byte (e.g., "foo\0bar"), we can't
-        compute the offset to the following null if we don't know where to
-        start searching for it.  */
-      int i;
-      for (i = 0; i < max; i++)
-       if (ptr[i] == 0)
-         return 0;
-      /* We don't know the starting offset, but we do know that the string
-        has no internal zero bytes.  We can assume that the offset falls
-        within the bounds of the string; otherwise, the programmer deserves
-        what he gets.  Subtract the offset from the length of the string,
-        and return that.  */
-      /* This would perhaps not be valid if we were dealing with named
-         arrays in addition to literal string constants.  */
-      return size_binop (MINUS_EXPR, size_int (max), offset_node);
-    }
+         /* For __builtin_frame_address, return what we've got.  */
+         if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_FRAME_ADDRESS)
+           return tem;
 
-  /* We have a known offset into the string.  Start searching there for
-     a null character.  */
-  if (offset_node == 0)
-    offset = 0;
-  else
-    {
-      /* Did we get a long long offset?  If so, punt.  */
-      if (TREE_INT_CST_HIGH (offset_node) != 0)
-       return 0;
-      offset = TREE_INT_CST_LOW (offset_node);
-    }
-  /* If the offset is known to be out of bounds, warn, and call strlen at
-     runtime.  */
-  if (offset < 0 || offset > max)
-    {
-      warning ("offset outside bounds of constant string");
-      return 0;
-    }
-  /* Use strlen to search for the first zero byte.  Since any strings
-     constructed with build_string will have nulls appended, we win even
-     if we get handed something like (char[4])"abcd".
+         /* For __builtin_return_address,
+            Get the return address from that frame.  */
+#ifdef RETURN_ADDR_RTX
+         return RETURN_ADDR_RTX (count, tem);
+#else
+         tem = memory_address (Pmode,
+                               plus_constant (tem, GET_MODE_SIZE (Pmode)));
+         return copy_to_reg (gen_rtx (MEM, Pmode, tem));
+#endif
+       }
 
-     Since OFFSET is our starting index into the string, no further
-     calculation is needed.  */
-  return size_int (strlen (ptr + offset));
-}
-\f
-/* Expand an expression EXP that calls a built-in function,
-   with result going to TARGET if that's convenient
-   (and in mode MODE if that's convenient).
-   SUBTARGET may be used as the target for computing one of EXP's operands.
-   IGNORE is nonzero if the value is to be ignored.  */
+    case BUILT_IN_ALLOCA:
+      if (arglist == 0
+         /* Arg could be non-integer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != INTEGER_TYPE)
+       break;
+      current_function_calls_alloca = 1;
+      /* Compute the argument.  */
+      op0 = expand_expr (TREE_VALUE (arglist), NULL_RTX, VOIDmode, 0);
 
-static rtx
-expand_builtin (exp, target, subtarget, mode, ignore)
-     tree exp;
-     rtx target;
-     rtx subtarget;
-     enum machine_mode mode;
-     int ignore;
-{
-  tree fndecl = TREE_OPERAND (TREE_OPERAND (exp, 0), 0);
-  tree arglist = TREE_OPERAND (exp, 1);
-  rtx op0;
-  rtx lab1, insns;
-  enum machine_mode value_mode = TYPE_MODE (TREE_TYPE (exp));
-  optab builtin_optab;
+      /* Allocate the desired space.  */
+      target = allocate_dynamic_stack_space (op0, target, BITS_PER_UNIT);
 
-  switch (DECL_FUNCTION_CODE (fndecl))
-    {
-    case BUILT_IN_ABS:
-    case BUILT_IN_LABS:
-    case BUILT_IN_FABS:
-      /* build_function_call changes these into ABS_EXPR.  */
-      abort ();
+      /* Record the new stack level for nonlocal gotos.  */
+      if (nonlocal_goto_handler_slot != 0)
+       emit_stack_save (SAVE_NONLOCAL, &nonlocal_goto_stack_level, NULL_RTX);
+      return target;
 
-    case BUILT_IN_SIN:
-    case BUILT_IN_COS:
-    case BUILT_IN_FSQRT:
+    case BUILT_IN_FFS:
       /* If not optimizing, call the library function.  */
-      if (! optimize)
+      if (!optimize)
        break;
 
       if (arglist == 0
-         /* Arg could be wrong type if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != REAL_TYPE)
-       return CONST0_RTX (TYPE_MODE (TREE_TYPE (exp)));
+         /* Arg could be non-integer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != INTEGER_TYPE)
+       break;
 
-      /* Stabilize and compute the argument.  */
-      if (TREE_CODE (TREE_VALUE (arglist)) != VAR_DECL
-         && TREE_CODE (TREE_VALUE (arglist)) != PARM_DECL)
-       {
-         exp = copy_node (exp);
-         arglist = copy_node (arglist);
-         TREE_OPERAND (exp, 1) = arglist;
-         TREE_VALUE (arglist) = save_expr (TREE_VALUE (arglist));
-       }
+      /* Compute the argument.  */
       op0 = expand_expr (TREE_VALUE (arglist), subtarget, VOIDmode, 0);
+      /* Compute ffs, into TARGET if possible.
+        Set TARGET to wherever the result comes back.  */
+      target = expand_unop (TYPE_MODE (TREE_TYPE (TREE_VALUE (arglist))),
+                           ffs_optab, op0, target, 1);
+      if (target == 0)
+       abort ();
+      return target;
 
-      /* Make a suitable register to place result in.  */
-      target = gen_reg_rtx (TYPE_MODE (TREE_TYPE (exp)));
-
-      emit_queue ();
-      start_sequence ();
+    case BUILT_IN_STRLEN:
+      /* If not optimizing, call the library function.  */
+      if (!optimize)
+       break;
 
-      switch (DECL_FUNCTION_CODE (fndecl))
+      if (arglist == 0
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE)
+       break;
+      else
        {
-       case BUILT_IN_SIN:
-         builtin_optab = sin_optab; break;
-       case BUILT_IN_COS:
-         builtin_optab = cos_optab; break;
-       case BUILT_IN_FSQRT:
-         builtin_optab = sqrt_optab; break;
-       default:
-         abort ();
-       }
+         tree src = TREE_VALUE (arglist);
+         tree len = c_strlen (src);
 
-      /* Compute into TARGET.
-        Set TARGET to wherever the result comes back.  */
-      target = expand_unop (TYPE_MODE (TREE_TYPE (TREE_VALUE (arglist))),
-                           builtin_optab, op0, target, 0);
+         int align
+           = get_pointer_alignment (src, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
 
-      /* If we were unable to expand via the builtin, stop the
-        sequence (without outputting the insns) and break, causing
-        a call the the library function.  */
-      if (target == 0)
-       {
-         end_sequence ();
-         break;
-        }
+         rtx result, src_rtx, char_rtx;
+         enum machine_mode insn_mode = value_mode, char_mode;
+         enum insn_code icode;
 
-      /* Check the results by default.  But if flag_fast_math is turned on,
-        then assume sqrt will always be called with valid arguments.  */
+         /* If the length is known, just return it. */
+         if (len != 0)
+           return expand_expr (len, target, mode, 0);
 
-      if (! flag_fast_math)
-       {
-         /* Don't define the builtin FP instructions
-            if your machine is not IEEE.  */
-         if (TARGET_FLOAT_FORMAT != IEEE_FLOAT_FORMAT)
-           abort ();
+         /* If SRC is not a pointer type, don't do this operation inline. */
+         if (align == 0)
+           break;
 
-         lab1 = gen_label_rtx ();
+         /* Call a function if we can't compute strlen in the right mode. */
 
-         /* Test the result; if it is NaN, set errno=EDOM because
-            the argument was not in the domain.  */
-         emit_cmp_insn (target, target, EQ, 0, GET_MODE (target), 0, 0);
-         emit_jump_insn (gen_beq (lab1));
+         while (insn_mode != VOIDmode)
+           {
+             icode = strlen_optab->handlers[(int) insn_mode].insn_code;
+             if (icode != CODE_FOR_nothing)
+               break;
 
-#if TARGET_EDOM
-         {
-#ifdef GEN_ERRNO_RTX
-           rtx errno_rtx = GEN_ERRNO_RTX;
-#else
-           rtx errno_rtx
-             = gen_rtx (MEM, word_mode, gen_rtx (SYMBOL_REF, Pmode, "*errno"));
-#endif
+             insn_mode = GET_MODE_WIDER_MODE (insn_mode);
+           }
+         if (insn_mode == VOIDmode)
+           break;
 
-           emit_move_insn (errno_rtx, GEN_INT (TARGET_EDOM));
-         }
-#else
-         /* We can't set errno=EDOM directly; let the library call do it.
-            Pop the arguments right away in case the call gets deleted. */
-         NO_DEFER_POP;
-         expand_call (exp, target, 0);
-         OK_DEFER_POP;
-#endif
+         /* Make a place to write the result of the instruction.  */
+         result = target;
+         if (! (result != 0
+                && GET_CODE (result) == REG
+                && GET_MODE (result) == insn_mode
+                && REGNO (result) >= FIRST_PSEUDO_REGISTER))
+           result = gen_reg_rtx (insn_mode);
 
-         emit_label (lab1);
+         /* Make sure the operands are acceptable to the predicates.  */
+
+         if (! (*insn_operand_predicate[(int)icode][0]) (result, insn_mode))
+           result = gen_reg_rtx (insn_mode);
+
+         src_rtx = memory_address (BLKmode,
+                                   expand_expr (src, NULL_RTX, Pmode,
+                                                EXPAND_NORMAL));
+         if (! (*insn_operand_predicate[(int)icode][1]) (src_rtx, Pmode))
+           src_rtx = copy_to_mode_reg (Pmode, src_rtx);
+
+         char_rtx = const0_rtx;
+         char_mode = insn_operand_mode[(int)icode][2];
+         if (! (*insn_operand_predicate[(int)icode][2]) (char_rtx, char_mode))
+           char_rtx = copy_to_mode_reg (char_mode, char_rtx);
+
+         emit_insn (GEN_FCN (icode) (result,
+                                     gen_rtx (MEM, BLKmode, src_rtx),
+                                     char_rtx, GEN_INT (align)));
+
+         /* Return the value in the proper mode for this function.  */
+         if (GET_MODE (result) == value_mode)
+           return result;
+         else if (target != 0)
+           {
+             convert_move (target, result, 0);
+             return target;
+           }
+         else
+           return convert_to_mode (value_mode, result, 0);
        }
 
-      /* Output the entire sequence. */
-      insns = get_insns ();
-      end_sequence ();
-      emit_insns (insns);
-      return target;
+    case BUILT_IN_STRCPY:
+      /* If not optimizing, call the library function.  */
+      if (!optimize)
+       break;
 
-      /* __builtin_apply_args returns block of memory allocated on
-        the stack into which is stored the arg pointer, structure
-        value address, static chain, and all the registers that might
-        possibly be used in performing a function call.  The code is
-        moved to the start of the function so the incoming values are
-        saved.  */
-    case BUILT_IN_APPLY_ARGS:
-      /* Don't do __builtin_apply_args more than once in a function.
-        Save the result of the first call and reuse it.  */
-      if (apply_args_value != 0)
-       return apply_args_value;
-      {
-       /* When this function is called, it means that registers must be
-          saved on entry to this function.  So we migrate the
-          call to the first insn of this function.  */
-       rtx temp;
-       rtx seq;
+      if (arglist == 0
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
+         || TREE_CHAIN (arglist) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE)
+       break;
+      else
+       {
+         tree len = c_strlen (TREE_VALUE (TREE_CHAIN (arglist)));
 
-       start_sequence ();
-       temp = expand_builtin_apply_args ();
-       seq = get_insns ();
-       end_sequence ();
+         if (len == 0)
+           break;
 
-       apply_args_value = temp;
+         len = size_binop (PLUS_EXPR, len, integer_one_node);
 
-       /* Put the sequence after the NOTE that starts the function.
-          If this is inside a SEQUENCE, make the outer-level insn
-          chain current, so the code is placed at the start of the
-          function.  */
-       push_topmost_sequence ();
-       emit_insns_before (seq, NEXT_INSN (get_insns ()));
-       pop_topmost_sequence ();
-       return temp;
-      }
+         chainon (arglist, build_tree_list (NULL_TREE, len));
+       }
+
+      /* Drops in.  */
+    case BUILT_IN_MEMCPY:
+      /* If not optimizing, call the library function.  */
+      if (!optimize)
+       break;
 
-      /* __builtin_apply (FUNCTION, ARGUMENTS, ARGSIZE) invokes
-        FUNCTION with a copy of the parameters described by
-        ARGUMENTS, and ARGSIZE.  It returns a block of memory
-        allocated on the stack into which is stored all the registers
-        that might possibly be used for returning the result of a
-        function.  ARGUMENTS is the value returned by
-        __builtin_apply_args.  ARGSIZE is the number of bytes of
-        arguments that must be copied.  ??? How should this value be
-        computed?  We'll also need a safe worst case value for varargs
-        functions.  */
-    case BUILT_IN_APPLY:
       if (arglist == 0
          /* Arg could be non-pointer if user redeclared this fcn wrong.  */
          || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
@@ -5898,2364 +7237,2702 @@ expand_builtin (exp, target, subtarget, mode, ignore)
          || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE
          || TREE_CHAIN (TREE_CHAIN (arglist)) == 0
          || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist))))) != INTEGER_TYPE)
-       return const0_rtx;
+       break;
       else
        {
-         int i;
-         tree t;
-         rtx ops[3];
+         tree dest = TREE_VALUE (arglist);
+         tree src = TREE_VALUE (TREE_CHAIN (arglist));
+         tree len = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
 
-         for (t = arglist, i = 0; t; t = TREE_CHAIN (t), i++)
-           ops[i] = expand_expr (TREE_VALUE (t), NULL_RTX, VOIDmode, 0);
+         int src_align
+           = get_pointer_alignment (src, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
+         int dest_align
+           = get_pointer_alignment (dest, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
+         rtx dest_rtx, dest_mem, src_mem;
 
-         return expand_builtin_apply (ops[0], ops[1], ops[2]);
+         /* If either SRC or DEST is not a pointer type, don't do
+            this operation in-line.  */
+         if (src_align == 0 || dest_align == 0)
+           {
+             if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_STRCPY)
+               TREE_CHAIN (TREE_CHAIN (arglist)) = 0;
+             break;
+           }
+
+         dest_rtx = expand_expr (dest, NULL_RTX, Pmode, EXPAND_NORMAL);
+         dest_mem = gen_rtx (MEM, BLKmode,
+                             memory_address (BLKmode, dest_rtx));
+         src_mem = gen_rtx (MEM, BLKmode,
+                            memory_address (BLKmode,
+                                            expand_expr (src, NULL_RTX,
+                                                         Pmode,
+                                                         EXPAND_NORMAL)));
+
+         /* Copy word part most expediently.  */
+         emit_block_move (dest_mem, src_mem,
+                          expand_expr (len, NULL_RTX, VOIDmode, 0),
+                          MIN (src_align, dest_align));
+         return dest_rtx;
        }
 
-      /* __builtin_return (RESULT) causes the function to return the
-        value described by RESULT.  RESULT is address of the block of
-        memory returned by __builtin_apply.  */
-    case BUILT_IN_RETURN:
-      if (arglist
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         && TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) == POINTER_TYPE)
-       expand_builtin_return (expand_expr (TREE_VALUE (arglist),
-                                           NULL_RTX, VOIDmode, 0));
-      return const0_rtx;
+/* These comparison functions need an instruction that returns an actual
+   index.  An ordinary compare that just sets the condition codes
+   is not enough.  */
+#ifdef HAVE_cmpstrsi
+    case BUILT_IN_STRCMP:
+      /* If not optimizing, call the library function.  */
+      if (!optimize)
+       break;
 
-    case BUILT_IN_SAVEREGS:
-      /* Don't do __builtin_saveregs more than once in a function.
-        Save the result of the first call and reuse it.  */
-      if (saveregs_value != 0)
-       return saveregs_value;
+      if (arglist == 0
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
+         || TREE_CHAIN (arglist) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE)
+       break;
+      else if (!HAVE_cmpstrsi)
+       break;
       {
-       /* When this function is called, it means that registers must be
-          saved on entry to this function.  So we migrate the
-          call to the first insn of this function.  */
-       rtx temp;
-       rtx seq;
-       rtx valreg, saved_valreg;
+       tree arg1 = TREE_VALUE (arglist);
+       tree arg2 = TREE_VALUE (TREE_CHAIN (arglist));
+       tree offset;
+       tree len, len2;
 
-       /* Now really call the function.  `expand_call' does not call
-          expand_builtin, so there is no danger of infinite recursion here.  */
-       start_sequence ();
+       len = c_strlen (arg1);
+       if (len)
+         len = size_binop (PLUS_EXPR, integer_one_node, len);
+       len2 = c_strlen (arg2);
+       if (len2)
+         len2 = size_binop (PLUS_EXPR, integer_one_node, len2);
 
-#ifdef EXPAND_BUILTIN_SAVEREGS
-       /* Do whatever the machine needs done in this case.  */
-       temp = EXPAND_BUILTIN_SAVEREGS (arglist);
-#else
-       /* The register where the function returns its value
-          is likely to have something else in it, such as an argument.
-          So preserve that register around the call.  */
-       if (value_mode != VOIDmode)
+       /* If we don't have a constant length for the first, use the length
+          of the second, if we know it.  We don't require a constant for
+          this case; some cost analysis could be done if both are available
+          but neither is constant.  For now, assume they're equally cheap.
+
+          If both strings have constant lengths, use the smaller.  This
+          could arise if optimization results in strcpy being called with
+          two fixed strings, or if the code was machine-generated.  We should
+          add some code to the `memcmp' handler below to deal with such
+          situations, someday.  */
+       if (!len || TREE_CODE (len) != INTEGER_CST)
          {
-           valreg = hard_libcall_value (value_mode);
-           saved_valreg = gen_reg_rtx (value_mode);
-           emit_move_insn (saved_valreg, valreg);
+           if (len2)
+             len = len2;
+           else if (len == 0)
+             break;
+         }
+       else if (len2 && TREE_CODE (len2) == INTEGER_CST)
+         {
+           if (tree_int_cst_lt (len2, len))
+             len = len2;
          }
 
-       /* Generate the call, putting the value in a pseudo.  */
-       temp = expand_call (exp, target, ignore);
-
-       if (value_mode != VOIDmode)
-         emit_move_insn (valreg, saved_valreg);
-#endif
-
-       seq = get_insns ();
-       end_sequence ();
-
-       saveregs_value = temp;
-
-       /* Put the sequence after the NOTE that starts the function.
-          If this is inside a SEQUENCE, make the outer-level insn
-          chain current, so the code is placed at the start of the
-          function.  */
-       push_topmost_sequence ();
-       emit_insns_before (seq, NEXT_INSN (get_insns ()));
-       pop_topmost_sequence ();
-       return temp;
+       chainon (arglist, build_tree_list (NULL_TREE, len));
       }
 
-      /* __builtin_args_info (N) returns word N of the arg space info
-        for the current function.  The number and meanings of words
-        is controlled by the definition of CUMULATIVE_ARGS.  */
-    case BUILT_IN_ARGS_INFO:
+      /* Drops in.  */
+    case BUILT_IN_MEMCMP:
+      /* If not optimizing, call the library function.  */
+      if (!optimize)
+       break;
+
+      if (arglist == 0
+         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
+         || TREE_CHAIN (arglist) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE
+         || TREE_CHAIN (TREE_CHAIN (arglist)) == 0
+         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist))))) != INTEGER_TYPE)
+       break;
+      else if (!HAVE_cmpstrsi)
+       break;
       {
-       int nwords = sizeof (CUMULATIVE_ARGS) / sizeof (int);
-       int i;
-       int *word_ptr = (int *) &current_function_args_info;
-       tree type, elts, result;
+       tree arg1 = TREE_VALUE (arglist);
+       tree arg2 = TREE_VALUE (TREE_CHAIN (arglist));
+       tree len = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
+       rtx result;
 
-       if (sizeof (CUMULATIVE_ARGS) % sizeof (int) != 0)
-         fatal ("CUMULATIVE_ARGS type defined badly; see %s, line %d",
-                __FILE__, __LINE__);
+       int arg1_align
+         = get_pointer_alignment (arg1, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
+       int arg2_align
+         = get_pointer_alignment (arg2, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
+       enum machine_mode insn_mode
+         = insn_operand_mode[(int) CODE_FOR_cmpstrsi][0];
 
-       if (arglist != 0)
+       /* If we don't have POINTER_TYPE, call the function.  */
+       if (arg1_align == 0 || arg2_align == 0)
          {
-           tree arg = TREE_VALUE (arglist);
-           if (TREE_CODE (arg) != INTEGER_CST)
-             error ("argument of `__builtin_args_info' must be constant");
-           else
-             {
-               int wordnum = TREE_INT_CST_LOW (arg);
-
-               if (wordnum < 0 || wordnum >= nwords || TREE_INT_CST_HIGH (arg))
-                 error ("argument of `__builtin_args_info' out of range");
-               else
-                 return GEN_INT (word_ptr[wordnum]);
-             }
+           if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_STRCMP)
+             TREE_CHAIN (TREE_CHAIN (arglist)) = 0;
+           break;
          }
-       else
-         error ("missing argument in `__builtin_args_info'");
 
-       return const0_rtx;
+       /* Make a place to write the result of the instruction.  */
+       result = target;
+       if (! (result != 0
+              && GET_CODE (result) == REG && GET_MODE (result) == insn_mode
+              && REGNO (result) >= FIRST_PSEUDO_REGISTER))
+         result = gen_reg_rtx (insn_mode);
 
-#if 0
-       for (i = 0; i < nwords; i++)
-         elts = tree_cons (NULL_TREE, build_int_2 (word_ptr[i], 0));
+       emit_insn (gen_cmpstrsi (result,
+                                gen_rtx (MEM, BLKmode,
+                                         expand_expr (arg1, NULL_RTX, Pmode,
+                                                      EXPAND_NORMAL)),
+                                gen_rtx (MEM, BLKmode,
+                                         expand_expr (arg2, NULL_RTX, Pmode,
+                                                      EXPAND_NORMAL)),
+                                expand_expr (len, NULL_RTX, VOIDmode, 0),
+                                GEN_INT (MIN (arg1_align, arg2_align))));
 
-       type = build_array_type (integer_type_node,
-                                build_index_type (build_int_2 (nwords, 0)));
-       result = build (CONSTRUCTOR, type, NULL_TREE, nreverse (elts));
-       TREE_CONSTANT (result) = 1;
-       TREE_STATIC (result) = 1;
-       result = build (INDIRECT_REF, build_pointer_type (type), result);
-       TREE_CONSTANT (result) = 1;
-       return expand_expr (result, NULL_RTX, VOIDmode, 0);
+       /* Return the value in the proper mode for this function.  */
+       mode = TYPE_MODE (TREE_TYPE (exp));
+       if (GET_MODE (result) == mode)
+         return result;
+       else if (target != 0)
+         {
+           convert_move (target, result, 0);
+           return target;
+         }
+       else
+         return convert_to_mode (mode, result, 0);
+      }        
+#else
+    case BUILT_IN_STRCMP:
+    case BUILT_IN_MEMCMP:
+      break;
 #endif
-      }
 
-      /* Return the address of the first anonymous stack arg.  */
-    case BUILT_IN_NEXT_ARG:
-      {
-       tree fntype = TREE_TYPE (current_function_decl);
-       if (!(TYPE_ARG_TYPES (fntype) != 0
-             && (TREE_VALUE (tree_last (TYPE_ARG_TYPES (fntype)))
-                 != void_type_node)))
-         {
-           error ("`va_start' used in function with fixed args");
-           return const0_rtx;
-         }
-      }
+    default:                   /* just do library call, if unknown builtin */
+      error ("built-in function `%s' not currently supported",
+            IDENTIFIER_POINTER (DECL_NAME (fndecl)));
+    }
 
-      return expand_binop (Pmode, add_optab,
-                          current_function_internal_arg_pointer,
-                          current_function_arg_offset_rtx,
-                          NULL_RTX, 0, OPTAB_LIB_WIDEN);
+  /* The switch statement above can drop through to cause the function
+     to be called normally.  */
 
-    case BUILT_IN_CLASSIFY_TYPE:
-      if (arglist != 0)
-       {
-         tree type = TREE_TYPE (TREE_VALUE (arglist));
-         enum tree_code code = TREE_CODE (type);
-         if (code == VOID_TYPE)
-           return GEN_INT (void_type_class);
-         if (code == INTEGER_TYPE)
-           return GEN_INT (integer_type_class);
-         if (code == CHAR_TYPE)
-           return GEN_INT (char_type_class);
-         if (code == ENUMERAL_TYPE)
-           return GEN_INT (enumeral_type_class);
-         if (code == BOOLEAN_TYPE)
-           return GEN_INT (boolean_type_class);
-         if (code == POINTER_TYPE)
-           return GEN_INT (pointer_type_class);
-         if (code == REFERENCE_TYPE)
-           return GEN_INT (reference_type_class);
-         if (code == OFFSET_TYPE)
-           return GEN_INT (offset_type_class);
-         if (code == REAL_TYPE)
-           return GEN_INT (real_type_class);
-         if (code == COMPLEX_TYPE)
-           return GEN_INT (complex_type_class);
-         if (code == FUNCTION_TYPE)
-           return GEN_INT (function_type_class);
-         if (code == METHOD_TYPE)
-           return GEN_INT (method_type_class);
-         if (code == RECORD_TYPE)
-           return GEN_INT (record_type_class);
-         if (code == UNION_TYPE || code == QUAL_UNION_TYPE)
-           return GEN_INT (union_type_class);
-         if (code == ARRAY_TYPE)
-           return GEN_INT (array_type_class);
-         if (code == STRING_TYPE)
-           return GEN_INT (string_type_class);
-         if (code == SET_TYPE)
-           return GEN_INT (set_type_class);
-         if (code == FILE_TYPE)
-           return GEN_INT (file_type_class);
-         if (code == LANG_TYPE)
-           return GEN_INT (lang_type_class);
-       }
-      return GEN_INT (no_type_class);
+  return expand_call (exp, target, ignore);
+}
+\f
+/* Built-in functions to perform an untyped call and return.  */
 
-    case BUILT_IN_CONSTANT_P:
-      if (arglist == 0)
-       return const0_rtx;
-      else
-       return (TREE_CODE_CLASS (TREE_CODE (TREE_VALUE (arglist))) == 'c'
-               ? const1_rtx : const0_rtx);
+/* For each register that may be used for calling a function, this
+   gives a mode used to copy the register's value.  VOIDmode indicates
+   the register is not used for calling a function.  If the machine
+   has register windows, this gives only the outbound registers.
+   INCOMING_REGNO gives the corresponding inbound register.  */
+static enum machine_mode apply_args_mode[FIRST_PSEUDO_REGISTER];
 
-    case BUILT_IN_FRAME_ADDRESS:
-      /* The argument must be a nonnegative integer constant.
-        It counts the number of frames to scan up the stack.
-        The value is the address of that frame.  */
-    case BUILT_IN_RETURN_ADDRESS:
-      /* The argument must be a nonnegative integer constant.
-        It counts the number of frames to scan up the stack.
-        The value is the return address saved in that frame.  */
-      if (arglist == 0)
-       /* Warning about missing arg was already issued.  */
-       return const0_rtx;
-      else if (TREE_CODE (TREE_VALUE (arglist)) != INTEGER_CST)
-       {
-         error ("invalid arg to `__builtin_return_address'");
-         return const0_rtx;
-       }
-      else if (tree_int_cst_lt (TREE_VALUE (arglist), integer_zero_node))
-       {
-         error ("invalid arg to `__builtin_return_address'");
-         return const0_rtx;
-       }
-      else
-       {
-         int count = TREE_INT_CST_LOW (TREE_VALUE (arglist)); 
-         rtx tem = frame_pointer_rtx;
-         int i;
+/* For each register that may be used for returning values, this gives
+   a mode used to copy the register's value.  VOIDmode indicates the
+   register is not used for returning values.  If the machine has
+   register windows, this gives only the outbound registers.
+   INCOMING_REGNO gives the corresponding inbound register.  */
+static enum machine_mode apply_result_mode[FIRST_PSEUDO_REGISTER];
 
-         /* Some machines need special handling before we can access arbitrary
-            frames.  For example, on the sparc, we must first flush all
-            register windows to the stack.  */
-#ifdef SETUP_FRAME_ADDRESSES
-         SETUP_FRAME_ADDRESSES ();
-#endif
+/* For each register that may be used for calling a function, this
+   gives the offset of that register into the block returned by
+   __bultin_apply_args.  0 indicates that the register is not
+   used for calling a function. */
+static int apply_args_reg_offset[FIRST_PSEUDO_REGISTER];
 
-         /* On the sparc, the return address is not in the frame, it is
-            in a register.  There is no way to access it off of the current
-            frame pointer, but it can be accessed off the previous frame
-            pointer by reading the value from the register window save
-            area.  */
-#ifdef RETURN_ADDR_IN_PREVIOUS_FRAME
-         if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_RETURN_ADDRESS)
-           count--;
-#endif
+/* Return the offset of register REGNO into the block returned by 
+   __builtin_apply_args.  This is not declared static, since it is
+   needed in objc-act.c. */
 
-         /* Scan back COUNT frames to the specified frame.  */
-         for (i = 0; i < count; i++)
-           {
-             /* Assume the dynamic chain pointer is in the word that
-                the frame address points to, unless otherwise specified.  */
-#ifdef DYNAMIC_CHAIN_ADDRESS
-             tem = DYNAMIC_CHAIN_ADDRESS (tem);
+int 
+apply_args_register_offset (regno)
+     int regno;
+{
+  apply_args_size ();
+
+  /* Arguments are always put in outgoing registers (in the argument
+     block) if such make sense. */
+#ifdef OUTGOING_REGNO
+  regno = OUTGOING_REGNO(regno);
 #endif
-             tem = memory_address (Pmode, tem);
-             tem = copy_to_reg (gen_rtx (MEM, Pmode, tem));
-           }
+  return apply_args_reg_offset[regno];
+}
 
-         /* For __builtin_frame_address, return what we've got.  */
-         if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_FRAME_ADDRESS)
-           return tem;
+/* Return the size required for the block returned by __builtin_apply_args,
+   and initialize apply_args_mode.  */
 
-         /* For __builtin_return_address,
-            Get the return address from that frame.  */
-#ifdef RETURN_ADDR_RTX
-         return RETURN_ADDR_RTX (count, tem);
-#else
-         tem = memory_address (Pmode,
-                               plus_constant (tem, GET_MODE_SIZE (Pmode)));
-         return copy_to_reg (gen_rtx (MEM, Pmode, tem));
-#endif
-       }
+static int
+apply_args_size ()
+{
+  static int size = -1;
+  int align, regno;
+  enum machine_mode mode;
 
-    case BUILT_IN_ALLOCA:
-      if (arglist == 0
-         /* Arg could be non-integer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != INTEGER_TYPE)
-       return const0_rtx;
-      current_function_calls_alloca = 1;
-      /* Compute the argument.  */
-      op0 = expand_expr (TREE_VALUE (arglist), NULL_RTX, VOIDmode, 0);
+  /* The values computed by this function never change.  */
+  if (size < 0)
+    {
+      /* The first value is the incoming arg-pointer.  */
+      size = GET_MODE_SIZE (Pmode);
 
-      /* Allocate the desired space.  */
-      target = allocate_dynamic_stack_space (op0, target, BITS_PER_UNIT);
+      /* The second value is the structure value address unless this is
+        passed as an "invisible" first argument.  */
+      if (struct_value_rtx)
+       size += GET_MODE_SIZE (Pmode);
 
-      /* Record the new stack level for nonlocal gotos.  */
-      if (nonlocal_goto_handler_slot != 0)
-       emit_stack_save (SAVE_NONLOCAL, &nonlocal_goto_stack_level, NULL_RTX);
-      return target;
+      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+       if (FUNCTION_ARG_REGNO_P (regno))
+         {
+           /* Search for the proper mode for copying this register's
+              value.  I'm not sure this is right, but it works so far.  */
+           enum machine_mode best_mode = VOIDmode;
 
-    case BUILT_IN_FFS:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+           for (mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
+                mode != VOIDmode;
+                mode = GET_MODE_WIDER_MODE (mode))
+             if (HARD_REGNO_MODE_OK (regno, mode)
+                 && HARD_REGNO_NREGS (regno, mode) == 1)
+               best_mode = mode;
 
-      if (arglist == 0
-         /* Arg could be non-integer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != INTEGER_TYPE)
-       return const0_rtx;
+           if (best_mode == VOIDmode)
+             for (mode = GET_CLASS_NARROWEST_MODE (MODE_FLOAT);
+                  mode != VOIDmode;
+                  mode = GET_MODE_WIDER_MODE (mode))
+               if (HARD_REGNO_MODE_OK (regno, mode)
+                   && (mov_optab->handlers[(int) mode].insn_code
+                       != CODE_FOR_nothing))
+                 best_mode = mode;
 
-      /* Compute the argument.  */
-      op0 = expand_expr (TREE_VALUE (arglist), subtarget, VOIDmode, 0);
-      /* Compute ffs, into TARGET if possible.
-        Set TARGET to wherever the result comes back.  */
-      target = expand_unop (TYPE_MODE (TREE_TYPE (TREE_VALUE (arglist))),
-                           ffs_optab, op0, target, 1);
-      if (target == 0)
-       abort ();
-      return target;
+           mode = best_mode;
+           if (mode == VOIDmode)
+             abort ();
+
+           align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+           if (size % align != 0)
+             size = CEIL (size, align) * align;
+           apply_args_reg_offset[regno] = size;
+           size += GET_MODE_SIZE (mode);
+           apply_args_mode[regno] = mode;
+         }
+       else
+         {
+           apply_args_mode[regno] = VOIDmode;
+           apply_args_reg_offset[regno] = 0;
+         }
+    }
+  return size;
+}
 
-    case BUILT_IN_STRLEN:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+/* Return the size required for the block returned by __builtin_apply,
+   and initialize apply_result_mode.  */
 
-      if (arglist == 0
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE)
-       return const0_rtx;
-      else
-       {
-         tree src = TREE_VALUE (arglist);
-         tree len = c_strlen (src);
+static int
+apply_result_size ()
+{
+  static int size = -1;
+  int align, regno;
+  enum machine_mode mode;
 
-         int align
-           = get_pointer_alignment (src, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
+  /* The values computed by this function never change.  */
+  if (size < 0)
+    {
+      size = 0;
 
-         rtx result, src_rtx, char_rtx;
-         enum machine_mode insn_mode = value_mode, char_mode;
-         enum insn_code icode;
+      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+       if (FUNCTION_VALUE_REGNO_P (regno))
+         {
+           /* Search for the proper mode for copying this register's
+              value.  I'm not sure this is right, but it works so far.  */
+           enum machine_mode best_mode = VOIDmode;
 
-         /* If the length is known, just return it. */
-         if (len != 0)
-           return expand_expr (len, target, mode, 0);
+           for (mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
+                mode != TImode;
+                mode = GET_MODE_WIDER_MODE (mode))
+             if (HARD_REGNO_MODE_OK (regno, mode))
+               best_mode = mode;
 
-         /* If SRC is not a pointer type, don't do this operation inline. */
-         if (align == 0)
-           break;
+           if (best_mode == VOIDmode)
+             for (mode = GET_CLASS_NARROWEST_MODE (MODE_FLOAT);
+                  mode != VOIDmode;
+                  mode = GET_MODE_WIDER_MODE (mode))
+               if (HARD_REGNO_MODE_OK (regno, mode)
+                   && (mov_optab->handlers[(int) mode].insn_code
+                       != CODE_FOR_nothing))
+                 best_mode = mode;
 
-         /* Call a function if we can't compute strlen in the right mode. */
+           mode = best_mode;
+           if (mode == VOIDmode)
+             abort ();
 
-         while (insn_mode != VOIDmode)
-           {
-             icode = strlen_optab->handlers[(int) insn_mode].insn_code;
-             if (icode != CODE_FOR_nothing)
-               break;
+           align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+           if (size % align != 0)
+             size = CEIL (size, align) * align;
+           size += GET_MODE_SIZE (mode);
+           apply_result_mode[regno] = mode;
+         }
+       else
+         apply_result_mode[regno] = VOIDmode;
 
-             insn_mode = GET_MODE_WIDER_MODE (insn_mode);
-           }
-         if (insn_mode == VOIDmode)
-           break;
+      /* Allow targets that use untyped_call and untyped_return to override
+        the size so that machine-specific information can be stored here.  */
+#ifdef APPLY_RESULT_SIZE
+      size = APPLY_RESULT_SIZE;
+#endif
+    }
+  return size;
+}
 
-         /* Make a place to write the result of the instruction.  */
-         result = target;
-         if (! (result != 0
-                && GET_CODE (result) == REG
-                && GET_MODE (result) == insn_mode
-                && REGNO (result) >= FIRST_PSEUDO_REGISTER))
-           result = gen_reg_rtx (insn_mode);
+#if defined (HAVE_untyped_call) || defined (HAVE_untyped_return)
+/* Create a vector describing the result block RESULT.  If SAVEP is true,
+   the result block is used to save the values; otherwise it is used to
+   restore the values.  */
 
-         /* Make sure the operands are acceptable to the predicates.  */
+static rtx
+result_vector (savep, result)
+     int savep;
+     rtx result;
+{
+  int regno, size, align, nelts;
+  enum machine_mode mode;
+  rtx reg, mem;
+  rtx *savevec = (rtx *) alloca (FIRST_PSEUDO_REGISTER * sizeof (rtx));
+  
+  size = nelts = 0;
+  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+    if ((mode = apply_result_mode[regno]) != VOIDmode)
+      {
+       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+       if (size % align != 0)
+         size = CEIL (size, align) * align;
+       reg = gen_rtx (REG, mode, savep ? INCOMING_REGNO (regno) : regno);
+       mem = change_address (result, mode,
+                             plus_constant (XEXP (result, 0), size));
+       savevec[nelts++] = (savep
+                           ? gen_rtx (SET, VOIDmode, mem, reg)
+                           : gen_rtx (SET, VOIDmode, reg, mem));
+       size += GET_MODE_SIZE (mode);
+      }
+  return gen_rtx (PARALLEL, VOIDmode, gen_rtvec_v (nelts, savevec));
+}
+#endif /* HAVE_untyped_call or HAVE_untyped_return */
 
-         if (! (*insn_operand_predicate[(int)icode][0]) (result, insn_mode))
-           result = gen_reg_rtx (insn_mode);
+/* Save the state required to perform an untyped call with the same
+   arguments as were passed to the current function.  */
 
-         src_rtx = memory_address (BLKmode,
-                                   expand_expr (src, NULL_RTX, Pmode,
-                                                EXPAND_NORMAL));
-         if (! (*insn_operand_predicate[(int)icode][1]) (src_rtx, Pmode))
-           src_rtx = copy_to_mode_reg (Pmode, src_rtx);
+static rtx
+expand_builtin_apply_args ()
+{
+  rtx registers;
+  int size, align, regno;
+  enum machine_mode mode;
 
-         char_rtx = const0_rtx;
-         char_mode = insn_operand_mode[(int)icode][2];
-         if (! (*insn_operand_predicate[(int)icode][2]) (char_rtx, char_mode))
-           char_rtx = copy_to_mode_reg (char_mode, char_rtx);
+  /* Create a block where the arg-pointer, structure value address,
+     and argument registers can be saved.  */
+  registers = assign_stack_local (BLKmode, apply_args_size (), -1);
 
-         emit_insn (GEN_FCN (icode) (result,
-                                     gen_rtx (MEM, BLKmode, src_rtx),
-                                     char_rtx, GEN_INT (align)));
+  /* Walk past the arg-pointer and structure value address.  */
+  size = GET_MODE_SIZE (Pmode);
+  if (struct_value_rtx)
+    size += GET_MODE_SIZE (Pmode);
 
-         /* Return the value in the proper mode for this function.  */
-         if (GET_MODE (result) == value_mode)
-           return result;
-         else if (target != 0)
-           {
-             convert_move (target, result, 0);
-             return target;
-           }
-         else
-           return convert_to_mode (value_mode, result, 0);
-       }
+  /* Save each register used in calling a function to the block.  */
+  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+    if ((mode = apply_args_mode[regno]) != VOIDmode)
+      {
+       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+       if (size % align != 0)
+         size = CEIL (size, align) * align;
+       emit_move_insn (change_address (registers, mode,
+                                       plus_constant (XEXP (registers, 0),
+                                                      size)),
+                       gen_rtx (REG, mode, INCOMING_REGNO (regno)));
+       size += GET_MODE_SIZE (mode);
+      }
 
-    case BUILT_IN_STRCPY:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+  /* Save the arg pointer to the block.  */
+  emit_move_insn (change_address (registers, Pmode, XEXP (registers, 0)),
+                 copy_to_reg (virtual_incoming_args_rtx));
+  size = GET_MODE_SIZE (Pmode);
 
-      if (arglist == 0
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
-         || TREE_CHAIN (arglist) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE)
-       return const0_rtx;
-      else
-       {
-         tree len = c_strlen (TREE_VALUE (TREE_CHAIN (arglist)));
+  /* Save the structure value address unless this is passed as an
+     "invisible" first argument.  */
+  if (struct_value_incoming_rtx)
+    {
+      emit_move_insn (change_address (registers, Pmode,
+                                     plus_constant (XEXP (registers, 0),
+                                                    size)),
+                     copy_to_reg (struct_value_incoming_rtx));
+      size += GET_MODE_SIZE (Pmode);
+    }
 
-         if (len == 0)
-           break;
+  /* Return the address of the block.  */
+  return copy_addr_to_reg (XEXP (registers, 0));
+}
 
-         len = size_binop (PLUS_EXPR, len, integer_one_node);
+/* Perform an untyped call and save the state required to perform an
+   untyped return of whatever value was returned by the given function.  */
 
-         chainon (arglist, build_tree_list (NULL_TREE, len));
-       }
+static rtx
+expand_builtin_apply (function, arguments, argsize)
+     rtx function, arguments, argsize;
+{
+  int size, align, regno;
+  enum machine_mode mode;
+  rtx incoming_args, result, reg, dest, call_insn;
+  rtx old_stack_level = 0;
+  rtx use_insns = 0;
 
-      /* Drops in.  */
-    case BUILT_IN_MEMCPY:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+  /* Create a block where the return registers can be saved.  */
+  result = assign_stack_local (BLKmode, apply_result_size (), -1);
 
-      if (arglist == 0
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
-         || TREE_CHAIN (arglist) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE
-         || TREE_CHAIN (TREE_CHAIN (arglist)) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist))))) != INTEGER_TYPE)
-       return const0_rtx;
-      else
-       {
-         tree dest = TREE_VALUE (arglist);
-         tree src = TREE_VALUE (TREE_CHAIN (arglist));
-         tree len = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
+  /* ??? The argsize value should be adjusted here.  */
+
+  /* Fetch the arg pointer from the ARGUMENTS block.  */
+  incoming_args = gen_reg_rtx (Pmode);
+  emit_move_insn (incoming_args,
+                 gen_rtx (MEM, Pmode, arguments));
+#ifndef STACK_GROWS_DOWNWARD
+  incoming_args = expand_binop (Pmode, sub_optab, incoming_args, argsize,
+                               incoming_args, 0, OPTAB_LIB_WIDEN);
+#endif
 
-         int src_align
-           = get_pointer_alignment (src, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
-         int dest_align
-           = get_pointer_alignment (dest, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
-         rtx dest_rtx, dest_mem, src_mem;
+  /* Perform postincrements before actually calling the function.  */
+  emit_queue ();
 
-         /* If either SRC or DEST is not a pointer type, don't do
-            this operation in-line.  */
-         if (src_align == 0 || dest_align == 0)
-           {
-             if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_STRCPY)
-               TREE_CHAIN (TREE_CHAIN (arglist)) = 0;
-             break;
-           }
+  /* Push a new argument block and copy the arguments.  */
+  do_pending_stack_adjust ();
+  emit_stack_save (SAVE_BLOCK, &old_stack_level, NULL_RTX);
 
-         dest_rtx = expand_expr (dest, NULL_RTX, Pmode, EXPAND_NORMAL);
-         dest_mem = gen_rtx (MEM, BLKmode,
-                             memory_address (BLKmode, dest_rtx));
-         src_mem = gen_rtx (MEM, BLKmode,
-                            memory_address (BLKmode,
-                                            expand_expr (src, NULL_RTX,
-                                                         Pmode,
-                                                         EXPAND_NORMAL)));
+  /* Push a block of memory onto the stack to store the memory arguments.
+     Save the address in a register, and copy the memory arguments.  ??? I
+     haven't figured out how the calling convention macros effect this,
+     but it's likely that the source and/or destination addresses in
+     the block copy will need updating in machine specific ways.  */
+  dest = copy_addr_to_reg (push_block (argsize, 0, 0));
+  emit_block_move (gen_rtx (MEM, BLKmode, dest),
+                  gen_rtx (MEM, BLKmode, incoming_args),
+                  argsize,
+                  PARM_BOUNDARY / BITS_PER_UNIT);
 
-         /* Copy word part most expediently.  */
-         emit_block_move (dest_mem, src_mem,
-                          expand_expr (len, NULL_RTX, VOIDmode, 0),
-                          MIN (src_align, dest_align));
-         return dest_rtx;
-       }
+  /* Refer to the argument block.  */
+  apply_args_size ();
+  arguments = gen_rtx (MEM, BLKmode, arguments);
 
-/* These comparison functions need an instruction that returns an actual
-   index.  An ordinary compare that just sets the condition codes
-   is not enough.  */
-#ifdef HAVE_cmpstrsi
-    case BUILT_IN_STRCMP:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+  /* Walk past the arg-pointer and structure value address.  */
+  size = GET_MODE_SIZE (Pmode);
+  if (struct_value_rtx)
+    size += GET_MODE_SIZE (Pmode);
 
-      if (arglist == 0
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
-         || TREE_CHAIN (arglist) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE)
-       return const0_rtx;
-      else if (!HAVE_cmpstrsi)
-       break;
+  /* Restore each of the registers previously saved.  Make USE insns
+     for each of these registers for use in making the call.  */
+  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+    if ((mode = apply_args_mode[regno]) != VOIDmode)
       {
-       tree arg1 = TREE_VALUE (arglist);
-       tree arg2 = TREE_VALUE (TREE_CHAIN (arglist));
-       tree offset;
-       tree len, len2;
+       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+       if (size % align != 0)
+         size = CEIL (size, align) * align;
+       reg = gen_rtx (REG, mode, regno);
+       emit_move_insn (reg,
+                       change_address (arguments, mode,
+                                       plus_constant (XEXP (arguments, 0),
+                                                      size)));
 
-       len = c_strlen (arg1);
-       if (len)
-         len = size_binop (PLUS_EXPR, integer_one_node, len);
-       len2 = c_strlen (arg2);
-       if (len2)
-         len2 = size_binop (PLUS_EXPR, integer_one_node, len2);
+       push_to_sequence (use_insns);
+       emit_insn (gen_rtx (USE, VOIDmode, reg));
+       use_insns = get_insns ();
+       end_sequence ();
+       size += GET_MODE_SIZE (mode);
+      }
 
-       /* If we don't have a constant length for the first, use the length
-          of the second, if we know it.  We don't require a constant for
-          this case; some cost analysis could be done if both are available
-          but neither is constant.  For now, assume they're equally cheap.
+  /* Restore the structure value address unless this is passed as an
+     "invisible" first argument.  */
+  size = GET_MODE_SIZE (Pmode);
+  if (struct_value_rtx)
+    {
+      rtx value = gen_reg_rtx (Pmode);
+      emit_move_insn (value,
+                     change_address (arguments, Pmode,
+                                     plus_constant (XEXP (arguments, 0),
+                                                    size)));
+      emit_move_insn (struct_value_rtx, value);
+      if (GET_CODE (struct_value_rtx) == REG)
+       {
+         push_to_sequence (use_insns);
+         emit_insn (gen_rtx (USE, VOIDmode, struct_value_rtx));
+         use_insns = get_insns ();
+         end_sequence ();
+       }
+      size += GET_MODE_SIZE (Pmode);
+    }
 
-          If both strings have constant lengths, use the smaller.  This
-          could arise if optimization results in strcpy being called with
-          two fixed strings, or if the code was machine-generated.  We should
-          add some code to the `memcmp' handler below to deal with such
-          situations, someday.  */
-       if (!len || TREE_CODE (len) != INTEGER_CST)
-         {
-           if (len2)
-             len = len2;
-           else if (len == 0)
-             break;
-         }
-       else if (len2 && TREE_CODE (len2) == INTEGER_CST)
+  /* All arguments and registers used for the call are set up by now!  */
+  function = prepare_call_address (function, NULL_TREE, &use_insns);
+
+  /* Ensure address is valid.  SYMBOL_REF is already valid, so no need,
+     and we don't want to load it into a register as an optimization,
+     because prepare_call_address already did it if it should be done.  */
+  if (GET_CODE (function) != SYMBOL_REF)
+    function = memory_address (FUNCTION_MODE, function);
+
+  /* Generate the actual call instruction and save the return value.  */
+#ifdef HAVE_untyped_call
+  if (HAVE_untyped_call)
+    emit_call_insn (gen_untyped_call (gen_rtx (MEM, FUNCTION_MODE, function),
+                                     result, result_vector (1, result)));
+  else
+#endif
+#ifdef HAVE_call_value
+  if (HAVE_call_value)
+    {
+      rtx valreg = 0;
+
+      /* Locate the unique return register.  It is not possible to
+        express a call that sets more than one return register using
+        call_value; use untyped_call for that.  In fact, untyped_call
+        only needs to save the return registers in the given block.  */
+      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+       if ((mode = apply_result_mode[regno]) != VOIDmode)
          {
-           if (tree_int_cst_lt (len2, len))
-             len = len2;
+           if (valreg)
+             abort (); /* HAVE_untyped_call required.  */
+           valreg = gen_rtx (REG, mode, regno);
          }
 
-       chainon (arglist, build_tree_list (NULL_TREE, len));
-      }
+      emit_call_insn (gen_call_value (valreg,
+                                     gen_rtx (MEM, FUNCTION_MODE, function),
+                                     const0_rtx, NULL_RTX, const0_rtx));
 
-      /* Drops in.  */
-    case BUILT_IN_MEMCMP:
-      /* If not optimizing, call the library function.  */
-      if (!optimize)
-       break;
+      emit_move_insn (change_address (result, GET_MODE (valreg),
+                                     XEXP (result, 0)),
+                     valreg);
+    }
+  else
+#endif
+    abort ();
 
-      if (arglist == 0
-         /* Arg could be non-pointer if user redeclared this fcn wrong.  */
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (arglist))) != POINTER_TYPE
-         || TREE_CHAIN (arglist) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (arglist)))) != POINTER_TYPE
-         || TREE_CHAIN (TREE_CHAIN (arglist)) == 0
-         || TREE_CODE (TREE_TYPE (TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist))))) != INTEGER_TYPE)
-       return const0_rtx;
-      else if (!HAVE_cmpstrsi)
-       break;
-      {
-       tree arg1 = TREE_VALUE (arglist);
-       tree arg2 = TREE_VALUE (TREE_CHAIN (arglist));
-       tree len = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
-       rtx result;
+  /* Find the CALL insn we just emitted and write the USE insns before it.  */
+  for (call_insn = get_last_insn ();
+       call_insn && GET_CODE (call_insn) != CALL_INSN;
+       call_insn = PREV_INSN (call_insn))
+    ;
 
-       int arg1_align
-         = get_pointer_alignment (arg1, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
-       int arg2_align
-         = get_pointer_alignment (arg2, BIGGEST_ALIGNMENT) / BITS_PER_UNIT;
-       enum machine_mode insn_mode
-         = insn_operand_mode[(int) CODE_FOR_cmpstrsi][0];
+  if (! call_insn)
+    abort ();
 
-       /* If we don't have POINTER_TYPE, call the function.  */
-       if (arg1_align == 0 || arg2_align == 0)
-         {
-           if (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_STRCMP)
-             TREE_CHAIN (TREE_CHAIN (arglist)) = 0;
-           break;
-         }
+  /* Put the USE insns before the CALL.  */
+  emit_insns_before (use_insns, call_insn);
 
-       /* Make a place to write the result of the instruction.  */
-       result = target;
-       if (! (result != 0
-              && GET_CODE (result) == REG && GET_MODE (result) == insn_mode
-              && REGNO (result) >= FIRST_PSEUDO_REGISTER))
-         result = gen_reg_rtx (insn_mode);
+  /* Restore the stack.  */
+  emit_stack_restore (SAVE_BLOCK, old_stack_level, NULL_RTX);
 
-       emit_insn (gen_cmpstrsi (result,
-                                gen_rtx (MEM, BLKmode,
-                                         expand_expr (arg1, NULL_RTX, Pmode,
-                                                      EXPAND_NORMAL)),
-                                gen_rtx (MEM, BLKmode,
-                                         expand_expr (arg2, NULL_RTX, Pmode,
-                                                      EXPAND_NORMAL)),
-                                expand_expr (len, NULL_RTX, VOIDmode, 0),
-                                GEN_INT (MIN (arg1_align, arg2_align))));
+  /* Return the address of the result block.  */
+  return copy_addr_to_reg (XEXP (result, 0));
+}
 
-       /* Return the value in the proper mode for this function.  */
-       mode = TYPE_MODE (TREE_TYPE (exp));
-       if (GET_MODE (result) == mode)
-         return result;
-       else if (target != 0)
-         {
-           convert_move (target, result, 0);
-           return target;
-         }
-       else
-         return convert_to_mode (mode, result, 0);
-      }        
-#else
-    case BUILT_IN_STRCMP:
-    case BUILT_IN_MEMCMP:
-      break;
-#endif
+/* Perform an untyped return.  */
+
+static void
+expand_builtin_return (result)
+     rtx result;
+{
+  int size, align, regno;
+  enum machine_mode mode;
+  rtx reg;
+  rtx use_insns = 0;
 
-    default:                   /* just do library call, if unknown builtin */
-      error ("built-in function `%s' not currently supported",
-            IDENTIFIER_POINTER (DECL_NAME (fndecl)));
+  apply_result_size ();
+  result = gen_rtx (MEM, BLKmode, result);
+
+#ifdef HAVE_untyped_return
+  if (HAVE_untyped_return)
+    {
+      emit_jump_insn (gen_untyped_return (result, result_vector (0, result)));
+      emit_barrier ();
+      return;
     }
+#endif
 
-  /* The switch statement above can drop through to cause the function
-     to be called normally.  */
+  /* Restore the return value and note that each value is used.  */
+  size = 0;
+  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+    if ((mode = apply_result_mode[regno]) != VOIDmode)
+      {
+       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
+       if (size % align != 0)
+         size = CEIL (size, align) * align;
+       reg = gen_rtx (REG, mode, INCOMING_REGNO (regno));
+       emit_move_insn (reg,
+                       change_address (result, mode,
+                                       plus_constant (XEXP (result, 0),
+                                                      size)));
 
-  return expand_call (exp, target, ignore);
+       push_to_sequence (use_insns);
+       emit_insn (gen_rtx (USE, VOIDmode, reg));
+       use_insns = get_insns ();
+       end_sequence ();
+       size += GET_MODE_SIZE (mode);
+      }
+
+  /* Put the USE insns before the return.  */
+  emit_insns (use_insns);
+
+  /* Return whatever values was restored by jumping directly to the end
+     of the function.  */
+  expand_null_return ();
 }
 \f
-/* Built-in functions to perform an untyped call and return.  */
+/* Expand code for a post- or pre- increment or decrement
+   and return the RTX for the result.
+   POST is 1 for postinc/decrements and 0 for preinc/decrements.  */
 
-/* For each register that may be used for calling a function, this
-   gives a mode used to copy the register's value.  VOIDmode indicates
-   the register is not used for calling a function.  If the machine
-   has register windows, this gives only the outbound registers.
-   INCOMING_REGNO gives the corresponding inbound register.  */
-static enum machine_mode apply_args_mode[FIRST_PSEUDO_REGISTER];
+static rtx
+expand_increment (exp, post)
+     register tree exp;
+     int post;
+{
+  register rtx op0, op1;
+  register rtx temp, value;
+  register tree incremented = TREE_OPERAND (exp, 0);
+  optab this_optab = add_optab;
+  int icode;
+  enum machine_mode mode = TYPE_MODE (TREE_TYPE (exp));
+  int op0_is_copy = 0;
+  int single_insn = 0;
+  /* 1 means we can't store into OP0 directly,
+     because it is a subreg narrower than a word,
+     and we don't dare clobber the rest of the word.  */
+  int bad_subreg = 0;
 
-/* For each register that may be used for returning values, this gives
-   a mode used to copy the register's value.  VOIDmode indicates the
-   register is not used for returning values.  If the machine has
-   register windows, this gives only the outbound registers.
-   INCOMING_REGNO gives the corresponding inbound register.  */
-static enum machine_mode apply_result_mode[FIRST_PSEUDO_REGISTER];
+  if (output_bytecode)
+    {
+      bc_expand_expr (exp);
+      return NULL_RTX;
+    }
 
-/* For each register that may be used for calling a function, this
-   gives the offset of that register into the block returned by
-   __bultin_apply_args.  0 indicates that the register is not
-   used for calling a function. */
-static int apply_args_reg_offset[FIRST_PSEUDO_REGISTER];
+  /* Stabilize any component ref that might need to be
+     evaluated more than once below.  */
+  if (!post
+      || TREE_CODE (incremented) == BIT_FIELD_REF
+      || (TREE_CODE (incremented) == COMPONENT_REF
+         && (TREE_CODE (TREE_OPERAND (incremented, 0)) != INDIRECT_REF
+             || DECL_BIT_FIELD (TREE_OPERAND (incremented, 1)))))
+    incremented = stabilize_reference (incremented);
+  /* Nested *INCREMENT_EXPRs can happen in C++.  We must force innermost
+     ones into save exprs so that they don't accidentally get evaluated
+     more than once by the code below.  */
+  if (TREE_CODE (incremented) == PREINCREMENT_EXPR
+      || TREE_CODE (incremented) == PREDECREMENT_EXPR)
+    incremented = save_expr (incremented);
 
-/* Return the offset of register REGNO into the block returned by 
-   __builtin_apply_args.  This is not declared static, since it is
-   needed in objc-act.c. */
+  /* Compute the operands as RTX.
+     Note whether OP0 is the actual lvalue or a copy of it:
+     I believe it is a copy iff it is a register or subreg
+     and insns were generated in computing it.   */
 
-int 
-apply_args_register_offset (regno)
-     int regno;
-{
-  apply_args_size ();
+  temp = get_last_insn ();
+  op0 = expand_expr (incremented, NULL_RTX, VOIDmode, 0);
 
-  /* Arguments are always put in outgoing registers (in the argument
-     block) if such make sense. */
-#ifdef OUTGOING_REGNO
-  regno = OUTGOING_REGNO(regno);
-#endif
-  return apply_args_reg_offset[regno];
-}
+  /* If OP0 is a SUBREG made for a promoted variable, we cannot increment
+     in place but intead must do sign- or zero-extension during assignment,
+     so we copy it into a new register and let the code below use it as
+     a copy.
 
-/* Return the size required for the block returned by __builtin_apply_args,
-   and initialize apply_args_mode.  */
+     Note that we can safely modify this SUBREG since it is know not to be
+     shared (it was made by the expand_expr call above).  */
 
-static int
-apply_args_size ()
-{
-  static int size = -1;
-  int align, regno;
-  enum machine_mode mode;
+  if (GET_CODE (op0) == SUBREG && SUBREG_PROMOTED_VAR_P (op0))
+    SUBREG_REG (op0) = copy_to_reg (SUBREG_REG (op0));
+  else if (GET_CODE (op0) == SUBREG
+          && GET_MODE_BITSIZE (GET_MODE (op0)) < BITS_PER_WORD)
+    bad_subreg = 1;
 
-  /* The values computed by this function never change.  */
-  if (size < 0)
+  op0_is_copy = ((GET_CODE (op0) == SUBREG || GET_CODE (op0) == REG)
+                && temp != get_last_insn ());
+  op1 = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
+
+  /* Decide whether incrementing or decrementing.  */
+  if (TREE_CODE (exp) == POSTDECREMENT_EXPR
+      || TREE_CODE (exp) == PREDECREMENT_EXPR)
+    this_optab = sub_optab;
+
+  /* Convert decrement by a constant into a negative increment.  */
+  if (this_optab == sub_optab
+      && GET_CODE (op1) == CONST_INT)
     {
-      /* The first value is the incoming arg-pointer.  */
-      size = GET_MODE_SIZE (Pmode);
+      op1 = GEN_INT (- INTVAL (op1));
+      this_optab = add_optab;
+    }
 
-      /* The second value is the structure value address unless this is
-        passed as an "invisible" first argument.  */
-      if (struct_value_rtx)
-       size += GET_MODE_SIZE (Pmode);
+  /* For a preincrement, see if we can do this with a single instruction.  */
+  if (!post)
+    {
+      icode = (int) this_optab->handlers[(int) mode].insn_code;
+      if (icode != (int) CODE_FOR_nothing
+         /* Make sure that OP0 is valid for operands 0 and 1
+            of the insn we want to queue.  */
+         && (*insn_operand_predicate[icode][0]) (op0, mode)
+         && (*insn_operand_predicate[icode][1]) (op0, mode)
+         && (*insn_operand_predicate[icode][2]) (op1, mode))
+       single_insn = 1;
+    }
 
-      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-       if (FUNCTION_ARG_REGNO_P (regno))
-         {
-           /* Search for the proper mode for copying this register's
-              value.  I'm not sure this is right, but it works so far.  */
-           enum machine_mode best_mode = VOIDmode;
+  /* If OP0 is not the actual lvalue, but rather a copy in a register,
+     then we cannot just increment OP0.  We must therefore contrive to
+     increment the original value.  Then, for postincrement, we can return
+     OP0 since it is a copy of the old value.  For preincrement, expand here
+     unless we can do it with a single insn.
 
-           for (mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
-                mode != VOIDmode;
-                mode = GET_MODE_WIDER_MODE (mode))
-             if (HARD_REGNO_MODE_OK (regno, mode)
-                 && HARD_REGNO_NREGS (regno, mode) == 1)
-               best_mode = mode;
+     Likewise if storing directly into OP0 would clobber high bits
+     we need to preserve (bad_subreg).  */
+  if (op0_is_copy || (!post && !single_insn) || bad_subreg)
+    {
+      /* This is the easiest way to increment the value wherever it is.
+        Problems with multiple evaluation of INCREMENTED are prevented
+        because either (1) it is a component_ref or preincrement,
+        in which case it was stabilized above, or (2) it is an array_ref
+        with constant index in an array in a register, which is
+        safe to reevaluate.  */
+      tree newexp = build (((TREE_CODE (exp) == POSTDECREMENT_EXPR
+                            || TREE_CODE (exp) == PREDECREMENT_EXPR)
+                           ? MINUS_EXPR : PLUS_EXPR),
+                          TREE_TYPE (exp),
+                          incremented,
+                          TREE_OPERAND (exp, 1));
+      temp = expand_assignment (incremented, newexp, ! post, 0);
+      return post ? op0 : temp;
+    }
 
-           if (best_mode == VOIDmode)
-             for (mode = GET_CLASS_NARROWEST_MODE (MODE_FLOAT);
-                  mode != VOIDmode;
-                  mode = GET_MODE_WIDER_MODE (mode))
-               if (HARD_REGNO_MODE_OK (regno, mode)
-                   && (mov_optab->handlers[(int) mode].insn_code
-                       != CODE_FOR_nothing))
-                 best_mode = mode;
+  if (post)
+    {
+      /* We have a true reference to the value in OP0.
+        If there is an insn to add or subtract in this mode, queue it.
+        Queueing the increment insn avoids the register shuffling
+        that often results if we must increment now and first save
+        the old value for subsequent use.  */
 
-           mode = best_mode;
-           if (mode == VOIDmode)
-             abort ();
+#if 0  /* Turned off to avoid making extra insn for indexed memref.  */
+      op0 = stabilize (op0);
+#endif
 
-           align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-           if (size % align != 0)
-             size = CEIL (size, align) * align;
-           apply_args_reg_offset[regno] = size;
-           size += GET_MODE_SIZE (mode);
-           apply_args_mode[regno] = mode;
-         }
-       else
-         {
-           apply_args_mode[regno] = VOIDmode;
-           apply_args_reg_offset[regno] = 0;
-         }
+      icode = (int) this_optab->handlers[(int) mode].insn_code;
+      if (icode != (int) CODE_FOR_nothing
+         /* Make sure that OP0 is valid for operands 0 and 1
+            of the insn we want to queue.  */
+         && (*insn_operand_predicate[icode][0]) (op0, mode)
+         && (*insn_operand_predicate[icode][1]) (op0, mode))
+       {
+         if (! (*insn_operand_predicate[icode][2]) (op1, mode))
+           op1 = force_reg (mode, op1);
+
+         return enqueue_insn (op0, GEN_FCN (icode) (op0, op0, op1));
+       }
     }
-  return size;
-}
 
-/* Return the size required for the block returned by __builtin_apply,
-   and initialize apply_result_mode.  */
+  /* Preincrement, or we can't increment with one simple insn.  */
+  if (post)
+    /* Save a copy of the value before inc or dec, to return it later.  */
+    temp = value = copy_to_reg (op0);
+  else
+    /* Arrange to return the incremented value.  */
+    /* Copy the rtx because expand_binop will protect from the queue,
+       and the results of that would be invalid for us to return
+       if our caller does emit_queue before using our result.  */
+    temp = copy_rtx (value = op0);
+
+  /* Increment however we can.  */
+  op1 = expand_binop (mode, this_optab, value, op1, op0,
+                     TREE_UNSIGNED (TREE_TYPE (exp)), OPTAB_LIB_WIDEN);
+  /* Make sure the value is stored into OP0.  */
+  if (op1 != op0)
+    emit_move_insn (op0, op1);
 
-static int
-apply_result_size ()
+  return temp;
+}
+\f
+/* Expand all function calls contained within EXP, innermost ones first.
+   But don't look within expressions that have sequence points.
+   For each CALL_EXPR, record the rtx for its value
+   in the CALL_EXPR_RTL field.  */
+
+static void
+preexpand_calls (exp)
+     tree exp;
 {
-  static int size = -1;
-  int align, regno;
-  enum machine_mode mode;
+  register int nops, i;
+  int type = TREE_CODE_CLASS (TREE_CODE (exp));
 
-  /* The values computed by this function never change.  */
-  if (size < 0)
-    {
-      size = 0;
+  if (! do_preexpand_calls)
+    return;
 
-      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-       if (FUNCTION_VALUE_REGNO_P (regno))
-         {
-           /* Search for the proper mode for copying this register's
-              value.  I'm not sure this is right, but it works so far.  */
-           enum machine_mode best_mode = VOIDmode;
+  /* Only expressions and references can contain calls.  */
 
-           for (mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
-                mode != TImode;
-                mode = GET_MODE_WIDER_MODE (mode))
-             if (HARD_REGNO_MODE_OK (regno, mode))
-               best_mode = mode;
+  if (type != 'e' && type != '<' && type != '1' && type != '2' && type != 'r')
+    return;
 
-           if (best_mode == VOIDmode)
-             for (mode = GET_CLASS_NARROWEST_MODE (MODE_FLOAT);
-                  mode != VOIDmode;
-                  mode = GET_MODE_WIDER_MODE (mode))
-               if (HARD_REGNO_MODE_OK (regno, mode)
-                   && (mov_optab->handlers[(int) mode].insn_code
-                       != CODE_FOR_nothing))
-                 best_mode = mode;
+  switch (TREE_CODE (exp))
+    {
+    case CALL_EXPR:
+      /* Do nothing if already expanded.  */
+      if (CALL_EXPR_RTL (exp) != 0)
+       return;
 
-           mode = best_mode;
-           if (mode == VOIDmode)
-             abort ();
+      /* Do nothing to built-in functions.  */
+      if (TREE_CODE (TREE_OPERAND (exp, 0)) != ADDR_EXPR
+         || TREE_CODE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0)) != FUNCTION_DECL
+         || ! DECL_BUILT_IN (TREE_OPERAND (TREE_OPERAND (exp, 0), 0)))
+       CALL_EXPR_RTL (exp) = expand_call (exp, NULL_RTX, 0);
+      return;
 
-           align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-           if (size % align != 0)
-             size = CEIL (size, align) * align;
-           size += GET_MODE_SIZE (mode);
-           apply_result_mode[regno] = mode;
-         }
-       else
-         apply_result_mode[regno] = VOIDmode;
+    case COMPOUND_EXPR:
+    case COND_EXPR:
+    case TRUTH_ANDIF_EXPR:
+    case TRUTH_ORIF_EXPR:
+      /* If we find one of these, then we can be sure
+        the adjust will be done for it (since it makes jumps).
+        Do it now, so that if this is inside an argument
+        of a function, we don't get the stack adjustment
+        after some other args have already been pushed.  */
+      do_pending_stack_adjust ();
+      return;
 
-      /* Allow targets that use untyped_call and untyped_return to override
-        the size so that machine-specific information can be stored here.  */
-#ifdef APPLY_RESULT_SIZE
-      size = APPLY_RESULT_SIZE;
-#endif
-    }
-  return size;
-}
+    case BLOCK:
+    case RTL_EXPR:
+    case WITH_CLEANUP_EXPR:
+      return;
 
-#if defined (HAVE_untyped_call) || defined (HAVE_untyped_return)
-/* Create a vector describing the result block RESULT.  If SAVEP is true,
-   the result block is used to save the values; otherwise it is used to
-   restore the values.  */
+    case SAVE_EXPR:
+      if (SAVE_EXPR_RTL (exp) != 0)
+       return;
+    }
 
-static rtx
-result_vector (savep, result)
-     int savep;
-     rtx result;
-{
-  int regno, size, align, nelts;
-  enum machine_mode mode;
-  rtx reg, mem;
-  rtx *savevec = (rtx *) alloca (FIRST_PSEUDO_REGISTER * sizeof (rtx));
-  
-  size = nelts = 0;
-  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-    if ((mode = apply_result_mode[regno]) != VOIDmode)
+  nops = tree_code_length[(int) TREE_CODE (exp)];
+  for (i = 0; i < nops; i++)
+    if (TREE_OPERAND (exp, i) != 0)
       {
-       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-       if (size % align != 0)
-         size = CEIL (size, align) * align;
-       reg = gen_rtx (REG, mode, savep ? INCOMING_REGNO (regno) : regno);
-       mem = change_address (result, mode,
-                             plus_constant (XEXP (result, 0), size));
-       savevec[nelts++] = (savep
-                           ? gen_rtx (SET, VOIDmode, mem, reg)
-                           : gen_rtx (SET, VOIDmode, reg, mem));
-       size += GET_MODE_SIZE (mode);
+       type = TREE_CODE_CLASS (TREE_CODE (TREE_OPERAND (exp, i)));
+       if (type == 'e' || type == '<' || type == '1' || type == '2'
+           || type == 'r')
+         preexpand_calls (TREE_OPERAND (exp, i));
       }
-  return gen_rtx (PARALLEL, VOIDmode, gen_rtvec_v (nelts, savevec));
 }
-#endif /* HAVE_untyped_call or HAVE_untyped_return */
-
-/* Save the state required to perform an untyped call with the same
-   arguments as were passed to the current function.  */
+\f
+/* At the start of a function, record that we have no previously-pushed
+   arguments waiting to be popped.  */
 
-static rtx
-expand_builtin_apply_args ()
+void
+init_pending_stack_adjust ()
 {
-  rtx registers;
-  int size, align, regno;
-  enum machine_mode mode;
+  pending_stack_adjust = 0;
+}
 
-  /* Create a block where the arg-pointer, structure value address,
-     and argument registers can be saved.  */
-  registers = assign_stack_local (BLKmode, apply_args_size (), -1);
+/* When exiting from function, if safe, clear out any pending stack adjust
+   so the adjustment won't get done.  */
 
-  /* Walk past the arg-pointer and structure value address.  */
-  size = GET_MODE_SIZE (Pmode);
-  if (struct_value_rtx)
-    size += GET_MODE_SIZE (Pmode);
+void
+clear_pending_stack_adjust ()
+{
+#ifdef EXIT_IGNORE_STACK
+  if (! flag_omit_frame_pointer && EXIT_IGNORE_STACK
+      && ! (DECL_INLINE (current_function_decl) && ! flag_no_inline)
+      && ! flag_inline_functions)
+    pending_stack_adjust = 0;
+#endif
+}
 
-  /* Save each register used in calling a function to the block.  */
-  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-    if ((mode = apply_args_mode[regno]) != VOIDmode)
-      {
-       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-       if (size % align != 0)
-         size = CEIL (size, align) * align;
-       emit_move_insn (change_address (registers, mode,
-                                       plus_constant (XEXP (registers, 0),
-                                                      size)),
-                       gen_rtx (REG, mode, INCOMING_REGNO (regno)));
-       size += GET_MODE_SIZE (mode);
-      }
+/* Pop any previously-pushed arguments that have not been popped yet.  */
 
-  /* Save the arg pointer to the block.  */
-  emit_move_insn (change_address (registers, Pmode, XEXP (registers, 0)),
-                 copy_to_reg (virtual_incoming_args_rtx));
-  size = GET_MODE_SIZE (Pmode);
+void
+do_pending_stack_adjust ()
+{
+  if (inhibit_defer_pop == 0)
+    {
+      if (pending_stack_adjust != 0)
+       adjust_stack (GEN_INT (pending_stack_adjust));
+      pending_stack_adjust = 0;
+    }
+}
 
-  /* Save the structure value address unless this is passed as an
-     "invisible" first argument.  */
-  if (struct_value_incoming_rtx)
+/* Expand all cleanups up to OLD_CLEANUPS.
+   Needed here, and also for language-dependent calls.  */
+
+void
+expand_cleanups_to (old_cleanups)
+     tree old_cleanups;
+{
+  while (cleanups_this_call != old_cleanups)
     {
-      emit_move_insn (change_address (registers, Pmode,
-                                     plus_constant (XEXP (registers, 0),
-                                                    size)),
-                     copy_to_reg (struct_value_incoming_rtx));
-      size += GET_MODE_SIZE (Pmode);
+      expand_expr (TREE_VALUE (cleanups_this_call), NULL_RTX, VOIDmode, 0);
+      cleanups_this_call = TREE_CHAIN (cleanups_this_call);
     }
+}
+\f
+/* Expand conditional expressions.  */
 
-  /* Return the address of the block.  */
-  return copy_addr_to_reg (XEXP (registers, 0));
+/* Generate code to evaluate EXP and jump to LABEL if the value is zero.
+   LABEL is an rtx of code CODE_LABEL, in this function and all the
+   functions here.  */
+
+void
+jumpifnot (exp, label)
+     tree exp;
+     rtx label;
+{
+  do_jump (exp, label, NULL_RTX);
+}
+
+/* Generate code to evaluate EXP and jump to LABEL if the value is nonzero.  */
+
+void
+jumpif (exp, label)
+     tree exp;
+     rtx label;
+{
+  do_jump (exp, NULL_RTX, label);
 }
 
-/* Perform an untyped call and save the state required to perform an
-   untyped return of whatever value was returned by the given function.  */
+/* Generate code to evaluate EXP and jump to IF_FALSE_LABEL if
+   the result is zero, or IF_TRUE_LABEL if the result is one.
+   Either of IF_FALSE_LABEL and IF_TRUE_LABEL may be zero,
+   meaning fall through in that case.
+
+   do_jump always does any pending stack adjust except when it does not
+   actually perform a jump.  An example where there is no jump
+   is when EXP is `(foo (), 0)' and IF_FALSE_LABEL is null.
+
+   This function is responsible for optimizing cases such as
+   &&, || and comparison operators in EXP.  */
 
-static rtx
-expand_builtin_apply (function, arguments, argsize)
-     rtx function, arguments, argsize;
+void
+do_jump (exp, if_false_label, if_true_label)
+     tree exp;
+     rtx if_false_label, if_true_label;
 {
-  int size, align, regno;
-  enum machine_mode mode;
-  rtx incoming_args, result, reg, dest, call_insn;
-  rtx old_stack_level = 0;
-  rtx use_insns = 0;
+  register enum tree_code code = TREE_CODE (exp);
+  /* Some cases need to create a label to jump to
+     in order to properly fall through.
+     These cases set DROP_THROUGH_LABEL nonzero.  */
+  rtx drop_through_label = 0;
+  rtx temp;
+  rtx comparison = 0;
+  int i;
+  tree type;
 
-  /* Create a block where the return registers can be saved.  */
-  result = assign_stack_local (BLKmode, apply_result_size (), -1);
+  emit_queue ();
 
-  /* ??? The argsize value should be adjusted here.  */
+  switch (code)
+    {
+    case ERROR_MARK:
+      break;
 
-  /* Fetch the arg pointer from the ARGUMENTS block.  */
-  incoming_args = gen_reg_rtx (Pmode);
-  emit_move_insn (incoming_args,
-                 gen_rtx (MEM, Pmode, arguments));
-#ifndef STACK_GROWS_DOWNWARD
-  incoming_args = expand_binop (Pmode, sub_optab, incoming_args, argsize,
-                               incoming_args, 0, OPTAB_LIB_WIDEN);
+    case INTEGER_CST:
+      temp = integer_zerop (exp) ? if_false_label : if_true_label;
+      if (temp)
+       emit_jump (temp);
+      break;
+
+#if 0
+      /* This is not true with #pragma weak  */
+    case ADDR_EXPR:
+      /* The address of something can never be zero.  */
+      if (if_true_label)
+       emit_jump (if_true_label);
+      break;
 #endif
 
-  /* Perform postincrements before actually calling the function.  */
-  emit_queue ();
+    case NOP_EXPR:
+      if (TREE_CODE (TREE_OPERAND (exp, 0)) == COMPONENT_REF
+         || TREE_CODE (TREE_OPERAND (exp, 0)) == BIT_FIELD_REF
+         || TREE_CODE (TREE_OPERAND (exp, 0)) == ARRAY_REF)
+       goto normal;
+    case CONVERT_EXPR:
+      /* If we are narrowing the operand, we have to do the compare in the
+        narrower mode.  */
+      if ((TYPE_PRECISION (TREE_TYPE (exp))
+          < TYPE_PRECISION (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+       goto normal;
+    case NON_LVALUE_EXPR:
+    case REFERENCE_EXPR:
+    case ABS_EXPR:
+    case NEGATE_EXPR:
+    case LROTATE_EXPR:
+    case RROTATE_EXPR:
+      /* These cannot change zero->non-zero or vice versa.  */
+      do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
+      break;
 
-  /* Push a new argument block and copy the arguments.  */
-  do_pending_stack_adjust ();
-  emit_stack_save (SAVE_BLOCK, &old_stack_level, NULL_RTX);
+#if 0
+      /* This is never less insns than evaluating the PLUS_EXPR followed by
+        a test and can be longer if the test is eliminated.  */
+    case PLUS_EXPR:
+      /* Reduce to minus.  */
+      exp = build (MINUS_EXPR, TREE_TYPE (exp),
+                  TREE_OPERAND (exp, 0),
+                  fold (build1 (NEGATE_EXPR, TREE_TYPE (TREE_OPERAND (exp, 1)),
+                                TREE_OPERAND (exp, 1))));
+      /* Process as MINUS.  */
+#endif
 
-  /* Push a block of memory onto the stack to store the memory arguments.
-     Save the address in a register, and copy the memory arguments.  ??? I
-     haven't figured out how the calling convention macros effect this,
-     but it's likely that the source and/or destination addresses in
-     the block copy will need updating in machine specific ways.  */
-  dest = copy_addr_to_reg (push_block (argsize, 0, 0));
-  emit_block_move (gen_rtx (MEM, BLKmode, dest),
-                  gen_rtx (MEM, BLKmode, incoming_args),
-                  argsize,
-                  PARM_BOUNDARY / BITS_PER_UNIT);
+    case MINUS_EXPR:
+      /* Non-zero iff operands of minus differ.  */
+      comparison = compare (build (NE_EXPR, TREE_TYPE (exp),
+                                  TREE_OPERAND (exp, 0),
+                                  TREE_OPERAND (exp, 1)),
+                           NE, NE);
+      break;
 
-  /* Refer to the argument block.  */
-  apply_args_size ();
-  arguments = gen_rtx (MEM, BLKmode, arguments);
+    case BIT_AND_EXPR:
+      /* If we are AND'ing with a small constant, do this comparison in the
+        smallest type that fits.  If the machine doesn't have comparisons
+        that small, it will be converted back to the wider comparison.
+        This helps if we are testing the sign bit of a narrower object.
+        combine can't do this for us because it can't know whether a
+        ZERO_EXTRACT or a compare in a smaller mode exists, but we do.  */
 
-  /* Walk past the arg-pointer and structure value address.  */
-  size = GET_MODE_SIZE (Pmode);
-  if (struct_value_rtx)
-    size += GET_MODE_SIZE (Pmode);
+      if (! SLOW_BYTE_ACCESS
+         && TREE_CODE (TREE_OPERAND (exp, 1)) == INTEGER_CST
+         && TYPE_PRECISION (TREE_TYPE (exp)) <= HOST_BITS_PER_WIDE_INT
+         && (i = floor_log2 (TREE_INT_CST_LOW (TREE_OPERAND (exp, 1)))) >= 0
+         && (type = type_for_size (i + 1, 1)) != 0
+         && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
+         && (cmp_optab->handlers[(int) TYPE_MODE (type)].insn_code
+             != CODE_FOR_nothing))
+       {
+         do_jump (convert (type, exp), if_false_label, if_true_label);
+         break;
+       }
+      goto normal;
 
-  /* Restore each of the registers previously saved.  Make USE insns
-     for each of these registers for use in making the call.  */
-  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-    if ((mode = apply_args_mode[regno]) != VOIDmode)
-      {
-       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-       if (size % align != 0)
-         size = CEIL (size, align) * align;
-       reg = gen_rtx (REG, mode, regno);
-       emit_move_insn (reg,
-                       change_address (arguments, mode,
-                                       plus_constant (XEXP (arguments, 0),
-                                                      size)));
+    case TRUTH_NOT_EXPR:
+      do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
+      break;
 
-       push_to_sequence (use_insns);
-       emit_insn (gen_rtx (USE, VOIDmode, reg));
-       use_insns = get_insns ();
-       end_sequence ();
-       size += GET_MODE_SIZE (mode);
-      }
+    case TRUTH_ANDIF_EXPR:
+      if (if_false_label == 0)
+       if_false_label = drop_through_label = gen_label_rtx ();
+      do_jump (TREE_OPERAND (exp, 0), if_false_label, NULL_RTX);
+      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+      break;
 
-  /* Restore the structure value address unless this is passed as an
-     "invisible" first argument.  */
-  size = GET_MODE_SIZE (Pmode);
-  if (struct_value_rtx)
-    {
-      rtx value = gen_reg_rtx (Pmode);
-      emit_move_insn (value,
-                     change_address (arguments, Pmode,
-                                     plus_constant (XEXP (arguments, 0),
-                                                    size)));
-      emit_move_insn (struct_value_rtx, value);
-      if (GET_CODE (struct_value_rtx) == REG)
-       {
-         push_to_sequence (use_insns);
-         emit_insn (gen_rtx (USE, VOIDmode, struct_value_rtx));
-         use_insns = get_insns ();
-         end_sequence ();
-       }
-      size += GET_MODE_SIZE (Pmode);
-    }
+    case TRUTH_ORIF_EXPR:
+      if (if_true_label == 0)
+       if_true_label = drop_through_label = gen_label_rtx ();
+      do_jump (TREE_OPERAND (exp, 0), NULL_RTX, if_true_label);
+      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+      break;
 
-  /* All arguments and registers used for the call are set up by now!  */
-  function = prepare_call_address (function, NULL_TREE, &use_insns);
+    case COMPOUND_EXPR:
+      push_temp_slots ();
+      expand_expr (TREE_OPERAND (exp, 0), const0_rtx, VOIDmode, 0);
+      free_temp_slots ();
+      pop_temp_slots ();
+      emit_queue ();
+      do_pending_stack_adjust ();
+      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+      break;
 
-  /* Ensure address is valid.  SYMBOL_REF is already valid, so no need,
-     and we don't want to load it into a register as an optimization,
-     because prepare_call_address already did it if it should be done.  */
-  if (GET_CODE (function) != SYMBOL_REF)
-    function = memory_address (FUNCTION_MODE, function);
+    case COMPONENT_REF:
+    case BIT_FIELD_REF:
+    case ARRAY_REF:
+      {
+       int bitsize, bitpos, unsignedp;
+       enum machine_mode mode;
+       tree type;
+       tree offset;
+       int volatilep = 0;
 
-  /* Generate the actual call instruction and save the return value.  */
-#ifdef HAVE_untyped_call
-  if (HAVE_untyped_call)
-    emit_call_insn (gen_untyped_call (gen_rtx (MEM, FUNCTION_MODE, function),
-                                     result, result_vector (1, result)));
-  else
-#endif
-#ifdef HAVE_call_value
-  if (HAVE_call_value)
-    {
-      rtx valreg = 0;
+       /* Get description of this reference.  We don't actually care
+          about the underlying object here.  */
+       get_inner_reference (exp, &bitsize, &bitpos, &offset,
+                            &mode, &unsignedp, &volatilep);
 
-      /* Locate the unique return register.  It is not possible to
-        express a call that sets more than one return register using
-        call_value; use untyped_call for that.  In fact, untyped_call
-        only needs to save the return registers in the given block.  */
-      for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-       if ((mode = apply_result_mode[regno]) != VOIDmode)
+       type = type_for_size (bitsize, unsignedp);
+       if (! SLOW_BYTE_ACCESS
+           && type != 0 && bitsize >= 0
+           && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
+           && (cmp_optab->handlers[(int) TYPE_MODE (type)].insn_code
+               != CODE_FOR_nothing))
          {
-           if (valreg)
-             abort (); /* HAVE_untyped_call required.  */
-           valreg = gen_rtx (REG, mode, regno);
+           do_jump (convert (type, exp), if_false_label, if_true_label);
+           break;
          }
+       goto normal;
+      }
 
-      emit_call_insn (gen_call_value (valreg,
-                                     gen_rtx (MEM, FUNCTION_MODE, function),
-                                     const0_rtx, NULL_RTX, const0_rtx));
-
-      emit_move_insn (change_address (result, GET_MODE (valreg),
-                                     XEXP (result, 0)),
-                     valreg);
-    }
-  else
-#endif
-    abort ();
-
-  /* Find the CALL insn we just emitted and write the USE insns before it.  */
-  for (call_insn = get_last_insn ();
-       call_insn && GET_CODE (call_insn) != CALL_INSN;
-       call_insn = PREV_INSN (call_insn))
-    ;
+    case COND_EXPR:
+      /* Do (a ? 1 : 0) and (a ? 0 : 1) as special cases.  */
+      if (integer_onep (TREE_OPERAND (exp, 1))
+         && integer_zerop (TREE_OPERAND (exp, 2)))
+       do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
 
-  if (! call_insn)
-    abort ();
+      else if (integer_zerop (TREE_OPERAND (exp, 1))
+              && integer_onep (TREE_OPERAND (exp, 2)))
+       do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
 
-  /* Put the USE insns before the CALL.  */
-  emit_insns_before (use_insns, call_insn);
+      else
+       {
+         register rtx label1 = gen_label_rtx ();
+         drop_through_label = gen_label_rtx ();
+         do_jump (TREE_OPERAND (exp, 0), label1, NULL_RTX);
+         /* Now the THEN-expression.  */
+         do_jump (TREE_OPERAND (exp, 1),
+                  if_false_label ? if_false_label : drop_through_label,
+                  if_true_label ? if_true_label : drop_through_label);
+         /* In case the do_jump just above never jumps.  */
+         do_pending_stack_adjust ();
+         emit_label (label1);
+         /* Now the ELSE-expression.  */
+         do_jump (TREE_OPERAND (exp, 2),
+                  if_false_label ? if_false_label : drop_through_label,
+                  if_true_label ? if_true_label : drop_through_label);
+       }
+      break;
 
-  /* Restore the stack.  */
-  emit_stack_restore (SAVE_BLOCK, old_stack_level, NULL_RTX);
+    case EQ_EXPR:
+      if (integer_zerop (TREE_OPERAND (exp, 1)))
+       do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
+      else if (((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+                == MODE_INT)
+               && 
+               !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+              || GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))) == MODE_COMPLEX_FLOAT
+              || GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))) == MODE_COMPLEX_INT)
+       do_jump_by_parts_equality (exp, if_false_label, if_true_label);
+      else
+       comparison = compare (exp, EQ, EQ);
+      break;
 
-  /* Return the address of the result block.  */
-  return copy_addr_to_reg (XEXP (result, 0));
-}
+    case NE_EXPR:
+      if (integer_zerop (TREE_OPERAND (exp, 1)))
+       do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
+      else if (((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+                == MODE_INT)
+               && 
+               !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+              || GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))) == MODE_COMPLEX_FLOAT
+              || GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))) == MODE_COMPLEX_INT)
+       do_jump_by_parts_equality (exp, if_true_label, if_false_label);
+      else
+       comparison = compare (exp, NE, NE);
+      break;
 
-/* Perform an untyped return.  */
+    case LT_EXPR:
+      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+          == MODE_INT)
+         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+       do_jump_by_parts_greater (exp, 1, if_false_label, if_true_label);
+      else
+       comparison = compare (exp, LT, LTU);
+      break;
 
-static void
-expand_builtin_return (result)
-     rtx result;
-{
-  int size, align, regno;
-  enum machine_mode mode;
-  rtx reg;
-  rtx use_insns = 0;
+    case LE_EXPR:
+      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+          == MODE_INT)
+         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+       do_jump_by_parts_greater (exp, 0, if_true_label, if_false_label);
+      else
+       comparison = compare (exp, LE, LEU);
+      break;
 
-  apply_result_size ();
-  result = gen_rtx (MEM, BLKmode, result);
+    case GT_EXPR:
+      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+          == MODE_INT)
+         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+       do_jump_by_parts_greater (exp, 0, if_false_label, if_true_label);
+      else
+       comparison = compare (exp, GT, GTU);
+      break;
 
-#ifdef HAVE_untyped_return
-  if (HAVE_untyped_return)
-    {
-      emit_jump_insn (gen_untyped_return (result, result_vector (0, result)));
-      emit_barrier ();
-      return;
-    }
+    case GE_EXPR:
+      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+          == MODE_INT)
+         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
+       do_jump_by_parts_greater (exp, 1, if_true_label, if_false_label);
+      else
+       comparison = compare (exp, GE, GEU);
+      break;
+
+    default:
+    normal:
+      temp = expand_expr (exp, NULL_RTX, VOIDmode, 0);
+#if 0
+      /* This is not needed any more and causes poor code since it causes
+        comparisons and tests from non-SI objects to have different code
+        sequences.  */
+      /* Copy to register to avoid generating bad insns by cse
+        from (set (mem ...) (arithop))  (set (cc0) (mem ...)).  */
+      if (!cse_not_expected && GET_CODE (temp) == MEM)
+       temp = copy_to_reg (temp);
 #endif
+      do_pending_stack_adjust ();
+      if (GET_CODE (temp) == CONST_INT)
+       comparison = (temp == const0_rtx ? const0_rtx : const_true_rtx);
+      else if (GET_CODE (temp) == LABEL_REF)
+       comparison = const_true_rtx;
+      else if (GET_MODE_CLASS (GET_MODE (temp)) == MODE_INT
+              && !can_compare_p (GET_MODE (temp)))
+       /* Note swapping the labels gives us not-equal.  */
+       do_jump_by_parts_equality_rtx (temp, if_true_label, if_false_label);
+      else if (GET_MODE (temp) != VOIDmode)
+       comparison = compare_from_rtx (temp, CONST0_RTX (GET_MODE (temp)),
+                                      NE, TREE_UNSIGNED (TREE_TYPE (exp)),
+                                      GET_MODE (temp), NULL_RTX, 0);
+      else
+       abort ();
+    }
 
-  /* Restore the return value and note that each value is used.  */
-  size = 0;
-  for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-    if ((mode = apply_result_mode[regno]) != VOIDmode)
-      {
-       align = GET_MODE_ALIGNMENT (mode) / BITS_PER_UNIT;
-       if (size % align != 0)
-         size = CEIL (size, align) * align;
-       reg = gen_rtx (REG, mode, INCOMING_REGNO (regno));
-       emit_move_insn (reg,
-                       change_address (result, mode,
-                                       plus_constant (XEXP (result, 0),
-                                                      size)));
+  /* Do any postincrements in the expression that was tested.  */
+  emit_queue ();
 
-       push_to_sequence (use_insns);
-       emit_insn (gen_rtx (USE, VOIDmode, reg));
-       use_insns = get_insns ();
-       end_sequence ();
-       size += GET_MODE_SIZE (mode);
-      }
+  /* If COMPARISON is nonzero here, it is an rtx that can be substituted
+     straight into a conditional jump instruction as the jump condition.
+     Otherwise, all the work has been done already.  */
 
-  /* Put the USE insns before the return.  */
-  emit_insns (use_insns);
+  if (comparison == const_true_rtx)
+    {
+      if (if_true_label)
+       emit_jump (if_true_label);
+    }
+  else if (comparison == const0_rtx)
+    {
+      if (if_false_label)
+       emit_jump (if_false_label);
+    }
+  else if (comparison)
+    do_jump_for_compare (comparison, if_false_label, if_true_label);
 
-  /* Return whatever values was restored by jumping directly to the end
-     of the function.  */
-  expand_null_return ();
+  if (drop_through_label)
+    {
+      /* If do_jump produces code that might be jumped around,
+        do any stack adjusts from that code, before the place
+        where control merges in.  */
+      do_pending_stack_adjust ();
+      emit_label (drop_through_label);
+    }
 }
 \f
-/* Expand code for a post- or pre- increment or decrement
-   and return the RTX for the result.
-   POST is 1 for postinc/decrements and 0 for preinc/decrements.  */
+/* Given a comparison expression EXP for values too wide to be compared
+   with one insn, test the comparison and jump to the appropriate label.
+   The code of EXP is ignored; we always test GT if SWAP is 0,
+   and LT if SWAP is 1.  */
 
-static rtx
-expand_increment (exp, post)
-     register tree exp;
-     int post;
+static void
+do_jump_by_parts_greater (exp, swap, if_false_label, if_true_label)
+     tree exp;
+     int swap;
+     rtx if_false_label, if_true_label;
 {
-  register rtx op0, op1;
-  register rtx temp, value;
-  register tree incremented = TREE_OPERAND (exp, 0);
-  optab this_optab = add_optab;
-  int icode;
-  enum machine_mode mode = TYPE_MODE (TREE_TYPE (exp));
-  int op0_is_copy = 0;
-  int single_insn = 0;
+  rtx op0 = expand_expr (TREE_OPERAND (exp, swap), NULL_RTX, VOIDmode, 0);
+  rtx op1 = expand_expr (TREE_OPERAND (exp, !swap), NULL_RTX, VOIDmode, 0);
+  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
+  rtx drop_through_label = 0;
+  int unsignedp = TREE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  int i;
 
-  /* Stabilize any component ref that might need to be
-     evaluated more than once below.  */
-  if (!post
-      || TREE_CODE (incremented) == BIT_FIELD_REF
-      || (TREE_CODE (incremented) == COMPONENT_REF
-         && (TREE_CODE (TREE_OPERAND (incremented, 0)) != INDIRECT_REF
-             || DECL_BIT_FIELD (TREE_OPERAND (incremented, 1)))))
-    incremented = stabilize_reference (incremented);
-  /* Nested *INCREMENT_EXPRs can happen in C++.  We must force innermost
-     ones into save exprs so that they don't accidentally get evaluated
-     more than once by the code below.  */
-  if (TREE_CODE (incremented) == PREINCREMENT_EXPR
-      || TREE_CODE (incremented) == PREDECREMENT_EXPR)
-    incremented = save_expr (incremented);
+  if (! if_true_label || ! if_false_label)
+    drop_through_label = gen_label_rtx ();
+  if (! if_true_label)
+    if_true_label = drop_through_label;
+  if (! if_false_label)
+    if_false_label = drop_through_label;
+
+  /* Compare a word at a time, high order first.  */
+  for (i = 0; i < nwords; i++)
+    {
+      rtx comp;
+      rtx op0_word, op1_word;
+
+      if (WORDS_BIG_ENDIAN)
+       {
+         op0_word = operand_subword_force (op0, i, mode);
+         op1_word = operand_subword_force (op1, i, mode);
+       }
+      else
+       {
+         op0_word = operand_subword_force (op0, nwords - 1 - i, mode);
+         op1_word = operand_subword_force (op1, nwords - 1 - i, mode);
+       }
+
+      /* All but high-order word must be compared as unsigned.  */
+      comp = compare_from_rtx (op0_word, op1_word,
+                              (unsignedp || i > 0) ? GTU : GT,
+                              unsignedp, word_mode, NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_true_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, NULL_RTX, if_true_label);
 
-  /* Compute the operands as RTX.
-     Note whether OP0 is the actual lvalue or a copy of it:
-     I believe it is a copy iff it is a register or subreg
-     and insns were generated in computing it.   */
+      /* Consider lower words only if these are equal.  */
+      comp = compare_from_rtx (op0_word, op1_word, NE, unsignedp, word_mode,
+                              NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_false_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, NULL_RTX, if_false_label);
+    }
 
-  temp = get_last_insn ();
-  op0 = expand_expr (incremented, NULL_RTX, VOIDmode, 0);
+  if (if_false_label)
+    emit_jump (if_false_label);
+  if (drop_through_label)
+    emit_label (drop_through_label);
+}
 
-  /* If OP0 is a SUBREG made for a promoted variable, we cannot increment
-     in place but intead must do sign- or zero-extension during assignment,
-     so we copy it into a new register and let the code below use it as
-     a copy.
+/* Compare OP0 with OP1, word at a time, in mode MODE.
+   UNSIGNEDP says to do unsigned comparison.
+   Jump to IF_TRUE_LABEL if OP0 is greater, IF_FALSE_LABEL otherwise.  */
 
-     Note that we can safely modify this SUBREG since it is know not to be
-     shared (it was made by the expand_expr call above).  */
+static void
+do_jump_by_parts_greater_rtx (mode, unsignedp, op0, op1, if_false_label, if_true_label)
+     enum machine_mode mode;
+     int unsignedp;
+     rtx op0, op1;
+     rtx if_false_label, if_true_label;
+{
+  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
+  rtx drop_through_label = 0;
+  int i;
 
-  if (GET_CODE (op0) == SUBREG && SUBREG_PROMOTED_VAR_P (op0))
-    SUBREG_REG (op0) = copy_to_reg (SUBREG_REG (op0));
+  if (! if_true_label || ! if_false_label)
+    drop_through_label = gen_label_rtx ();
+  if (! if_true_label)
+    if_true_label = drop_through_label;
+  if (! if_false_label)
+    if_false_label = drop_through_label;
 
-  op0_is_copy = ((GET_CODE (op0) == SUBREG || GET_CODE (op0) == REG)
-                && temp != get_last_insn ());
-  op1 = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
+  /* Compare a word at a time, high order first.  */
+  for (i = 0; i < nwords; i++)
+    {
+      rtx comp;
+      rtx op0_word, op1_word;
 
-  /* Decide whether incrementing or decrementing.  */
-  if (TREE_CODE (exp) == POSTDECREMENT_EXPR
-      || TREE_CODE (exp) == PREDECREMENT_EXPR)
-    this_optab = sub_optab;
+      if (WORDS_BIG_ENDIAN)
+       {
+         op0_word = operand_subword_force (op0, i, mode);
+         op1_word = operand_subword_force (op1, i, mode);
+       }
+      else
+       {
+         op0_word = operand_subword_force (op0, nwords - 1 - i, mode);
+         op1_word = operand_subword_force (op1, nwords - 1 - i, mode);
+       }
 
-  /* Convert decrement by a constant into a negative increment.  */
-  if (this_optab == sub_optab
-      && GET_CODE (op1) == CONST_INT)
-    {
-      op1 = GEN_INT (- INTVAL (op1));
-      this_optab = add_optab;
-    }
+      /* All but high-order word must be compared as unsigned.  */
+      comp = compare_from_rtx (op0_word, op1_word,
+                              (unsignedp || i > 0) ? GTU : GT,
+                              unsignedp, word_mode, NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_true_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, NULL_RTX, if_true_label);
 
-  /* For a preincrement, see if we can do this with a single instruction.  */
-  if (!post)
-    {
-      icode = (int) this_optab->handlers[(int) mode].insn_code;
-      if (icode != (int) CODE_FOR_nothing
-         /* Make sure that OP0 is valid for operands 0 and 1
-            of the insn we want to queue.  */
-         && (*insn_operand_predicate[icode][0]) (op0, mode)
-         && (*insn_operand_predicate[icode][1]) (op0, mode)
-         && (*insn_operand_predicate[icode][2]) (op1, mode))
-       single_insn = 1;
+      /* Consider lower words only if these are equal.  */
+      comp = compare_from_rtx (op0_word, op1_word, NE, unsignedp, word_mode,
+                              NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_false_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, NULL_RTX, if_false_label);
     }
 
-  /* If OP0 is not the actual lvalue, but rather a copy in a register,
-     then we cannot just increment OP0.  We must therefore contrive to
-     increment the original value.  Then, for postincrement, we can return
-     OP0 since it is a copy of the old value.  For preincrement, expand here
-     unless we can do it with a single insn.  */
-  if (op0_is_copy || (!post && !single_insn))
-    {
-      /* This is the easiest way to increment the value wherever it is.
-        Problems with multiple evaluation of INCREMENTED are prevented
-        because either (1) it is a component_ref or preincrement,
-        in which case it was stabilized above, or (2) it is an array_ref
-        with constant index in an array in a register, which is
-        safe to reevaluate.  */
-      tree newexp = build (((TREE_CODE (exp) == POSTDECREMENT_EXPR
-                            || TREE_CODE (exp) == PREDECREMENT_EXPR)
-                           ? MINUS_EXPR : PLUS_EXPR),
-                          TREE_TYPE (exp),
-                          incremented,
-                          TREE_OPERAND (exp, 1));
-      temp = expand_assignment (incremented, newexp, ! post, 0);
-      return post ? op0 : temp;
-    }
+  if (if_false_label)
+    emit_jump (if_false_label);
+  if (drop_through_label)
+    emit_label (drop_through_label);
+}
 
-  if (post)
-    {
-      /* We have a true reference to the value in OP0.
-        If there is an insn to add or subtract in this mode, queue it.  */
+/* Given an EQ_EXPR expression EXP for values too wide to be compared
+   with one insn, test the comparison and jump to the appropriate label.  */
 
-#if 0  /* Turned off to avoid making extra insn for indexed memref.  */
-      op0 = stabilize (op0);
-#endif
+static void
+do_jump_by_parts_equality (exp, if_false_label, if_true_label)
+     tree exp;
+     rtx if_false_label, if_true_label;
+{
+  rtx op0 = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode, 0);
+  rtx op1 = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
+  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
+  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
+  int i;
+  rtx drop_through_label = 0;
 
-      icode = (int) this_optab->handlers[(int) mode].insn_code;
-      if (icode != (int) CODE_FOR_nothing
-         /* Make sure that OP0 is valid for operands 0 and 1
-            of the insn we want to queue.  */
-         && (*insn_operand_predicate[icode][0]) (op0, mode)
-         && (*insn_operand_predicate[icode][1]) (op0, mode))
-       {
-         if (! (*insn_operand_predicate[icode][2]) (op1, mode))
-           op1 = force_reg (mode, op1);
+  if (! if_false_label)
+    drop_through_label = if_false_label = gen_label_rtx ();
 
-         return enqueue_insn (op0, GEN_FCN (icode) (op0, op0, op1));
-       }
+  for (i = 0; i < nwords; i++)
+    {
+      rtx comp = compare_from_rtx (operand_subword_force (op0, i, mode),
+                                  operand_subword_force (op1, i, mode),
+                                  EQ, TREE_UNSIGNED (TREE_TYPE (exp)),
+                                  word_mode, NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_false_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, if_false_label, NULL_RTX);
     }
 
-  /* Preincrement, or we can't increment with one simple insn.  */
-  if (post)
-    /* Save a copy of the value before inc or dec, to return it later.  */
-    temp = value = copy_to_reg (op0);
-  else
-    /* Arrange to return the incremented value.  */
-    /* Copy the rtx because expand_binop will protect from the queue,
-       and the results of that would be invalid for us to return
-       if our caller does emit_queue before using our result.  */
-    temp = copy_rtx (value = op0);
-
-  /* Increment however we can.  */
-  op1 = expand_binop (mode, this_optab, value, op1, op0,
-                     TREE_UNSIGNED (TREE_TYPE (exp)), OPTAB_LIB_WIDEN);
-  /* Make sure the value is stored into OP0.  */
-  if (op1 != op0)
-    emit_move_insn (op0, op1);
-
-  return temp;
+  if (if_true_label)
+    emit_jump (if_true_label);
+  if (drop_through_label)
+    emit_label (drop_through_label);
 }
 \f
-/* Expand all function calls contained within EXP, innermost ones first.
-   But don't look within expressions that have sequence points.
-   For each CALL_EXPR, record the rtx for its value
-   in the CALL_EXPR_RTL field.  */
+/* Jump according to whether OP0 is 0.
+   We assume that OP0 has an integer mode that is too wide
+   for the available compare insns.  */
 
 static void
-preexpand_calls (exp)
-     tree exp;
+do_jump_by_parts_equality_rtx (op0, if_false_label, if_true_label)
+     rtx op0;
+     rtx if_false_label, if_true_label;
 {
-  register int nops, i;
-  int type = TREE_CODE_CLASS (TREE_CODE (exp));
+  int nwords = GET_MODE_SIZE (GET_MODE (op0)) / UNITS_PER_WORD;
+  int i;
+  rtx drop_through_label = 0;
 
-  if (! do_preexpand_calls)
-    return;
+  if (! if_false_label)
+    drop_through_label = if_false_label = gen_label_rtx ();
 
-  /* Only expressions and references can contain calls.  */
+  for (i = 0; i < nwords; i++)
+    {
+      rtx comp = compare_from_rtx (operand_subword_force (op0, i,
+                                                         GET_MODE (op0)),
+                                  const0_rtx, EQ, 1, word_mode, NULL_RTX, 0);
+      if (comp == const_true_rtx)
+       emit_jump (if_false_label);
+      else if (comp != const0_rtx)
+       do_jump_for_compare (comp, if_false_label, NULL_RTX);
+    }
 
-  if (type != 'e' && type != '<' && type != '1' && type != '2' && type != 'r')
-    return;
+  if (if_true_label)
+    emit_jump (if_true_label);
+  if (drop_through_label)
+    emit_label (drop_through_label);
+}
+
+/* Given a comparison expression in rtl form, output conditional branches to
+   IF_TRUE_LABEL, IF_FALSE_LABEL, or both.  */
+
+static void
+do_jump_for_compare (comparison, if_false_label, if_true_label)
+     rtx comparison, if_false_label, if_true_label;
+{
+  if (if_true_label)
+    {
+      if (bcc_gen_fctn[(int) GET_CODE (comparison)] != 0)
+       emit_jump_insn ((*bcc_gen_fctn[(int) GET_CODE (comparison)]) (if_true_label));
+      else
+       abort ();
+
+      if (if_false_label)
+       emit_jump (if_false_label);
+    }
+  else if (if_false_label)
+    {
+      rtx insn;
+      rtx prev = get_last_insn ();
+      rtx branch = 0;
+
+      if (prev != 0)
+       prev = PREV_INSN (prev);
 
-  switch (TREE_CODE (exp))
-    {
-    case CALL_EXPR:
-      /* Do nothing if already expanded.  */
-      if (CALL_EXPR_RTL (exp) != 0)
-       return;
+      /* Output the branch with the opposite condition.  Then try to invert
+        what is generated.  If more than one insn is a branch, or if the
+        branch is not the last insn written, abort. If we can't invert
+        the branch, emit make a true label, redirect this jump to that,
+        emit a jump to the false label and define the true label.  */
 
-      /* Do nothing to built-in functions.  */
-      if (TREE_CODE (TREE_OPERAND (exp, 0)) != ADDR_EXPR
-         || TREE_CODE (TREE_OPERAND (TREE_OPERAND (exp, 0), 0)) != FUNCTION_DECL
-         || ! DECL_BUILT_IN (TREE_OPERAND (TREE_OPERAND (exp, 0), 0)))
-       CALL_EXPR_RTL (exp) = expand_call (exp, NULL_RTX, 0);
-      return;
+      if (bcc_gen_fctn[(int) GET_CODE (comparison)] != 0)
+       emit_jump_insn ((*bcc_gen_fctn[(int) GET_CODE (comparison)]) (if_false_label));
+      else
+       abort ();
 
-    case COMPOUND_EXPR:
-    case COND_EXPR:
-    case TRUTH_ANDIF_EXPR:
-    case TRUTH_ORIF_EXPR:
-      /* If we find one of these, then we can be sure
-        the adjust will be done for it (since it makes jumps).
-        Do it now, so that if this is inside an argument
-        of a function, we don't get the stack adjustment
-        after some other args have already been pushed.  */
-      do_pending_stack_adjust ();
-      return;
+      /* Here we get the insn before what was just emitted.
+        On some machines, emitting the branch can discard
+        the previous compare insn and emit a replacement.  */
+      if (prev == 0)
+       /* If there's only one preceding insn...  */
+       insn = get_insns ();
+      else
+       insn = NEXT_INSN (prev);
 
-    case BLOCK:
-    case RTL_EXPR:
-    case WITH_CLEANUP_EXPR:
-      return;
+      for (insn = NEXT_INSN (insn); insn; insn = NEXT_INSN (insn))
+       if (GET_CODE (insn) == JUMP_INSN)
+         {
+           if (branch)
+             abort ();
+           branch = insn;
+         }
 
-    case SAVE_EXPR:
-      if (SAVE_EXPR_RTL (exp) != 0)
-       return;
-    }
+      if (branch != get_last_insn ())
+       abort ();
 
-  nops = tree_code_length[(int) TREE_CODE (exp)];
-  for (i = 0; i < nops; i++)
-    if (TREE_OPERAND (exp, i) != 0)
-      {
-       type = TREE_CODE_CLASS (TREE_CODE (TREE_OPERAND (exp, i)));
-       if (type == 'e' || type == '<' || type == '1' || type == '2'
-           || type == 'r')
-         preexpand_calls (TREE_OPERAND (exp, i));
-      }
+      if (! invert_jump (branch, if_false_label))
+       {
+         if_true_label = gen_label_rtx ();
+         redirect_jump (branch, if_true_label);
+         emit_jump (if_false_label);
+         emit_label (if_true_label);
+       }
+    }
 }
 \f
-/* At the start of a function, record that we have no previously-pushed
-   arguments waiting to be popped.  */
+/* Generate code for a comparison expression EXP
+   (including code to compute the values to be compared)
+   and set (CC0) according to the result.
+   SIGNED_CODE should be the rtx operation for this comparison for
+   signed data; UNSIGNED_CODE, likewise for use if data is unsigned.
 
-void
-init_pending_stack_adjust ()
+   We force a stack adjustment unless there are currently
+   things pushed on the stack that aren't yet used.  */
+
+static rtx
+compare (exp, signed_code, unsigned_code)
+     register tree exp;
+     enum rtx_code signed_code, unsigned_code;
 {
-  pending_stack_adjust = 0;
+  register rtx op0
+    = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode, 0);
+  register rtx op1
+    = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
+  register tree type = TREE_TYPE (TREE_OPERAND (exp, 0));
+  register enum machine_mode mode = TYPE_MODE (type);
+  int unsignedp = TREE_UNSIGNED (type);
+  enum rtx_code code = unsignedp ? unsigned_code : signed_code;
+
+  return compare_from_rtx (op0, op1, code, unsignedp, mode,
+                          ((mode == BLKmode)
+                           ? expr_size (TREE_OPERAND (exp, 0)) : NULL_RTX),
+                          TYPE_ALIGN (TREE_TYPE (exp)) / BITS_PER_UNIT);
 }
 
-/* When exiting from function, if safe, clear out any pending stack adjust
-   so the adjustment won't get done.  */
+/* Like compare but expects the values to compare as two rtx's.
+   The decision as to signed or unsigned comparison must be made by the caller.
 
-void
-clear_pending_stack_adjust ()
-{
-#ifdef EXIT_IGNORE_STACK
-  if (! flag_omit_frame_pointer && EXIT_IGNORE_STACK
-      && ! (DECL_INLINE (current_function_decl) && ! flag_no_inline)
-      && ! flag_inline_functions)
-    pending_stack_adjust = 0;
-#endif
-}
+   If MODE is BLKmode, SIZE is an RTX giving the size of the objects being
+   compared.
 
-/* Pop any previously-pushed arguments that have not been popped yet.  */
+   If ALIGN is non-zero, it is the alignment of this type; if zero, the
+   size of MODE should be used.  */
 
-void
-do_pending_stack_adjust ()
+rtx
+compare_from_rtx (op0, op1, code, unsignedp, mode, size, align)
+     register rtx op0, op1;
+     enum rtx_code code;
+     int unsignedp;
+     enum machine_mode mode;
+     rtx size;
+     int align;
 {
-  if (inhibit_defer_pop == 0)
+  rtx tem;
+
+  /* If one operand is constant, make it the second one.  Only do this
+     if the other operand is not constant as well.  */
+
+  if ((CONSTANT_P (op0) && ! CONSTANT_P (op1))
+      || (GET_CODE (op0) == CONST_INT && GET_CODE (op1) != CONST_INT))
     {
-      if (pending_stack_adjust != 0)
-       adjust_stack (GEN_INT (pending_stack_adjust));
-      pending_stack_adjust = 0;
+      tem = op0;
+      op0 = op1;
+      op1 = tem;
+      code = swap_condition (code);
     }
-}
-
-/* Expand all cleanups up to OLD_CLEANUPS.
-   Needed here, and also for language-dependent calls.  */
 
-void
-expand_cleanups_to (old_cleanups)
-     tree old_cleanups;
-{
-  while (cleanups_this_call != old_cleanups)
+  if (flag_force_mem)
     {
-      expand_expr (TREE_VALUE (cleanups_this_call), NULL_RTX, VOIDmode, 0);
-      cleanups_this_call = TREE_CHAIN (cleanups_this_call);
+      op0 = force_not_mem (op0);
+      op1 = force_not_mem (op1);
     }
-}
-\f
-/* Expand conditional expressions.  */
 
-/* Generate code to evaluate EXP and jump to LABEL if the value is zero.
-   LABEL is an rtx of code CODE_LABEL, in this function and all the
-   functions here.  */
+  do_pending_stack_adjust ();
 
-void
-jumpifnot (exp, label)
-     tree exp;
-     rtx label;
-{
-  do_jump (exp, label, NULL_RTX);
-}
+  if (GET_CODE (op0) == CONST_INT && GET_CODE (op1) == CONST_INT
+      && (tem = simplify_relational_operation (code, mode, op0, op1)) != 0)
+    return tem;
 
-/* Generate code to evaluate EXP and jump to LABEL if the value is nonzero.  */
+#if 0
+  /* There's no need to do this now that combine.c can eliminate lots of
+     sign extensions.  This can be less efficient in certain cases on other
+     machines. */
 
-void
-jumpif (exp, label)
-     tree exp;
-     rtx label;
-{
-  do_jump (exp, NULL_RTX, label);
+  /* If this is a signed equality comparison, we can do it as an
+     unsigned comparison since zero-extension is cheaper than sign
+     extension and comparisons with zero are done as unsigned.  This is
+     the case even on machines that can do fast sign extension, since
+     zero-extension is easier to combine with other operations than
+     sign-extension is.  If we are comparing against a constant, we must
+     convert it to what it would look like unsigned.  */
+  if ((code == EQ || code == NE) && ! unsignedp
+      && GET_MODE_BITSIZE (GET_MODE (op0)) <= HOST_BITS_PER_WIDE_INT)
+    {
+      if (GET_CODE (op1) == CONST_INT
+         && (INTVAL (op1) & GET_MODE_MASK (GET_MODE (op0))) != INTVAL (op1))
+       op1 = GEN_INT (INTVAL (op1) & GET_MODE_MASK (GET_MODE (op0)));
+      unsignedp = 1;
+    }
+#endif
+       
+  emit_cmp_insn (op0, op1, code, size, mode, unsignedp, align);
+
+  return gen_rtx (code, VOIDmode, cc0_rtx, const0_rtx);
 }
+\f
+/* Generate code to calculate EXP using a store-flag instruction
+   and return an rtx for the result.  EXP is either a comparison
+   or a TRUTH_NOT_EXPR whose operand is a comparison.
 
-/* Generate code to evaluate EXP and jump to IF_FALSE_LABEL if
-   the result is zero, or IF_TRUE_LABEL if the result is one.
-   Either of IF_FALSE_LABEL and IF_TRUE_LABEL may be zero,
-   meaning fall through in that case.
+   If TARGET is nonzero, store the result there if convenient.
 
-   do_jump always does any pending stack adjust except when it does not
-   actually perform a jump.  An example where there is no jump
-   is when EXP is `(foo (), 0)' and IF_FALSE_LABEL is null.
+   If ONLY_CHEAP is non-zero, only do this if it is likely to be very
+   cheap.
 
-   This function is responsible for optimizing cases such as
-   &&, || and comparison operators in EXP.  */
+   Return zero if there is no suitable set-flag instruction
+   available on this machine.
 
-void
-do_jump (exp, if_false_label, if_true_label)
+   Once expand_expr has been called on the arguments of the comparison,
+   we are committed to doing the store flag, since it is not safe to
+   re-evaluate the expression.  We emit the store-flag insn by calling
+   emit_store_flag, but only expand the arguments if we have a reason
+   to believe that emit_store_flag will be successful.  If we think that
+   it will, but it isn't, we have to simulate the store-flag with a
+   set/jump/set sequence.  */
+
+static rtx
+do_store_flag (exp, target, mode, only_cheap)
      tree exp;
-     rtx if_false_label, if_true_label;
+     rtx target;
+     enum machine_mode mode;
+     int only_cheap;
 {
-  register enum tree_code code = TREE_CODE (exp);
-  /* Some cases need to create a label to jump to
-     in order to properly fall through.
-     These cases set DROP_THROUGH_LABEL nonzero.  */
-  rtx drop_through_label = 0;
-  rtx temp;
-  rtx comparison = 0;
-  int i;
-  tree type;
+  enum rtx_code code;
+  tree arg0, arg1, type;
+  tree tem;
+  enum machine_mode operand_mode;
+  int invert = 0;
+  int unsignedp;
+  rtx op0, op1;
+  enum insn_code icode;
+  rtx subtarget = target;
+  rtx result, label, pattern, jump_pat;
 
-  emit_queue ();
+  /* If this is a TRUTH_NOT_EXPR, set a flag indicating we must invert the
+     result at the end.  We can't simply invert the test since it would
+     have already been inverted if it were valid.  This case occurs for
+     some floating-point comparisons.  */
 
-  switch (code)
-    {
-    case ERROR_MARK:
-      break;
+  if (TREE_CODE (exp) == TRUTH_NOT_EXPR)
+    invert = 1, exp = TREE_OPERAND (exp, 0);
 
-    case INTEGER_CST:
-      temp = integer_zerop (exp) ? if_false_label : if_true_label;
-      if (temp)
-       emit_jump (temp);
-      break;
+  arg0 = TREE_OPERAND (exp, 0);
+  arg1 = TREE_OPERAND (exp, 1);
+  type = TREE_TYPE (arg0);
+  operand_mode = TYPE_MODE (type);
+  unsignedp = TREE_UNSIGNED (type);
 
-#if 0
-      /* This is not true with #pragma weak  */
-    case ADDR_EXPR:
-      /* The address of something can never be zero.  */
-      if (if_true_label)
-       emit_jump (if_true_label);
-      break;
-#endif
+  /* We won't bother with BLKmode store-flag operations because it would mean
+     passing a lot of information to emit_store_flag.  */
+  if (operand_mode == BLKmode)
+    return 0;
 
-    case NOP_EXPR:
-      if (TREE_CODE (TREE_OPERAND (exp, 0)) == COMPONENT_REF
-         || TREE_CODE (TREE_OPERAND (exp, 0)) == BIT_FIELD_REF
-         || TREE_CODE (TREE_OPERAND (exp, 0)) == ARRAY_REF)
-       goto normal;
-    case CONVERT_EXPR:
-      /* If we are narrowing the operand, we have to do the compare in the
-        narrower mode.  */
-      if ((TYPE_PRECISION (TREE_TYPE (exp))
-          < TYPE_PRECISION (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       goto normal;
-    case NON_LVALUE_EXPR:
-    case REFERENCE_EXPR:
-    case ABS_EXPR:
-    case NEGATE_EXPR:
-    case LROTATE_EXPR:
-    case RROTATE_EXPR:
-      /* These cannot change zero->non-zero or vice versa.  */
-      do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
-      break;
+  STRIP_NOPS (arg0);
+  STRIP_NOPS (arg1);
 
-#if 0
-      /* This is never less insns than evaluating the PLUS_EXPR followed by
-        a test and can be longer if the test is eliminated.  */
-    case PLUS_EXPR:
-      /* Reduce to minus.  */
-      exp = build (MINUS_EXPR, TREE_TYPE (exp),
-                  TREE_OPERAND (exp, 0),
-                  fold (build1 (NEGATE_EXPR, TREE_TYPE (TREE_OPERAND (exp, 1)),
-                                TREE_OPERAND (exp, 1))));
-      /* Process as MINUS.  */
-#endif
+  /* Get the rtx comparison code to use.  We know that EXP is a comparison
+     operation of some type.  Some comparisons against 1 and -1 can be
+     converted to comparisons with zero.  Do so here so that the tests
+     below will be aware that we have a comparison with zero.   These
+     tests will not catch constants in the first operand, but constants
+     are rarely passed as the first operand.  */
 
-    case MINUS_EXPR:
-      /* Non-zero iff operands of minus differ.  */
-      comparison = compare (build (NE_EXPR, TREE_TYPE (exp),
-                                  TREE_OPERAND (exp, 0),
-                                  TREE_OPERAND (exp, 1)),
-                           NE, NE);
+  switch (TREE_CODE (exp))
+    {
+    case EQ_EXPR:
+      code = EQ;
       break;
-
-    case BIT_AND_EXPR:
-      /* If we are AND'ing with a small constant, do this comparison in the
-        smallest type that fits.  If the machine doesn't have comparisons
-        that small, it will be converted back to the wider comparison.
-        This helps if we are testing the sign bit of a narrower object.
-        combine can't do this for us because it can't know whether a
-        ZERO_EXTRACT or a compare in a smaller mode exists, but we do.  */
-
-      if (! SLOW_BYTE_ACCESS
-         && TREE_CODE (TREE_OPERAND (exp, 1)) == INTEGER_CST
-         && TYPE_PRECISION (TREE_TYPE (exp)) <= HOST_BITS_PER_WIDE_INT
-         && (i = floor_log2 (TREE_INT_CST_LOW (TREE_OPERAND (exp, 1)))) >= 0
-         && (type = type_for_size (i + 1, 1)) != 0
-         && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
-         && (cmp_optab->handlers[(int) TYPE_MODE (type)].insn_code
-             != CODE_FOR_nothing))
-       {
-         do_jump (convert (type, exp), if_false_label, if_true_label);
-         break;
-       }
-      goto normal;
-
-    case TRUTH_NOT_EXPR:
-      do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
+    case NE_EXPR:
+      code = NE;
       break;
-
-    case TRUTH_ANDIF_EXPR:
-      if (if_false_label == 0)
-       if_false_label = drop_through_label = gen_label_rtx ();
-      do_jump (TREE_OPERAND (exp, 0), if_false_label, NULL_RTX);
-      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+    case LT_EXPR:
+      if (integer_onep (arg1))
+       arg1 = integer_zero_node, code = unsignedp ? LEU : LE;
+      else
+       code = unsignedp ? LTU : LT;
       break;
-
-    case TRUTH_ORIF_EXPR:
-      if (if_true_label == 0)
-       if_true_label = drop_through_label = gen_label_rtx ();
-      do_jump (TREE_OPERAND (exp, 0), NULL_RTX, if_true_label);
-      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+    case LE_EXPR:
+      if (! unsignedp && integer_all_onesp (arg1))
+       arg1 = integer_zero_node, code = LT;
+      else
+       code = unsignedp ? LEU : LE;
       break;
-
-    case COMPOUND_EXPR:
-      expand_expr (TREE_OPERAND (exp, 0), const0_rtx, VOIDmode, 0);
-      free_temp_slots ();
-      emit_queue ();
-      do_pending_stack_adjust ();
-      do_jump (TREE_OPERAND (exp, 1), if_false_label, if_true_label);
+    case GT_EXPR:
+      if (! unsignedp && integer_all_onesp (arg1))
+       arg1 = integer_zero_node, code = GE;
+      else
+       code = unsignedp ? GTU : GT;
       break;
+    case GE_EXPR:
+      if (integer_onep (arg1))
+       arg1 = integer_zero_node, code = unsignedp ? GTU : GT;
+      else
+       code = unsignedp ? GEU : GE;
+      break;
+    default:
+      abort ();
+    }
 
-    case COMPONENT_REF:
-    case BIT_FIELD_REF:
-    case ARRAY_REF:
-      {
-       int bitsize, bitpos, unsignedp;
-       enum machine_mode mode;
-       tree type;
-       tree offset;
-       int volatilep = 0;
-
-       /* Get description of this reference.  We don't actually care
-          about the underlying object here.  */
-       get_inner_reference (exp, &bitsize, &bitpos, &offset,
-                            &mode, &unsignedp, &volatilep);
+  /* Put a constant second.  */
+  if (TREE_CODE (arg0) == REAL_CST || TREE_CODE (arg0) == INTEGER_CST)
+    {
+      tem = arg0; arg0 = arg1; arg1 = tem;
+      code = swap_condition (code);
+    }
 
-       type = type_for_size (bitsize, unsignedp);
-       if (! SLOW_BYTE_ACCESS
-           && type != 0 && bitsize >= 0
-           && TYPE_PRECISION (type) < TYPE_PRECISION (TREE_TYPE (exp))
-           && (cmp_optab->handlers[(int) TYPE_MODE (type)].insn_code
-               != CODE_FOR_nothing))
-         {
-           do_jump (convert (type, exp), if_false_label, if_true_label);
-           break;
-         }
-       goto normal;
-      }
+  /* If this is an equality or inequality test of a single bit, we can
+     do this by shifting the bit being tested to the low-order bit and
+     masking the result with the constant 1.  If the condition was EQ,
+     we xor it with 1.  This does not require an scc insn and is faster
+     than an scc insn even if we have it.  */
 
-    case COND_EXPR:
-      /* Do (a ? 1 : 0) and (a ? 0 : 1) as special cases.  */
-      if (integer_onep (TREE_OPERAND (exp, 1))
-         && integer_zerop (TREE_OPERAND (exp, 2)))
-       do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
+  if ((code == NE || code == EQ)
+      && TREE_CODE (arg0) == BIT_AND_EXPR && integer_zerop (arg1)
+      && integer_pow2p (TREE_OPERAND (arg0, 1))
+      && TYPE_PRECISION (type) <= HOST_BITS_PER_WIDE_INT)
+    {
+      tree inner = TREE_OPERAND (arg0, 0);
+      int bitnum = exact_log2 (INTVAL (expand_expr (TREE_OPERAND (arg0, 1),
+                                                   NULL_RTX, VOIDmode, 0)));
+      int ops_unsignedp;
 
-      else if (integer_zerop (TREE_OPERAND (exp, 1))
-              && integer_onep (TREE_OPERAND (exp, 2)))
-       do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
+      /* If INNER is a right shift of a constant and it plus BITNUM does
+        not overflow, adjust BITNUM and INNER.  */
 
-      else
+      if (TREE_CODE (inner) == RSHIFT_EXPR
+         && TREE_CODE (TREE_OPERAND (inner, 1)) == INTEGER_CST
+         && TREE_INT_CST_HIGH (TREE_OPERAND (inner, 1)) == 0
+         && (bitnum + TREE_INT_CST_LOW (TREE_OPERAND (inner, 1))
+             < TYPE_PRECISION (type)))
        {
-         register rtx label1 = gen_label_rtx ();
-         drop_through_label = gen_label_rtx ();
-         do_jump (TREE_OPERAND (exp, 0), label1, NULL_RTX);
-         /* Now the THEN-expression.  */
-         do_jump (TREE_OPERAND (exp, 1),
-                  if_false_label ? if_false_label : drop_through_label,
-                  if_true_label ? if_true_label : drop_through_label);
-         /* In case the do_jump just above never jumps.  */
-         do_pending_stack_adjust ();
-         emit_label (label1);
-         /* Now the ELSE-expression.  */
-         do_jump (TREE_OPERAND (exp, 2),
-                  if_false_label ? if_false_label : drop_through_label,
-                  if_true_label ? if_true_label : drop_through_label);
+         bitnum +=TREE_INT_CST_LOW (TREE_OPERAND (inner, 1));
+         inner = TREE_OPERAND (inner, 0);
        }
-      break;
 
-    case EQ_EXPR:
-      if (integer_zerop (TREE_OPERAND (exp, 1)))
-       do_jump (TREE_OPERAND (exp, 0), if_true_label, if_false_label);
-      else if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-               == MODE_INT)
-              && 
-              !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_equality (exp, if_false_label, if_true_label);
-      else
-       comparison = compare (exp, EQ, EQ);
-      break;
+      /* If we are going to be able to omit the AND below, we must do our
+        operations as unsigned.  If we must use the AND, we have a choice.
+        Normally unsigned is faster, but for some machines signed is.  */
+      ops_unsignedp = (bitnum == TYPE_PRECISION (type) - 1 ? 1
+#ifdef LOAD_EXTEND_OP
+                      : (LOAD_EXTEND_OP (operand_mode) == SIGN_EXTEND ? 0 : 1)
+#else
+                      : 1
+#endif
+                      );
+
+      if (subtarget == 0 || GET_CODE (subtarget) != REG
+         || GET_MODE (subtarget) != operand_mode
+         || ! safe_from_p (subtarget, inner))
+       subtarget = 0;
 
-    case NE_EXPR:
-      if (integer_zerop (TREE_OPERAND (exp, 1)))
-       do_jump (TREE_OPERAND (exp, 0), if_false_label, if_true_label);
-      else if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-               == MODE_INT)
-              && 
-              !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_equality (exp, if_true_label, if_false_label);
-      else
-       comparison = compare (exp, NE, NE);
-      break;
+      op0 = expand_expr (inner, subtarget, VOIDmode, 0);
 
-    case LT_EXPR:
-      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-          == MODE_INT)
-         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_greater (exp, 1, if_false_label, if_true_label);
-      else
-       comparison = compare (exp, LT, LTU);
-      break;
+      if (bitnum != 0)
+       op0 = expand_shift (RSHIFT_EXPR, GET_MODE (op0), op0,
+                           size_int (bitnum), subtarget, ops_unsignedp);
 
-    case LE_EXPR:
-      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-          == MODE_INT)
-         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_greater (exp, 0, if_true_label, if_false_label);
-      else
-       comparison = compare (exp, LE, LEU);
-      break;
+      if (GET_MODE (op0) != mode)
+       op0 = convert_to_mode (mode, op0, ops_unsignedp);
 
-    case GT_EXPR:
-      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-          == MODE_INT)
-         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_greater (exp, 0, if_false_label, if_true_label);
-      else
-       comparison = compare (exp, GT, GTU);
-      break;
+      if ((code == EQ && ! invert) || (code == NE && invert))
+       op0 = expand_binop (mode, xor_optab, op0, const1_rtx, subtarget,
+                           ops_unsignedp, OPTAB_LIB_WIDEN);
 
-    case GE_EXPR:
-      if ((GET_MODE_CLASS (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0))))
-          == MODE_INT)
-         && !can_compare_p (TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)))))
-       do_jump_by_parts_greater (exp, 1, if_true_label, if_false_label);
-      else
-       comparison = compare (exp, GE, GEU);
-      break;
+      /* Put the AND last so it can combine with more things.  */
+      if (bitnum != TYPE_PRECISION (type) - 1)
+       op0 = expand_and (op0, const1_rtx, subtarget);
 
-    default:
-    normal:
-      temp = expand_expr (exp, NULL_RTX, VOIDmode, 0);
-#if 0
-      /* This is not needed any more and causes poor code since it causes
-        comparisons and tests from non-SI objects to have different code
-        sequences.  */
-      /* Copy to register to avoid generating bad insns by cse
-        from (set (mem ...) (arithop))  (set (cc0) (mem ...)).  */
-      if (!cse_not_expected && GET_CODE (temp) == MEM)
-       temp = copy_to_reg (temp);
-#endif
-      do_pending_stack_adjust ();
-      if (GET_CODE (temp) == CONST_INT)
-       comparison = (temp == const0_rtx ? const0_rtx : const_true_rtx);
-      else if (GET_CODE (temp) == LABEL_REF)
-       comparison = const_true_rtx;
-      else if (GET_MODE_CLASS (GET_MODE (temp)) == MODE_INT
-              && !can_compare_p (GET_MODE (temp)))
-       /* Note swapping the labels gives us not-equal.  */
-       do_jump_by_parts_equality_rtx (temp, if_true_label, if_false_label);
-      else if (GET_MODE (temp) != VOIDmode)
-       comparison = compare_from_rtx (temp, CONST0_RTX (GET_MODE (temp)),
-                                      NE, TREE_UNSIGNED (TREE_TYPE (exp)),
-                                      GET_MODE (temp), NULL_RTX, 0);
+      return op0;
+    }
+
+  /* Now see if we are likely to be able to do this.  Return if not.  */
+  if (! can_compare_p (operand_mode))
+    return 0;
+  icode = setcc_gen_code[(int) code];
+  if (icode == CODE_FOR_nothing
+      || (only_cheap && insn_operand_mode[(int) icode][0] != mode))
+    {
+      /* We can only do this if it is one of the special cases that
+        can be handled without an scc insn.  */
+      if ((code == LT && integer_zerop (arg1))
+         || (! only_cheap && code == GE && integer_zerop (arg1)))
+       ;
+      else if (BRANCH_COST >= 0
+              && ! only_cheap && (code == NE || code == EQ)
+              && TREE_CODE (type) != REAL_TYPE
+              && ((abs_optab->handlers[(int) operand_mode].insn_code
+                   != CODE_FOR_nothing)
+                  || (ffs_optab->handlers[(int) operand_mode].insn_code
+                      != CODE_FOR_nothing)))
+       ;
       else
-       abort ();
+       return 0;
     }
+      
+  preexpand_calls (exp);
+  if (subtarget == 0 || GET_CODE (subtarget) != REG
+      || GET_MODE (subtarget) != operand_mode
+      || ! safe_from_p (subtarget, arg1))
+    subtarget = 0;
 
-  /* Do any postincrements in the expression that was tested.  */
-  emit_queue ();
+  op0 = expand_expr (arg0, subtarget, VOIDmode, 0);
+  op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
 
-  /* If COMPARISON is nonzero here, it is an rtx that can be substituted
-     straight into a conditional jump instruction as the jump condition.
-     Otherwise, all the work has been done already.  */
+  if (target == 0)
+    target = gen_reg_rtx (mode);
 
-  if (comparison == const_true_rtx)
-    {
-      if (if_true_label)
-       emit_jump (if_true_label);
-    }
-  else if (comparison == const0_rtx)
-    {
-      if (if_false_label)
-       emit_jump (if_false_label);
-    }
-  else if (comparison)
-    do_jump_for_compare (comparison, if_false_label, if_true_label);
+  /* Pass copies of OP0 and OP1 in case they contain a QUEUED.  This is safe
+     because, if the emit_store_flag does anything it will succeed and
+     OP0 and OP1 will not be used subsequently.  */
 
-  free_temp_slots ();
+  result = emit_store_flag (target, code,
+                           queued_subexp_p (op0) ? copy_rtx (op0) : op0,
+                           queued_subexp_p (op1) ? copy_rtx (op1) : op1,
+                           operand_mode, unsignedp, 1);
 
-  if (drop_through_label)
+  if (result)
     {
-      /* If do_jump produces code that might be jumped around,
-        do any stack adjusts from that code, before the place
-        where control merges in.  */
-      do_pending_stack_adjust ();
-      emit_label (drop_through_label);
+      if (invert)
+       result = expand_binop (mode, xor_optab, result, const1_rtx,
+                              result, 0, OPTAB_LIB_WIDEN);
+      return result;
     }
+
+  /* If this failed, we have to do this with set/compare/jump/set code.  */
+  if (target == 0 || GET_CODE (target) != REG
+      || reg_mentioned_p (target, op0) || reg_mentioned_p (target, op1))
+    target = gen_reg_rtx (GET_MODE (target));
+
+  emit_move_insn (target, invert ? const0_rtx : const1_rtx);
+  result = compare_from_rtx (op0, op1, code, unsignedp,
+                            operand_mode, NULL_RTX, 0);
+  if (GET_CODE (result) == CONST_INT)
+    return (((result == const0_rtx && ! invert)
+            || (result != const0_rtx && invert))
+           ? const0_rtx : const1_rtx);
+
+  label = gen_label_rtx ();
+  if (bcc_gen_fctn[(int) code] == 0)
+    abort ();
+
+  emit_jump_insn ((*bcc_gen_fctn[(int) code]) (label));
+  emit_move_insn (target, invert ? const1_rtx : const0_rtx);
+  emit_label (label);
+
+  return target;
 }
 \f
-/* Given a comparison expression EXP for values too wide to be compared
-   with one insn, test the comparison and jump to the appropriate label.
-   The code of EXP is ignored; we always test GT if SWAP is 0,
-   and LT if SWAP is 1.  */
+/* Generate a tablejump instruction (used for switch statements).  */
 
-static void
-do_jump_by_parts_greater (exp, swap, if_false_label, if_true_label)
-     tree exp;
-     int swap;
-     rtx if_false_label, if_true_label;
+#ifdef HAVE_tablejump
+
+/* INDEX is the value being switched on, with the lowest value
+   in the table already subtracted.
+   MODE is its expected mode (needed if INDEX is constant).
+   RANGE is the length of the jump table.
+   TABLE_LABEL is a CODE_LABEL rtx for the table itself.
+
+   DEFAULT_LABEL is a CODE_LABEL rtx to jump to if the
+   index value is out of range.  */
+
+void
+do_tablejump (index, mode, range, table_label, default_label)
+     rtx index, range, table_label, default_label;
+     enum machine_mode mode;
 {
-  rtx op0 = expand_expr (TREE_OPERAND (exp, swap), NULL_RTX, VOIDmode, 0);
-  rtx op1 = expand_expr (TREE_OPERAND (exp, !swap), NULL_RTX, VOIDmode, 0);
-  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
-  rtx drop_through_label = 0;
-  int unsignedp = TREE_UNSIGNED (TREE_TYPE (TREE_OPERAND (exp, 0)));
-  int i;
+  register rtx temp, vector;
 
-  if (! if_true_label || ! if_false_label)
-    drop_through_label = gen_label_rtx ();
-  if (! if_true_label)
-    if_true_label = drop_through_label;
-  if (! if_false_label)
-    if_false_label = drop_through_label;
+  /* Do an unsigned comparison (in the proper mode) between the index
+     expression and the value which represents the length of the range.
+     Since we just finished subtracting the lower bound of the range
+     from the index expression, this comparison allows us to simultaneously
+     check that the original index expression value is both greater than
+     or equal to the minimum value of the range and less than or equal to
+     the maximum value of the range.  */
 
-  /* Compare a word at a time, high order first.  */
-  for (i = 0; i < nwords; i++)
-    {
-      rtx comp;
-      rtx op0_word, op1_word;
+  emit_cmp_insn (range, index, LTU, NULL_RTX, mode, 1, 0);
+  emit_jump_insn (gen_bltu (default_label));
+
+  /* If index is in range, it must fit in Pmode.
+     Convert to Pmode so we can index with it.  */
+  if (mode != Pmode)
+    index = convert_to_mode (Pmode, index, 1);
+
+  /* Don't let a MEM slip thru, because then INDEX that comes
+     out of PIC_CASE_VECTOR_ADDRESS won't be a valid address,
+     and break_out_memory_refs will go to work on it and mess it up.  */
+#ifdef PIC_CASE_VECTOR_ADDRESS
+  if (flag_pic && GET_CODE (index) != REG)
+    index = copy_to_mode_reg (Pmode, index);
+#endif
+
+  /* If flag_force_addr were to affect this address
+     it could interfere with the tricky assumptions made
+     about addresses that contain label-refs,
+     which may be valid only very near the tablejump itself.  */
+  /* ??? The only correct use of CASE_VECTOR_MODE is the one inside the
+     GET_MODE_SIZE, because this indicates how large insns are.  The other
+     uses should all be Pmode, because they are addresses.  This code
+     could fail if addresses and insns are not the same size.  */
+  index = gen_rtx (PLUS, Pmode,
+                  gen_rtx (MULT, Pmode, index,
+                           GEN_INT (GET_MODE_SIZE (CASE_VECTOR_MODE))),
+                  gen_rtx (LABEL_REF, Pmode, table_label));
+#ifdef PIC_CASE_VECTOR_ADDRESS
+  if (flag_pic)
+    index = PIC_CASE_VECTOR_ADDRESS (index);
+  else
+#endif
+    index = memory_address_noforce (CASE_VECTOR_MODE, index);
+  temp = gen_reg_rtx (CASE_VECTOR_MODE);
+  vector = gen_rtx (MEM, CASE_VECTOR_MODE, index);
+  RTX_UNCHANGING_P (vector) = 1;
+  convert_move (temp, vector, 0);
 
-      if (WORDS_BIG_ENDIAN)
-       {
-         op0_word = operand_subword_force (op0, i, mode);
-         op1_word = operand_subword_force (op1, i, mode);
-       }
-      else
-       {
-         op0_word = operand_subword_force (op0, nwords - 1 - i, mode);
-         op1_word = operand_subword_force (op1, nwords - 1 - i, mode);
-       }
+  emit_jump_insn (gen_tablejump (temp, table_label));
 
-      /* All but high-order word must be compared as unsigned.  */
-      comp = compare_from_rtx (op0_word, op1_word,
-                              (unsignedp || i > 0) ? GTU : GT,
-                              unsignedp, word_mode, NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_true_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, NULL_RTX, if_true_label);
+#ifndef CASE_VECTOR_PC_RELATIVE
+  /* If we are generating PIC code or if the table is PC-relative, the
+     table and JUMP_INSN must be adjacent, so don't output a BARRIER.  */
+  if (! flag_pic)
+    emit_barrier ();
+#endif
+}
 
-      /* Consider lower words only if these are equal.  */
-      comp = compare_from_rtx (op0_word, op1_word, NE, unsignedp, word_mode,
-                              NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_false_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, NULL_RTX, if_false_label);
-    }
+#endif /* HAVE_tablejump */
 
-  if (if_false_label)
-    emit_jump (if_false_label);
-  if (drop_through_label)
-    emit_label (drop_through_label);
-}
 
-/* Compare OP0 with OP1, word at a time, in mode MODE.
-   UNSIGNEDP says to do unsigned comparison.
-   Jump to IF_TRUE_LABEL if OP0 is greater, IF_FALSE_LABEL otherwise.  */
+/* Emit a suitable bytecode to load a value from memory, assuming a pointer
+   to that value is on the top of the stack. The resulting type is TYPE, and
+   the source declaration is DECL. */
 
-static void
-do_jump_by_parts_greater_rtx (mode, unsignedp, op0, op1, if_false_label, if_true_label)
-     enum machine_mode mode;
-     int unsignedp;
-     rtx op0, op1;
-     rtx if_false_label, if_true_label;
+void
+bc_load_memory (type, decl)
+     tree type, decl;
 {
-  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
-  rtx drop_through_label = 0;
-  int i;
-
-  if (! if_true_label || ! if_false_label)
-    drop_through_label = gen_label_rtx ();
-  if (! if_true_label)
-    if_true_label = drop_through_label;
-  if (! if_false_label)
-    if_false_label = drop_through_label;
+  enum bytecode_opcode opcode;
+  
+  
+  /* Bit fields are special.  We only know about signed and
+     unsigned ints, and enums.  The latter are treated as
+     signed integers. */
+  
+  if (DECL_BIT_FIELD (decl))
+    if (TREE_CODE (type) == ENUMERAL_TYPE
+       || TREE_CODE (type) == INTEGER_TYPE)
+      opcode = TREE_UNSIGNED (type) ? zxloadBI : sxloadBI;
+    else
+      abort ();
+  else
+    /* See corresponding comment in bc_store_memory(). */
+    if (TYPE_MODE (type) == BLKmode
+       || TYPE_MODE (type) == VOIDmode)
+      return;
+    else
+      opcode = mode_to_load_map [(int) TYPE_MODE (type)];
 
-  /* Compare a word at a time, high order first.  */
-  for (i = 0; i < nwords; i++)
-    {
-      rtx comp;
-      rtx op0_word, op1_word;
+  if (opcode == neverneverland)
+    abort ();
+  
+  bc_emit_bytecode (opcode);
+  
+#ifdef DEBUG_PRINT_CODE
+  fputc ('\n', stderr);
+#endif
+}
 
-      if (WORDS_BIG_ENDIAN)
-       {
-         op0_word = operand_subword_force (op0, i, mode);
-         op1_word = operand_subword_force (op1, i, mode);
-       }
-      else
-       {
-         op0_word = operand_subword_force (op0, nwords - 1 - i, mode);
-         op1_word = operand_subword_force (op1, nwords - 1 - i, mode);
-       }
 
-      /* All but high-order word must be compared as unsigned.  */
-      comp = compare_from_rtx (op0_word, op1_word,
-                              (unsignedp || i > 0) ? GTU : GT,
-                              unsignedp, word_mode, NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_true_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, NULL_RTX, if_true_label);
+/* Store the contents of the second stack slot to the address in the
+   top stack slot.  DECL is the declaration of the destination and is used
+   to determine whether we're dealing with a bitfield. */
 
-      /* Consider lower words only if these are equal.  */
-      comp = compare_from_rtx (op0_word, op1_word, NE, unsignedp, word_mode,
-                              NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_false_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, NULL_RTX, if_false_label);
+void
+bc_store_memory (type, decl)
+     tree type, decl;
+{
+  enum bytecode_opcode opcode;
+  
+  
+  if (DECL_BIT_FIELD (decl))
+    {
+      if (TREE_CODE (type) == ENUMERAL_TYPE
+         || TREE_CODE (type) == INTEGER_TYPE)
+       opcode = sstoreBI;
+      else
+       abort ();
     }
+  else
+    if (TYPE_MODE (type) == BLKmode)
+      {
+       /* Copy structure.  This expands to a block copy instruction, storeBLK.
+          In addition to the arguments expected by the other store instructions,
+          it also expects a type size (SImode) on top of the stack, which is the
+          structure size in size units (usually bytes).  The two first arguments
+          are already on the stack; so we just put the size on level 1.  For some
+          other languages, the size may be variable, this is why we don't encode
+          it as a storeBLK literal, but rather treat it as a full-fledged expression. */
+       
+       bc_expand_expr (TYPE_SIZE (type));
+       opcode = storeBLK;
+      }
+    else
+      opcode = mode_to_store_map [(int) TYPE_MODE (type)];
 
-  if (if_false_label)
-    emit_jump (if_false_label);
-  if (drop_through_label)
-    emit_label (drop_through_label);
+  if (opcode == neverneverland)
+    abort ();
+
+  bc_emit_bytecode (opcode);
+  
+#ifdef DEBUG_PRINT_CODE
+  fputc ('\n', stderr);
+#endif
 }
 
-/* Given an EQ_EXPR expression EXP for values too wide to be compared
-   with one insn, test the comparison and jump to the appropriate label.  */
 
-static void
-do_jump_by_parts_equality (exp, if_false_label, if_true_label)
-     tree exp;
-     rtx if_false_label, if_true_label;
-{
-  rtx op0 = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode, 0);
-  rtx op1 = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
-  enum machine_mode mode = TYPE_MODE (TREE_TYPE (TREE_OPERAND (exp, 0)));
-  int nwords = (GET_MODE_SIZE (mode) / UNITS_PER_WORD);
-  int i;
-  rtx drop_through_label = 0;
+/* Allocate local stack space sufficient to hold a value of the given
+   SIZE at alignment boundary ALIGNMENT bits.  ALIGNMENT must be an
+   integral power of 2.  A special case is locals of type VOID, which
+   have size 0 and alignment 1 - any "voidish" SIZE or ALIGNMENT is
+   remapped into the corresponding attribute of SI.  */
 
-  if (! if_false_label)
-    drop_through_label = if_false_label = gen_label_rtx ();
+rtx
+bc_allocate_local (size, alignment)
+     int size, alignment;
+{
+  rtx retval;
+  int byte_alignment;
 
-  for (i = 0; i < nwords; i++)
-    {
-      rtx comp = compare_from_rtx (operand_subword_force (op0, i, mode),
-                                  operand_subword_force (op1, i, mode),
-                                  EQ, TREE_UNSIGNED (TREE_TYPE (exp)),
-                                  word_mode, NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_false_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, if_false_label, NULL_RTX);
-    }
+  if (size < 0)
+    abort ();
 
-  if (if_true_label)
-    emit_jump (if_true_label);
-  if (drop_through_label)
-    emit_label (drop_through_label);
-}
-\f
-/* Jump according to whether OP0 is 0.
-   We assume that OP0 has an integer mode that is too wide
-   for the available compare insns.  */
+  /* Normalize size and alignment  */
+  if (!size)
+    size = UNITS_PER_WORD;
 
-static void
-do_jump_by_parts_equality_rtx (op0, if_false_label, if_true_label)
-     rtx op0;
-     rtx if_false_label, if_true_label;
-{
-  int nwords = GET_MODE_SIZE (GET_MODE (op0)) / UNITS_PER_WORD;
-  int i;
-  rtx drop_through_label = 0;
+  if (alignment < BITS_PER_UNIT)
+    byte_alignment = 1 << (INT_ALIGN - 1);
+  else
+    /* Align */
+    byte_alignment = alignment / BITS_PER_UNIT;
 
-  if (! if_false_label)
-    drop_through_label = if_false_label = gen_label_rtx ();
+  if (local_vars_size & (byte_alignment - 1))
+    local_vars_size += byte_alignment - (local_vars_size & (byte_alignment - 1));
 
-  for (i = 0; i < nwords; i++)
-    {
-      rtx comp = compare_from_rtx (operand_subword_force (op0, i,
-                                                         GET_MODE (op0)),
-                                  const0_rtx, EQ, 1, word_mode, NULL_RTX, 0);
-      if (comp == const_true_rtx)
-       emit_jump (if_false_label);
-      else if (comp != const0_rtx)
-       do_jump_for_compare (comp, if_false_label, NULL_RTX);
-    }
+  retval = bc_gen_rtx ((char *) 0, local_vars_size, (struct bc_label *) 0);
+  local_vars_size += size;
 
-  if (if_true_label)
-    emit_jump (if_true_label);
-  if (drop_through_label)
-    emit_label (drop_through_label);
+  return retval;
 }
 
-/* Given a comparison expression in rtl form, output conditional branches to
-   IF_TRUE_LABEL, IF_FALSE_LABEL, or both.  */
 
-static void
-do_jump_for_compare (comparison, if_false_label, if_true_label)
-     rtx comparison, if_false_label, if_true_label;
+/* Allocate variable-sized local array. Variable-sized arrays are
+   actually pointers to the address in memory where they are stored. */
+
+rtx
+bc_allocate_variable_array (size)
+     tree size;
 {
-  if (if_true_label)
-    {
-      if (bcc_gen_fctn[(int) GET_CODE (comparison)] != 0)
-       emit_jump_insn ((*bcc_gen_fctn[(int) GET_CODE (comparison)]) (if_true_label));
-      else
-       abort ();
+  rtx retval;
+  const int ptralign = (1 << (PTR_ALIGN - 1));
 
-      if (if_false_label)
-       emit_jump (if_false_label);
-    }
-  else if (if_false_label)
-    {
-      rtx insn;
-      rtx prev = PREV_INSN (get_last_insn ());
-      rtx branch = 0;
+  /* Align pointer */
+  if (local_vars_size & ptralign)
+    local_vars_size +=  ptralign - (local_vars_size & ptralign);
 
-      /* Output the branch with the opposite condition.  Then try to invert
-        what is generated.  If more than one insn is a branch, or if the
-        branch is not the last insn written, abort. If we can't invert
-        the branch, emit make a true label, redirect this jump to that,
-        emit a jump to the false label and define the true label.  */
+  /* Note down local space needed: pointer to block; also return
+     dummy rtx */
 
-      if (bcc_gen_fctn[(int) GET_CODE (comparison)] != 0)
-       emit_jump_insn ((*bcc_gen_fctn[(int) GET_CODE (comparison)]) (if_false_label));
-      else
-       abort ();
+  retval = bc_gen_rtx ((char *) 0, local_vars_size, (struct bc_label *) 0);
+  local_vars_size += POINTER_SIZE / BITS_PER_UNIT;
+  return retval;
+}
 
-      /* Here we get the insn before what was just emitted.
-        On some machines, emitting the branch can discard
-        the previous compare insn and emit a replacement.  */
-      if (prev == 0)
-       /* If there's only one preceding insn...  */
-       insn = get_insns ();
-      else
-       insn = NEXT_INSN (prev);
 
-      for (insn = NEXT_INSN (insn); insn; insn = NEXT_INSN (insn))
-       if (GET_CODE (insn) == JUMP_INSN)
-         {
-           if (branch)
-             abort ();
-           branch = insn;
-         }
+/* Push the machine address for the given external variable offset.  */
+void
+bc_load_externaddr (externaddr)
+     rtx externaddr;
+{
+  bc_emit_bytecode (constP);
+  bc_emit_code_labelref (BYTECODE_LABEL (externaddr),
+                        BYTECODE_BC_LABEL (externaddr)->offset);
 
-      if (branch != get_last_insn ())
-       abort ();
+#ifdef DEBUG_PRINT_CODE
+  fputc ('\n', stderr);
+#endif
+}
 
-      if (! invert_jump (branch, if_false_label))
-       {
-         if_true_label = gen_label_rtx ();
-         redirect_jump (branch, if_true_label);
-         emit_jump (if_false_label);
-         emit_label (if_true_label);
-       }
-    }
+
+static char *
+bc_strdup (s)
+    char *s;
+{
+  char *new = (char *) xmalloc ((strlen (s) + 1) * sizeof *s);
+  strcpy (new, s);
+  return new;
 }
-\f
-/* Generate code for a comparison expression EXP
-   (including code to compute the values to be compared)
-   and set (CC0) according to the result.
-   SIGNED_CODE should be the rtx operation for this comparison for
-   signed data; UNSIGNED_CODE, likewise for use if data is unsigned.
 
-   We force a stack adjustment unless there are currently
-   things pushed on the stack that aren't yet used.  */
 
-static rtx
-compare (exp, signed_code, unsigned_code)
-     register tree exp;
-     enum rtx_code signed_code, unsigned_code;
+/* Like above, but expects an IDENTIFIER.  */
+void
+bc_load_externaddr_id (id, offset)
+     tree id;
+     int offset;
 {
-  register rtx op0
-    = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode, 0);
-  register rtx op1
-    = expand_expr (TREE_OPERAND (exp, 1), NULL_RTX, VOIDmode, 0);
-  register tree type = TREE_TYPE (TREE_OPERAND (exp, 0));
-  register enum machine_mode mode = TYPE_MODE (type);
-  int unsignedp = TREE_UNSIGNED (type);
-  enum rtx_code code = unsignedp ? unsigned_code : signed_code;
+  if (!IDENTIFIER_POINTER (id))
+    abort ();
 
-  return compare_from_rtx (op0, op1, code, unsignedp, mode,
-                          ((mode == BLKmode)
-                           ? expr_size (TREE_OPERAND (exp, 0)) : NULL_RTX),
-                          TYPE_ALIGN (TREE_TYPE (exp)) / BITS_PER_UNIT);
+  bc_emit_bytecode (constP);
+  bc_emit_code_labelref (bc_xstrdup (IDENTIFIER_POINTER (id)), offset);
+
+#ifdef DEBUG_PRINT_CODE
+  fputc ('\n', stderr);
+#endif
 }
 
-/* Like compare but expects the values to compare as two rtx's.
-   The decision as to signed or unsigned comparison must be made by the caller.
 
-   If MODE is BLKmode, SIZE is an RTX giving the size of the objects being
-   compared.
+/* Push the machine address for the given local variable offset.  */
+void
+bc_load_localaddr (localaddr)
+     rtx localaddr;
+{
+  bc_emit_instruction (localP, (HOST_WIDE_INT) BYTECODE_BC_LABEL (localaddr)->offset);
+}
 
-   If ALIGN is non-zero, it is the alignment of this type; if zero, the
-   size of MODE should be used.  */
 
-rtx
-compare_from_rtx (op0, op1, code, unsignedp, mode, size, align)
-     register rtx op0, op1;
-     enum rtx_code code;
-     int unsignedp;
-     enum machine_mode mode;
-     rtx size;
-     int align;
+/* Push the machine address for the given parameter offset.
+   NOTE: offset is in bits. */
+void
+bc_load_parmaddr (parmaddr)
+     rtx parmaddr;
 {
-  rtx tem;
+  bc_emit_instruction (argP, ((HOST_WIDE_INT) BYTECODE_BC_LABEL (parmaddr)->offset
+                             / BITS_PER_UNIT));
+}
 
-  /* If one operand is constant, make it the second one.  Only do this
-     if the other operand is not constant as well.  */
 
-  if ((CONSTANT_P (op0) && ! CONSTANT_P (op1))
-      || (GET_CODE (op0) == CONST_INT && GET_CODE (op1) != CONST_INT))
-    {
-      tem = op0;
-      op0 = op1;
-      op1 = tem;
-      code = swap_condition (code);
-    }
+/* Convert a[i] into *(a + i).  */
+tree
+bc_canonicalize_array_ref (exp)
+     tree exp;
+{
+  tree type = TREE_TYPE (exp);
+  tree array_adr = build1 (ADDR_EXPR, TYPE_POINTER_TO (type),
+                          TREE_OPERAND (exp, 0));
+  tree index = TREE_OPERAND (exp, 1);
+
+
+  /* Convert the integer argument to a type the same size as a pointer
+     so the multiply won't overflow spuriously.  */
+
+  if (TYPE_PRECISION (TREE_TYPE (index)) != POINTER_SIZE)
+    index = convert (type_for_size (POINTER_SIZE, 0), index);
+
+  /* The array address isn't volatile even if the array is.
+     (Of course this isn't terribly relevant since the bytecode
+     translator treats nearly everything as volatile anyway.)  */
+  TREE_THIS_VOLATILE (array_adr) = 0;
+
+  return build1 (INDIRECT_REF, type,
+                fold (build (PLUS_EXPR,
+                             TYPE_POINTER_TO (type),
+                             array_adr,
+                             fold (build (MULT_EXPR,
+                                          TYPE_POINTER_TO (type),
+                                          index,
+                                          size_in_bytes (type))))));
+}
 
-  if (flag_force_mem)
-    {
-      op0 = force_not_mem (op0);
-      op1 = force_not_mem (op1);
-    }
 
-  do_pending_stack_adjust ();
+/* Load the address of the component referenced by the given
+   COMPONENT_REF expression.
 
-  if (GET_CODE (op0) == CONST_INT && GET_CODE (op1) == CONST_INT
-      && (tem = simplify_relational_operation (code, mode, op0, op1)) != 0)
-    return tem;
+   Returns innermost lvalue. */
 
-#if 0
-  /* There's no need to do this now that combine.c can eliminate lots of
-     sign extensions.  This can be less efficient in certain cases on other
-     machines. */
+tree
+bc_expand_component_address (exp)
+     tree exp;
+{
+  tree tem, chain;
+  enum machine_mode mode;
+  int bitpos = 0;
+  HOST_WIDE_INT SIval;
 
-  /* If this is a signed equality comparison, we can do it as an
-     unsigned comparison since zero-extension is cheaper than sign
-     extension and comparisons with zero are done as unsigned.  This is
-     the case even on machines that can do fast sign extension, since
-     zero-extension is easier to combine with other operations than
-     sign-extension is.  If we are comparing against a constant, we must
-     convert it to what it would look like unsigned.  */
-  if ((code == EQ || code == NE) && ! unsignedp
-      && GET_MODE_BITSIZE (GET_MODE (op0)) <= HOST_BITS_PER_WIDE_INT)
+
+  tem = TREE_OPERAND (exp, 1);
+  mode = DECL_MODE (tem);
+
+
+  /* Compute cumulative bit offset for nested component refs
+     and array refs, and find the ultimate containing object.  */
+
+  for (tem = exp;; tem = TREE_OPERAND (tem, 0))
     {
-      if (GET_CODE (op1) == CONST_INT
-         && (INTVAL (op1) & GET_MODE_MASK (GET_MODE (op0))) != INTVAL (op1))
-       op1 = GEN_INT (INTVAL (op1) & GET_MODE_MASK (GET_MODE (op0)));
-      unsignedp = 1;
+      if (TREE_CODE (tem) == COMPONENT_REF)
+       bitpos += TREE_INT_CST_LOW (DECL_FIELD_BITPOS (TREE_OPERAND (tem, 1)));
+      else
+       if (TREE_CODE (tem) == ARRAY_REF
+           && TREE_CODE (TREE_OPERAND (tem, 1)) == INTEGER_CST
+           && TREE_CODE (TYPE_SIZE (TREE_TYPE (tem))) == INTEGER_CST)
+
+         bitpos += (TREE_INT_CST_LOW (TREE_OPERAND (tem, 1))
+                    * TREE_INT_CST_LOW (TYPE_SIZE (TREE_TYPE (tem)))
+                    /* * TYPE_SIZE_UNIT (TREE_TYPE (tem)) */);
+       else
+         break;
     }
-#endif
-       
-  emit_cmp_insn (op0, op1, code, size, mode, unsignedp, align);
 
-  return gen_rtx (code, VOIDmode, cc0_rtx, const0_rtx);
+  bc_expand_expr (tem);
+
+
+  /* For bitfields also push their offset and size */
+  if (DECL_BIT_FIELD (TREE_OPERAND (exp, 1)))
+    bc_push_offset_and_size (bitpos, /* DECL_SIZE_UNIT */ (TREE_OPERAND (exp, 1)));
+  else
+    if (SIval = bitpos / BITS_PER_UNIT)
+      bc_emit_instruction (addconstPSI, SIval);
+
+  return (TREE_OPERAND (exp, 1));
 }
-\f
-/* Generate code to calculate EXP using a store-flag instruction
-   and return an rtx for the result.  EXP is either a comparison
-   or a TRUTH_NOT_EXPR whose operand is a comparison.
 
-   If TARGET is nonzero, store the result there if convenient.
 
-   If ONLY_CHEAP is non-zero, only do this if it is likely to be very
-   cheap.
+/* Emit code to push two SI constants */
+void
+bc_push_offset_and_size (offset, size)
+     HOST_WIDE_INT offset, size;
+{
+  bc_emit_instruction (constSI, offset);
+  bc_emit_instruction (constSI, size);
+}
 
-   Return zero if there is no suitable set-flag instruction
-   available on this machine.
 
-   Once expand_expr has been called on the arguments of the comparison,
-   we are committed to doing the store flag, since it is not safe to
-   re-evaluate the expression.  We emit the store-flag insn by calling
-   emit_store_flag, but only expand the arguments if we have a reason
-   to believe that emit_store_flag will be successful.  If we think that
-   it will, but it isn't, we have to simulate the store-flag with a
-   set/jump/set sequence.  */
+/* Emit byte code to push the address of the given lvalue expression to
+   the stack.  If it's a bit field, we also push offset and size info.
 
-static rtx
-do_store_flag (exp, target, mode, only_cheap)
+   Returns innermost component, which allows us to determine not only
+   its type, but also whether it's a bitfield. */
+
+tree
+bc_expand_address (exp)
      tree exp;
-     rtx target;
-     enum machine_mode mode;
-     int only_cheap;
 {
-  enum rtx_code code;
-  tree arg0, arg1, type;
-  tree tem;
-  enum machine_mode operand_mode;
-  int invert = 0;
-  int unsignedp;
-  rtx op0, op1;
-  enum insn_code icode;
-  rtx subtarget = target;
-  rtx result, label, pattern, jump_pat;
+  /* Safeguard */
+  if (!exp || TREE_CODE (exp) == ERROR_MARK)
+    return (exp);
 
-  /* If this is a TRUTH_NOT_EXPR, set a flag indicating we must invert the
-     result at the end.  We can't simply invert the test since it would
-     have already been inverted if it were valid.  This case occurs for
-     some floating-point comparisons.  */
 
-  if (TREE_CODE (exp) == TRUTH_NOT_EXPR)
-    invert = 1, exp = TREE_OPERAND (exp, 0);
+  switch (TREE_CODE (exp))
+    {
+    case ARRAY_REF:
 
-  arg0 = TREE_OPERAND (exp, 0);
-  arg1 = TREE_OPERAND (exp, 1);
-  type = TREE_TYPE (arg0);
-  operand_mode = TYPE_MODE (type);
-  unsignedp = TREE_UNSIGNED (type);
+      return (bc_expand_address (bc_canonicalize_array_ref (exp)));
 
-  /* We won't bother with BLKmode store-flag operations because it would mean
-     passing a lot of information to emit_store_flag.  */
-  if (operand_mode == BLKmode)
-    return 0;
+    case COMPONENT_REF:
 
-  STRIP_NOPS (arg0);
-  STRIP_NOPS (arg1);
+      return (bc_expand_component_address (exp));
 
-  /* Get the rtx comparison code to use.  We know that EXP is a comparison
-     operation of some type.  Some comparisons against 1 and -1 can be
-     converted to comparisons with zero.  Do so here so that the tests
-     below will be aware that we have a comparison with zero.   These
-     tests will not catch constants in the first operand, but constants
-     are rarely passed as the first operand.  */
+    case INDIRECT_REF:
 
-  switch (TREE_CODE (exp))
-    {
-    case EQ_EXPR:
-      code = EQ;
-      break;
-    case NE_EXPR:
-      code = NE;
+      bc_expand_expr (TREE_OPERAND (exp, 0));
+
+      /* For variable-sized types: retrieve pointer.  Sometimes the
+        TYPE_SIZE tree is NULL.  Is this a bug or a feature?  Let's
+        also make sure we have an operand, just in case... */
+
+      if (TREE_OPERAND (exp, 0)
+         && TYPE_SIZE (TREE_TYPE (TREE_OPERAND (exp, 0)))
+         && TREE_CODE (TYPE_SIZE (TREE_TYPE (TREE_OPERAND (exp, 0)))) != INTEGER_CST)
+       bc_emit_instruction (loadP);
+
+      /* If packed, also return offset and size */
+      if (DECL_BIT_FIELD (TREE_OPERAND (exp, 0)))
+       
+       bc_push_offset_and_size (TREE_INT_CST_LOW (DECL_FIELD_BITPOS (TREE_OPERAND (exp, 0))),
+                                TREE_INT_CST_LOW (DECL_SIZE (TREE_OPERAND (exp, 0))));
+
+      return (TREE_OPERAND (exp, 0));
+
+    case FUNCTION_DECL:
+
+      bc_load_externaddr_id (DECL_ASSEMBLER_NAME (exp),
+                            BYTECODE_BC_LABEL (DECL_RTL (exp))->offset);
       break;
-    case LT_EXPR:
-      if (integer_onep (arg1))
-       arg1 = integer_zero_node, code = unsignedp ? LEU : LE;
-      else
-       code = unsignedp ? LTU : LT;
+
+    case PARM_DECL:
+
+      bc_load_parmaddr (DECL_RTL (exp));
+
+      /* For variable-sized types: retrieve pointer */
+      if (TYPE_SIZE (TREE_TYPE (exp))
+         && TREE_CODE (TYPE_SIZE (TREE_TYPE (exp))) != INTEGER_CST)
+       bc_emit_instruction (loadP);
+
+      /* If packed, also return offset and size */
+      if (DECL_BIT_FIELD (exp))
+       bc_push_offset_and_size (TREE_INT_CST_LOW (DECL_FIELD_BITPOS (exp)),
+                                TREE_INT_CST_LOW (DECL_SIZE (exp)));
+
       break;
-    case LE_EXPR:
-      if (! unsignedp && integer_all_onesp (arg1))
-       arg1 = integer_zero_node, code = LT;
-      else
-       code = unsignedp ? LEU : LE;
+
+    case RESULT_DECL:
+
+      bc_emit_instruction (returnP);
       break;
-    case GT_EXPR:
-      if (! unsignedp && integer_all_onesp (arg1))
-       arg1 = integer_zero_node, code = GE;
+
+    case VAR_DECL:
+
+#if 0
+      if (BYTECODE_LABEL (DECL_RTL (exp)))
+       bc_load_externaddr (DECL_RTL (exp));
+#endif
+
+      if (DECL_EXTERNAL (exp))
+       bc_load_externaddr_id (DECL_ASSEMBLER_NAME (exp),
+                              (BYTECODE_BC_LABEL (DECL_RTL (exp)))->offset);
       else
-       code = unsignedp ? GTU : GT;
+       bc_load_localaddr (DECL_RTL (exp));
+
+      /* For variable-sized types: retrieve pointer */
+      if (TYPE_SIZE (TREE_TYPE (exp))
+         && TREE_CODE (TYPE_SIZE (TREE_TYPE (exp))) != INTEGER_CST)
+       bc_emit_instruction (loadP);
+
+      /* If packed, also return offset and size */
+      if (DECL_BIT_FIELD (exp))
+       bc_push_offset_and_size (TREE_INT_CST_LOW (DECL_FIELD_BITPOS (exp)),
+                                TREE_INT_CST_LOW (DECL_SIZE (exp)));
+      
       break;
-    case GE_EXPR:
-      if (integer_onep (arg1))
-       arg1 = integer_zero_node, code = unsignedp ? GTU : GT;
-      else
-       code = unsignedp ? GEU : GE;
+
+    case STRING_CST:
+      {
+       rtx r;
+       
+       bc_emit_bytecode (constP);
+       r = output_constant_def (exp);
+       bc_emit_code_labelref (BYTECODE_LABEL (r), BYTECODE_BC_LABEL (r)->offset);
+
+#ifdef DEBUG_PRINT_CODE
+       fputc ('\n', stderr);
+#endif
+      }
       break;
+
     default:
-      abort ();
+
+      abort();
+      break;
     }
 
-  /* Put a constant second.  */
-  if (TREE_CODE (arg0) == REAL_CST || TREE_CODE (arg0) == INTEGER_CST)
+  /* Most lvalues don't have components. */
+  return (exp);
+}
+
+
+/* Emit a type code to be used by the runtime support in handling
+   parameter passing.   The type code consists of the machine mode
+   plus the minimal alignment shifted left 8 bits.  */
+
+tree
+bc_runtime_type_code (type)
+     tree type;
+{
+  int val;
+
+  switch (TREE_CODE (type))
     {
-      tem = arg0; arg0 = arg1; arg1 = tem;
-      code = swap_condition (code);
-    }
+    case VOID_TYPE:
+    case INTEGER_TYPE:
+    case REAL_TYPE:
+    case COMPLEX_TYPE:
+    case ENUMERAL_TYPE:
+    case POINTER_TYPE:
+    case RECORD_TYPE:
+
+      val = (int) TYPE_MODE (type) | TYPE_ALIGN (type) << 8;
+      break;
 
-  /* If this is an equality or inequality test of a single bit, we can
-     do this by shifting the bit being tested to the low-order bit and
-     masking the result with the constant 1.  If the condition was EQ,
-     we xor it with 1.  This does not require an scc insn and is faster
-     than an scc insn even if we have it.  */
+    case ERROR_MARK:
+
+      val = 0;
+      break;
+
+    default:
+
+      abort ();
+    }
+  return build_int_2 (val, 0);
+}
 
-  if ((code == NE || code == EQ)
-      && TREE_CODE (arg0) == BIT_AND_EXPR && integer_zerop (arg1)
-      && integer_pow2p (TREE_OPERAND (arg0, 1))
-      && TYPE_PRECISION (type) <= HOST_BITS_PER_WIDE_INT)
-    {
-      tree inner = TREE_OPERAND (arg0, 0);
-      int bitnum = exact_log2 (INTVAL (expand_expr (TREE_OPERAND (arg0, 1),
-                                                   NULL_RTX, VOIDmode, 0)));
-      int ops_unsignedp;
 
-      /* If INNER is a right shift of a constant and it plus BITNUM does
-        not overflow, adjust BITNUM and INNER.  */
+/* Generate constructor label */
+char *
+bc_gen_constr_label ()
+{
+  static int label_counter;
+  static char label[20];
 
-      if (TREE_CODE (inner) == RSHIFT_EXPR
-         && TREE_CODE (TREE_OPERAND (inner, 1)) == INTEGER_CST
-         && TREE_INT_CST_HIGH (TREE_OPERAND (inner, 1)) == 0
-         && (bitnum + TREE_INT_CST_LOW (TREE_OPERAND (inner, 1))
-             < TYPE_PRECISION (type)))
-       {
-         bitnum +=TREE_INT_CST_LOW (TREE_OPERAND (inner, 1));
-         inner = TREE_OPERAND (inner, 0);
-       }
+  sprintf (label, "*LR%d", label_counter++);
 
-      /* If we are going to be able to omit the AND below, we must do our
-        operations as unsigned.  If we must use the AND, we have a choice.
-        Normally unsigned is faster, but for some machines signed is.  */
-      ops_unsignedp = (bitnum == TYPE_PRECISION (type) - 1 ? 1
-#ifdef BYTE_LOADS_SIGN_EXTEND
-                      : 0
-#else
-                      : 1
-#endif
-                      );
+  return (obstack_copy0 (&permanent_obstack, label, strlen (label)));
+}
 
-      if (subtarget == 0 || GET_CODE (subtarget) != REG
-         || GET_MODE (subtarget) != operand_mode
-         || ! safe_from_p (subtarget, inner))
-       subtarget = 0;
 
-      op0 = expand_expr (inner, subtarget, VOIDmode, 0);
+/* Evaluate constructor CONSTR and return pointer to it on level one.  We
+   expand the constructor data as static data, and push a pointer to it.
+   The pointer is put in the pointer table and is retrieved by a constP
+   bytecode instruction.  We then loop and store each constructor member in
+   the corresponding component.  Finally, we return the original pointer on
+   the stack. */
 
-      if (bitnum != 0)
-       op0 = expand_shift (RSHIFT_EXPR, GET_MODE (op0), op0,
-                           size_int (bitnum), target, ops_unsignedp);
+void
+bc_expand_constructor (constr)
+     tree constr;
+{
+  char *l;
+  HOST_WIDE_INT ptroffs;
+  rtx constr_rtx;
 
-      if (GET_MODE (op0) != mode)
-       op0 = convert_to_mode (mode, op0, ops_unsignedp);
+  
+  /* Literal constructors are handled as constants, whereas
+     non-literals are evaluated and stored element by element
+     into the data segment. */
+  
+  /* Allocate space in proper segment and push pointer to space on stack.
+   */
 
-      if ((code == EQ && ! invert) || (code == NE && invert))
-       op0 = expand_binop (mode, xor_optab, op0, const1_rtx, target,
-                           ops_unsignedp, OPTAB_LIB_WIDEN);
+  l = bc_gen_constr_label ();
 
-      /* Put the AND last so it can combine with more things.  */
-      if (bitnum != TYPE_PRECISION (type) - 1)
-       op0 = expand_and (op0, const1_rtx, target);
+  if (TREE_CONSTANT (constr))
+    {
+      text_section ();
 
-      return op0;
+      bc_emit_const_labeldef (l);
+      bc_output_constructor (constr, int_size_in_bytes (TREE_TYPE (constr)));
     }
-
-  /* Now see if we are likely to be able to do this.  Return if not.  */
-  if (! can_compare_p (operand_mode))
-    return 0;
-  icode = setcc_gen_code[(int) code];
-  if (icode == CODE_FOR_nothing
-      || (only_cheap && insn_operand_mode[(int) icode][0] != mode))
+  else
     {
-      /* We can only do this if it is one of the special cases that
-        can be handled without an scc insn.  */
-      if ((code == LT && integer_zerop (arg1))
-         || (! only_cheap && code == GE && integer_zerop (arg1)))
-       ;
-      else if (BRANCH_COST >= 0
-              && ! only_cheap && (code == NE || code == EQ)
-              && TREE_CODE (type) != REAL_TYPE
-              && ((abs_optab->handlers[(int) operand_mode].insn_code
-                   != CODE_FOR_nothing)
-                  || (ffs_optab->handlers[(int) operand_mode].insn_code
-                      != CODE_FOR_nothing)))
-       ;
-      else
-       return 0;
+      data_section ();
+
+      bc_emit_data_labeldef (l);
+      bc_output_data_constructor (constr);
     }
-      
-  preexpand_calls (exp);
-  if (subtarget == 0 || GET_CODE (subtarget) != REG
-      || GET_MODE (subtarget) != operand_mode
-      || ! safe_from_p (subtarget, arg1))
-    subtarget = 0;
 
-  op0 = expand_expr (arg0, subtarget, VOIDmode, 0);
-  op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
+  
+  /* Add reference to pointer table and recall pointer to stack;
+     this code is common for both types of constructors: literals
+     and non-literals. */
 
-  if (target == 0)
-    target = gen_reg_rtx (mode);
+  ptroffs = bc_define_pointer (l);
+  bc_emit_instruction (constP, ptroffs);
 
-  /* Pass copies of OP0 and OP1 in case they contain a QUEUED.  This is safe
-     because, if the emit_store_flag does anything it will succeed and
-     OP0 and OP1 will not be used subsequently.  */
+  /* This is all that has to be done if it's a literal. */
+  if (TREE_CONSTANT (constr))
+    return;
 
-  result = emit_store_flag (target, code,
-                           queued_subexp_p (op0) ? copy_rtx (op0) : op0,
-                           queued_subexp_p (op1) ? copy_rtx (op1) : op1,
-                           operand_mode, unsignedp, 1);
 
-  if (result)
+  /* At this point, we have the pointer to the structure on top of the stack.
+     Generate sequences of store_memory calls for the constructor. */
+  
+  /* constructor type is structure */
+  if (TREE_CODE (TREE_TYPE (constr)) == RECORD_TYPE)
     {
-      if (invert)
-       result = expand_binop (mode, xor_optab, result, const1_rtx,
-                              result, 0, OPTAB_LIB_WIDEN);
-      return result;
+      register tree elt;
+      
+      /* If the constructor has fewer fields than the structure,
+        clear the whole structure first.  */
+      
+      if (list_length (CONSTRUCTOR_ELTS (constr))
+         != list_length (TYPE_FIELDS (TREE_TYPE (constr))))
+       {
+         bc_emit_instruction (duplicate);
+         bc_emit_instruction (constSI, (HOST_WIDE_INT) int_size_in_bytes (TREE_TYPE (constr)));
+         bc_emit_instruction (clearBLK);
+       }
+      
+      /* Store each element of the constructor into the corresponding
+        field of TARGET.  */
+      
+      for (elt = CONSTRUCTOR_ELTS (constr); elt; elt = TREE_CHAIN (elt))
+       {
+         register tree field = TREE_PURPOSE (elt);
+         register enum machine_mode mode;
+         int bitsize;
+         int bitpos;
+         int unsignedp;
+         
+         bitsize = TREE_INT_CST_LOW (DECL_SIZE (field)) /* * DECL_SIZE_UNIT (field) */;
+         mode = DECL_MODE (field);
+         unsignedp = TREE_UNSIGNED (field);
+
+         bitpos = TREE_INT_CST_LOW (DECL_FIELD_BITPOS (field));
+         
+         bc_store_field (elt, bitsize, bitpos, mode, TREE_VALUE (elt), TREE_TYPE (TREE_VALUE (elt)),
+                         /* The alignment of TARGET is
+                            at least what its type requires.  */
+                         VOIDmode, 0,
+                         TYPE_ALIGN (TREE_TYPE (constr)) / BITS_PER_UNIT,
+                         int_size_in_bytes (TREE_TYPE (constr)));
+       }
     }
+  else
+    
+    /* Constructor type is array */
+    if (TREE_CODE (TREE_TYPE (constr)) == ARRAY_TYPE)
+      {
+       register tree elt;
+       register int i;
+       tree domain = TYPE_DOMAIN (TREE_TYPE (constr));
+       int minelt = TREE_INT_CST_LOW (TYPE_MIN_VALUE (domain));
+       int maxelt = TREE_INT_CST_LOW (TYPE_MAX_VALUE (domain));
+       tree elttype = TREE_TYPE (TREE_TYPE (constr));
+       
+       /* If the constructor has fewer fields than the structure,
+          clear the whole structure first.  */
+       
+       if (list_length (CONSTRUCTOR_ELTS (constr)) < maxelt - minelt + 1)
+         {
+           bc_emit_instruction (duplicate);
+           bc_emit_instruction (constSI, (HOST_WIDE_INT) int_size_in_bytes (TREE_TYPE (constr)));
+           bc_emit_instruction (clearBLK);
+         }
+       
+       
+       /* Store each element of the constructor into the corresponding
+          element of TARGET, determined by counting the elements. */
+       
+       for (elt = CONSTRUCTOR_ELTS (constr), i = 0;
+            elt;
+            elt = TREE_CHAIN (elt), i++)
+         {
+           register enum machine_mode mode;
+           int bitsize;
+           int bitpos;
+           int unsignedp;
+           
+           mode = TYPE_MODE (elttype);
+           bitsize = GET_MODE_BITSIZE (mode);
+           unsignedp = TREE_UNSIGNED (elttype);
+           
+           bitpos = (i * TREE_INT_CST_LOW (TYPE_SIZE (elttype))
+                     /* * TYPE_SIZE_UNIT (elttype) */ );
+           
+           bc_store_field (elt, bitsize, bitpos, mode,
+                           TREE_VALUE (elt), TREE_TYPE (TREE_VALUE (elt)),
+                           /* The alignment of TARGET is
+                              at least what its type requires.  */
+                           VOIDmode, 0,
+                           TYPE_ALIGN (TREE_TYPE (constr)) / BITS_PER_UNIT,
+                           int_size_in_bytes (TREE_TYPE (constr)));
+         }
+  
+      }
+}
 
-  /* If this failed, we have to do this with set/compare/jump/set code.  */
-  if (target == 0 || GET_CODE (target) != REG
-      || reg_mentioned_p (target, op0) || reg_mentioned_p (target, op1))
-    target = gen_reg_rtx (GET_MODE (target));
 
-  emit_move_insn (target, invert ? const0_rtx : const1_rtx);
-  result = compare_from_rtx (op0, op1, code, unsignedp,
-                            operand_mode, NULL_RTX, 0);
-  if (GET_CODE (result) == CONST_INT)
-    return (((result == const0_rtx && ! invert)
-            || (result != const0_rtx && invert))
-           ? const0_rtx : const1_rtx);
+/* Store the value of EXP (an expression tree) into member FIELD of
+   structure at address on stack, which has type TYPE, mode MODE and
+   occupies BITSIZE bits, starting BITPOS bits from the beginning of the
+   structure.
 
-  label = gen_label_rtx ();
-  if (bcc_gen_fctn[(int) code] == 0)
-    abort ();
+   ALIGN is the alignment that TARGET is known to have, measured in bytes.
+   TOTAL_SIZE is its size in bytes, or -1 if variable.  */
 
-  emit_jump_insn ((*bcc_gen_fctn[(int) code]) (label));
-  emit_move_insn (target, invert ? const1_rtx : const0_rtx);
-  emit_label (label);
+void
+bc_store_field (field, bitsize, bitpos, mode, exp, type,
+               value_mode, unsignedp, align, total_size)
+     int bitsize, bitpos;
+     enum machine_mode mode;
+     tree field, exp, type;
+     enum machine_mode value_mode;
+     int unsignedp;
+     int align;
+     int total_size;
+{
 
-  return target;
-}
-\f
-/* Generate a tablejump instruction (used for switch statements).  */
+  /* Expand expression and copy pointer */
+  bc_expand_expr (exp);
+  bc_emit_instruction (over);
 
-#ifdef HAVE_tablejump
 
-/* INDEX is the value being switched on, with the lowest value
-   in the table already subtracted.
-   MODE is its expected mode (needed if INDEX is constant).
-   RANGE is the length of the jump table.
-   TABLE_LABEL is a CODE_LABEL rtx for the table itself.
+  /* If the component is a bit field, we cannot use addressing to access
+     it.  Use bit-field techniques to store in it.  */
 
-   DEFAULT_LABEL is a CODE_LABEL rtx to jump to if the
-   index value is out of range.  */
+  if (DECL_BIT_FIELD (field))
+    {
+      bc_store_bit_field (bitpos, bitsize, unsignedp);
+      return;
+    }
+  else
+    /* Not bit field */
+    {
+      HOST_WIDE_INT offset = bitpos / BITS_PER_UNIT;
+
+      /* Advance pointer to the desired member */
+      if (offset)
+       bc_emit_instruction (addconstPSI, offset);
+
+      /* Store */
+      bc_store_memory (type, field);
+    }
+}
 
+
+/* Store SI/SU in bitfield */
 void
-do_tablejump (index, mode, range, table_label, default_label)
-     rtx index, range, table_label, default_label;
-     enum machine_mode mode;
+bc_store_bit_field (offset, size, unsignedp)
+     int offset, size, unsignedp;
 {
-  register rtx temp, vector;
+  /* Push bitfield offset and size */
+  bc_push_offset_and_size (offset, size);
 
-  /* Do an unsigned comparison (in the proper mode) between the index
-     expression and the value which represents the length of the range.
-     Since we just finished subtracting the lower bound of the range
-     from the index expression, this comparison allows us to simultaneously
-     check that the original index expression value is both greater than
-     or equal to the minimum value of the range and less than or equal to
-     the maximum value of the range.  */
+  /* Store */
+  bc_emit_instruction (sstoreBI);
+}
 
-  emit_cmp_insn (range, index, LTU, NULL_RTX, mode, 1, 0);
-  emit_jump_insn (gen_bltu (default_label));
 
-  /* If index is in range, it must fit in Pmode.
-     Convert to Pmode so we can index with it.  */
-  if (mode != Pmode)
-    index = convert_to_mode (Pmode, index, 1);
+/* Load SI/SU from bitfield */
+void
+bc_load_bit_field (offset, size, unsignedp)
+     int offset, size, unsignedp;
+{
+  /* Push bitfield offset and size */
+  bc_push_offset_and_size (offset, size);
 
-  /* Don't let a MEM slip thru, because then INDEX that comes
-     out of PIC_CASE_VECTOR_ADDRESS won't be a valid address,
-     and break_out_memory_refs will go to work on it and mess it up.  */
-#ifdef PIC_CASE_VECTOR_ADDRESS
-  if (flag_pic && GET_CODE (index) != REG)
-    index = copy_to_mode_reg (Pmode, index);
-#endif
+  /* Load: sign-extend if signed, else zero-extend */
+  bc_emit_instruction (unsignedp ? zxloadBI : sxloadBI);
+}  
 
-  /* If flag_force_addr were to affect this address
-     it could interfere with the tricky assumptions made
-     about addresses that contain label-refs,
-     which may be valid only very near the tablejump itself.  */
-  /* ??? The only correct use of CASE_VECTOR_MODE is the one inside the
-     GET_MODE_SIZE, because this indicates how large insns are.  The other
-     uses should all be Pmode, because they are addresses.  This code
-     could fail if addresses and insns are not the same size.  */
-  index = gen_rtx (PLUS, Pmode,
-                  gen_rtx (MULT, Pmode, index,
-                           GEN_INT (GET_MODE_SIZE (CASE_VECTOR_MODE))),
-                  gen_rtx (LABEL_REF, Pmode, table_label));
-#ifdef PIC_CASE_VECTOR_ADDRESS
-  if (flag_pic)
-    index = PIC_CASE_VECTOR_ADDRESS (index);
-  else
-#endif
-    index = memory_address_noforce (CASE_VECTOR_MODE, index);
-  temp = gen_reg_rtx (CASE_VECTOR_MODE);
-  vector = gen_rtx (MEM, CASE_VECTOR_MODE, index);
-  RTX_UNCHANGING_P (vector) = 1;
-  convert_move (temp, vector, 0);
 
-  emit_jump_insn (gen_tablejump (temp, table_label));
+/* Adjust interpreter stack by NLEVELS.  Positive means drop NLEVELS
+   (adjust stack pointer upwards), negative means add that number of
+   levels (adjust the stack pointer downwards).  Only positive values
+   normally make sense. */
 
-#ifndef CASE_VECTOR_PC_RELATIVE
-  /* If we are generating PIC code or if the table is PC-relative, the
-     table and JUMP_INSN must be adjacent, so don't output a BARRIER.  */
-  if (! flag_pic)
-    emit_barrier ();
+void
+bc_adjust_stack (nlevels)
+     int nlevels;
+{
+  switch (nlevels)
+    {
+    case 0:
+      break;
+      
+    case 2:
+      bc_emit_instruction (drop);
+      
+    case 1:
+      bc_emit_instruction (drop);
+      break;
+      
+    default:
+      
+      bc_emit_instruction (adjstackSI, (HOST_WIDE_INT) nlevels);
+      stack_depth -= nlevels;
+    }
+
+#if defined (VALIDATE_STACK_FOR_BC)
+  VALIDATE_STACK_FOR_BC ();
 #endif
 }
-
-#endif /* HAVE_tablejump */