OSDN Git Service

2010-04-27 Jonathan Wakely <jwakely.gcc@gmail.com>
[pf3gnuchains/gcc-fork.git] / gcc / tree-ssa-operands.c
index 9bac292..aa37b97 100644 (file)
@@ -1,11 +1,12 @@
 /* SSA operands management for trees.
-   Copyright (C) 2003 Free Software Foundation, Inc.
+   Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010
+   Free Software Foundation, Inc.
 
 This file is part of GCC.
 
 GCC is free software; you can redistribute it and/or modify
 it under the terms of the GNU General Public License as published by
-the Free Software Foundation; either version 2, or (at your option)
+the Free Software Foundation; either version 3, or (at your option)
 any later version.
 
 GCC is distributed in the hope that it will be useful,
@@ -14,9 +15,8 @@ MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 GNU General Public License for more details.
 
 You should have received a copy of the GNU General Public License
-along with GCC; see the file COPYING.  If not, write to
-the Free Software Foundation, 59 Temple Place - Suite 330,
-Boston, MA 02111-1307, USA.  */
+along with GCC; see the file COPYING3.  If not see
+<http://www.gnu.org/licenses/>.  */
 
 #include "config.h"
 #include "system.h"
@@ -26,71 +26,94 @@ Boston, MA 02111-1307, USA.  */
 #include "flags.h"
 #include "function.h"
 #include "diagnostic.h"
-#include "errors.h"
+#include "tree-pretty-print.h"
+#include "gimple-pretty-print.h"
 #include "tree-flow.h"
 #include "tree-inline.h"
 #include "tree-pass.h"
 #include "ggc.h"
 #include "timevar.h"
+#include "toplev.h"
+#include "langhooks.h"
+#include "ipa-reference.h"
 
+/* This file contains the code required to manage the operands cache of the
+   SSA optimizer.  For every stmt, we maintain an operand cache in the stmt
+   annotation.  This cache contains operands that will be of interest to
+   optimizers and other passes wishing to manipulate the IL.
 
-/* This file contains the code required to manage the operands cache of the 
-   SSA optimizer.  For every stmt, we maintain an operand cache in the stmt 
-   annotation.  This cache contains operands that will be of interest to 
-   optimizers and other passes wishing to manipulate the IL. 
-
-   The operand type are broken up into REAL and VIRTUAL operands.  The real 
-   operands are represented as pointers into the stmt's operand tree.  Thus 
+   The operand type are broken up into REAL and VIRTUAL operands.  The real
+   operands are represented as pointers into the stmt's operand tree.  Thus
    any manipulation of the real operands will be reflected in the actual tree.
-   Virtual operands are represented solely in the cache, although the base 
-   variable for the SSA_NAME may, or may not occur in the stmt's tree.  
+   Virtual operands are represented solely in the cache, although the base
+   variable for the SSA_NAME may, or may not occur in the stmt's tree.
    Manipulation of the virtual operands will not be reflected in the stmt tree.
 
-   The routines in this file are concerned with creating this operand cache 
+   The routines in this file are concerned with creating this operand cache
    from a stmt tree.
 
-   get_stmt_operands() in the primary entry point. 
-
-   The operand tree is the parsed by the various get_* routines which look 
-   through the stmt tree for the occurrence of operands which may be of 
-   interest, and calls are made to the append_* routines whenever one is 
-   found.  There are 5 of these routines, each representing one of the 
-   5 types of operands. Defs, Uses, Virtual Uses, Virtual May Defs, and 
-   Virtual Must Defs.
+   The operand tree is the parsed by the various get_* routines which look
+   through the stmt tree for the occurrence of operands which may be of
+   interest, and calls are made to the append_* routines whenever one is
+   found.  There are 4 of these routines, each representing one of the
+   4 types of operands. Defs, Uses, Virtual Uses, and Virtual May Defs.
 
-   The append_* routines check for duplication, and simply keep a list of 
+   The append_* routines check for duplication, and simply keep a list of
    unique objects for each operand type in the build_* extendable vectors.
 
-   Once the stmt tree is completely parsed, the finalize_ssa_operands() 
-   routine is called, which proceeds to perform the finalization routine 
-   on each of the 5 operand vectors which have been built up.
+   Once the stmt tree is completely parsed, the finalize_ssa_operands()
+   routine is called, which proceeds to perform the finalization routine
+   on each of the 4 operand vectors which have been built up.
 
-   If the stmt had a previous operand cache, the finalization routines 
-   attempt to match up the new operands with the old ones.  If its a perfect 
-   match, the old vector is simply reused.  If it isn't a perfect match, then 
-   a new vector is created and the new operands are placed there.  For 
-   virtual operands, if the previous cache had SSA_NAME version of a 
-   variable, and that same variable occurs in the same operands cache, then 
+   If the stmt had a previous operand cache, the finalization routines
+   attempt to match up the new operands with the old ones.  If it's a perfect
+   match, the old vector is simply reused.  If it isn't a perfect match, then
+   a new vector is created and the new operands are placed there.  For
+   virtual operands, if the previous cache had SSA_NAME version of a
+   variable, and that same variable occurs in the same operands cache, then
    the new cache vector will also get the same SSA_NAME.
 
-  ie, if a stmt had a VUSE of 'a_5', and 'a' occurs in the new operand 
-  vector for VUSE, then the new vector will also be modified such that 
-  it contains 'a_5' rather than 'a'.
+   i.e., if a stmt had a VUSE of 'a_5', and 'a' occurs in the new
+   operand vector for VUSE, then the new vector will also be modified
+   such that it contains 'a_5' rather than 'a'.  */
 
-*/
+/* Structure storing statistics on how many call clobbers we have, and
+   how many where avoided.  */
 
+static struct
+{
+  /* Number of call-clobbered ops we attempt to add to calls in
+     add_call_clobbered_mem_symbols.  */
+  unsigned int clobbered_vars;
 
-/* Flags to describe operand properties in get_stmt_operands and helpers.  */
+  /* Number of write-clobbers (VDEFs) avoided by using
+     not_written information.  */
+  unsigned int static_write_clobbers_avoided;
 
-/* By default, operands are loaded.  */
-#define opf_none       0
+  /* Number of reads (VUSEs) avoided by using not_read information.  */
+  unsigned int static_read_clobbers_avoided;
+
+  /* Number of write-clobbers avoided because the variable can't escape to
+     this call.  */
+  unsigned int unescapable_clobbers_avoided;
+
+  /* Number of read-only uses we attempt to add to calls in
+     add_call_read_mem_symbols.  */
+  unsigned int readonly_clobbers;
+
+  /* Number of read-only uses we avoid using not_read information.  */
+  unsigned int static_readonly_clobbers_avoided;
+} clobber_stats;
 
-/* Operand is the target of an assignment expression or a 
-   call-clobbered variable  */
-#define opf_is_def     (1 << 0)
 
-/* Operand is the target of an assignment expression.  */
-#define opf_kill_def   (1 << 1)
+/* Flags to describe operand properties in helpers.  */
+
+/* By default, operands are loaded.  */
+#define opf_use                0
+
+/* Operand is the target of an assignment expression or a
+   call-clobbered variable.  */
+#define opf_def        (1 << 0)
 
 /* No virtual operands should be created in the expression.  This is used
    when traversing ADDR_EXPR nodes which have different semantics than
@@ -98,615 +121,446 @@ Boston, MA 02111-1307, USA.  */
    need to consider are indices into arrays.  For instance, &a.b[i] should
    generate a USE of 'i' but it should not generate a VUSE for 'a' nor a
    VUSE for 'b'.  */
-#define opf_no_vops    (1 << 2)
+#define opf_no_vops    (1 << 1)
+
+/* Operand is an implicit reference.  This is used to distinguish
+   explicit assignments in the form of MODIFY_EXPR from
+   clobbering sites like function calls or ASM_EXPRs.  */
+#define opf_implicit   (1 << 2)
 
 /* Array for building all the def operands.  */
-static GTY (()) varray_type build_defs;
+static VEC(tree,heap) *build_defs;
 
 /* Array for building all the use operands.  */
-static GTY (()) varray_type build_uses;
+static VEC(tree,heap) *build_uses;
 
-/* Array for building all the v_may_def operands.  */
-static GTY (()) varray_type build_v_may_defs;
+/* The built VDEF operand.  */
+static tree build_vdef;
 
-/* Array for building all the vuse operands.  */
-static GTY (()) varray_type build_vuses;
+/* The built VUSE operand.  */
+static tree build_vuse;
 
-/* Array for building all the v_must_def operands.  */
-static GTY (()) varray_type build_v_must_defs;
+/* Bitmap obstack for our datastructures that needs to survive across
+   compilations of multiple functions.  */
+static bitmap_obstack operands_bitmap_obstack;
 
+static void get_expr_operands (gimple, tree *, int);
 
-#ifdef ENABLE_CHECKING
-/* Used to make sure operand construction is working on the proper stmt.  */
-tree check_build_stmt;
-#endif
+/* Number of functions with initialized ssa_operands.  */
+static int n_initialized = 0;
 
-def_operand_p NULL_DEF_OPERAND_P = { NULL };
-use_operand_p NULL_USE_OPERAND_P = { NULL };
-
-static void note_addressable (tree, stmt_ann_t);
-static void get_expr_operands (tree, tree *, int);
-static void get_asm_expr_operands (tree);
-static void get_indirect_ref_operands (tree, tree, int);
-static void get_call_expr_operands (tree, tree);
-static inline void append_def (tree *);
-static inline void append_use (tree *);
-static void append_v_may_def (tree);
-static void append_v_must_def (tree);
-static void add_call_clobber_ops (tree);
-static void add_call_read_ops (tree);
-static void add_stmt_operand (tree *, tree, int);
-
-/* Return a vector of contiguous memory for NUM def operands.  */
-
-static inline def_optype
-allocate_def_optype (unsigned num)
+/* Return the DECL_UID of the base variable of T.  */
+
+static inline unsigned
+get_name_decl (const_tree t)
 {
-  def_optype def_ops;
-  unsigned size;
-  size = sizeof (struct def_optype_d) + sizeof (tree *) * (num - 1);
-  def_ops =  ggc_alloc (size);
-  def_ops->num_defs = num;
-  return def_ops;
+  if (TREE_CODE (t) != SSA_NAME)
+    return DECL_UID (t);
+  else
+    return DECL_UID (SSA_NAME_VAR (t));
 }
 
 
-/* Return a vector of contiguous memory for NUM use operands.  */
+/*  Return true if the SSA operands cache is active.  */
 
-static inline use_optype
-allocate_use_optype (unsigned num)
+bool
+ssa_operands_active (void)
 {
-  use_optype use_ops;
-  unsigned size;
-  size = sizeof (struct use_optype_d) + sizeof (tree *) * (num - 1);
-  use_ops =  ggc_alloc (size);
-  use_ops->num_uses = num;
-  return use_ops;
+  /* This function may be invoked from contexts where CFUN is NULL
+     (IPA passes), return false for now.  FIXME: operands may be
+     active in each individual function, maybe this function should
+     take CFUN as a parameter.  */
+  if (cfun == NULL)
+    return false;
+
+  return cfun->gimple_df && gimple_ssa_operands (cfun)->ops_active;
 }
 
 
-/* Return a vector of contiguous memory for NUM v_may_def operands.  */
+/* Create the VOP variable, an artificial global variable to act as a
+   representative of all of the virtual operands FUD chain.  */
 
-static inline v_may_def_optype
-allocate_v_may_def_optype (unsigned num)
+static void
+create_vop_var (void)
 {
-  v_may_def_optype v_may_def_ops;
-  unsigned size;
-  size = sizeof (struct v_may_def_optype_d) 
-          + sizeof (v_may_def_operand_type_t) * (num - 1);
-  v_may_def_ops =  ggc_alloc (size);
-  v_may_def_ops->num_v_may_defs = num;
-  return v_may_def_ops;
+  tree global_var;
+
+  gcc_assert (cfun->gimple_df->vop == NULL_TREE);
+
+  global_var = build_decl (BUILTINS_LOCATION, VAR_DECL,
+                          get_identifier (".MEM"),
+                          void_type_node);
+  DECL_ARTIFICIAL (global_var) = 1;
+  TREE_READONLY (global_var) = 0;
+  DECL_EXTERNAL (global_var) = 1;
+  TREE_STATIC (global_var) = 1;
+  TREE_USED (global_var) = 1;
+  DECL_CONTEXT (global_var) = NULL_TREE;
+  TREE_THIS_VOLATILE (global_var) = 0;
+  TREE_ADDRESSABLE (global_var) = 0;
+
+  create_var_ann (global_var);
+  add_referenced_var (global_var);
+  cfun->gimple_df->vop = global_var;
 }
 
+/* These are the sizes of the operand memory buffer in bytes which gets
+   allocated each time more operands space is required.  The final value is
+   the amount that is allocated every time after that.
+   In 1k we can fit 25 use operands (or 63 def operands) on a host with
+   8 byte pointers, that would be 10 statements each with 1 def and 2
+   uses.  */
 
-/* Return a vector of contiguous memory for NUM v_use operands.  */
+#define OP_SIZE_INIT   0
+#define OP_SIZE_1      (1024 - sizeof (void *))
+#define OP_SIZE_2      (1024 * 4 - sizeof (void *))
+#define OP_SIZE_3      (1024 * 16 - sizeof (void *))
 
-static inline vuse_optype
-allocate_vuse_optype (unsigned num)
+/* Initialize the operand cache routines.  */
+
+void
+init_ssa_operands (void)
 {
-  vuse_optype vuse_ops;
-  unsigned size;
-  size = sizeof (struct vuse_optype_d) + sizeof (tree) * (num - 1);
-  vuse_ops =  ggc_alloc (size);
-  vuse_ops->num_vuses = num;
-  return vuse_ops;
+  if (!n_initialized++)
+    {
+      build_defs = VEC_alloc (tree, heap, 5);
+      build_uses = VEC_alloc (tree, heap, 10);
+      build_vuse = NULL_TREE;
+      build_vdef = NULL_TREE;
+      bitmap_obstack_initialize (&operands_bitmap_obstack);
+    }
+
+  gcc_assert (gimple_ssa_operands (cfun)->operand_memory == NULL);
+  gimple_ssa_operands (cfun)->operand_memory_index
+     = gimple_ssa_operands (cfun)->ssa_operand_mem_size;
+  gimple_ssa_operands (cfun)->ops_active = true;
+  memset (&clobber_stats, 0, sizeof (clobber_stats));
+  gimple_ssa_operands (cfun)->ssa_operand_mem_size = OP_SIZE_INIT;
+  create_vop_var ();
 }
 
 
-/* Return a vector of contiguous memory for NUM v_must_def operands.  */
+/* Dispose of anything required by the operand routines.  */
 
-static inline v_must_def_optype
-allocate_v_must_def_optype (unsigned num)
+void
+fini_ssa_operands (void)
 {
-  v_must_def_optype v_must_def_ops;
-  unsigned size;
-  size = sizeof (struct v_must_def_optype_d) + sizeof (tree) * (num - 1);
-  v_must_def_ops =  ggc_alloc (size);
-  v_must_def_ops->num_v_must_defs = num;
-  return v_must_def_ops;
-}
+  struct ssa_operand_memory_d *ptr;
 
+  if (!--n_initialized)
+    {
+      VEC_free (tree, heap, build_defs);
+      VEC_free (tree, heap, build_uses);
+      build_vdef = NULL_TREE;
+      build_vuse = NULL_TREE;
+    }
 
-/* Free memory for USES.  */
+  gimple_ssa_operands (cfun)->free_defs = NULL;
+  gimple_ssa_operands (cfun)->free_uses = NULL;
 
-static inline void
-free_uses (use_optype *uses)
-{
-  if (*uses)
+  while ((ptr = gimple_ssa_operands (cfun)->operand_memory) != NULL)
     {
-      ggc_free (*uses);
-      *uses = NULL;
+      gimple_ssa_operands (cfun)->operand_memory
+       = gimple_ssa_operands (cfun)->operand_memory->next;
+      ggc_free (ptr);
     }
-}
 
+  gimple_ssa_operands (cfun)->ops_active = false;
 
-/* Free memory for DEFS.  */
+  if (!n_initialized)
+    bitmap_obstack_release (&operands_bitmap_obstack);
 
-static inline void
-free_defs (def_optype *defs)
-{
-  if (*defs)
+  cfun->gimple_df->vop = NULL_TREE;
+
+  if (dump_file && (dump_flags & TDF_STATS))
     {
-      ggc_free (*defs);
-      *defs = NULL;
+      fprintf (dump_file, "Original clobbered vars:           %d\n",
+              clobber_stats.clobbered_vars);
+      fprintf (dump_file, "Static write clobbers avoided:     %d\n",
+              clobber_stats.static_write_clobbers_avoided);
+      fprintf (dump_file, "Static read clobbers avoided:      %d\n",
+              clobber_stats.static_read_clobbers_avoided);
+      fprintf (dump_file, "Unescapable clobbers avoided:      %d\n",
+              clobber_stats.unescapable_clobbers_avoided);
+      fprintf (dump_file, "Original read-only clobbers:       %d\n",
+              clobber_stats.readonly_clobbers);
+      fprintf (dump_file, "Static read-only clobbers avoided: %d\n",
+              clobber_stats.static_readonly_clobbers_avoided);
     }
 }
 
 
-/* Free memory for VUSES.  */
+/* Return memory for an operand of size SIZE.  */
 
-static inline void
-free_vuses (vuse_optype *vuses)
+static inline void *
+ssa_operand_alloc (unsigned size)
 {
-  if (*vuses)
+  char *ptr;
+
+  gcc_assert (size == sizeof (struct use_optype_d)
+             || size == sizeof (struct def_optype_d));
+
+  if (gimple_ssa_operands (cfun)->operand_memory_index + size
+      >= gimple_ssa_operands (cfun)->ssa_operand_mem_size)
     {
-      ggc_free (*vuses);
-      *vuses = NULL;
+      struct ssa_operand_memory_d *ptr;
+
+      switch (gimple_ssa_operands (cfun)->ssa_operand_mem_size)
+       {
+       case OP_SIZE_INIT:
+         gimple_ssa_operands (cfun)->ssa_operand_mem_size = OP_SIZE_1;
+         break;
+       case OP_SIZE_1:
+         gimple_ssa_operands (cfun)->ssa_operand_mem_size = OP_SIZE_2;
+         break;
+       case OP_SIZE_2:
+       case OP_SIZE_3:
+         gimple_ssa_operands (cfun)->ssa_operand_mem_size = OP_SIZE_3;
+         break;
+       default:
+         gcc_unreachable ();
+       }
+
+      ptr = (struct ssa_operand_memory_d *)
+             ggc_alloc (sizeof (void *)
+                        + gimple_ssa_operands (cfun)->ssa_operand_mem_size);
+      ptr->next = gimple_ssa_operands (cfun)->operand_memory;
+      gimple_ssa_operands (cfun)->operand_memory = ptr;
+      gimple_ssa_operands (cfun)->operand_memory_index = 0;
     }
+
+  ptr = &(gimple_ssa_operands (cfun)->operand_memory
+         ->mem[gimple_ssa_operands (cfun)->operand_memory_index]);
+  gimple_ssa_operands (cfun)->operand_memory_index += size;
+  return ptr;
 }
 
 
-/* Free memory for V_MAY_DEFS.  */
+/* Allocate a DEF operand.  */
 
-static inline void
-free_v_may_defs (v_may_def_optype *v_may_defs)
+static inline struct def_optype_d *
+alloc_def (void)
 {
-  if (*v_may_defs)
+  struct def_optype_d *ret;
+  if (gimple_ssa_operands (cfun)->free_defs)
     {
-      ggc_free (*v_may_defs);
-      *v_may_defs = NULL;
+      ret = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs
+       = gimple_ssa_operands (cfun)->free_defs->next;
     }
+  else
+    ret = (struct def_optype_d *)
+         ssa_operand_alloc (sizeof (struct def_optype_d));
+  return ret;
 }
 
 
-/* Free memory for V_MUST_DEFS.  */
+/* Allocate a USE operand.  */
 
-static inline void
-free_v_must_defs (v_must_def_optype *v_must_defs)
+static inline struct use_optype_d *
+alloc_use (void)
 {
-  if (*v_must_defs)
+  struct use_optype_d *ret;
+  if (gimple_ssa_operands (cfun)->free_uses)
     {
-      ggc_free (*v_must_defs);
-      *v_must_defs = NULL;
+      ret = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses
+       = gimple_ssa_operands (cfun)->free_uses->next;
     }
+  else
+    ret = (struct use_optype_d *)
+          ssa_operand_alloc (sizeof (struct use_optype_d));
+  return ret;
 }
 
 
-/* Initialize the operand cache routines.  */
+/* Adds OP to the list of defs after LAST.  */
 
-void
-init_ssa_operands (void)
+static inline def_optype_p
+add_def_op (tree *op, def_optype_p last)
 {
-  VARRAY_TREE_PTR_INIT (build_defs, 5, "build defs");
-  VARRAY_TREE_PTR_INIT (build_uses, 10, "build uses");
-  VARRAY_TREE_INIT (build_v_may_defs, 10, "build v_may_defs");
-  VARRAY_TREE_INIT (build_vuses, 10, "build vuses");
-  VARRAY_TREE_INIT (build_v_must_defs, 10, "build v_must_defs");
+  def_optype_p new_def;
+
+  new_def = alloc_def ();
+  DEF_OP_PTR (new_def) = op;
+  last->next = new_def;
+  new_def->next = NULL;
+  return new_def;
 }
 
 
-/* Dispose of anything required by the operand routines.  */
+/* Adds OP to the list of uses of statement STMT after LAST.  */
 
-void
-fini_ssa_operands (void)
+static inline use_optype_p
+add_use_op (gimple stmt, tree *op, use_optype_p last)
 {
-  ggc_free (build_defs);
-  ggc_free (build_uses);
-  ggc_free (build_v_may_defs);
-  ggc_free (build_vuses);
-  ggc_free (build_v_must_defs);
-  build_defs = NULL;
-  build_uses = NULL;
-  build_v_may_defs = NULL;
-  build_vuses = NULL;
-  build_v_must_defs = NULL;
+  use_optype_p new_use;
+
+  new_use = alloc_use ();
+  USE_OP_PTR (new_use)->use = op;
+  link_imm_use_stmt (USE_OP_PTR (new_use), *op, stmt);
+  last->next = new_use;
+  new_use->next = NULL;
+  return new_use;
 }
 
 
-/* All the finalize_ssa_* routines do the work required to turn the build_
-   VARRAY into an operand_vector of the appropriate type.  The original vector,
-   if any, is passed in for comparison and virtual SSA_NAME reuse.  If the
-   old vector is reused, the pointer passed in is set to NULL so that 
-   the memory is not freed when the old operands are freed.  */
 
-/* Return a new def operand vector for STMT, comparing to OLD_OPS_P.  */
+/* Takes elements from build_defs and turns them into def operands of STMT.
+   TODO -- Make build_defs VEC of tree *.  */
 
-static def_optype
-finalize_ssa_defs (def_optype *old_ops_p, tree stmt ATTRIBUTE_UNUSED)
+static inline void
+finalize_ssa_defs (gimple stmt)
 {
-  unsigned num, x;
-  def_optype def_ops, old_ops;
-  bool build_diff;
-
-  num = VARRAY_ACTIVE_SIZE (build_defs);
-  if (num == 0)
-    return NULL;
+  unsigned new_i;
+  struct def_optype_d new_list;
+  def_optype_p old_ops, last;
+  unsigned int num = VEC_length (tree, build_defs);
 
   /* There should only be a single real definition per assignment.  */
-  gcc_assert (TREE_CODE (stmt) != MODIFY_EXPR || num <= 1);
-
-  old_ops = *old_ops_p;
+  gcc_assert ((stmt && gimple_code (stmt) != GIMPLE_ASSIGN) || num <= 1);
 
-  /* Compare old vector and new array.  */
-  build_diff = true;
-  if (old_ops && old_ops->num_defs == num)
+  /* Pre-pend the vdef we may have built.  */
+  if (build_vdef != NULL_TREE)
     {
-      build_diff = false;
-      for (x = 0; x < num; x++)
-        if (old_ops->defs[x].def != VARRAY_TREE_PTR (build_defs, x))
-         {
-           build_diff = true;
-           break;
-         }
+      tree oldvdef = gimple_vdef (stmt);
+      if (oldvdef
+         && TREE_CODE (oldvdef) == SSA_NAME)
+       oldvdef = SSA_NAME_VAR (oldvdef);
+      if (oldvdef != build_vdef)
+       gimple_set_vdef (stmt, build_vdef);
+      VEC_safe_insert (tree, heap, build_defs, 0, (tree)gimple_vdef_ptr (stmt));
+      ++num;
     }
 
-  if (!build_diff)
-    {
-      def_ops = old_ops;
-      *old_ops_p = NULL;
-    }
-  else
-    {
-      def_ops = allocate_def_optype (num);
-      for (x = 0; x < num ; x++)
-       def_ops->defs[x].def = VARRAY_TREE_PTR (build_defs, x);
-    }
-
-  VARRAY_POP_ALL (build_defs);
-
-  return def_ops;
-}
-
-
-/* Return a new use operand vector for STMT, comparing to OLD_OPS_P.  */
+  new_list.next = NULL;
+  last = &new_list;
 
-static use_optype
-finalize_ssa_uses (use_optype *old_ops_p, tree stmt ATTRIBUTE_UNUSED)
-{
-  unsigned num, x;
-  use_optype use_ops, old_ops;
-  bool build_diff;
-
-  num = VARRAY_ACTIVE_SIZE (build_uses);
-  if (num == 0)
-    return NULL;
-
-#ifdef ENABLE_CHECKING
-  {
-    unsigned x;
-    /* If the pointer to the operand is the statement itself, something is
-       wrong.  It means that we are pointing to a local variable (the 
-       initial call to get_stmt_operands does not pass a pointer to a 
-       statement).  */
-    for (x = 0; x < num; x++)
-      gcc_assert (*(VARRAY_TREE_PTR (build_uses, x)) != stmt);
-  }
-#endif
-  old_ops = *old_ops_p;
+  old_ops = gimple_def_ops (stmt);
 
-  /* Check if the old vector and the new array are the same.  */
-  build_diff = true;
-  if (old_ops && old_ops->num_uses == num)
-    {
-      build_diff = false;
-      for (x = 0; x < num; x++)
-        if (old_ops->uses[x].use != VARRAY_TREE_PTR (build_uses, x))
-         {
-           build_diff = true;
-           break;
-         }
-    }
+  new_i = 0;
 
-  if (!build_diff)
-    {
-      use_ops = old_ops;
-      *old_ops_p = NULL;
-    }
-  else
+  /* Clear and unlink a no longer necessary VDEF.  */
+  if (build_vdef == NULL_TREE
+      && gimple_vdef (stmt) != NULL_TREE)
     {
-      use_ops = allocate_use_optype (num);
-      for (x = 0; x < num ; x++)
-       use_ops->uses[x].use = VARRAY_TREE_PTR (build_uses, x);
+      if (TREE_CODE (gimple_vdef (stmt)) == SSA_NAME)
+       {
+         unlink_stmt_vdef (stmt);
+         release_ssa_name (gimple_vdef (stmt));
+       }
+      gimple_set_vdef (stmt, NULL_TREE);
     }
-  VARRAY_POP_ALL (build_uses);
-
-  return use_ops;
-}
-
 
-/* Return a new v_may_def operand vector for STMT, comparing to OLD_OPS_P.  */
+  /* If we have a non-SSA_NAME VDEF, mark it for renaming.  */
+  if (gimple_vdef (stmt)
+      && TREE_CODE (gimple_vdef (stmt)) != SSA_NAME)
+    mark_sym_for_renaming (gimple_vdef (stmt));
 
-static v_may_def_optype
-finalize_ssa_v_may_defs (v_may_def_optype *old_ops_p)
-{
-  unsigned num, x, i, old_num;
-  v_may_def_optype v_may_def_ops, old_ops;
-  tree result, var;
-  bool build_diff;
-
-  num = VARRAY_ACTIVE_SIZE (build_v_may_defs);
-  if (num == 0)
-    return NULL;
-
-  old_ops = *old_ops_p;
+  /* Check for the common case of 1 def that hasn't changed.  */
+  if (old_ops && old_ops->next == NULL && num == 1
+      && (tree *) VEC_index (tree, build_defs, 0) == DEF_OP_PTR (old_ops))
+    return;
 
-  /* Check if the old vector and the new array are the same.  */
-  build_diff = true;
-  if (old_ops && old_ops->num_v_may_defs == num)
+  /* If there is anything in the old list, free it.  */
+  if (old_ops)
     {
-      old_num = num;
-      build_diff = false;
-      for (x = 0; x < num; x++)
-        {
-         var = old_ops->v_may_defs[x].def;
-         if (TREE_CODE (var) == SSA_NAME)
-           var = SSA_NAME_VAR (var);
-         if (var != VARRAY_TREE (build_v_may_defs, x))
-           {
-             build_diff = true;
-             break;
-           }
-       }
+      old_ops->next = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs = old_ops;
     }
-  else
-    old_num = (old_ops ? old_ops->num_v_may_defs : 0);
 
-  if (!build_diff)
-    {
-      v_may_def_ops = old_ops;
-      *old_ops_p = NULL;
-    }
-  else
-    {
-      v_may_def_ops = allocate_v_may_def_optype (num);
-      for (x = 0; x < num; x++)
-        {
-         var = VARRAY_TREE (build_v_may_defs, x);
-         /* Look for VAR in the old operands vector.  */
-         for (i = 0; i < old_num; i++)
-           {
-             result = old_ops->v_may_defs[i].def;
-             if (TREE_CODE (result) == SSA_NAME)
-               result = SSA_NAME_VAR (result);
-             if (result == var)
-               {
-                 v_may_def_ops->v_may_defs[x] = old_ops->v_may_defs[i];
-                 break;
-               }
-           }
-         if (i == old_num)
-           {
-             v_may_def_ops->v_may_defs[x].def = var;
-             v_may_def_ops->v_may_defs[x].use = var;
-           }
-       }
-    }
-
-  /* Empty the V_MAY_DEF build vector after VUSES have been processed.  */
+  /* If there is anything remaining in the build_defs list, simply emit it.  */
+  for ( ; new_i < num; new_i++)
+    last = add_def_op ((tree *) VEC_index (tree, build_defs, new_i), last);
 
-  return v_may_def_ops;
+  /* Now set the stmt's operands.  */
+  gimple_set_def_ops (stmt, new_list.next);
 }
 
 
-/* Return a new vuse operand vector, comparing to OLD_OPS_P.  */
+/* Takes elements from build_uses and turns them into use operands of STMT.
+   TODO -- Make build_uses VEC of tree *.  */
 
-static vuse_optype
-finalize_ssa_vuses (vuse_optype *old_ops_p)
+static inline void
+finalize_ssa_uses (gimple stmt)
 {
-  unsigned num, x, i, num_v_may_defs, old_num;
-  vuse_optype vuse_ops, old_ops;
-  bool build_diff;
+  unsigned new_i;
+  struct use_optype_d new_list;
+  use_optype_p old_ops, ptr, last;
 
-  num = VARRAY_ACTIVE_SIZE (build_vuses);
-  if (num == 0)
+  /* Pre-pend the VUSE we may have built.  */
+  if (build_vuse != NULL_TREE)
     {
-      VARRAY_POP_ALL (build_v_may_defs);
-      return NULL;
+      tree oldvuse = gimple_vuse (stmt);
+      if (oldvuse
+         && TREE_CODE (oldvuse) == SSA_NAME)
+       oldvuse = SSA_NAME_VAR (oldvuse);
+      if (oldvuse != (build_vuse != NULL_TREE
+                     ? build_vuse : build_vdef))
+       gimple_set_vuse (stmt, NULL_TREE);
+      VEC_safe_insert (tree, heap, build_uses, 0, (tree)gimple_vuse_ptr (stmt));
     }
 
-  /* Remove superfluous VUSE operands.  If the statement already has a
-   V_MAY_DEF operation for a variable 'a', then a VUSE for 'a' is not
-   needed because V_MAY_DEFs imply a VUSE of the variable.  For instance,
-   suppose that variable 'a' is aliased:
-
-             # VUSE <a_2>
-             # a_3 = V_MAY_DEF <a_2>
-             a = a + 1;
+  new_list.next = NULL;
+  last = &new_list;
 
-  The VUSE <a_2> is superfluous because it is implied by the V_MAY_DEF
-  operation.  */
+  old_ops = gimple_use_ops (stmt);
 
-  num_v_may_defs = VARRAY_ACTIVE_SIZE (build_v_may_defs);
+  /* Clear a no longer necessary VUSE.  */
+  if (build_vuse == NULL_TREE
+      && gimple_vuse (stmt) != NULL_TREE)
+    gimple_set_vuse (stmt, NULL_TREE);
 
-  if (num_v_may_defs > 0)
+  /* If there is anything in the old list, free it.  */
+  if (old_ops)
     {
-      size_t i, j;
-      tree vuse;
-      for (i = 0; i < VARRAY_ACTIVE_SIZE (build_vuses); i++)
-       {
-         vuse = VARRAY_TREE (build_vuses, i);
-         for (j = 0; j < num_v_may_defs; j++)
-           {
-             if (vuse == VARRAY_TREE (build_v_may_defs, j))
-               break;
-           }
-
-         /* If we found a useless VUSE operand, remove it from the
-            operand array by replacing it with the last active element
-            in the operand array (unless the useless VUSE was the
-            last operand, in which case we simply remove it.  */
-         if (j != num_v_may_defs)
-           {
-             if (i != VARRAY_ACTIVE_SIZE (build_vuses) - 1)
-               {
-                 VARRAY_TREE (build_vuses, i)
-                   = VARRAY_TREE (build_vuses,
-                                  VARRAY_ACTIVE_SIZE (build_vuses) - 1);
-               }
-             VARRAY_POP (build_vuses);
-
-             /* We want to rescan the element at this index, unless
-                this was the last element, in which case the loop
-                terminates.  */
-             i--;
-           }
-       }
+      for (ptr = old_ops; ptr; ptr = ptr->next)
+       delink_imm_use (USE_OP_PTR (ptr));
+      old_ops->next = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses = old_ops;
     }
 
-  num = VARRAY_ACTIVE_SIZE (build_vuses);
-  /* We could have reduced the size to zero now, however.  */
-  if (num == 0)
+  /* If we added a VUSE, make sure to set the operand if it is not already
+     present and mark it for renaming.  */
+  if (build_vuse != NULL_TREE
+      && gimple_vuse (stmt) == NULL_TREE)
     {
-      VARRAY_POP_ALL (build_v_may_defs);
-      return NULL;
+      gimple_set_vuse (stmt, gimple_vop (cfun));
+      mark_sym_for_renaming (gimple_vop (cfun));
     }
 
-  old_ops = *old_ops_p;
+  /* Now create nodes for all the new nodes.  */
+  for (new_i = 0; new_i < VEC_length (tree, build_uses); new_i++)
+    last = add_use_op (stmt,
+                      (tree *) VEC_index (tree, build_uses, new_i),
+                      last);
 
-  /* Determine whether vuses is the same as the old vector.  */
-  build_diff = true;
-  if (old_ops && old_ops->num_vuses == num)
-    {
-      old_num = num;
-      build_diff = false;
-      for (x = 0; x < num ; x++)
-        {
-         tree v;
-         v = old_ops->vuses[x];
-         if (TREE_CODE (v) == SSA_NAME)
-           v = SSA_NAME_VAR (v);
-         if (v != VARRAY_TREE (build_vuses, x))
-           {
-             build_diff = true;
-             break;
-           }
-       }
-    }
-  else
-    old_num = (old_ops ? old_ops->num_vuses : 0);
-
-  if (!build_diff)
-    {
-      vuse_ops = old_ops;
-      *old_ops_p = NULL;
-    }
-  else
-    {
-      vuse_ops = allocate_vuse_optype (num);
-      for (x = 0; x < num; x++)
-        {
-         tree result, var = VARRAY_TREE (build_vuses, x);
-         /* Look for VAR in the old vector, and use that SSA_NAME.  */
-         for (i = 0; i < old_num; i++)
-           {
-             result = old_ops->vuses[i];
-             if (TREE_CODE (result) == SSA_NAME)
-               result = SSA_NAME_VAR (result);
-             if (result == var)
-               {
-                 vuse_ops->vuses[x] = old_ops->vuses[i];
-                 break;
-               }
-           }
-         if (i == old_num)
-           vuse_ops->vuses[x] = var;
-       }
-    }
-
-  /* The v_may_def build vector wasn't freed because we needed it here.
-     Free it now with the vuses build vector.  */
-  VARRAY_POP_ALL (build_vuses);
-  VARRAY_POP_ALL (build_v_may_defs);
-
-  return vuse_ops;
+  /* Now set the stmt's operands.  */
+  gimple_set_use_ops (stmt, new_list.next);
 }
 
-/* Return a new v_must_def operand vector for STMT, comparing to OLD_OPS_P.  */
-
-static v_must_def_optype
-finalize_ssa_v_must_defs (v_must_def_optype *old_ops_p, 
-                         tree stmt ATTRIBUTE_UNUSED)
-{
-  unsigned num, x, i, old_num = 0;
-  v_must_def_optype v_must_def_ops, old_ops;
-  bool build_diff;
-
-  num = VARRAY_ACTIVE_SIZE (build_v_must_defs);
-  if (num == 0)
-    return NULL;
-
-  /* There should only be a single V_MUST_DEF per assignment.  */
-  gcc_assert (TREE_CODE (stmt) != MODIFY_EXPR || num <= 1);
 
-  old_ops = *old_ops_p;
+/* Clear the in_list bits and empty the build array for VDEFs and
+   VUSEs.  */
 
-  /* Check if the old vector and the new array are the same.  */
-  build_diff = true;
-  if (old_ops && old_ops->num_v_must_defs == num)
-    {
-      old_num = num;
-      build_diff = false;
-      for (x = 0; x < num; x++)
-        {
-         tree var = old_ops->v_must_defs[x];
-         if (TREE_CODE (var) == SSA_NAME)
-           var = SSA_NAME_VAR (var);
-         if (var != VARRAY_TREE (build_v_must_defs, x))
-           {
-             build_diff = true;
-             break;
-           }
-       }
-    }
-  else
-    old_num = (old_ops ? old_ops->num_v_must_defs : 0);
-
-  if (!build_diff)
-    {
-      v_must_def_ops = old_ops;
-      *old_ops_p = NULL;
-    }
-  else
-    {
-      v_must_def_ops = allocate_v_must_def_optype (num);
-      for (x = 0; x < num ; x++)
-       {
-         tree result, var = VARRAY_TREE (build_v_must_defs, x);
-         /* Look for VAR in the original vector.  */
-         for (i = 0; i < old_num; i++)
-           {
-             result = old_ops->v_must_defs[i];
-             if (TREE_CODE (result) == SSA_NAME)
-               result = SSA_NAME_VAR (result);
-             if (result == var)
-               {
-                 v_must_def_ops->v_must_defs[x] = old_ops->v_must_defs[i];
-                 break;
-               }
-           }
-         if (i == old_num)
-           v_must_def_ops->v_must_defs[x] = var;
-       }
-    }
-  VARRAY_POP_ALL (build_v_must_defs);
-
-  return v_must_def_ops;
+static inline void
+cleanup_build_arrays (void)
+{
+  build_vdef = NULL_TREE;
+  build_vuse = NULL_TREE;
+  VEC_truncate (tree, build_defs, 0);
+  VEC_truncate (tree, build_uses, 0);
 }
 
 
 /* Finalize all the build vectors, fill the new ones into INFO.  */
 
 static inline void
-finalize_ssa_stmt_operands (tree stmt, stmt_operands_p old_ops, 
-                           stmt_operands_p new_ops)
+finalize_ssa_stmt_operands (gimple stmt)
 {
-  new_ops->def_ops = finalize_ssa_defs (&(old_ops->def_ops), stmt);
-  new_ops->use_ops = finalize_ssa_uses (&(old_ops->use_ops), stmt);
-  new_ops->v_must_def_ops 
-    = finalize_ssa_v_must_defs (&(old_ops->v_must_def_ops), stmt);
-  new_ops->v_may_def_ops = finalize_ssa_v_may_defs (&(old_ops->v_may_def_ops));
-  new_ops->vuse_ops = finalize_ssa_vuses (&(old_ops->vuse_ops));
+  finalize_ssa_defs (stmt);
+  finalize_ssa_uses (stmt);
+  cleanup_build_arrays ();
 }
 
 
@@ -715,11 +569,10 @@ finalize_ssa_stmt_operands (tree stmt, stmt_operands_p old_ops,
 static inline void
 start_ssa_stmt_operands (void)
 {
-  gcc_assert (VARRAY_ACTIVE_SIZE (build_defs) == 0);
-  gcc_assert (VARRAY_ACTIVE_SIZE (build_uses) == 0);
-  gcc_assert (VARRAY_ACTIVE_SIZE (build_vuses) == 0);
-  gcc_assert (VARRAY_ACTIVE_SIZE (build_v_may_defs) == 0);
-  gcc_assert (VARRAY_ACTIVE_SIZE (build_v_must_defs) == 0);
+  gcc_assert (VEC_length (tree, build_defs) == 0);
+  gcc_assert (VEC_length (tree, build_uses) == 0);
+  gcc_assert (build_vuse == NULL_TREE);
+  gcc_assert (build_vdef == NULL_TREE);
 }
 
 
@@ -728,7 +581,7 @@ start_ssa_stmt_operands (void)
 static inline void
 append_def (tree *def_p)
 {
-  VARRAY_PUSH_TREE_PTR (build_defs, def_p);
+  VEC_safe_push (tree, heap, build_defs, (tree) def_p);
 }
 
 
@@ -737,380 +590,384 @@ append_def (tree *def_p)
 static inline void
 append_use (tree *use_p)
 {
-  VARRAY_PUSH_TREE_PTR (build_uses, use_p);
+  VEC_safe_push (tree, heap, build_uses, (tree) use_p);
 }
 
 
-/* Add a new virtual may def for variable VAR to the build array.  */
+/* Add VAR to the set of variables that require a VDEF operator.  */
 
 static inline void
-append_v_may_def (tree var)
+append_vdef (tree var)
 {
-  unsigned i;
+  if (!optimize)
+    return;
 
-  /* Don't allow duplicate entries.  */
-  for (i = 0; i < VARRAY_ACTIVE_SIZE (build_v_may_defs); i++)
-    if (var == VARRAY_TREE (build_v_may_defs, i))
-      return;
+  gcc_assert ((build_vdef == NULL_TREE
+              || build_vdef == var)
+             && (build_vuse == NULL_TREE
+                 || build_vuse == var));
 
-  VARRAY_PUSH_TREE (build_v_may_defs, var);
+  build_vdef = var;
+  build_vuse = var;
 }
 
 
-/* Add VAR to the list of virtual uses.  */
+/* Add VAR to the set of variables that require a VUSE operator.  */
 
 static inline void
 append_vuse (tree var)
 {
-  size_t i;
+  if (!optimize)
+    return;
 
-  /* Don't allow duplicate entries.  */
-  for (i = 0; i < VARRAY_ACTIVE_SIZE (build_vuses); i++)
-    if (var == VARRAY_TREE (build_vuses, i))
-      return;
+  gcc_assert (build_vuse == NULL_TREE
+             || build_vuse == var);
 
-  VARRAY_PUSH_TREE (build_vuses, var);
+  build_vuse = var;
 }
 
+/* Add virtual operands for STMT.  FLAGS is as in get_expr_operands.  */
 
-/* Add VAR to the list of virtual must definitions for INFO.  */
-
-static inline void
-append_v_must_def (tree var)
+static void
+add_virtual_operand (gimple stmt ATTRIBUTE_UNUSED, int flags)
 {
-  unsigned i;
+  /* Add virtual operands to the stmt, unless the caller has specifically
+     requested not to do that (used when adding operands inside an
+     ADDR_EXPR expression).  */
+  if (flags & opf_no_vops)
+    return;
 
-  /* Don't allow duplicate entries.  */
-  for (i = 0; i < VARRAY_ACTIVE_SIZE (build_v_must_defs); i++)
-    if (var == VARRAY_TREE (build_v_must_defs, i))
-      return;
+  gcc_assert (!is_gimple_debug (stmt));
 
-  VARRAY_PUSH_TREE (build_v_must_defs, var);
+  if (flags & opf_def)
+    append_vdef (gimple_vop (cfun));
+  else
+    append_vuse (gimple_vop (cfun));
 }
 
-/* Create an operands cache for STMT, returning it in NEW_OPS. OLD_OPS are the
-   original operands, and if ANN is non-null, appropriate stmt flags are set
-   in the stmt's annotation.  Note that some fields in old_ops may 
-   change to NULL, although none of the memory they originally pointed to 
-   will be destroyed.  It is appropriate to call free_stmt_operands() on 
-   the value returned in old_ops.
-
-   The rationale for this: Certain optimizations wish to examine the difference
-   between new_ops and old_ops after processing.  If a set of operands don't
-   change, new_ops will simply assume the pointer in old_ops, and the old_ops
-   pointer will be set to NULL, indicating no memory needs to be cleared.  
-   Usage might appear something like:
 
-       old_ops_copy = old_ops = stmt_ann(stmt)->operands;
-       build_ssa_operands (stmt, NULL, &old_ops, &new_ops);
-          <* compare old_ops_copy and new_ops *>
-       free_ssa_operands (old_ops);                                    */
+/* Add *VAR_P to the appropriate operand array for statement STMT.
+   FLAGS is as in get_expr_operands.  If *VAR_P is a GIMPLE register,
+   it will be added to the statement's real operands, otherwise it is
+   added to virtual operands.  */
 
-void
-build_ssa_operands (tree stmt, stmt_ann_t ann, stmt_operands_p old_ops, 
-                   stmt_operands_p new_ops)
+static void
+add_stmt_operand (tree *var_p, gimple stmt, int flags)
 {
-  enum tree_code code;
-  tree_ann_t saved_ann = stmt->common.ann;
-  
-  /* Replace stmt's annotation with the one passed in for the duration
-     of the operand building process.  This allows "fake" stmts to be built
-     and not be included in other data structures which can be built here.  */
-  stmt->common.ann = (tree_ann_t) ann;
-  
-  /* Initially assume that the statement has no volatile operands, nor
-     makes aliased loads or stores.  */
-  if (ann)
-    {
-      ann->has_volatile_ops = false;
-      ann->makes_aliased_stores = false;
-      ann->makes_aliased_loads = false;
-    }
+  tree var, sym;
 
-  start_ssa_stmt_operands ();
+  gcc_assert (SSA_VAR_P (*var_p));
 
-  code = TREE_CODE (stmt);
-  switch (code)
+  var = *var_p;
+  sym = (TREE_CODE (var) == SSA_NAME ? SSA_NAME_VAR (var) : var);
+
+  /* Mark statements with volatile operands.  */
+  if (TREE_THIS_VOLATILE (sym))
+    gimple_set_has_volatile_ops (stmt, true);
+
+  if (is_gimple_reg (sym))
     {
-    case MODIFY_EXPR:
-      get_expr_operands (stmt, &TREE_OPERAND (stmt, 1), opf_none);
-      if (TREE_CODE (TREE_OPERAND (stmt, 0)) == ARRAY_REF 
-         || TREE_CODE (TREE_OPERAND (stmt, 0)) == ARRAY_RANGE_REF
-         || TREE_CODE (TREE_OPERAND (stmt, 0)) == COMPONENT_REF
-         || TREE_CODE (TREE_OPERAND (stmt, 0)) == REALPART_EXPR
-         || TREE_CODE (TREE_OPERAND (stmt, 0)) == IMAGPART_EXPR
-         /* Use a V_MAY_DEF if the RHS might throw, as the LHS won't be
-            modified in that case.  FIXME we should represent somehow
-            that it is killed on the fallthrough path.  */
-         || tree_could_throw_p (TREE_OPERAND (stmt, 1)))
-        get_expr_operands (stmt, &TREE_OPERAND (stmt, 0), opf_is_def);
+      /* The variable is a GIMPLE register.  Add it to real operands.  */
+      if (flags & opf_def)
+       append_def (var_p);
       else
-        get_expr_operands (stmt, &TREE_OPERAND (stmt, 0), 
-                          opf_is_def | opf_kill_def);
-      break;
+       append_use (var_p);
+    }
+  else
+    add_virtual_operand (stmt, flags);
+}
 
-    case COND_EXPR:
-      get_expr_operands (stmt, &COND_EXPR_COND (stmt), opf_none);
-      break;
+/* Mark the base address of REF as having its address taken.
+   REF may be a single variable whose address has been taken or any
+   other valid GIMPLE memory reference (structure reference, array,
+   etc).  */
+
+static void
+mark_address_taken (tree ref)
+{
+  tree var;
+
+  /* Note that it is *NOT OKAY* to use the target of a COMPONENT_REF
+     as the only thing we take the address of.  If VAR is a structure,
+     taking the address of a field means that the whole structure may
+     be referenced using pointer arithmetic.  See PR 21407 and the
+     ensuing mailing list discussion.  */
+  var = get_base_address (ref);
+  if (var && DECL_P (var))
+    TREE_ADDRESSABLE (var) = 1;
+}
 
-    case SWITCH_EXPR:
-      get_expr_operands (stmt, &SWITCH_COND (stmt), opf_none);
-      break;
 
-    case ASM_EXPR:
-      get_asm_expr_operands (stmt);
-      break;
+/* A subroutine of get_expr_operands to handle INDIRECT_REF,
+   ALIGN_INDIRECT_REF and MISALIGNED_INDIRECT_REF.
 
-    case RETURN_EXPR:
-      get_expr_operands (stmt, &TREE_OPERAND (stmt, 0), opf_none);
-      break;
+   STMT is the statement being processed, EXPR is the INDIRECT_REF
+      that got us here.
 
-    case GOTO_EXPR:
-      get_expr_operands (stmt, &GOTO_DESTINATION (stmt), opf_none);
-      break;
+   FLAGS is as in get_expr_operands.
 
-    case LABEL_EXPR:
-      get_expr_operands (stmt, &LABEL_EXPR_LABEL (stmt), opf_none);
-      break;
+   RECURSE_ON_BASE should be set to true if we want to continue
+      calling get_expr_operands on the base pointer, and false if
+      something else will do it for us.  */
 
-      /* These nodes contain no variable references.  */
-    case BIND_EXPR:
-    case CASE_LABEL_EXPR:
-    case TRY_CATCH_EXPR:
-    case TRY_FINALLY_EXPR:
-    case EH_FILTER_EXPR:
-    case CATCH_EXPR:
-    case RESX_EXPR:
-      break;
+static void
+get_indirect_ref_operands (gimple stmt, tree expr, int flags,
+                          bool recurse_on_base)
+{
+  tree *pptr = &TREE_OPERAND (expr, 0);
 
-    default:
-      /* Notice that if get_expr_operands tries to use &STMT as the operand
-        pointer (which may only happen for USE operands), we will abort in
-        append_use.  This default will handle statements like empty
-        statements, or CALL_EXPRs that may appear on the RHS of a statement
-        or as statements themselves.  */
-      get_expr_operands (stmt, &stmt, opf_none);
-      break;
-    }
+  if (TREE_THIS_VOLATILE (expr))
+    gimple_set_has_volatile_ops (stmt, true);
 
-  finalize_ssa_stmt_operands (stmt, old_ops, new_ops);
-  stmt->common.ann = saved_ann;
+  /* Add the VOP.  */
+  add_virtual_operand (stmt, flags);
+
+  /* If requested, add a USE operand for the base pointer.  */
+  if (recurse_on_base)
+    get_expr_operands (stmt, pptr,
+                      opf_use | (flags & opf_no_vops));
 }
 
 
-/* Free any operands vectors in OPS.  */
+/* A subroutine of get_expr_operands to handle TARGET_MEM_REF.  */
 
-static void 
-free_ssa_operands (stmt_operands_p ops)
+static void
+get_tmr_operands (gimple stmt, tree expr, int flags)
 {
-  if (ops->def_ops)
-    free_defs (&(ops->def_ops));
-  if (ops->use_ops)
-    free_uses (&(ops->use_ops));
-  if (ops->vuse_ops)
-    free_vuses (&(ops->vuse_ops));
-  if (ops->v_may_def_ops)
-    free_v_may_defs (&(ops->v_may_def_ops));
-  if (ops->v_must_def_ops)
-    free_v_must_defs (&(ops->v_must_def_ops));
+  if (TREE_THIS_VOLATILE (expr))
+    gimple_set_has_volatile_ops (stmt, true);
+
+  /* First record the real operands.  */
+  get_expr_operands (stmt, &TMR_BASE (expr), opf_use | (flags & opf_no_vops));
+  get_expr_operands (stmt, &TMR_INDEX (expr), opf_use | (flags & opf_no_vops));
+
+  if (TMR_SYMBOL (expr))
+    mark_address_taken (TMR_SYMBOL (expr));
+
+  add_virtual_operand (stmt, flags);
 }
 
 
-/* Get the operands of statement STMT.  Note that repeated calls to
-   get_stmt_operands for the same statement will do nothing until the
-   statement is marked modified by a call to modify_stmt().  */
+/* If STMT is a call that may clobber globals and other symbols that
+   escape, add them to the VDEF/VUSE lists for it.  */
 
-void
-get_stmt_operands (tree stmt)
+static void
+maybe_add_call_vops (gimple stmt)
 {
-  stmt_ann_t ann;
-  stmt_operands_t old_operands;
+  int call_flags = gimple_call_flags (stmt);
 
-  /* The optimizers cannot handle statements that are nothing but a
-     _DECL.  This indicates a bug in the gimplifier.  */
-  gcc_assert (!SSA_VAR_P (stmt));
+  /* If aliases have been computed already, add VDEF or VUSE
+     operands for all the symbols that have been found to be
+     call-clobbered.  */
+  if (!(call_flags & ECF_NOVOPS))
+    {
+      /* A 'pure' or a 'const' function never call-clobbers anything.
+        A 'noreturn' function might, but since we don't return anyway
+        there is no point in recording that.  */
+      if (!(call_flags & (ECF_PURE | ECF_CONST | ECF_NORETURN)))
+       add_virtual_operand (stmt, opf_def);
+      else if (!(call_flags & ECF_CONST))
+       add_virtual_operand (stmt, opf_use);
+    }
+}
 
-  /* Ignore error statements.  */
-  if (TREE_CODE (stmt) == ERROR_MARK)
-    return;
 
-  ann = get_stmt_ann (stmt);
+/* Scan operands in the ASM_EXPR stmt referred to in INFO.  */
 
-  /* If the statement has not been modified, the operands are still valid.  */
-  if (!ann->modified)
-    return;
+static void
+get_asm_expr_operands (gimple stmt)
+{
+  size_t i, noutputs;
+  const char **oconstraints;
+  const char *constraint;
+  bool allows_mem, allows_reg, is_inout;
 
-  timevar_push (TV_TREE_OPS);
+  noutputs = gimple_asm_noutputs (stmt);
+  oconstraints = (const char **) alloca ((noutputs) * sizeof (const char *));
 
-  old_operands = ann->operands;
-  memset (&(ann->operands), 0, sizeof (stmt_operands_t));
+  /* Gather all output operands.  */
+  for (i = 0; i < gimple_asm_noutputs (stmt); i++)
+    {
+      tree link = gimple_asm_output_op (stmt, i);
+      constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
+      oconstraints[i] = constraint;
+      parse_output_constraint (&constraint, i, 0, 0, &allows_mem,
+                              &allows_reg, &is_inout);
 
-  build_ssa_operands (stmt, ann, &old_operands, &(ann->operands));
-  free_ssa_operands (&old_operands);
+      /* This should have been split in gimplify_asm_expr.  */
+      gcc_assert (!allows_reg || !is_inout);
 
-  /* Clear the modified bit for STMT.  Subsequent calls to
-     get_stmt_operands for this statement will do nothing until the
-     statement is marked modified by a call to modify_stmt().  */
-  ann->modified = 0;
+      /* Memory operands are addressable.  Note that STMT needs the
+        address of this operand.  */
+      if (!allows_reg && allows_mem)
+       mark_address_taken (TREE_VALUE (link));
 
-  timevar_pop (TV_TREE_OPS);
+      get_expr_operands (stmt, &TREE_VALUE (link), opf_def);
+    }
+
+  /* Gather all input operands.  */
+  for (i = 0; i < gimple_asm_ninputs (stmt); i++)
+    {
+      tree link = gimple_asm_input_op (stmt, i);
+      constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
+      parse_input_constraint (&constraint, 0, 0, noutputs, 0, oconstraints,
+                             &allows_mem, &allows_reg);
+
+      /* Memory operands are addressable.  Note that STMT needs the
+        address of this operand.  */
+      if (!allows_reg && allows_mem)
+       mark_address_taken (TREE_VALUE (link));
+
+      get_expr_operands (stmt, &TREE_VALUE (link), 0);
+    }
+
+  /* Clobber all memory and addressable symbols for asm ("" : : : "memory");  */
+  for (i = 0; i < gimple_asm_nclobbers (stmt); i++)
+    {
+      tree link = gimple_asm_clobber_op (stmt, i);
+      if (strcmp (TREE_STRING_POINTER (TREE_VALUE (link)), "memory") == 0)
+       {
+         add_virtual_operand (stmt, opf_def);
+         break;
+       }
+    }
 }
 
 
-/* Recursively scan the expression pointed by EXPR_P in statement referred to
-   by INFO.  FLAGS is one of the OPF_* constants modifying how to interpret the
-   operands found.  */
+/* Recursively scan the expression pointed to by EXPR_P in statement
+   STMT.  FLAGS is one of the OPF_* constants modifying how to
+   interpret the operands found.  */
 
 static void
-get_expr_operands (tree stmt, tree *expr_p, int flags)
+get_expr_operands (gimple stmt, tree *expr_p, int flags)
 {
   enum tree_code code;
-  char class;
+  enum tree_code_class codeclass;
   tree expr = *expr_p;
+  int uflags = opf_use;
 
-  if (expr == NULL || expr == error_mark_node)
+  if (expr == NULL)
     return;
 
+  if (is_gimple_debug (stmt))
+    uflags |= (flags & opf_no_vops);
+
   code = TREE_CODE (expr);
-  class = TREE_CODE_CLASS (code);
+  codeclass = TREE_CODE_CLASS (code);
 
   switch (code)
     {
     case ADDR_EXPR:
-      /* We could have the address of a component, array member,
-        etc which has interesting variable references.  */
       /* Taking the address of a variable does not represent a
-        reference to it, but the fact that the stmt takes its address will be
-        of interest to some passes (e.g. alias resolution).  */
-      add_stmt_operand (expr_p, stmt, 0);
-
-      /* If the address is invariant, there may be no interesting variable
-        references inside.  */
+        reference to it, but the fact that the statement takes its
+        address will be of interest to some passes (e.g. alias
+        resolution).  */
+      if (!is_gimple_debug (stmt))
+       mark_address_taken (TREE_OPERAND (expr, 0));
+
+      /* If the address is invariant, there may be no interesting
+        variable references inside.  */
       if (is_gimple_min_invariant (expr))
        return;
 
-      /* There should be no VUSEs created, since the referenced objects are
-        not really accessed.  The only operands that we should find here
-        are ARRAY_REF indices which will always be real operands (GIMPLE
-        does not allow non-registers as array indices).  */
+      /* Otherwise, there may be variables referenced inside but there
+        should be no VUSEs created, since the referenced objects are
+        not really accessed.  The only operands that we should find
+        here are ARRAY_REF indices which will always be real operands
+        (GIMPLE does not allow non-registers as array indices).  */
       flags |= opf_no_vops;
-
       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
       return;
 
     case SSA_NAME:
+     add_stmt_operand (expr_p, stmt, flags);
+     return;
+
     case VAR_DECL:
     case PARM_DECL:
     case RESULT_DECL:
-      /* If we found a variable, add it to DEFS or USES depending
-        on the operand flags.  */
       add_stmt_operand (expr_p, stmt, flags);
       return;
 
-    case INDIRECT_REF:
-      get_indirect_ref_operands (stmt, expr, flags);
+    case DEBUG_EXPR_DECL:
+      gcc_assert (gimple_debug_bind_p (stmt));
       return;
 
-    case ARRAY_REF:
-    case ARRAY_RANGE_REF:
-      /* Treat array references as references to the virtual variable
-        representing the array.  The virtual variable for an ARRAY_REF
-        is the VAR_DECL for the array.  */
-
-      /* Add the virtual variable for the ARRAY_REF to VDEFS or VUSES
-        according to the value of IS_DEF.  Recurse if the LHS of the
-        ARRAY_REF node is not a regular variable.  */
-      if (SSA_VAR_P (TREE_OPERAND (expr, 0)))
-       add_stmt_operand (expr_p, stmt, flags);
-      else
-       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
+    case MISALIGNED_INDIRECT_REF:
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), flags);
+      /* fall through */
 
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 3), opf_none);
+    case ALIGN_INDIRECT_REF:
+    case INDIRECT_REF:
+      get_indirect_ref_operands (stmt, expr, flags, true);
+      return;
+
+    case TARGET_MEM_REF:
+      get_tmr_operands (stmt, expr, flags);
       return;
 
+    case ARRAY_REF:
+    case ARRAY_RANGE_REF:
     case COMPONENT_REF:
     case REALPART_EXPR:
     case IMAGPART_EXPR:
-      /* Similarly to arrays, references to compound variables (complex
-        types and structures/unions) are globbed.
-
-        FIXME: This means that
-
-                       a.x = 6;
-                       a.y = 7;
-                       foo (a.x, a.y);
-
-        will not be constant propagated because the two partial
-        definitions to 'a' will kill each other.  Note that SRA may be
-        able to fix this problem if 'a' can be scalarized.  */
+      {
+       if (TREE_THIS_VOLATILE (expr))
+         gimple_set_has_volatile_ops (stmt, true);
 
-      /* If the LHS of the compound reference is not a regular variable,
-        recurse to keep looking for more operands in the subexpression.  */
-      if (SSA_VAR_P (TREE_OPERAND (expr, 0)))
-       add_stmt_operand (expr_p, stmt, flags);
-      else
        get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
 
-      if (code == COMPONENT_REF)
-       get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
-      return;
+       if (code == COMPONENT_REF)
+         {
+           if (TREE_THIS_VOLATILE (TREE_OPERAND (expr, 1)))
+             gimple_set_has_volatile_ops (stmt, true);
+           get_expr_operands (stmt, &TREE_OPERAND (expr, 2), uflags);
+         }
+       else if (code == ARRAY_REF || code == ARRAY_RANGE_REF)
+         {
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 1), uflags);
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 2), uflags);
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 3), uflags);
+         }
+
+       return;
+      }
 
     case WITH_SIZE_EXPR:
       /* WITH_SIZE_EXPR is a pass-through reference to its first argument,
         and an rvalue reference to its second argument.  */
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), uflags);
       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
       return;
 
-    case CALL_EXPR:
-      get_call_expr_operands (stmt, expr);
-      return;
-
     case COND_EXPR:
-      get_expr_operands (stmt, &COND_EXPR_COND (expr), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
+    case VEC_COND_EXPR:
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 0), uflags);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), uflags);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 2), uflags);
       return;
 
-    case MODIFY_EXPR:
-      {
-       int subflags;
-       tree op;
-
-       get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-
-       op = TREE_OPERAND (expr, 0);
-       if (TREE_CODE (op) == WITH_SIZE_EXPR)
-         op = TREE_OPERAND (expr, 0);
-       if (TREE_CODE (op) == ARRAY_REF
-           || TREE_CODE (op) == ARRAY_RANGE_REF
-           || TREE_CODE (op) == COMPONENT_REF
-           || TREE_CODE (op) == REALPART_EXPR
-           || TREE_CODE (op) == IMAGPART_EXPR)
-         subflags = opf_is_def;
-       else
-         subflags = opf_is_def | opf_kill_def;
-
-       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), subflags);
-       return;
-      }
-
     case CONSTRUCTOR:
       {
        /* General aggregate CONSTRUCTORs have been decomposed, but they
           are still in use as the COMPLEX_EXPR equivalent for vectors.  */
+       constructor_elt *ce;
+       unsigned HOST_WIDE_INT idx;
 
-       tree t;
-       for (t = TREE_OPERAND (expr, 0); t ; t = TREE_CHAIN (t))
-         get_expr_operands (stmt, &TREE_VALUE (t), opf_none);
+       for (idx = 0;
+            VEC_iterate (constructor_elt, CONSTRUCTOR_ELTS (expr), idx, ce);
+            idx++)
+         get_expr_operands (stmt, &ce->value, uflags);
 
        return;
       }
 
-    case TRUTH_NOT_EXPR:
     case BIT_FIELD_REF:
+      if (TREE_THIS_VOLATILE (expr))
+       gimple_set_has_volatile_ops (stmt, true);
+      /* FALLTHRU */
+
+    case TRUTH_NOT_EXPR:
     case VIEW_CONVERT_EXPR:
     do_unary:
       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
@@ -1121,58 +978,36 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
     case TRUTH_XOR_EXPR:
     case COMPOUND_EXPR:
     case OBJ_TYPE_REF:
+    case ASSERT_EXPR:
     do_binary:
       {
-       tree op0 = TREE_OPERAND (expr, 0);
-       tree op1 = TREE_OPERAND (expr, 1);
-
-       /* If it would be profitable to swap the operands, then do so to
-          canonicalize the statement, enabling better optimization.
-
-          By placing canonicalization of such expressions here we
-          transparently keep statements in canonical form, even
-          when the statement is modified.  */
-       if (tree_swap_operands_p (op0, op1, false))
-         {
-           /* For relationals we need to swap the operands
-              and change the code.  */
-           if (code == LT_EXPR
-               || code == GT_EXPR
-               || code == LE_EXPR
-               || code == GE_EXPR)
-             {
-               TREE_SET_CODE (expr, swap_tree_comparison (code));
-               TREE_OPERAND (expr, 0) = op1;
-               TREE_OPERAND (expr, 1) = op0;
-             }
-         
-           /* For a commutative operator we can just swap the operands.  */
-           else if (commutative_tree_code (code))
-             {
-               TREE_OPERAND (expr, 0) = op1;
-               TREE_OPERAND (expr, 1) = op0;
-             }
-         }
-
        get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
        get_expr_operands (stmt, &TREE_OPERAND (expr, 1), flags);
        return;
       }
 
-    case BLOCK:
+    case DOT_PROD_EXPR:
+    case REALIGN_LOAD_EXPR:
+      {
+       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
+        get_expr_operands (stmt, &TREE_OPERAND (expr, 1), flags);
+        get_expr_operands (stmt, &TREE_OPERAND (expr, 2), flags);
+        return;
+      }
+
     case FUNCTION_DECL:
-    case EXC_PTR_EXPR:
-    case FILTER_EXPR:
     case LABEL_DECL:
+    case CONST_DECL:
+    case CASE_LABEL_EXPR:
       /* Expressions that make no memory references.  */
       return;
 
     default:
-      if (class == '1')
+      if (codeclass == tcc_unary)
        goto do_unary;
-      if (class == '2' || class == '<')
+      if (codeclass == tcc_binary || codeclass == tcc_comparison)
        goto do_binary;
-      if (class == 'c' || class == 't')
+      if (codeclass == tcc_constant || codeclass == tcc_type)
        return;
     }
 
@@ -1181,525 +1016,331 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
   fprintf (stderr, "unhandled expression in get_expr_operands():\n");
   debug_tree (expr);
   fputs ("\n", stderr);
-  internal_error ("internal error");
 #endif
   gcc_unreachable ();
 }
 
 
-/* Scan operands in the ASM_EXPR stmt referred to in INFO.  */
+/* Parse STMT looking for operands.  When finished, the various
+   build_* operand vectors will have potential operands in them.  */
 
 static void
-get_asm_expr_operands (tree stmt)
+parse_ssa_operands (gimple stmt)
 {
-  stmt_ann_t s_ann = stmt_ann (stmt);
-  int noutputs = list_length (ASM_OUTPUTS (stmt));
-  const char **oconstraints
-    = (const char **) alloca ((noutputs) * sizeof (const char *));
-  int i;
-  tree link;
-  const char *constraint;
-  bool allows_mem, allows_reg, is_inout;
+  enum gimple_code code = gimple_code (stmt);
 
-  for (i=0, link = ASM_OUTPUTS (stmt); link; ++i, link = TREE_CHAIN (link))
+  if (code == GIMPLE_ASM)
+    get_asm_expr_operands (stmt);
+  else if (is_gimple_debug (stmt))
     {
-      oconstraints[i] = constraint
-       = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
-      parse_output_constraint (&constraint, i, 0, 0,
-         &allows_mem, &allows_reg, &is_inout);
-
-      /* This should have been split in gimplify_asm_expr.  */
-      gcc_assert (!allows_reg || !is_inout);
-
-      /* Memory operands are addressable.  Note that STMT needs the
-        address of this operand.  */
-      if (!allows_reg && allows_mem)
-       {
-         tree t = get_base_address (TREE_VALUE (link));
-         if (t && DECL_P (t))
-           note_addressable (t, s_ann);
-       }
-
-      get_expr_operands (stmt, &TREE_VALUE (link), opf_is_def);
+      if (gimple_debug_bind_p (stmt)
+         && gimple_debug_bind_has_value_p (stmt))
+       get_expr_operands (stmt, gimple_debug_bind_get_value_ptr (stmt),
+                          opf_use | opf_no_vops);
     }
-
-  for (link = ASM_INPUTS (stmt); link; link = TREE_CHAIN (link))
+  else
     {
-      constraint
-       = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
-      parse_input_constraint (&constraint, 0, 0, noutputs, 0,
-         oconstraints, &allows_mem, &allows_reg);
+      size_t i, start = 0;
 
-      /* Memory operands are addressable.  Note that STMT needs the
-        address of this operand.  */
-      if (!allows_reg && allows_mem)
+      if (code == GIMPLE_ASSIGN || code == GIMPLE_CALL)
        {
-         tree t = get_base_address (TREE_VALUE (link));
-         if (t && DECL_P (t))
-           note_addressable (t, s_ann);
+         get_expr_operands (stmt, gimple_op_ptr (stmt, 0), opf_def);
+         start = 1;
        }
 
-      get_expr_operands (stmt, &TREE_VALUE (link), 0);
+      for (i = start; i < gimple_num_ops (stmt); i++)
+       get_expr_operands (stmt, gimple_op_ptr (stmt, i), opf_use);
+
+      /* Add call-clobbered operands, if needed.  */
+      if (code == GIMPLE_CALL)
+       maybe_add_call_vops (stmt);
     }
+}
 
 
-  /* Clobber memory for asm ("" : : : "memory");  */
-  for (link = ASM_CLOBBERS (stmt); link; link = TREE_CHAIN (link))
-    if (strcmp (TREE_STRING_POINTER (TREE_VALUE (link)), "memory") == 0)
-      {
-       size_t i;
+/* Create an operands cache for STMT.  */
 
-       /* Clobber all call-clobbered variables (or .GLOBAL_VAR if we
-          decided to group them).  */
-       if (global_var)
-         add_stmt_operand (&global_var, stmt, opf_is_def);
-       else
-         EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, i,
-             {
-               tree var = referenced_var (i);
-               add_stmt_operand (&var, stmt, opf_is_def);
-             });
-
-       /* Now clobber all addressables.  */
-       EXECUTE_IF_SET_IN_BITMAP (addressable_vars, 0, i,
-           {
-             tree var = referenced_var (i);
-             add_stmt_operand (&var, stmt, opf_is_def);
-           });
-
-       break;
-      }
+static void
+build_ssa_operands (gimple stmt)
+{
+  /* Initially assume that the statement has no volatile operands.  */
+  gimple_set_has_volatile_ops (stmt, false);
+
+  start_ssa_stmt_operands ();
+  parse_ssa_operands (stmt);
+  finalize_ssa_stmt_operands (stmt);
 }
 
-/* A subroutine of get_expr_operands to handle INDIRECT_REF.  */
 
-static void
-get_indirect_ref_operands (tree stmt, tree expr, int flags)
-{
-  tree *pptr = &TREE_OPERAND (expr, 0);
-  tree ptr = *pptr;
-  stmt_ann_t ann = stmt_ann (stmt);
+/* Releases the operands of STMT back to their freelists, and clears
+   the stmt operand lists.  */
 
-  /* Stores into INDIRECT_REF operands are never killing definitions.  */
-  flags &= ~opf_kill_def;
+void
+free_stmt_operands (gimple stmt)
+{
+  def_optype_p defs = gimple_def_ops (stmt), last_def;
+  use_optype_p uses = gimple_use_ops (stmt), last_use;
 
-  if (REF_ORIGINAL (expr))
+  if (defs)
     {
-      enum tree_code ocode = TREE_CODE (REF_ORIGINAL (expr));
-
-      /* If we originally accessed part of a structure, we do it still.  */
-      if (ocode == ARRAY_REF
-         || ocode == COMPONENT_REF
-         || ocode == REALPART_EXPR
-         || ocode == IMAGPART_EXPR)
-       flags &= ~opf_kill_def;
+      for (last_def = defs; last_def->next; last_def = last_def->next)
+       continue;
+      last_def->next = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs = defs;
+      gimple_set_def_ops (stmt, NULL);
     }
 
-  if (SSA_VAR_P (ptr))
+  if (uses)
     {
-      struct ptr_info_def *pi = NULL;
-
-      /* If PTR has flow-sensitive points-to information, use it.  */
-      if (TREE_CODE (ptr) == SSA_NAME
-         && (pi = SSA_NAME_PTR_INFO (ptr)) != NULL
-         && pi->name_mem_tag)
-       {
-         /* PTR has its own memory tag.  Use it.  */
-         add_stmt_operand (&pi->name_mem_tag, stmt, flags);
-       }
-      else
-       {
-         /* If PTR is not an SSA_NAME or it doesn't have a name
-            tag, use its type memory tag.  */
-         var_ann_t ann;
-
-         /* If we are emitting debugging dumps, display a warning if
-            PTR is an SSA_NAME with no flow-sensitive alias
-            information.  That means that we may need to compute
-            aliasing again.  */
-         if (dump_file
-             && TREE_CODE (ptr) == SSA_NAME
-             && pi == NULL)
-           {
-             fprintf (dump_file,
-                 "NOTE: no flow-sensitive alias info for ");
-             print_generic_expr (dump_file, ptr, dump_flags);
-             fprintf (dump_file, " in ");
-             print_generic_stmt (dump_file, stmt, dump_flags);
-           }
-
-         if (TREE_CODE (ptr) == SSA_NAME)
-           ptr = SSA_NAME_VAR (ptr);
-         ann = var_ann (ptr);
-         if (ann->type_mem_tag)
-           add_stmt_operand (&ann->type_mem_tag, stmt, flags);
-       }
+      for (last_use = uses; last_use->next; last_use = last_use->next)
+       delink_imm_use (USE_OP_PTR (last_use));
+      delink_imm_use (USE_OP_PTR (last_use));
+      last_use->next = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses = uses;
+      gimple_set_use_ops (stmt, NULL);
     }
 
-  /* If a constant is used as a pointer, we can't generate a real
-     operand for it but we mark the statement volatile to prevent
-     optimizations from messing things up.  */
-  else if (TREE_CODE (ptr) == INTEGER_CST)
+  if (gimple_has_mem_ops (stmt))
     {
-      if (ann)
-       ann->has_volatile_ops = true;
-      return;
+      gimple_set_vuse (stmt, NULL_TREE);
+      gimple_set_vdef (stmt, NULL_TREE);
     }
+}
 
-  /* Everything else *should* have been folded elsewhere, but users
-     are smarter than we in finding ways to write invalid code.  We
-     cannot just abort here.  If we were absolutely certain that we
-     do handle all valid cases, then we could just do nothing here.
-     That seems optimistic, so attempt to do something logical... */
-  else if ((TREE_CODE (ptr) == PLUS_EXPR || TREE_CODE (ptr) == MINUS_EXPR)
-          && TREE_CODE (TREE_OPERAND (ptr, 0)) == ADDR_EXPR
-          && TREE_CODE (TREE_OPERAND (ptr, 1)) == INTEGER_CST)
-    {
-      /* Make sure we know the object is addressable.  */
-      pptr = &TREE_OPERAND (ptr, 0);
-      add_stmt_operand (pptr, stmt, 0);
 
-      /* Mark the object itself with a VUSE.  */
-      pptr = &TREE_OPERAND (*pptr, 0);
-      get_expr_operands (stmt, pptr, flags);
-      return;
-    }
+/* Get the operands of statement STMT.  */
 
-  /* Ok, this isn't even is_gimple_min_invariant.  Something's broke.  */
-  else
-    gcc_unreachable ();
+void
+update_stmt_operands (gimple stmt)
+{
+  /* If update_stmt_operands is called before SSA is initialized, do
+     nothing.  */
+  if (!ssa_operands_active ())
+    return;
 
-  /* Add a USE operand for the base pointer.  */
-  get_expr_operands (stmt, pptr, opf_none);
+  timevar_push (TV_TREE_OPS);
+
+  gcc_assert (gimple_modified_p (stmt));
+  build_ssa_operands (stmt);
+  gimple_set_modified (stmt, false);
+
+  timevar_pop (TV_TREE_OPS);
 }
 
-/* A subroutine of get_expr_operands to handle CALL_EXPR.  */
 
-static void
-get_call_expr_operands (tree stmt, tree expr)
-{
-  tree op;
-  int call_flags = call_expr_flags (expr);
+/* Swap operands EXP0 and EXP1 in statement STMT.  No attempt is done
+   to test the validity of the swap operation.  */
 
-  /* Find uses in the called function.  */
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 0), opf_none);
+void
+swap_tree_operands (gimple stmt, tree *exp0, tree *exp1)
+{
+  tree op0, op1;
+  op0 = *exp0;
+  op1 = *exp1;
+
+  /* If the operand cache is active, attempt to preserve the relative
+     positions of these two operands in their respective immediate use
+     lists.  */
+  if (ssa_operands_active () && op0 != op1)
+    {
+      use_optype_p use0, use1, ptr;
+      use0 = use1 = NULL;
 
-  for (op = TREE_OPERAND (expr, 1); op; op = TREE_CHAIN (op))
-    get_expr_operands (stmt, &TREE_VALUE (op), opf_none);
+      /* Find the 2 operands in the cache, if they are there.  */
+      for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
+       if (USE_OP_PTR (ptr)->use == exp0)
+         {
+           use0 = ptr;
+           break;
+         }
 
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
+      for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
+       if (USE_OP_PTR (ptr)->use == exp1)
+         {
+           use1 = ptr;
+           break;
+         }
 
-  if (bitmap_first_set_bit (call_clobbered_vars) >= 0)
-    {
-      /* A 'pure' or a 'const' functions never call clobber anything. 
-        A 'noreturn' function might, but since we don't return anyway 
-        there is no point in recording that.  */ 
-      if (TREE_SIDE_EFFECTS (expr)
-         && !(call_flags & (ECF_PURE | ECF_CONST | ECF_NORETURN)))
-       add_call_clobber_ops (stmt);
-      else if (!(call_flags & ECF_CONST))
-       add_call_read_ops (stmt);
+      /* If both uses don't have operand entries, there isn't much we can do
+         at this point.  Presumably we don't need to worry about it.  */
+      if (use0 && use1)
+        {
+         tree *tmp = USE_OP_PTR (use1)->use;
+         USE_OP_PTR (use1)->use = USE_OP_PTR (use0)->use;
+         USE_OP_PTR (use0)->use = tmp;
+       }
     }
+
+  /* Now swap the data.  */
+  *exp0 = op1;
+  *exp1 = op0;
 }
 
 
-/* Add *VAR_P to the appropriate operand array for INFO.  FLAGS is as in
-   get_expr_operands.  If *VAR_P is a GIMPLE register, it will be added to
-   the statement's real operands, otherwise it is added to virtual
-   operands.  */
+/* Scan the immediate_use list for VAR making sure its linked properly.
+   Return TRUE if there is a problem and emit an error message to F.  */
 
-static void
-add_stmt_operand (tree *var_p, tree stmt, int flags)
+bool
+verify_imm_links (FILE *f, tree var)
 {
-  bool is_real_op;
-  tree var, sym;
-  stmt_ann_t s_ann = stmt_ann (stmt);
-  var_ann_t v_ann;
+  use_operand_p ptr, prev, list;
+  int count;
 
-  var = *var_p;
-  STRIP_NOPS (var);
+  gcc_assert (TREE_CODE (var) == SSA_NAME);
+
+  list = &(SSA_NAME_IMM_USE_NODE (var));
+  gcc_assert (list->use == NULL);
 
-  /* If the operand is an ADDR_EXPR, add its operand to the list of
-     variables that have had their address taken in this statement.  */
-  if (TREE_CODE (var) == ADDR_EXPR)
+  if (list->prev == NULL)
     {
-      note_addressable (TREE_OPERAND (var, 0), s_ann);
-      return;
+      gcc_assert (list->next == NULL);
+      return false;
     }
 
-  /* If the original variable is not a scalar, it will be added to the list
-     of virtual operands.  In that case, use its base symbol as the virtual
-     variable representing it.  */
-  is_real_op = is_gimple_reg (var);
-  if (!is_real_op && !DECL_P (var))
-    var = get_virtual_var (var);
+  prev = list;
+  count = 0;
+  for (ptr = list->next; ptr != list; )
+    {
+      if (prev != ptr->prev)
+       goto error;
 
-  /* If VAR is not a variable that we care to optimize, do nothing.  */
-  if (var == NULL_TREE || !SSA_VAR_P (var))
-    return;
+      if (ptr->use == NULL)
+       goto error; /* 2 roots, or SAFE guard node.  */
+      else if (*(ptr->use) != var)
+       goto error;
 
-  sym = (TREE_CODE (var) == SSA_NAME ? SSA_NAME_VAR (var) : var);
-  v_ann = var_ann (sym);
+      prev = ptr;
+      ptr = ptr->next;
 
-  /* Don't expose volatile variables to the optimizers.  */
-  if (TREE_THIS_VOLATILE (sym))
-    {
-      if (s_ann)
-       s_ann->has_volatile_ops = true;
-      return;
+      /* Avoid infinite loops.  50,000,000 uses probably indicates a
+        problem.  */
+      if (count++ > 50000000)
+       goto error;
     }
 
-  if (is_real_op)
+  /* Verify list in the other direction.  */
+  prev = list;
+  for (ptr = list->prev; ptr != list; )
     {
-      /* The variable is a GIMPLE register.  Add it to real operands.  */
-      if (flags & opf_is_def)
-       append_def (var_p);
-      else
-       append_use (var_p);
+      if (prev != ptr->next)
+       goto error;
+      prev = ptr;
+      ptr = ptr->prev;
+      if (count-- < 0)
+       goto error;
     }
-  else
-    {
-      varray_type aliases;
 
-      /* The variable is not a GIMPLE register.  Add it (or its aliases) to
-        virtual operands, unless the caller has specifically requested
-        not to add virtual operands (used when adding operands inside an
-        ADDR_EXPR expression).  */
-      if (flags & opf_no_vops)
-       return;
+  if (count != 0)
+    goto error;
 
-      aliases = v_ann->may_aliases;
+  return false;
 
-      if (aliases == NULL)
-       {
-         /* The variable is not aliased or it is an alias tag.  */
-         if (flags & opf_is_def)
-           {
-             if (flags & opf_kill_def)
-               {
-                 /* Only regular variables may get a V_MUST_DEF
-                    operand.  */
-                 gcc_assert (v_ann->mem_tag_kind == NOT_A_TAG);
-                 /* V_MUST_DEF for non-aliased, non-GIMPLE register 
-                   variable definitions.  */
-                 append_v_must_def (var);
-               }
-             else
-               {
-                 /* Add a V_MAY_DEF for call-clobbered variables and
-                    memory tags.  */
-                 append_v_may_def (var);
-               }
-           }
-         else
-           {
-             append_vuse (var);
-             if (s_ann && v_ann->is_alias_tag)
-               s_ann->makes_aliased_loads = 1;
-           }
-       }
-      else
-       {
-         size_t i;
-
-         /* The variable is aliased.  Add its aliases to the virtual
-            operands.  */
-         gcc_assert (VARRAY_ACTIVE_SIZE (aliases) != 0);
-
-         if (flags & opf_is_def)
-           {
-             /* If the variable is also an alias tag, add a virtual
-                operand for it, otherwise we will miss representing
-                references to the members of the variable's alias set.
-                This fixes the bug in gcc.c-torture/execute/20020503-1.c.  */
-             if (v_ann->is_alias_tag)
-               append_v_may_def (var);
-
-             for (i = 0; i < VARRAY_ACTIVE_SIZE (aliases); i++)
-               append_v_may_def (VARRAY_TREE (aliases, i));
-
-             if (s_ann)
-               s_ann->makes_aliased_stores = 1;
-           }
-         else
-           {
-             /* Similarly, append a virtual uses for VAR itself, when
-                it is an alias tag.  */
-             if (v_ann->is_alias_tag)
-               append_vuse (var);
-
-             for (i = 0; i < VARRAY_ACTIVE_SIZE (aliases); i++)
-               append_vuse (VARRAY_TREE (aliases, i));
-
-             if (s_ann)
-               s_ann->makes_aliased_loads = 1;
-           }
-       }
+ error:
+  if (ptr->loc.stmt && gimple_modified_p (ptr->loc.stmt))
+    {
+      fprintf (f, " STMT MODIFIED. - <%p> ", (void *)ptr->loc.stmt);
+      print_gimple_stmt (f, ptr->loc.stmt, 0, TDF_SLIM);
     }
+  fprintf (f, " IMM ERROR : (use_p : tree - %p:%p)", (void *)ptr,
+          (void *)ptr->use);
+  print_generic_expr (f, USE_FROM_PTR (ptr), TDF_SLIM);
+  fprintf(f, "\n");
+  return true;
 }
 
 
-/* Record that VAR had its address taken in the statement with annotations
-   S_ANN.  */
+/* Dump all the immediate uses to FILE.  */
 
-static void
-note_addressable (tree var, stmt_ann_t s_ann)
+void
+dump_immediate_uses_for (FILE *file, tree var)
 {
-  if (!s_ann)
-    return;
+  imm_use_iterator iter;
+  use_operand_p use_p;
+
+  gcc_assert (var && TREE_CODE (var) == SSA_NAME);
+
+  print_generic_expr (file, var, TDF_SLIM);
+  fprintf (file, " : -->");
+  if (has_zero_uses (var))
+    fprintf (file, " no uses.\n");
+  else
+    if (has_single_use (var))
+      fprintf (file, " single use.\n");
+    else
+      fprintf (file, "%d uses.\n", num_imm_uses (var));
 
-  var = get_base_address (var);
-  if (var && SSA_VAR_P (var))
+  FOR_EACH_IMM_USE_FAST (use_p, iter, var)
     {
-      if (s_ann->addresses_taken == NULL)
-       s_ann->addresses_taken = BITMAP_GGC_ALLOC ();
-      bitmap_set_bit (s_ann->addresses_taken, var_ann (var)->uid);
+      if (use_p->loc.stmt == NULL && use_p->use == NULL)
+        fprintf (file, "***end of stmt iterator marker***\n");
+      else
+       if (!is_gimple_reg (USE_FROM_PTR (use_p)))
+         print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_VOPS|TDF_MEMSYMS);
+       else
+         print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_SLIM);
     }
+  fprintf(file, "\n");
 }
 
 
-/* Add clobbering definitions for .GLOBAL_VAR or for each of the call
-   clobbered variables in the function.  */
+/* Dump all the immediate uses to FILE.  */
 
-static void
-add_call_clobber_ops (tree stmt)
+void
+dump_immediate_uses (FILE *file)
 {
-  /* Functions that are not const, pure or never return may clobber
-     call-clobbered variables.  */
-  if (stmt_ann (stmt))
-    stmt_ann (stmt)->makes_clobbering_call = true;
-
-  /* If we had created .GLOBAL_VAR earlier, use it.  Otherwise, add 
-     a V_MAY_DEF operand for every call clobbered variable.  See 
-     compute_may_aliases for the heuristic used to decide whether 
-     to create .GLOBAL_VAR or not.  */
-  if (global_var)
-    add_stmt_operand (&global_var, stmt, opf_is_def);
-  else
-    {
-      size_t i;
+  tree var;
+  unsigned int x;
 
-      EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, i,
-       {
-         tree var = referenced_var (i);
-
-         /* If VAR is read-only, don't add a V_MAY_DEF, just a 
-            VUSE operand.  */
-         if (!TREE_READONLY (var))
-           add_stmt_operand (&var, stmt, opf_is_def);
-         else
-           add_stmt_operand (&var, stmt, opf_none);
-       });
+  fprintf (file, "Immediate_uses: \n\n");
+  for (x = 1; x < num_ssa_names; x++)
+    {
+      var = ssa_name(x);
+      if (!var)
+        continue;
+      dump_immediate_uses_for (file, var);
     }
 }
 
 
-/* Add VUSE operands for .GLOBAL_VAR or all call clobbered variables in the
-   function.  */
+/* Dump def-use edges on stderr.  */
 
-static void
-add_call_read_ops (tree stmt)
+void
+debug_immediate_uses (void)
 {
-  /* Otherwise, if the function is not pure, it may reference memory.  Add
-     a VUSE for .GLOBAL_VAR if it has been created.  Otherwise, add a VUSE
-     for each call-clobbered variable.  See add_referenced_var for the
-     heuristic used to decide whether to create .GLOBAL_VAR.  */
-  if (global_var)
-    add_stmt_operand (&global_var, stmt, opf_none);
-  else
-    {
-      size_t i;
-
-      EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, i,
-       {
-         tree var = referenced_var (i);
-         add_stmt_operand (&var, stmt, opf_none);
-       });
-    }
+  dump_immediate_uses (stderr);
 }
 
-/* Copies virtual operands from SRC to DST.  */
+
+/* Dump def-use edges on stderr.  */
 
 void
-copy_virtual_operands (tree dst, tree src)
+debug_immediate_uses_for (tree var)
 {
-  unsigned i;
-  vuse_optype vuses = STMT_VUSE_OPS (src);
-  v_may_def_optype v_may_defs = STMT_V_MAY_DEF_OPS (src);
-  v_must_def_optype v_must_defs = STMT_V_MUST_DEF_OPS (src);
-  vuse_optype *vuses_new = &stmt_ann (dst)->operands.vuse_ops;
-  v_may_def_optype *v_may_defs_new = &stmt_ann (dst)->operands.v_may_def_ops;
-  v_must_def_optype *v_must_defs_new = &stmt_ann (dst)->operands.v_must_def_ops;
-
-  if (vuses)
-    {
-      *vuses_new = allocate_vuse_optype (NUM_VUSES (vuses));
-      for (i = 0; i < NUM_VUSES (vuses); i++)
-       SET_VUSE_OP (*vuses_new, i, VUSE_OP (vuses, i));
-    }
-
-  if (v_may_defs)
-    {
-      *v_may_defs_new = allocate_v_may_def_optype (NUM_V_MAY_DEFS (v_may_defs));
-      for (i = 0; i < NUM_V_MAY_DEFS (v_may_defs); i++)
-       {
-         SET_V_MAY_DEF_OP (*v_may_defs_new, i, V_MAY_DEF_OP (v_may_defs, i));
-         SET_V_MAY_DEF_RESULT (*v_may_defs_new, i, 
-                               V_MAY_DEF_RESULT (v_may_defs, i));
-       }
-    }
-
-  if (v_must_defs)
-    {
-      *v_must_defs_new = allocate_v_must_def_optype (NUM_V_MUST_DEFS (v_must_defs));
-      for (i = 0; i < NUM_V_MUST_DEFS (v_must_defs); i++)
-       SET_V_MUST_DEF_OP (*v_must_defs_new, i, V_MUST_DEF_OP (v_must_defs, i));
-    }
+  dump_immediate_uses_for (stderr, var);
 }
 
 
-/* Specifically for use in DOM's expression analysis.  Given a store, we
-   create an artificial stmt which looks like a load from the store, this can
-   be used to eliminate redundant loads.  OLD_OPS are the operands from the 
-   store stmt, and NEW_STMT is the new load which represents a load of the
-   values stored.  */
+/* Unlink STMTs virtual definition from the IL by propagating its use.  */
 
 void
-create_ssa_artficial_load_stmt (stmt_operands_p old_ops, tree new_stmt)
+unlink_stmt_vdef (gimple stmt)
 {
-  stmt_ann_t ann;
-  tree op;
-  stmt_operands_t tmp;
-  unsigned j;
-
-  memset (&tmp, 0, sizeof (stmt_operands_t));
-  ann = get_stmt_ann (new_stmt);
-
-  /* Free operands just in case is was an existing stmt.  */
-  free_ssa_operands (&(ann->operands));
-
-  build_ssa_operands (new_stmt, NULL, &tmp, &(ann->operands));
-  free_vuses (&(ann->operands.vuse_ops));
-  free_v_may_defs (&(ann->operands.v_may_def_ops));
-  free_v_must_defs (&(ann->operands.v_must_def_ops));
-
-  /* For each VDEF on the original statement, we want to create a
-     VUSE of the V_MAY_DEF result or V_MUST_DEF op on the new 
-     statement.  */
-  for (j = 0; j < NUM_V_MAY_DEFS (old_ops->v_may_def_ops); j++)
-    {
-      op = V_MAY_DEF_RESULT (old_ops->v_may_def_ops, j);
-      append_vuse (op);
-    }
-    
-  for (j = 0; j < NUM_V_MUST_DEFS (old_ops->v_must_def_ops); j++)
+  use_operand_p use_p;
+  imm_use_iterator iter;
+  gimple use_stmt;
+  tree vdef = gimple_vdef (stmt);
+
+  if (!vdef
+      || TREE_CODE (vdef) != SSA_NAME)
+    return;
+
+  FOR_EACH_IMM_USE_STMT (use_stmt, iter, gimple_vdef (stmt))
     {
-      op = V_MUST_DEF_OP (old_ops->v_must_def_ops, j);
-      append_vuse (op);
+      FOR_EACH_IMM_USE_ON_STMT (use_p, iter)
+       SET_USE (use_p, gimple_vuse (stmt));
     }
 
-  /* Now set the vuses for this new stmt.  */
-  ann->operands.vuse_ops = finalize_ssa_vuses (&(tmp.vuse_ops));
+  if (SSA_NAME_OCCURS_IN_ABNORMAL_PHI (gimple_vdef (stmt)))
+    SSA_NAME_OCCURS_IN_ABNORMAL_PHI (gimple_vuse (stmt)) = 1;
 }
 
-#include "gt-tree-ssa-operands.h"