OSDN Git Service

2008-08-18 Richard Guenther <rguenther@suse.de>
[pf3gnuchains/gcc-fork.git] / gcc / tree-ssa-operands.c
index 3cd8c45..8c94baa 100644 (file)
@@ -1,11 +1,12 @@
 /* SSA operands management for trees.
-   Copyright (C) 2003, 2004, 2005, 2006 Free Software Foundation, Inc.
+   Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008
+   Free Software Foundation, Inc.
 
 This file is part of GCC.
 
 GCC is free software; you can redistribute it and/or modify
 it under the terms of the GNU General Public License as published by
-the Free Software Foundation; either version 2, or (at your option)
+the Free Software Foundation; either version 3, or (at your option)
 any later version.
 
 GCC is distributed in the hope that it will be useful,
@@ -14,9 +15,8 @@ MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 GNU General Public License for more details.
 
 You should have received a copy of the GNU General Public License
-along with GCC; see the file COPYING.  If not, write to
-the Free Software Foundation, 51 Franklin Street, Fifth Floor,
-Boston, MA 02110-1301, USA.  */
+along with GCC; see the file COPYING3.  If not see
+<http://www.gnu.org/licenses/>.  */
 
 #include "config.h"
 #include "system.h"
@@ -53,16 +53,15 @@ Boston, MA 02110-1301, USA.  */
    The operand tree is the parsed by the various get_* routines which look 
    through the stmt tree for the occurrence of operands which may be of 
    interest, and calls are made to the append_* routines whenever one is 
-   found.  There are 5 of these routines, each representing one of the 
-   5 types of operands. Defs, Uses, Virtual Uses, Virtual May Defs, and 
-   Virtual Must Defs.
+   found.  There are 4 of these routines, each representing one of the 
+   4 types of operands. Defs, Uses, Virtual Uses, and Virtual May Defs.
 
    The append_* routines check for duplication, and simply keep a list of 
    unique objects for each operand type in the build_* extendable vectors.
 
    Once the stmt tree is completely parsed, the finalize_ssa_operands() 
    routine is called, which proceeds to perform the finalization routine 
-   on each of the 5 operand vectors which have been built up.
+   on each of the 4 operand vectors which have been built up.
 
    If the stmt had a previous operand cache, the finalization routines 
    attempt to match up the new operands with the old ones.  If it's a perfect 
@@ -72,21 +71,52 @@ Boston, MA 02110-1301, USA.  */
    variable, and that same variable occurs in the same operands cache, then 
    the new cache vector will also get the same SSA_NAME.
 
-  i.e., if a stmt had a VUSE of 'a_5', and 'a' occurs in the new operand 
-  vector for VUSE, then the new vector will also be modified such that 
-  it contains 'a_5' rather than 'a'.  */
+   i.e., if a stmt had a VUSE of 'a_5', and 'a' occurs in the new
+   operand vector for VUSE, then the new vector will also be modified
+   such that it contains 'a_5' rather than 'a'.  */
+
+/* Helper functions from gimple.c.  These are GIMPLE manipulation
+   routines that only the operand scanner should need.  */
+void gimple_set_stored_syms (gimple, bitmap, bitmap_obstack *);
+void gimple_set_loaded_syms (gimple, bitmap, bitmap_obstack *);
+
+/* Structure storing statistics on how many call clobbers we have, and
+   how many where avoided.  */
+
+static struct 
+{
+  /* Number of call-clobbered ops we attempt to add to calls in
+     add_call_clobbered_mem_symbols.  */
+  unsigned int clobbered_vars;
+
+  /* Number of write-clobbers (VDEFs) avoided by using
+     not_written information.  */
+  unsigned int static_write_clobbers_avoided;
+
+  /* Number of reads (VUSEs) avoided by using not_read information.  */
+  unsigned int static_read_clobbers_avoided;
+  
+  /* Number of write-clobbers avoided because the variable can't escape to
+     this call.  */
+  unsigned int unescapable_clobbers_avoided;
+
+  /* Number of read-only uses we attempt to add to calls in
+     add_call_read_mem_symbols.  */
+  unsigned int readonly_clobbers;
+
+  /* Number of read-only uses we avoid using not_read information.  */
+  unsigned int static_readonly_clobbers_avoided;
+} clobber_stats;
+
 
 /* Flags to describe operand properties in helpers.  */
 
 /* By default, operands are loaded.  */
-#define opf_none       0
+#define opf_use                0
 
 /* Operand is the target of an assignment expression or a 
    call-clobbered variable.  */
-#define opf_is_def     (1 << 0)
-
-/* Operand is the target of an assignment expression.  */
-#define opf_kill_def   (1 << 1)
+#define opf_def        (1 << 0)
 
 /* No virtual operands should be created in the expression.  This is used
    when traversing ADDR_EXPR nodes which have different semantics than
@@ -94,12 +124,12 @@ Boston, MA 02110-1301, USA.  */
    need to consider are indices into arrays.  For instance, &a.b[i] should
    generate a USE of 'i' but it should not generate a VUSE for 'a' nor a
    VUSE for 'b'.  */
-#define opf_no_vops    (1 << 2)
+#define opf_no_vops    (1 << 1)
 
-/* Operand is a "non-specific" kill for call-clobbers and such.  This
-   is used to distinguish "reset the world" events from explicit
-   MODIFY_EXPRs.  */
-#define opf_non_specific  (1 << 3)
+/* Operand is an implicit reference.  This is used to distinguish
+   explicit assignments in the form of MODIFY_EXPR from
+   clobbering sites like function calls or ASM_EXPRs.  */
+#define opf_implicit   (1 << 2)
 
 /* Array for building all the def operands.  */
 static VEC(tree,heap) *build_defs;
@@ -107,47 +137,74 @@ static VEC(tree,heap) *build_defs;
 /* Array for building all the use operands.  */
 static VEC(tree,heap) *build_uses;
 
-/* Array for building all the V_MAY_DEF operands.  */
-static VEC(tree,heap) *build_v_may_defs;
+/* Set for building all the VDEF operands.  */
+static VEC(tree,heap) *build_vdefs;
 
-/* Array for building all the VUSE operands.  */
+/* Set for building all the VUSE operands.  */
 static VEC(tree,heap) *build_vuses;
 
-/* Array for building all the V_MUST_DEF operands.  */
-static VEC(tree,heap) *build_v_must_defs;
+/* Bitmap obstack for our datastructures that needs to survive across  
+   compilations of multiple functions.  */
+static bitmap_obstack operands_bitmap_obstack;
+
+/* Set for building all the loaded symbols.  */
+static bitmap build_loads;
 
-/* These arrays are the cached operand vectors for call clobbered calls.  */
-static bool ops_active = false;
+/* Set for building all the stored symbols.  */
+static bitmap build_stores;
 
-static GTY (()) struct ssa_operand_memory_d *operand_memory = NULL;
-static unsigned operand_memory_index;
+static void get_expr_operands (gimple, tree *, int);
 
-static void get_expr_operands (tree, tree *, int);
+/* Number of functions with initialized ssa_operands.  */
+static int n_initialized = 0;
 
-static def_optype_p free_defs = NULL;
-static use_optype_p free_uses = NULL;
-static vuse_optype_p free_vuses = NULL;
-static maydef_optype_p free_maydefs = NULL;
-static mustdef_optype_p free_mustdefs = NULL;
+/* Statement change buffer.  Data structure used to record state
+   information for statements.  This is used to determine what needs
+   to be done in order to update the SSA web after a statement is
+   modified by a pass.  If STMT is a statement that has just been
+   created, or needs to be folded via fold_stmt, or anything that
+   changes its physical structure then the pass should:
 
-/* Allocates operand OP of given TYPE from the appropriate free list,
-   or of the new value if the list is empty.  */
+   1- Call push_stmt_changes (&stmt) to record the current state of
+      STMT before any modifications are made.
 
-#define ALLOC_OPTYPE(OP, TYPE)                         \
-  do                                                   \
-    {                                                  \
-      TYPE##_optype_p ret = free_##TYPE##s;            \
-      if (ret)                                         \
-       free_##TYPE##s = ret->next;                     \
-      else                                             \
-       ret = ssa_operand_alloc (sizeof (*ret));        \
-      (OP) = ret;                                      \
-    } while (0) 
+   2- Make all appropriate modifications to the statement.
+
+   3- Call pop_stmt_changes (&stmt) to find new symbols that
+      need to be put in SSA form, SSA name mappings for names that
+      have disappeared, recompute invariantness for address
+      expressions, cleanup EH information, etc.
+
+   If it is possible to determine that the statement was not modified,
+   instead of calling pop_stmt_changes it is quicker to call
+   discard_stmt_changes to avoid the expensive and unnecessary operand
+   re-scan and change comparison.  */
+
+struct scb_d
+{
+  /* Pointer to the statement being modified.  */
+  gimple *stmt_p;
+
+  /* If the statement references memory these are the sets of symbols
+     loaded and stored by the statement.  */
+  bitmap loads;
+  bitmap stores;
+};
+
+typedef struct scb_d *scb_t;
+DEF_VEC_P(scb_t);
+DEF_VEC_ALLOC_P(scb_t,heap);
+
+/* Stack of statement change buffers (SCB).  Every call to
+   push_stmt_changes pushes a new buffer onto the stack.  Calls to
+   pop_stmt_changes pop a buffer off of the stack and compute the set
+   of changes for the popped statement.  */
+static VEC(scb_t,heap) *scb_stack;
 
 /* Return the DECL_UID of the base variable of T.  */
 
 static inline unsigned
-get_name_decl (tree t)
+get_name_decl (const_tree t)
 {
   if (TREE_CODE (t) != SSA_NAME)
     return DECL_UID (t);
@@ -158,15 +215,13 @@ get_name_decl (tree t)
 
 /* Comparison function for qsort used in operand_build_sort_virtual.  */
 
-static int
+int
 operand_build_cmp (const void *p, const void *q)
 {
-  tree e1 = *((const tree *)p);
-  tree e2 = *((const tree *)q);
-  unsigned int u1,u2;
-
-  u1 = get_name_decl (e1);
-  u2 = get_name_decl (e2);
+  const_tree const e1 = *((const_tree const *)p);
+  const_tree const e2 = *((const_tree const *)q);
+  const unsigned int u1 = get_name_decl (e1);
+  const unsigned int u2 = get_name_decl (e2);
 
   /* We want to sort in ascending order.  They can never be equal.  */
 #ifdef ENABLE_CHECKING
@@ -206,60 +261,135 @@ operand_build_sort_virtual (VEC(tree,heap) *list)
         operand_build_cmp);
 }
 
-
 /*  Return true if the SSA operands cache is active.  */
 
 bool
 ssa_operands_active (void)
 {
-  return ops_active;
+  /* This function may be invoked from contexts where CFUN is NULL
+     (IPA passes), return false for now.  FIXME: operands may be
+     active in each individual function, maybe this function should
+     take CFUN as a parameter.  */
+  if (cfun == NULL)
+    return false;
+
+  return cfun->gimple_df && gimple_ssa_operands (cfun)->ops_active;
 }
 
 
-/* Structure storing statistics on how many call clobbers we have, and
-   how many where avoided.  */
+/* VOPs are of variable sized, so the free list maps "free buckets" to the 
+   following table:  
+    bucket   # operands
+    ------   ----------
+       0       1
+       1       2
+         ...
+       15      16
+       16      17-24
+       17      25-32
+       18      31-40
+         ...
+       29      121-128
+   Any VOPs larger than this are simply added to the largest bucket when they
+   are freed.  */
 
-static struct 
+
+/* Return the number of operands used in bucket BUCKET.  */
+
+static inline int
+vop_free_bucket_size (int bucket)
 {
-  /* Number of call-clobbered ops we attempt to add to calls in
-     add_call_clobber_ops.  */
-  unsigned int clobbered_vars;
+#ifdef ENABLE_CHECKING
+  gcc_assert (bucket >= 0 && bucket < NUM_VOP_FREE_BUCKETS);
+#endif
+  if (bucket < 16)
+    return bucket + 1;
+  return (bucket - 13) * 8;
+}
 
-  /* Number of write-clobbers (V_MAY_DEFs) avoided by using
-     not_written information.  */
-  unsigned int static_write_clobbers_avoided;
 
-  /* Number of reads (VUSEs) avoided by using not_read information.  */
-  unsigned int static_read_clobbers_avoided;
-  
-  /* Number of write-clobbers avoided because the variable can't escape to
-     this call.  */
-  unsigned int unescapable_clobbers_avoided;
+/* For a vop of NUM operands, return the bucket NUM belongs to.  If NUM is 
+   beyond the end of the bucket table, return -1.  */
 
-  /* Number of read-only uses we attempt to add to calls in
-     add_call_read_ops.  */
-  unsigned int readonly_clobbers;
+static inline int 
+vop_free_bucket_index (int num)
+{
+  gcc_assert (num > 0 && NUM_VOP_FREE_BUCKETS > 16);
+
+  /* Sizes 1 through 16 use buckets 0-15.  */
+  if (num <= 16)
+    return num - 1;
+  /* Buckets 16 - NUM_VOP_FREE_BUCKETS represent 8 unit chunks.  */
+  num = 14 + (num - 1) / 8;
+  if (num >= NUM_VOP_FREE_BUCKETS)
+    return -1;
+  else
+    return num;
+}
 
-  /* Number of read-only uses we avoid using not_read information.  */
-  unsigned int static_readonly_clobbers_avoided;
-} clobber_stats;
+
+/* Initialize the VOP free buckets.  */
+
+static inline void
+init_vop_buckets (void)
+{
+  int x;
+
+  for (x = 0; x < NUM_VOP_FREE_BUCKETS; x++)
+    gimple_ssa_operands (cfun)->vop_free_buckets[x] = NULL;
+}
+
+
+/* Add PTR to the appropriate VOP bucket.  */
+
+static inline void
+add_vop_to_freelist (voptype_p ptr)
+{
+  int bucket = vop_free_bucket_index (VUSE_VECT_NUM_ELEM (ptr->usev));
+
+  /* Too large, use the largest bucket so its not a complete throw away.  */
+  if (bucket == -1)
+    bucket = NUM_VOP_FREE_BUCKETS - 1;
+
+  ptr->next = gimple_ssa_operands (cfun)->vop_free_buckets[bucket];
+  gimple_ssa_operands (cfun)->vop_free_buckets[bucket] = ptr;
+}
+
+/* These are the sizes of the operand memory  buffer which gets allocated each 
+   time more operands space is required.  The final value is the amount that is
+   allocated every time after that.  */
   
+#define OP_SIZE_INIT   0
+#define OP_SIZE_1      30
+#define OP_SIZE_2      110
+#define OP_SIZE_3      511
 
 /* Initialize the operand cache routines.  */
 
 void
 init_ssa_operands (void)
 {
-  build_defs = VEC_alloc (tree, heap, 5);
-  build_uses = VEC_alloc (tree, heap, 10);
-  build_vuses = VEC_alloc (tree, heap, 25);
-  build_v_may_defs = VEC_alloc (tree, heap, 25);
-  build_v_must_defs = VEC_alloc (tree, heap, 25);
-
-  gcc_assert (operand_memory == NULL);
-  operand_memory_index = SSA_OPERAND_MEMORY_SIZE;
-  ops_active = true;
+  if (!n_initialized++)
+    {
+      build_defs = VEC_alloc (tree, heap, 5);
+      build_uses = VEC_alloc (tree, heap, 10);
+      build_vuses = VEC_alloc (tree, heap, 25);
+      build_vdefs = VEC_alloc (tree, heap, 25);
+      bitmap_obstack_initialize (&operands_bitmap_obstack);
+      build_loads = BITMAP_ALLOC (&operands_bitmap_obstack);
+      build_stores = BITMAP_ALLOC (&operands_bitmap_obstack);
+      scb_stack = VEC_alloc (scb_t, heap, 20);
+    }
+
+  gcc_assert (gimple_ssa_operands (cfun)->operand_memory == NULL);
+  gcc_assert (gimple_ssa_operands (cfun)->mpt_table == NULL);
+  gimple_ssa_operands (cfun)->operand_memory_index
+     = gimple_ssa_operands (cfun)->ssa_operand_mem_size;
+  gimple_ssa_operands (cfun)->ops_active = true;
   memset (&clobber_stats, 0, sizeof (clobber_stats));
+  init_vop_buckets ();
+  gimple_ssa_operands (cfun)->ssa_operand_mem_size = OP_SIZE_INIT;
 }
 
 
@@ -269,37 +399,62 @@ void
 fini_ssa_operands (void)
 {
   struct ssa_operand_memory_d *ptr;
-  VEC_free (tree, heap, build_defs);
-  VEC_free (tree, heap, build_uses);
-  VEC_free (tree, heap, build_v_must_defs);
-  VEC_free (tree, heap, build_v_may_defs);
-  VEC_free (tree, heap, build_vuses);
-  free_defs = NULL;
-  free_uses = NULL;
-  free_vuses = NULL;
-  free_maydefs = NULL;
-  free_mustdefs = NULL;
-  while ((ptr = operand_memory) != NULL)
+  unsigned ix;
+  tree mpt;
+
+  if (!--n_initialized)
     {
-      operand_memory = operand_memory->next;
+      VEC_free (tree, heap, build_defs);
+      VEC_free (tree, heap, build_uses);
+      VEC_free (tree, heap, build_vdefs);
+      VEC_free (tree, heap, build_vuses);
+      BITMAP_FREE (build_loads);
+      BITMAP_FREE (build_stores);
+
+      /* The change buffer stack had better be empty.  */
+      gcc_assert (VEC_length (scb_t, scb_stack) == 0);
+      VEC_free (scb_t, heap, scb_stack);
+      scb_stack = NULL;
+    }
+
+  gimple_ssa_operands (cfun)->free_defs = NULL;
+  gimple_ssa_operands (cfun)->free_uses = NULL;
+
+  while ((ptr = gimple_ssa_operands (cfun)->operand_memory) != NULL)
+    {
+      gimple_ssa_operands (cfun)->operand_memory
+       = gimple_ssa_operands (cfun)->operand_memory->next;
       ggc_free (ptr);
     }
 
-  ops_active = false;
-  
+  for (ix = 0;
+       VEC_iterate (tree, gimple_ssa_operands (cfun)->mpt_table, ix, mpt);
+       ix++)
+    {
+      if (mpt)
+       BITMAP_FREE (MPT_SYMBOLS (mpt));
+    }
+
+  VEC_free (tree, heap, gimple_ssa_operands (cfun)->mpt_table);
+
+  gimple_ssa_operands (cfun)->ops_active = false;
+
+  if (!n_initialized)
+    bitmap_obstack_release (&operands_bitmap_obstack);
+
   if (dump_file && (dump_flags & TDF_STATS))
     {
-      fprintf (dump_file, "Original clobbered vars:%d\n",
+      fprintf (dump_file, "Original clobbered vars:           %d\n",
               clobber_stats.clobbered_vars);
-      fprintf (dump_file, "Static write clobbers avoided:%d\n",
+      fprintf (dump_file, "Static write clobbers avoided:     %d\n",
               clobber_stats.static_write_clobbers_avoided);
-      fprintf (dump_file, "Static read clobbers avoided:%d\n",
+      fprintf (dump_file, "Static read clobbers avoided:      %d\n",
               clobber_stats.static_read_clobbers_avoided);
-      fprintf (dump_file, "Unescapable clobbers avoided:%d\n",
+      fprintf (dump_file, "Unescapable clobbers avoided:      %d\n",
               clobber_stats.unescapable_clobbers_avoided);
-      fprintf (dump_file, "Original read-only clobbers:%d\n",
+      fprintf (dump_file, "Original read-only clobbers:       %d\n",
               clobber_stats.readonly_clobbers);
-      fprintf (dump_file, "Static read-only clobbers avoided:%d\n",
+      fprintf (dump_file, "Static read-only clobbers avoided: %d\n",
               clobber_stats.static_readonly_clobbers_avoided);
     }
 }
@@ -311,238 +466,275 @@ static inline void *
 ssa_operand_alloc (unsigned size)
 {
   char *ptr;
-  if (operand_memory_index + size >= SSA_OPERAND_MEMORY_SIZE)
+
+  if (gimple_ssa_operands (cfun)->operand_memory_index + size
+      >= gimple_ssa_operands (cfun)->ssa_operand_mem_size)
     {
       struct ssa_operand_memory_d *ptr;
-      ptr = GGC_NEW (struct ssa_operand_memory_d);
-      ptr->next = operand_memory;
-      operand_memory = ptr;
-      operand_memory_index = 0;
+
+      if (gimple_ssa_operands (cfun)->ssa_operand_mem_size == OP_SIZE_INIT)
+       gimple_ssa_operands (cfun)->ssa_operand_mem_size
+          = OP_SIZE_1 * sizeof (struct voptype_d);
+      else
+       if (gimple_ssa_operands (cfun)->ssa_operand_mem_size
+           == OP_SIZE_1 * sizeof (struct voptype_d))
+         gimple_ssa_operands (cfun)->ssa_operand_mem_size
+            = OP_SIZE_2 * sizeof (struct voptype_d);
+       else
+         gimple_ssa_operands (cfun)->ssa_operand_mem_size
+            = OP_SIZE_3 * sizeof (struct voptype_d);
+
+      /* Go right to the maximum size if the request is too large.  */
+      if (size > gimple_ssa_operands (cfun)->ssa_operand_mem_size)
+        gimple_ssa_operands (cfun)->ssa_operand_mem_size
+         = OP_SIZE_3 * sizeof (struct voptype_d);
+
+      /* We can reliably trigger the case that we need arbitrary many
+        operands (see PR34093), so allocate a buffer just for this request.  */
+      if (size > gimple_ssa_operands (cfun)->ssa_operand_mem_size)
+       gimple_ssa_operands (cfun)->ssa_operand_mem_size = size;
+
+      ptr = (struct ssa_operand_memory_d *) 
+             ggc_alloc (sizeof (struct ssa_operand_memory_d) 
+                        + gimple_ssa_operands (cfun)->ssa_operand_mem_size - 1);
+      ptr->next = gimple_ssa_operands (cfun)->operand_memory;
+      gimple_ssa_operands (cfun)->operand_memory = ptr;
+      gimple_ssa_operands (cfun)->operand_memory_index = 0;
     }
-  ptr = &(operand_memory->mem[operand_memory_index]);
-  operand_memory_index += size;
+  ptr = &(gimple_ssa_operands (cfun)->operand_memory
+         ->mem[gimple_ssa_operands (cfun)->operand_memory_index]);
+  gimple_ssa_operands (cfun)->operand_memory_index += size;
   return ptr;
 }
 
 
+/* Allocate a DEF operand.  */
+
+static inline struct def_optype_d *
+alloc_def (void)
+{
+  struct def_optype_d *ret;
+  if (gimple_ssa_operands (cfun)->free_defs)
+    {
+      ret = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs
+       = gimple_ssa_operands (cfun)->free_defs->next;
+    }
+  else
+    ret = (struct def_optype_d *)
+         ssa_operand_alloc (sizeof (struct def_optype_d));
+  return ret;
+}
+
+
+/* Allocate a USE operand.  */
+
+static inline struct use_optype_d *
+alloc_use (void)
+{
+  struct use_optype_d *ret;
+  if (gimple_ssa_operands (cfun)->free_uses)
+    {
+      ret = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses
+       = gimple_ssa_operands (cfun)->free_uses->next;
+    }
+  else
+    ret = (struct use_optype_d *)
+          ssa_operand_alloc (sizeof (struct use_optype_d));
+  return ret;
+}
+
+
+/* Allocate a vop with NUM elements.  */
+
+static inline struct voptype_d *
+alloc_vop (int num)
+{
+  struct voptype_d *ret = NULL;
+  int alloc_size = 0;
+
+  int bucket = vop_free_bucket_index (num);
+  if (bucket != -1)
+    {
+      /* If there is a free operand, use it.  */
+      if (gimple_ssa_operands (cfun)->vop_free_buckets[bucket] != NULL)
+       {
+         ret = gimple_ssa_operands (cfun)->vop_free_buckets[bucket];
+         gimple_ssa_operands (cfun)->vop_free_buckets[bucket] = 
+                 gimple_ssa_operands (cfun)->vop_free_buckets[bucket]->next;
+       }
+      else
+        alloc_size = vop_free_bucket_size(bucket);
+    }
+  else
+    alloc_size = num;
+
+  if (alloc_size > 0)
+    ret = (struct voptype_d *)ssa_operand_alloc (
+       sizeof (struct voptype_d) + (alloc_size - 1) * sizeof (vuse_element_t));
+
+  VUSE_VECT_NUM_ELEM (ret->usev) = num;
+  return ret;
+}
+
 
 /* This routine makes sure that PTR is in an immediate use list, and makes
    sure the stmt pointer is set to the current stmt.  */
 
 static inline void
-set_virtual_use_link (use_operand_p ptr, tree stmt)
+set_virtual_use_link (use_operand_p ptr, gimple stmt)
 {
   /*  fold_stmt may have changed the stmt pointers.  */
-  if (ptr->stmt != stmt)
-    ptr->stmt = stmt;
+  if (ptr->loc.stmt != stmt)
+    ptr->loc.stmt = stmt;
 
   /* If this use isn't in a list, add it to the correct list.  */
   if (!ptr->prev)
     link_imm_use (ptr, *(ptr->use));
 }
 
-/* Appends ELT after TO, and moves the TO pointer to ELT.  */
-
-#define APPEND_OP_AFTER(ELT, TO)       \
-  do                                   \
-    {                                  \
-      (TO)->next = (ELT);              \
-      (TO) = (ELT);                    \
-    } while (0)
-
-/* Appends head of list FROM after TO, and move both pointers
-   to their successors.  */
-
-#define MOVE_HEAD_AFTER(FROM, TO)      \
-  do                                   \
-    {                                  \
-      APPEND_OP_AFTER (FROM, TO);      \
-      (FROM) = (FROM)->next;           \
-    } while (0)
-
-/* Moves OP to appropriate freelist.  OP is set to its successor.  */
-
-#define MOVE_HEAD_TO_FREELIST(OP, TYPE)                        \
-  do                                                   \
-    {                                                  \
-      TYPE##_optype_p next = (OP)->next;               \
-      (OP)->next = free_##TYPE##s;                     \
-      free_##TYPE##s = (OP);                           \
-      (OP) = next;                                     \
-    } while (0)
-
-/* Initializes immediate use at USE_PTR to value VAL, and links it to the list
-   of immediate uses.  STMT is the current statement.  */
-
-#define INITIALIZE_USE(USE_PTR, VAL, STMT)             \
-  do                                                   \
-    {                                                  \
-      (USE_PTR)->use = (VAL);                          \
-      link_imm_use_stmt ((USE_PTR), *(VAL), (STMT));   \
-    } while (0)
-
-/* Adds OP to the list of defs after LAST, and moves
-   LAST to the new element.  */
 
-static inline void
-add_def_op (tree *op, def_optype_p *last)
+/* Adds OP to the list of defs after LAST.  */
+
+static inline def_optype_p 
+add_def_op (tree *op, def_optype_p last)
 {
-  def_optype_p new;
+  def_optype_p new_def;
 
-  ALLOC_OPTYPE (new, def);
-  DEF_OP_PTR (new) = op;
-  APPEND_OP_AFTER (new, *last);  
+  new_def = alloc_def ();
+  DEF_OP_PTR (new_def) = op;
+  last->next = new_def;
+  new_def->next = NULL;
+  return new_def;
 }
 
-/* Adds OP to the list of uses of statement STMT after LAST, and moves
-   LAST to the new element.  */
 
-static inline void
-add_use_op (tree stmt, tree *op, use_optype_p *last)
-{
-  use_optype_p new;
+/* Adds OP to the list of uses of statement STMT after LAST.  */
 
-  ALLOC_OPTYPE (new, use);
-  INITIALIZE_USE (USE_OP_PTR (new), op, stmt);
-  APPEND_OP_AFTER (new, *last);  
+static inline use_optype_p
+add_use_op (gimple stmt, tree *op, use_optype_p last)
+{
+  use_optype_p new_use;
+
+  new_use = alloc_use ();
+  USE_OP_PTR (new_use)->use = op;
+  link_imm_use_stmt (USE_OP_PTR (new_use), *op, stmt);
+  last->next = new_use;
+  new_use->next = NULL;
+  return new_use;
 }
 
-/* Adds OP to the list of vuses of statement STMT after LAST, and moves
-   LAST to the new element.  */
 
-static inline void
-add_vuse_op (tree stmt, tree op, vuse_optype_p *last)
+/* Return a virtual op pointer with NUM elements which are all
+   initialized to OP and are linked into the immediate uses for STMT.
+   The new vop is appended after PREV.  */
+
+static inline voptype_p
+add_vop (gimple stmt, tree op, int num, voptype_p prev)
 {
-  vuse_optype_p new;
+  voptype_p new_vop;
+  int x;
 
-  ALLOC_OPTYPE (new, vuse);
-  VUSE_OP (new) = op;
-  INITIALIZE_USE (VUSE_OP_PTR (new), &VUSE_OP (new), stmt);
-  APPEND_OP_AFTER (new, *last);  
+  new_vop = alloc_vop (num);
+  for (x = 0; x < num; x++)
+    {
+      VUSE_OP_PTR (new_vop, x)->prev = NULL;
+      SET_VUSE_OP (new_vop, x, op);
+      VUSE_OP_PTR (new_vop, x)->use = &new_vop->usev.uses[x].use_var;
+      link_imm_use_stmt (VUSE_OP_PTR (new_vop, x),
+                        new_vop->usev.uses[x].use_var, stmt);
+    }
+
+  if (prev)
+    prev->next = new_vop;
+  new_vop->next = NULL;
+  return new_vop;
 }
 
-/* Adds OP to the list of maydefs of statement STMT after LAST, and moves
+
+/* Adds OP to the list of vuses of statement STMT after LAST, and moves
    LAST to the new element.  */
 
-static inline void
-add_maydef_op (tree stmt, tree op, maydef_optype_p *last)
+static inline voptype_p
+add_vuse_op (gimple stmt, tree op, int num, voptype_p last)
 {
-  maydef_optype_p new;
-
-  ALLOC_OPTYPE (new, maydef);
-  MAYDEF_RESULT (new) = op;
-  MAYDEF_OP (new) = op;
-  INITIALIZE_USE (MAYDEF_OP_PTR (new), &MAYDEF_OP (new), stmt);
-  APPEND_OP_AFTER (new, *last);  
+  voptype_p new_vop = add_vop (stmt, op, num, last);
+  VDEF_RESULT (new_vop) = NULL_TREE;
+  return new_vop;
 }
 
-/* Adds OP to the list of mustdefs of statement STMT after LAST, and moves
+
+/* Adds OP to the list of vdefs of statement STMT after LAST, and moves
    LAST to the new element.  */
 
-static inline void
-add_mustdef_op (tree stmt, tree op, mustdef_optype_p *last)
+static inline voptype_p
+add_vdef_op (gimple stmt, tree op, int num, voptype_p last)
 {
-  mustdef_optype_p new;
-
-  ALLOC_OPTYPE (new, mustdef);
-  MUSTDEF_RESULT (new) = op;
-  MUSTDEF_KILL (new) = op;
-  INITIALIZE_USE (MUSTDEF_KILL_PTR (new), &MUSTDEF_KILL (new), stmt);
-  APPEND_OP_AFTER (new, *last);
+  voptype_p new_vop = add_vop (stmt, op, num, last);
+  VDEF_RESULT (new_vop) = op;
+  return new_vop;
 }
+  
 
 /* Takes elements from build_defs and turns them into def operands of STMT.
-   TODO -- Given that def operands list is not necessarily sorted, merging
-          the operands this way does not make much sense.
-       -- Make build_defs VEC of tree *.  */
+   TODO -- Make build_defs VEC of tree *.  */
 
 static inline void
-finalize_ssa_def_ops (tree stmt)
+finalize_ssa_defs (gimple stmt)
 {
   unsigned new_i;
   struct def_optype_d new_list;
   def_optype_p old_ops, last;
-  tree *old_base;
+  unsigned int num = VEC_length (tree, build_defs);
+
+  /* There should only be a single real definition per assignment.  */
+  gcc_assert ((stmt && gimple_code (stmt) != GIMPLE_ASSIGN) || num <= 1);
 
   new_list.next = NULL;
   last = &new_list;
 
-  old_ops = DEF_OPS (stmt);
+  old_ops = gimple_def_ops (stmt);
 
   new_i = 0;
-  while (old_ops && new_i < VEC_length (tree, build_defs))
-    {
-      tree *new_base = (tree *) VEC_index (tree, build_defs, new_i);
-      old_base = DEF_OP_PTR (old_ops);
-
-      if (old_base == new_base)
-        {
-         /* if variables are the same, reuse this node.  */
-         MOVE_HEAD_AFTER (old_ops, last);
-         new_i++;
-       }
-      else if (old_base < new_base)
-       {
-         /* if old is less than new, old goes to the free list.  */
-         MOVE_HEAD_TO_FREELIST (old_ops, def);
-       }
-      else
-       {
-         /* This is a new operand.  */
-         add_def_op (new_base, &last);
-         new_i++;
-       }
-    }
-
-  /* If there is anything remaining in the build_defs list, simply emit it.  */
-  for ( ; new_i < VEC_length (tree, build_defs); new_i++)
-    add_def_op ((tree *) VEC_index (tree, build_defs, new_i), &last);
 
-  last->next = NULL;
+  /* Check for the common case of 1 def that hasn't changed.  */
+  if (old_ops && old_ops->next == NULL && num == 1
+      && (tree *) VEC_index (tree, build_defs, 0) == DEF_OP_PTR (old_ops))
+    return;
 
   /* If there is anything in the old list, free it.  */
   if (old_ops)
     {
-      old_ops->next = free_defs;
-      free_defs = old_ops;
+      old_ops->next = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs = old_ops;
     }
 
+  /* If there is anything remaining in the build_defs list, simply emit it.  */
+  for ( ; new_i < num; new_i++)
+    last = add_def_op ((tree *) VEC_index (tree, build_defs, new_i), last);
+
   /* Now set the stmt's operands.  */
-  DEF_OPS (stmt) = new_list.next;
+  gimple_set_def_ops (stmt, new_list.next);
 
 #ifdef ENABLE_CHECKING
   {
     def_optype_p ptr;
     unsigned x = 0;
-    for (ptr = DEF_OPS (stmt); ptr; ptr = ptr->next)
+    for (ptr = gimple_def_ops (stmt); ptr; ptr = ptr->next)
       x++;
 
-    gcc_assert (x == VEC_length (tree, build_defs));
+    gcc_assert (x == num);
   }
 #endif
 }
 
-/* This routine will create stmt operands for STMT from the def build list.  */
-
-static void
-finalize_ssa_defs (tree stmt)
-{
-  unsigned int num = VEC_length (tree, build_defs);
-
-  /* There should only be a single real definition per assignment.  */
-  gcc_assert ((stmt && TREE_CODE (stmt) != MODIFY_EXPR) || num <= 1);
-
-  /* If there is an old list, often the new list is identical, or close, so
-     find the elements at the beginning that are the same as the vector.  */
-  finalize_ssa_def_ops (stmt);
-  VEC_truncate (tree, build_defs, 0);
-}
 
 /* Takes elements from build_uses and turns them into use operands of STMT.
    TODO -- Make build_uses VEC of tree *.  */
 
 static inline void
-finalize_ssa_use_ops (tree stmt)
+finalize_ssa_uses (gimple stmt)
 {
   unsigned new_i;
   struct use_optype_d new_list;
@@ -551,30 +743,30 @@ finalize_ssa_use_ops (tree stmt)
   new_list.next = NULL;
   last = &new_list;
 
-  old_ops = USE_OPS (stmt);
+  old_ops = gimple_use_ops (stmt);
 
   /* If there is anything in the old list, free it.  */
   if (old_ops)
     {
       for (ptr = old_ops; ptr; ptr = ptr->next)
        delink_imm_use (USE_OP_PTR (ptr));
-      old_ops->next = free_uses;
-      free_uses = old_ops;
+      old_ops->next = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses = old_ops;
     }
 
   /* Now create nodes for all the new nodes.  */
   for (new_i = 0; new_i < VEC_length (tree, build_uses); new_i++)
-    add_use_op (stmt, (tree *) VEC_index (tree, build_uses, new_i), &last);
-
-  last->next = NULL;
+    last = add_use_op (stmt, 
+                      (tree *) VEC_index (tree, build_uses, new_i), 
+                      last);
 
   /* Now set the stmt's operands.  */
-  USE_OPS (stmt) = new_list.next;
+  gimple_set_use_ops (stmt, new_list.next);
 
 #ifdef ENABLE_CHECKING
   {
     unsigned x = 0;
-    for (ptr = USE_OPS (stmt); ptr; ptr = ptr->next)
+    for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
       x++;
 
     gcc_assert (x == VEC_length (tree, build_uses));
@@ -582,370 +774,289 @@ finalize_ssa_use_ops (tree stmt)
 #endif
 }
 
-/* Return a new use operand vector for STMT, comparing to OLD_OPS_P.  */
-                                                                              
-static void
-finalize_ssa_uses (tree stmt)
-{
-#ifdef ENABLE_CHECKING
-  {
-    unsigned x;
-    unsigned num = VEC_length (tree, build_uses);
-
-    /* If the pointer to the operand is the statement itself, something is
-       wrong.  It means that we are pointing to a local variable (the 
-       initial call to update_stmt_operands does not pass a pointer to a 
-       statement).  */
-    for (x = 0; x < num; x++)
-      gcc_assert (*((tree *)VEC_index (tree, build_uses, x)) != stmt);
-  }
-#endif
-  finalize_ssa_use_ops (stmt);
-  VEC_truncate (tree, build_uses, 0);
-}
-
 
-/* Takes elements from build_v_may_defs and turns them into maydef operands of
+/* Takes elements from BUILD_VDEFS and turns them into vdef operands of
    STMT.  */
 
 static inline void
-finalize_ssa_v_may_def_ops (tree stmt)
+finalize_ssa_vdefs (gimple stmt)
 {
   unsigned new_i;
-  struct maydef_optype_d new_list;
-  maydef_optype_p old_ops, ptr, last;
-  tree act;
-  unsigned old_base, new_base;
+  struct voptype_d new_list;
+  voptype_p old_ops, ptr, last;
+
+  /* Set the symbols referenced by STMT.  */
+  gimple_set_stored_syms (stmt, build_stores, &operands_bitmap_obstack);
+
+  /* If aliases have not been computed, do not instantiate a virtual
+     operator on STMT.  Initially, we only compute the SSA form on
+     GIMPLE registers.  The virtual SSA form is only computed after
+     alias analysis, so virtual operators will remain unrenamed and
+     the verifier will complain.  However, alias analysis needs to
+     access symbol load/store information, so we need to compute
+     those.  */
+  if (!gimple_aliases_computed_p (cfun))
+    return;
 
   new_list.next = NULL;
   last = &new_list;
 
-  old_ops = MAYDEF_OPS (stmt);
-
+  old_ops = gimple_vdef_ops (stmt);
   new_i = 0;
-  while (old_ops && new_i < VEC_length (tree, build_v_may_defs))
+  while (old_ops && new_i < VEC_length (tree, build_vdefs))
     {
-      act = VEC_index (tree, build_v_may_defs, new_i);
-      new_base = get_name_decl (act);
-      old_base = get_name_decl (MAYDEF_OP (old_ops));
+      tree op = VEC_index (tree, build_vdefs, new_i);
+      unsigned new_uid = get_name_decl (op);
+      unsigned old_uid = get_name_decl (VDEF_RESULT (old_ops));
 
-      if (old_base == new_base)
+      /* FIXME, for now each VDEF operator should have at most one
+        operand in their RHS.  */
+      gcc_assert (VDEF_NUM (old_ops) == 1);
+
+      if (old_uid == new_uid)
         {
-         /* if variables are the same, reuse this node.  */
-         MOVE_HEAD_AFTER (old_ops, last);
-         set_virtual_use_link (MAYDEF_OP_PTR (last), stmt);
+         /* If the symbols are the same, reuse the existing operand.  */
+         last->next = old_ops;
+         last = old_ops;
+         old_ops = old_ops->next;
+         last->next = NULL;
+         set_virtual_use_link (VDEF_OP_PTR (last, 0), stmt);
          new_i++;
        }
-      else if (old_base < new_base)
+      else if (old_uid < new_uid)
        {
-         /* if old is less than new, old goes to the free list.  */
-         delink_imm_use (MAYDEF_OP_PTR (old_ops));
-         MOVE_HEAD_TO_FREELIST (old_ops, maydef);
+         /* If old is less than new, old goes to the free list.  */
+         voptype_p next;
+         delink_imm_use (VDEF_OP_PTR (old_ops, 0));
+         next = old_ops->next;
+         add_vop_to_freelist (old_ops);
+         old_ops = next;
        }
       else
        {
          /* This is a new operand.  */
-         add_maydef_op (stmt, act, &last);
+         last = add_vdef_op (stmt, op, 1, last);
          new_i++;
        }
     }
 
-  /* If there is anything remaining in the build_v_may_defs list, simply emit it.  */
-  for ( ; new_i < VEC_length (tree, build_v_may_defs); new_i++)
-    add_maydef_op (stmt, VEC_index (tree, build_v_may_defs, new_i), &last);
-
-  last->next = NULL;
+  /* If there is anything remaining in BUILD_VDEFS, simply emit it.  */
+  for ( ; new_i < VEC_length (tree, build_vdefs); new_i++)
+    last = add_vdef_op (stmt, VEC_index (tree, build_vdefs, new_i), 1, last);
 
   /* If there is anything in the old list, free it.  */
   if (old_ops)
     {
-      for (ptr = old_ops; ptr; ptr = ptr->next)
-       delink_imm_use (MAYDEF_OP_PTR (ptr));
-      old_ops->next = free_maydefs;
-      free_maydefs = old_ops;
+      for (ptr = old_ops; ptr; ptr = last)
+        {
+         last = ptr->next;
+         delink_imm_use (VDEF_OP_PTR (ptr, 0));
+         add_vop_to_freelist (ptr);
+       }
     }
 
-  /* Now set the stmt's operands.  */
-  MAYDEF_OPS (stmt) = new_list.next;
+  /* Now set STMT's operands.  */
+  gimple_set_vdef_ops (stmt, new_list.next);
 
 #ifdef ENABLE_CHECKING
   {
     unsigned x = 0;
-    for (ptr = MAYDEF_OPS (stmt); ptr; ptr = ptr->next)
+    for (ptr = gimple_vdef_ops (stmt); ptr; ptr = ptr->next)
       x++;
 
-    gcc_assert (x == VEC_length (tree, build_v_may_defs));
+    gcc_assert (x == VEC_length (tree, build_vdefs));
   }
 #endif
 }
 
-static void
-finalize_ssa_v_may_defs (tree stmt)
-{
-  finalize_ssa_v_may_def_ops (stmt);
-}
-                                                                               
-
-/* Clear the in_list bits and empty the build array for V_MAY_DEFs.  */
-
-static inline void
-cleanup_v_may_defs (void)
-{
-  unsigned x, num;
-  num = VEC_length (tree, build_v_may_defs);
-
-  for (x = 0; x < num; x++)
-    {
-      tree t = VEC_index (tree, build_v_may_defs, x);
-      if (TREE_CODE (t) != SSA_NAME)
-       {
-         var_ann_t ann = var_ann (t);
-         ann->in_v_may_def_list = 0;
-       }
-    }
-  VEC_truncate (tree, build_v_may_defs, 0);
-}                                                                             
-
 
-/* Takes elements from build_vuses and turns them into vuse operands of
+/* Takes elements from BUILD_VUSES and turns them into VUSE operands of
    STMT.  */
 
 static inline void
-finalize_ssa_vuse_ops (tree stmt)
+finalize_ssa_vuse_ops (gimple stmt)
 {
-  unsigned new_i;
-  struct vuse_optype_d new_list;
-  vuse_optype_p old_ops, ptr, last;
-  tree act;
-  unsigned old_base, new_base;
-
-  new_list.next = NULL;
-  last = &new_list;
+  unsigned new_i, old_i;
+  voptype_p old_ops, last;
+  VEC(tree,heap) *new_ops;
+
+  /* Set the symbols referenced by STMT.  */
+  gimple_set_loaded_syms (stmt, build_loads, &operands_bitmap_obstack);
+
+  /* If aliases have not been computed, do not instantiate a virtual
+     operator on STMT.  Initially, we only compute the SSA form on
+     GIMPLE registers.  The virtual SSA form is only computed after
+     alias analysis, so virtual operators will remain unrenamed and
+     the verifier will complain.  However, alias analysis needs to
+     access symbol load/store information, so we need to compute
+     those.  */
+  if (!gimple_aliases_computed_p (cfun))
+    return;
 
-  old_ops = VUSE_OPS (stmt);
+  /* STMT should have at most one VUSE operator.  */
+  old_ops = gimple_vuse_ops (stmt);
+  gcc_assert (old_ops == NULL || old_ops->next == NULL);
 
-  new_i = 0;
-  while (old_ops && new_i < VEC_length (tree, build_vuses))
+  new_ops = NULL;
+  new_i = old_i = 0;
+  while (old_ops
+         && old_i < VUSE_NUM (old_ops)
+        && new_i < VEC_length (tree, build_vuses))
     {
-      act = VEC_index (tree, build_vuses, new_i);
-      new_base = get_name_decl (act);
-      old_base = get_name_decl (VUSE_OP (old_ops));
+      tree new_op = VEC_index (tree, build_vuses, new_i);
+      tree old_op = VUSE_OP (old_ops, old_i);
+      unsigned new_uid = get_name_decl (new_op);
+      unsigned old_uid = get_name_decl (old_op);
 
-      if (old_base == new_base)
+      if (old_uid == new_uid)
         {
-         /* if variables are the same, reuse this node.  */
-         MOVE_HEAD_AFTER (old_ops, last);
-         set_virtual_use_link (VUSE_OP_PTR (last), stmt);
+         /* If the symbols are the same, reuse the existing operand.  */
+         VEC_safe_push (tree, heap, new_ops, old_op);
          new_i++;
+         old_i++;
        }
-      else if (old_base < new_base)
+      else if (old_uid < new_uid)
        {
-         /* if old is less than new, old goes to the free list.  */
-         delink_imm_use (USE_OP_PTR (old_ops));
-         MOVE_HEAD_TO_FREELIST (old_ops, vuse);
+         /* If OLD_UID is less than NEW_UID, the old operand has
+            disappeared, skip to the next old operand.  */
+         old_i++;
        }
       else
        {
          /* This is a new operand.  */
-         add_vuse_op (stmt, act, &last);
+         VEC_safe_push (tree, heap, new_ops, new_op);
          new_i++;
        }
     }
 
   /* If there is anything remaining in the build_vuses list, simply emit it.  */
   for ( ; new_i < VEC_length (tree, build_vuses); new_i++)
-    add_vuse_op (stmt, VEC_index (tree, build_vuses, new_i), &last);
-
-  last->next = NULL;
+    VEC_safe_push (tree, heap, new_ops, VEC_index (tree, build_vuses, new_i));
 
   /* If there is anything in the old list, free it.  */
   if (old_ops)
     {
-      for (ptr = old_ops; ptr; ptr = ptr->next)
-       delink_imm_use (VUSE_OP_PTR (ptr));
-      old_ops->next = free_vuses;
-      free_vuses = old_ops;
+      for (old_i = 0; old_i < VUSE_NUM (old_ops); old_i++)
+       delink_imm_use (VUSE_OP_PTR (old_ops, old_i));
+      add_vop_to_freelist (old_ops);
+      gimple_set_vuse_ops (stmt, NULL);
     }
 
-  /* Now set the stmt's operands.  */
-  VUSE_OPS (stmt) = new_list.next;
+  /* If there are any operands, instantiate a VUSE operator for STMT.  */
+  if (new_ops)
+    {
+      tree op;
+      unsigned i;
+
+      last = add_vuse_op (stmt, NULL, VEC_length (tree, new_ops), NULL);
+
+      for (i = 0; VEC_iterate (tree, new_ops, i, op); i++)
+       SET_USE (VUSE_OP_PTR (last, (int) i), op);
+
+      gimple_set_vuse_ops (stmt, last);
+      VEC_free (tree, heap, new_ops);
+    }
 
 #ifdef ENABLE_CHECKING
   {
-    unsigned x = 0;
-    for (ptr = VUSE_OPS (stmt); ptr; ptr = ptr->next)
-      x++;
+    unsigned x;
+    
+    if (gimple_vuse_ops (stmt))
+      {
+       gcc_assert (gimple_vuse_ops (stmt)->next == NULL);
+       x = VUSE_NUM (gimple_vuse_ops (stmt));
+      }
+    else
+      x = 0;
 
     gcc_assert (x == VEC_length (tree, build_vuses));
   }
 #endif
 }
-                                                                              
-/* Return a new VUSE operand vector, comparing to OLD_OPS_P.  */
+
+/* Return a new VUSE operand vector for STMT.  */
                                                                               
 static void
-finalize_ssa_vuses (tree stmt)
+finalize_ssa_vuses (gimple stmt)
 {
-  unsigned num, num_v_may_defs;
+  unsigned num, num_vdefs;
   unsigned vuse_index;
 
   /* Remove superfluous VUSE operands.  If the statement already has a
-     V_MAY_DEF operation for a variable 'a', then a VUSE for 'a' is
-     not needed because V_MAY_DEFs imply a VUSE of the variable.  For
-     instance, suppose that variable 'a' is aliased:
+     VDEF operator for a variable 'a', then a VUSE for 'a' is not
+     needed because VDEFs imply a VUSE of the variable.  For instance,
+     suppose that variable 'a' is pointed-to by p and q:
 
              # VUSE <a_2>
-             # a_3 = V_MAY_DEF <a_2>
-             a = a + 1;
+             # a_3 = VDEF <a_2>
+             *p = *q;
 
      The VUSE <a_2> is superfluous because it is implied by the
-     V_MAY_DEF operation.  */
+     VDEF operator.  */
   num = VEC_length (tree, build_vuses);
-  num_v_may_defs = VEC_length (tree, build_v_may_defs);
+  num_vdefs = VEC_length (tree, build_vdefs);
 
-  if (num > 0 && num_v_may_defs > 0)
-    {
-      for (vuse_index = 0; vuse_index < VEC_length (tree, build_vuses); )
-        {
-         tree vuse;
-         vuse = VEC_index (tree, build_vuses, vuse_index);
-         if (TREE_CODE (vuse) != SSA_NAME)
-           {
-             var_ann_t ann = var_ann (vuse);
-             ann->in_vuse_list = 0;
-             if (ann->in_v_may_def_list)
-               {
-                 VEC_ordered_remove (tree, build_vuses, vuse_index);
-                 continue;
-               }
-           }
-         vuse_index++;
-       }
-    }
-  else
-    {
-      /* Clear out the in_list bits.  */
-      for (vuse_index = 0;
-         vuse_index < VEC_length (tree, build_vuses);
-         vuse_index++)
-       {
-         tree t = VEC_index (tree, build_vuses, vuse_index);
-         if (TREE_CODE (t) != SSA_NAME)
-           {
-             var_ann_t ann = var_ann (t);
-             ann->in_vuse_list = 0;
-           }
-       }
-    }
+  if (num > 0 && num_vdefs > 0)
+    for (vuse_index = 0; vuse_index < VEC_length (tree, build_vuses); )
+      {
+       tree vuse;
+       vuse = VEC_index (tree, build_vuses, vuse_index);
+       if (TREE_CODE (vuse) != SSA_NAME)
+         {
+           var_ann_t ann = var_ann (vuse);
+           ann->in_vuse_list = 0;
+           if (ann->in_vdef_list)
+             {
+               VEC_ordered_remove (tree, build_vuses, vuse_index);
+               continue;
+             }
+         }
+       vuse_index++;
+      }
 
   finalize_ssa_vuse_ops (stmt);
-
-  /* The V_MAY_DEF build vector wasn't cleaned up because we needed it.  */
-  cleanup_v_may_defs ();
-                                                                              
-  /* Free the VUSEs build vector.  */
-  VEC_truncate (tree, build_vuses, 0);
-
 }
 
-/* Takes elements from build_v_must_defs and turns them into mustdef operands of
-   STMT.  */
+
+/* Clear the in_list bits and empty the build array for VDEFs and
+   VUSEs.  */
 
 static inline void
-finalize_ssa_v_must_def_ops (tree stmt)
+cleanup_build_arrays (void)
 {
-  unsigned new_i;
-  struct mustdef_optype_d new_list;
-  mustdef_optype_p old_ops, ptr, last;
-  tree act;
-  unsigned old_base, new_base;
-
-  new_list.next = NULL;
-  last = &new_list;
-
-  old_ops = MUSTDEF_OPS (stmt);
-
-  new_i = 0;
-  while (old_ops && new_i < VEC_length (tree, build_v_must_defs))
-    {
-      act = VEC_index (tree, build_v_must_defs, new_i);
-      new_base = get_name_decl (act);
-      old_base = get_name_decl (MUSTDEF_KILL (old_ops));
-
-      if (old_base == new_base)
-        {
-         /* If variables are the same, reuse this node.  */
-         MOVE_HEAD_AFTER (old_ops, last);
-         set_virtual_use_link (MUSTDEF_KILL_PTR (last), stmt);
-         new_i++;
-       }
-      else if (old_base < new_base)
-       {
-         /* If old is less than new, old goes to the free list.  */
-         delink_imm_use (MUSTDEF_KILL_PTR (old_ops));
-         MOVE_HEAD_TO_FREELIST (old_ops, mustdef);
-       }
-      else
-       {
-         /* This is a new operand.  */
-         add_mustdef_op (stmt, act, &last);
-         new_i++;
-       }
-    }
-
-  /* If there is anything remaining in the build_v_must_defs list, simply emit it.  */
-  for ( ; new_i < VEC_length (tree, build_v_must_defs); new_i++)
-    add_mustdef_op (stmt, VEC_index (tree, build_v_must_defs, new_i), &last);
-
-  last->next = NULL;
-
-  /* If there is anything in the old list, free it.  */
-  if (old_ops)
-    {
-      for (ptr = old_ops; ptr; ptr = ptr->next)
-       delink_imm_use (MUSTDEF_KILL_PTR (ptr));
-      old_ops->next = free_mustdefs;
-      free_mustdefs = old_ops;
-    }
-
-  /* Now set the stmt's operands.  */
-  MUSTDEF_OPS (stmt) = new_list.next;
+  unsigned i;
+  tree t;
 
-#ifdef ENABLE_CHECKING
-  {
-    unsigned x = 0;
-    for (ptr = MUSTDEF_OPS (stmt); ptr; ptr = ptr->next)
-      x++;
+  for (i = 0; VEC_iterate (tree, build_vdefs, i, t); i++)
+    if (TREE_CODE (t) != SSA_NAME)
+      var_ann (t)->in_vdef_list = false;
 
-    gcc_assert (x == VEC_length (tree, build_v_must_defs));
-  }
-#endif
-}
+  for (i = 0; VEC_iterate (tree, build_vuses, i, t); i++)
+    if (TREE_CODE (t) != SSA_NAME)
+      var_ann (t)->in_vuse_list = false;
 
-static void
-finalize_ssa_v_must_defs (tree stmt)
-{
-  /* In the presence of subvars, there may be more than one V_MUST_DEF
-     per statement (one for each subvar).  It is a bit expensive to
-     verify that all must-defs in a statement belong to subvars if
-     there is more than one must-def, so we don't do it.  Suffice to
-     say, if you reach here without having subvars, and have num >1,
-     you have hit a bug.  */
-  finalize_ssa_v_must_def_ops (stmt);
-  VEC_truncate (tree, build_v_must_defs, 0);
+  VEC_truncate (tree, build_vdefs, 0);
+  VEC_truncate (tree, build_vuses, 0);
+  VEC_truncate (tree, build_defs, 0);
+  VEC_truncate (tree, build_uses, 0);
+  bitmap_clear (build_loads);
+  bitmap_clear (build_stores);
 }
 
 
 /* Finalize all the build vectors, fill the new ones into INFO.  */
                                                                               
 static inline void
-finalize_ssa_stmt_operands (tree stmt)
+finalize_ssa_stmt_operands (gimple stmt)
 {
   finalize_ssa_defs (stmt);
   finalize_ssa_uses (stmt);
-  finalize_ssa_v_must_defs (stmt);
-  finalize_ssa_v_may_defs (stmt);
-  finalize_ssa_vuses (stmt);
+  if (gimple_has_mem_ops (stmt))
+    {
+      finalize_ssa_vdefs (stmt);
+      finalize_ssa_vuses (stmt);
+    }
+  cleanup_build_arrays ();
 }
 
 
@@ -957,8 +1068,9 @@ start_ssa_stmt_operands (void)
   gcc_assert (VEC_length (tree, build_defs) == 0);
   gcc_assert (VEC_length (tree, build_uses) == 0);
   gcc_assert (VEC_length (tree, build_vuses) == 0);
-  gcc_assert (VEC_length (tree, build_v_may_defs) == 0);
-  gcc_assert (VEC_length (tree, build_v_must_defs) == 0);
+  gcc_assert (VEC_length (tree, build_vdefs) == 0);
+  gcc_assert (bitmap_empty_p (build_loads));
+  gcc_assert (bitmap_empty_p (build_stores));
 }
 
 
@@ -967,7 +1079,7 @@ start_ssa_stmt_operands (void)
 static inline void
 append_def (tree *def_p)
 {
-  VEC_safe_push (tree, heap, build_defs, (tree)def_p);
+  VEC_safe_push (tree, heap, build_defs, (tree) def_p);
 }
 
 
@@ -976,61 +1088,80 @@ append_def (tree *def_p)
 static inline void
 append_use (tree *use_p)
 {
-  VEC_safe_push (tree, heap, build_uses, (tree)use_p);
+  VEC_safe_push (tree, heap, build_uses, (tree) use_p);
 }
 
 
-/* Add a new virtual may def for variable VAR to the build array.  */
+/* Add VAR to the set of variables that require a VDEF operator.  */
 
 static inline void
-append_v_may_def (tree var)
+append_vdef (tree var)
 {
+  tree sym;
+
   if (TREE_CODE (var) != SSA_NAME)
     {
-      var_ann_t ann = get_var_ann (var);
+      tree mpt;
+      var_ann_t ann;
+
+      /* If VAR belongs to a memory partition, use it instead of VAR.  */
+      mpt = memory_partition (var);
+      if (mpt)
+       var = mpt;
 
       /* Don't allow duplicate entries.  */
-      if (ann->in_v_may_def_list)
-       return;
-      ann->in_v_may_def_list = 1;
+      ann = get_var_ann (var);
+      if (ann->in_vdef_list)
+        return;
+
+      ann->in_vdef_list = true;
+      sym = var;
     }
+  else
+    sym = SSA_NAME_VAR (var);
 
-  VEC_safe_push (tree, heap, build_v_may_defs, (tree)var);
+  VEC_safe_push (tree, heap, build_vdefs, var);
+  bitmap_set_bit (build_stores, DECL_UID (sym));
 }
 
 
-/* Add VAR to the list of virtual uses.  */
+/* Add VAR to the set of variables that require a VUSE operator.  */
 
 static inline void
 append_vuse (tree var)
 {
-  /* Don't allow duplicate entries.  */
+  tree sym;
+
   if (TREE_CODE (var) != SSA_NAME)
     {
-      var_ann_t ann = get_var_ann (var);
-
-      if (ann->in_vuse_list || ann->in_v_may_def_list)
-        return;
-      ann->in_vuse_list = 1;
-    }
-
-  VEC_safe_push (tree, heap, build_vuses, (tree)var);
-}
-
+      tree mpt;
+      var_ann_t ann;
 
-/* Add VAR to the list of virtual must definitions for INFO.  */
+      /* If VAR belongs to a memory partition, use it instead of VAR.  */
+      mpt = memory_partition (var);
+      if (mpt)
+       var = mpt;
 
-static inline void
-append_v_must_def (tree var)
-{
-  unsigned i;
-
-  /* Don't allow duplicate entries.  */
-  for (i = 0; i < VEC_length (tree, build_v_must_defs); i++)
-    if (var == VEC_index (tree, build_v_must_defs, i))
-      return;
+      /* Don't allow duplicate entries.  */
+      ann = get_var_ann (var);
+      if (ann->in_vuse_list)
+       return;
+      else if (ann->in_vdef_list)
+       {
+         /* We don't want a vuse if we already have a vdef, but we must
+            still put this in build_loads.  */
+         bitmap_set_bit (build_loads, DECL_UID (var));
+         return;
+       }
+
+      ann->in_vuse_list = true;
+      sym = var;
+    }
+  else
+    sym = SSA_NAME_VAR (var);
 
-  VEC_safe_push (tree, heap, build_v_must_defs, (tree)var);
+  VEC_safe_push (tree, heap, build_vuses, var);
+  bitmap_set_bit (build_loads, DECL_UID (sym));
 }
 
 
@@ -1038,60 +1169,28 @@ append_v_must_def (tree var)
    expression, if available, or NULL otherwise.  ALIAS is the variable
    we are asking if REF can access.  OFFSET and SIZE come from the
    memory access expression that generated this virtual operand.
-   FOR_CLOBBER is true is this is adding a virtual operand for a call
-   clobber.  */
+
+   XXX: We should handle the NO_ALIAS attributes here.  */
 
 static bool
 access_can_touch_variable (tree ref, tree alias, HOST_WIDE_INT offset,
                           HOST_WIDE_INT size)
-{  
+{
   bool offsetgtz = offset > 0;
   unsigned HOST_WIDE_INT uoffset = (unsigned HOST_WIDE_INT) offset;
   tree base = ref ? get_base_address (ref) : NULL;
 
-  /* If ALIAS is an SFT, it can't be touched if the offset     
-     and size of the access is not overlapping with the SFT offset and
-     size.  This is only true if we are accessing through a pointer
-     to a type that is the same as SFT_PARENT_VAR.  Otherwise, we may
-     be accessing through a pointer to some substruct of the
-     structure, and if we try to prune there, we will have the wrong
-     offset, and get the wrong answer.
-     i.e., we can't prune without more work if we have something like
-
-     struct gcc_target
-     {
-       struct asm_out
-       {
-         const char *byte_op;
-        struct asm_int_op
-        {    
-          const char *hi;
-        } aligned_op;
-       } asm_out;
-     } targetm;
-     
-     foo = &targetm.asm_out.aligned_op;
-     return foo->hi;
-
-     SFT.1, which represents hi, will have SFT_OFFSET=32 because in
-     terms of SFT_PARENT_VAR, that is where it is.
-     However, the access through the foo pointer will be at offset 0.  */
-  if (size != -1
-      && TREE_CODE (alias) == STRUCT_FIELD_TAG
-      && base
-      && TREE_TYPE (base) == TREE_TYPE (SFT_PARENT_VAR (alias))
-      && !overlap_subvar (offset, size, alias, NULL))
-    {
-#ifdef ACCESS_DEBUGGING
-      fprintf (stderr, "Access to ");
-      print_generic_expr (stderr, ref, 0);
-      fprintf (stderr, " may not touch ");
-      print_generic_expr (stderr, alias, 0);
-      fprintf (stderr, " in function %s\n", get_name (current_function_decl));
-#endif
-      return false;
-    }
+  /* If ALIAS is .GLOBAL_VAR then the memory reference REF must be
+     using a call-clobbered memory tag.  By definition, call-clobbered
+     memory tags can always touch .GLOBAL_VAR.  */
+  if (alias == gimple_global_var (cfun))
+    return true;
 
+  /* If ref is a TARGET_MEM_REF, just return true, as we can't really
+     disambiguate them right now.  */
+  if (ref && TREE_CODE (ref) == TARGET_MEM_REF)
+    return true;
+  
   /* Without strict aliasing, it is impossible for a component access
      through a pointer to touch a random variable, unless that
      variable *is* a structure or a pointer.
@@ -1137,16 +1236,37 @@ access_can_touch_variable (tree ref, tree alias, HOST_WIDE_INT offset,
      }
      To implement this, we just punt on accesses through union
      pointers entirely.
+
+     Another case we have to allow is accessing a variable
+     through an array access at offset zero.  This happens from
+     code generated by the fortran frontend like
+
+     char[1:1] & my_char_ref;
+     char my_char;
+     my_char_ref_1 = (char[1:1] &) &my_char;
+     D.874_2 = (*my_char_ref_1)[1]{lb: 1 sz: 1};
   */
-  else if (ref 
+  if (ref 
           && flag_strict_aliasing
           && TREE_CODE (ref) != INDIRECT_REF
           && !MTAG_P (alias)
+          && base
           && (TREE_CODE (base) != INDIRECT_REF
               || TREE_CODE (TREE_TYPE (base)) != UNION_TYPE)
+          && (TREE_CODE (base) != INDIRECT_REF
+              || TREE_CODE (ref) != ARRAY_REF
+              || offset != 0
+              || (DECL_SIZE (alias)
+                  && TREE_CODE (DECL_SIZE (alias)) == INTEGER_CST
+                  && size != -1
+                  && (unsigned HOST_WIDE_INT)size
+                     != TREE_INT_CST_LOW (DECL_SIZE (alias))))
           && !AGGREGATE_TYPE_P (TREE_TYPE (alias))
           && TREE_CODE (TREE_TYPE (alias)) != COMPLEX_TYPE
-          && !POINTER_TYPE_P (TREE_TYPE (alias)))
+          && !var_ann (alias)->is_heapvar
+          /* When the struct has may_alias attached to it, we need not to
+             return true.  */
+          && get_alias_set (base))
     {
 #ifdef ACCESS_DEBUGGING
       fprintf (stderr, "Access to ");
@@ -1184,46 +1304,43 @@ access_can_touch_variable (tree ref, tree alias, HOST_WIDE_INT offset,
   return true;
 }
 
-
-/* Add VAR to the virtual operands array.  FLAGS is as in
+/* Add VAR to the virtual operands for STMT.  FLAGS is as in
    get_expr_operands.  FULL_REF is a tree that contains the entire
    pointer dereference expression, if available, or NULL otherwise.
    OFFSET and SIZE come from the memory access expression that
-   generated this virtual operand.  FOR_CLOBBER is true is this is
-   adding a virtual operand for a call clobber.  */
+   generated this virtual operand.  IS_CALL_SITE is true if the
+   affected statement is a call site.  */
 
-static void 
-add_virtual_operand (tree var, stmt_ann_t s_ann, int flags,
+static void
+add_virtual_operand (tree var, gimple stmt, int flags,
                     tree full_ref, HOST_WIDE_INT offset,
-                    HOST_WIDE_INT size, bool for_clobber)
+                    HOST_WIDE_INT size, bool is_call_site)
 {
-  VEC(tree,gc) *aliases;
+  bitmap aliases = NULL;
   tree sym;
   var_ann_t v_ann;
   
   sym = (TREE_CODE (var) == SSA_NAME ? SSA_NAME_VAR (var) : var);
   v_ann = var_ann (sym);
   
-  /* Mark statements with volatile operands.  Optimizers should back
-     off from statements having volatile operands.  */
-  if (TREE_THIS_VOLATILE (sym) && s_ann)
-    s_ann->has_volatile_ops = true;
+  /* Mark the statement as having memory operands.  */
+  gimple_set_references_memory (stmt, true);
 
-  /* If the variable cannot be modified and this is a V_MAY_DEF change
+  /* If the variable cannot be modified and this is a VDEF change
      it into a VUSE.  This happens when read-only variables are marked
      call-clobbered and/or aliased to writable variables.  So we only
      check that this only happens on non-specific stores.
 
      Note that if this is a specific store, i.e. associated with a
-     modify_expr, then we can't suppress the V_MAY_DEF, lest we run
+     MODIFY_EXPR, then we can't suppress the VDEF, lest we run
      into validation problems.
 
      This can happen when programs cast away const, leaving us with a
      store to read-only memory.  If the statement is actually executed
      at runtime, then the program is ill formed.  If the statement is
      not executed then all is well.  At the very least, we cannot ICE.  */
-  if ((flags & opf_non_specific) && unmodifiable_var_p (var))
-    flags &= ~(opf_is_def | opf_kill_def);
+  if ((flags & opf_implicit) && unmodifiable_var_p (var))
+    flags &= ~opf_def;
   
   /* The variable is not a GIMPLE register.  Add it (or its aliases) to
      virtual operands, unless the caller has specifically requested
@@ -1232,53 +1349,56 @@ add_virtual_operand (tree var, stmt_ann_t s_ann, int flags,
   if (flags & opf_no_vops)
     return;
   
-  aliases = v_ann->may_aliases;
+  if (MTAG_P (var))
+    aliases = MTAG_ALIASES (var);
+
   if (aliases == NULL)
     {
+      if (!gimple_aliases_computed_p (cfun) && (flags & opf_def))
+       gimple_set_has_volatile_ops (stmt, true);
+
       /* The variable is not aliased or it is an alias tag.  */
-      if (flags & opf_is_def)
-       {
-         if (flags & opf_kill_def)
-           {
-             /* V_MUST_DEF for non-aliased, non-GIMPLE register 
-                variable definitions.  */
-             gcc_assert (!MTAG_P (var)
-                         || TREE_CODE (var) == STRUCT_FIELD_TAG);
-             append_v_must_def (var);
-           }
-         else
-           {
-             /* Add a V_MAY_DEF for call-clobbered variables and
-                memory tags.  */
-             append_v_may_def (var);
-           }
-       }
+      if (flags & opf_def)
+       append_vdef (var);
       else
        append_vuse (var);
     }
   else
     {
-      unsigned i;
-      tree al;
+      bitmap_iterator bi;
+      unsigned int i;
+      bool none_added = true;
       
       /* The variable is aliased.  Add its aliases to the virtual
         operands.  */
-      gcc_assert (VEC_length (tree, aliases) != 0);
-      
-      if (flags & opf_is_def)
-       {
-         
-         bool none_added = true;
+      gcc_assert (!bitmap_empty_p (aliases));
 
-         for (i = 0; VEC_iterate (tree, aliases, i, al); i++)
-           {
-             if (!access_can_touch_variable (full_ref, al, offset, size))
-               continue;
-             
-             none_added = false;
-             append_v_may_def (al);
-           }
+      EXECUTE_IF_SET_IN_BITMAP (aliases, 0, i, bi)
+       {
+         tree al = referenced_var (i);
+
+         /* Call-clobbered tags may have non-call-clobbered
+            symbols in their alias sets.  Ignore them if we are
+            adding VOPs for a call site.  */
+         if (is_call_site && !is_call_clobbered (al))
+           continue;
+
+         /* If we do not know the full reference tree or if the access is
+            unspecified [0, -1], we cannot prune it.  Otherwise try doing
+            so using access_can_touch_variable.  */
+         if (full_ref
+             && !access_can_touch_variable (full_ref, al, offset, size))
+           continue;
+
+         if (flags & opf_def)
+           append_vdef (al);
+         else
+           append_vuse (al);
+         none_added = false;
+       }
 
+      if (flags & opf_def)
+       {
          /* If the variable is also an alias tag, add a virtual
             operand for it, otherwise we will miss representing
             references to the members of the variable's alias set.          
@@ -1290,115 +1410,71 @@ add_virtual_operand (tree var, stmt_ann_t s_ann, int flags,
             keep the number of these bare defs we add down to the
             minimum necessary, we keep track of which SMT's were used
             alone in statement vdefs or VUSEs.  */
-         if (v_ann->is_aliased
-             || none_added
+         if (none_added
              || (TREE_CODE (var) == SYMBOL_MEMORY_TAG
-                 && for_clobber
-                 && SMT_USED_ALONE (var)))
-           {
-             /* Every bare SMT def we add should have SMT_USED_ALONE
-                set on it, or else we will get the wrong answer on
-                clobbers.  */
-             if (none_added
-                 && !updating_used_alone && aliases_computed_p
-                 && TREE_CODE (var) == SYMBOL_MEMORY_TAG)
-               gcc_assert (SMT_USED_ALONE (var));
-
-             append_v_may_def (var);
-           }
+                 && is_call_site))
+           append_vdef (var);
        }
       else
        {
-         bool none_added = true;
-         for (i = 0; VEC_iterate (tree, aliases, i, al); i++)
-           {
-             if (!access_can_touch_variable (full_ref, al, offset, size))
-               continue;
-             none_added = false;
-             append_vuse (al);
-           }
-
-         /* Similarly, append a virtual uses for VAR itself, when
-            it is an alias tag.  */
-         if (v_ann->is_aliased || none_added)
+         /* Even if no aliases have been added, we still need to
+            establish def-use and use-def chains, lest
+            transformations think that this is not a memory
+            reference.  For an example of this scenario, see
+            testsuite/g++.dg/opt/cleanup1.C.  */
+         if (none_added)
            append_vuse (var);
        }
     }
 }
 
 
-/* Add *VAR_P to the appropriate operand array for S_ANN.  FLAGS is as in
-   get_expr_operands.  If *VAR_P is a GIMPLE register, it will be added to
-   the statement's real operands, otherwise it is added to virtual
-   operands.  */
+/* Add *VAR_P to the appropriate operand array for statement STMT.
+   FLAGS is as in get_expr_operands.  If *VAR_P is a GIMPLE register,
+   it will be added to the statement's real operands, otherwise it is
+   added to virtual operands.  */
 
 static void
-add_stmt_operand (tree *var_p, stmt_ann_t s_ann, int flags)
+add_stmt_operand (tree *var_p, gimple stmt, int flags)
 {
-  bool is_real_op;
   tree var, sym;
   var_ann_t v_ann;
 
-  var = *var_p;
-  gcc_assert (SSA_VAR_P (var));
-
-  is_real_op = is_gimple_reg (var);
-
-  /* If this is a real operand, the operand is either an SSA name or a 
-     decl.  Virtual operands may only be decls.  */
-  gcc_assert (is_real_op || DECL_P (var));
+  gcc_assert (SSA_VAR_P (*var_p));
 
+  var = *var_p;
   sym = (TREE_CODE (var) == SSA_NAME ? SSA_NAME_VAR (var) : var);
   v_ann = var_ann (sym);
 
-  /* Mark statements with volatile operands.  Optimizers should back
-     off from statements having volatile operands.  */
-  if (TREE_THIS_VOLATILE (sym) && s_ann)
-    s_ann->has_volatile_ops = true;
+  /* Mark statements with volatile operands.  */
+  if (TREE_THIS_VOLATILE (sym))
+    gimple_set_has_volatile_ops (stmt, true);
 
-  if (is_real_op)
+  if (is_gimple_reg (sym))
     {
       /* The variable is a GIMPLE register.  Add it to real operands.  */
-      if (flags & opf_is_def)
+      if (flags & opf_def)
        append_def (var_p);
       else
        append_use (var_p);
     }
   else
-    add_virtual_operand (var, s_ann, flags, NULL_TREE, 0, -1, false);
+    add_virtual_operand (var, stmt, flags, NULL_TREE, 0, -1, false);
 }
 
-
-/* A subroutine of get_expr_operands to handle INDIRECT_REF,
-   ALIGN_INDIRECT_REF and MISALIGNED_INDIRECT_REF.  
-
-   STMT is the statement being processed, EXPR is the INDIRECT_REF
-      that got us here.
-   
-   FLAGS is as in get_expr_operands.
-
-   FULL_REF contains the full pointer dereference expression, if we
-      have it, or NULL otherwise.
-
-   OFFSET and SIZE are the location of the access inside the
-      dereferenced pointer, if known.
-
-   RECURSE_ON_BASE should be set to true if we want to continue
-      calling get_expr_operands on the base pointer, and false if
-      something else will do it for us.  */
+/* Subroutine of get_indirect_ref_operands.  ADDR is the address
+   that is dereferenced, the meaning of the rest of the arguments
+   is the same as in get_indirect_ref_operands.  */
 
 static void
-get_indirect_ref_operands (tree stmt, tree expr, int flags,
-                          tree full_ref,
-                          HOST_WIDE_INT offset, HOST_WIDE_INT size,
-                          bool recurse_on_base)
+get_addr_dereference_operands (gimple stmt, tree *addr, int flags,
+                              tree full_ref, HOST_WIDE_INT offset,
+                              HOST_WIDE_INT size, bool recurse_on_base)
 {
-  tree *pptr = &TREE_OPERAND (expr, 0);
-  tree ptr = *pptr;
-  stmt_ann_t s_ann = stmt_ann (stmt);
+  tree ptr = *addr;
 
-  /* Stores into INDIRECT_REF operands are never killing definitions.  */
-  flags &= ~opf_kill_def;
+  /* Mark the statement as having memory operands.  */
+  gimple_set_references_memory (stmt, true);
 
   if (SSA_VAR_P (ptr))
     {
@@ -1410,7 +1486,7 @@ get_indirect_ref_operands (tree stmt, tree expr, int flags,
          && pi->name_mem_tag)
        {
          /* PTR has its own memory tag.  Use it.  */
-         add_virtual_operand (pi->name_mem_tag, s_ann, flags,
+         add_virtual_operand (pi->name_mem_tag, stmt, flags,
                               full_ref, offset, size, false);
        }
       else
@@ -1422,98 +1498,134 @@ get_indirect_ref_operands (tree stmt, tree expr, int flags,
          /* If we are emitting debugging dumps, display a warning if
             PTR is an SSA_NAME with no flow-sensitive alias
             information.  That means that we may need to compute
-            aliasing again.  */
+            aliasing again or that a propagation pass forgot to
+            update the alias information on the pointers.  */
          if (dump_file
              && TREE_CODE (ptr) == SSA_NAME
-             && pi == NULL)
+             && (pi == NULL
+                 || (pi->name_mem_tag == NULL_TREE
+                     && !pi->pt_anything))
+             && gimple_aliases_computed_p (cfun))
            {
              fprintf (dump_file,
                  "NOTE: no flow-sensitive alias info for ");
              print_generic_expr (dump_file, ptr, dump_flags);
              fprintf (dump_file, " in ");
-             print_generic_stmt (dump_file, stmt, dump_flags);
+             print_gimple_stmt (dump_file, stmt, 0, 0);
            }
 
          if (TREE_CODE (ptr) == SSA_NAME)
            ptr = SSA_NAME_VAR (ptr);
          v_ann = var_ann (ptr);
 
-         if (v_ann->symbol_mem_tag)
-           add_virtual_operand (v_ann->symbol_mem_tag, s_ann, flags,
-                                full_ref, offset, size, false);
-       }
-    }
-  else if (TREE_CODE (ptr) == INTEGER_CST)
-    {
-      /* If a constant is used as a pointer, we can't generate a real
-        operand for it but we mark the statement volatile to prevent
-        optimizations from messing things up.  */
-      if (s_ann)
-       s_ann->has_volatile_ops = true;
-      return;
-    }
-  else
-    {
-      /* Ok, this isn't even is_gimple_min_invariant.  Something's broke.  */
-      gcc_unreachable ();
-    }
+         /* If we don't know what this pointer points to then we have
+            to make sure to not prune virtual operands based on offset
+            and size.  */
+         if (v_ann->symbol_mem_tag)
+           {
+             add_virtual_operand (v_ann->symbol_mem_tag, stmt, flags,
+                                  full_ref, 0, -1, false);
+             /* Make sure we add the SMT itself.  */
+             if (!(flags & opf_no_vops))
+               {
+                 if (flags & opf_def)
+                   append_vdef (v_ann->symbol_mem_tag);
+                 else
+                   append_vuse (v_ann->symbol_mem_tag);
+               }
+           }
+
+         /* Aliasing information is missing; mark statement as
+            volatile so we won't optimize it out too actively.  */
+          else if (!gimple_aliases_computed_p (cfun)
+                   && (flags & opf_def))
+           gimple_set_has_volatile_ops (stmt, true);
+       }
+    }
+  else if (TREE_CODE (ptr) == INTEGER_CST)
+    {
+      /* If a constant is used as a pointer, we can't generate a real
+        operand for it but we mark the statement volatile to prevent
+        optimizations from messing things up.  */
+      gimple_set_has_volatile_ops (stmt, true);
+      return;
+    }
+  else
+    {
+      /* Ok, this isn't even is_gimple_min_invariant.  Something's broke.  */
+      gcc_unreachable ();
+    }
+
+  /* If requested, add a USE operand for the base pointer.  */
+  if (recurse_on_base)
+    get_expr_operands (stmt, addr, opf_use);
+}
+
+
+/* A subroutine of get_expr_operands to handle INDIRECT_REF,
+   ALIGN_INDIRECT_REF and MISALIGNED_INDIRECT_REF.  
+
+   STMT is the statement being processed, EXPR is the INDIRECT_REF
+      that got us here.
+   
+   FLAGS is as in get_expr_operands.
+
+   FULL_REF contains the full pointer dereference expression, if we
+      have it, or NULL otherwise.
+
+   OFFSET and SIZE are the location of the access inside the
+      dereferenced pointer, if known.
+
+   RECURSE_ON_BASE should be set to true if we want to continue
+      calling get_expr_operands on the base pointer, and false if
+      something else will do it for us.  */
+
+static void
+get_indirect_ref_operands (gimple stmt, tree expr, int flags, tree full_ref,
+                          HOST_WIDE_INT offset, HOST_WIDE_INT size,
+                          bool recurse_on_base)
+{
+  tree *pptr = &TREE_OPERAND (expr, 0);
 
-  /* If requested, add a USE operand for the base pointer.  */
-  if (recurse_on_base)
-    get_expr_operands (stmt, pptr, opf_none);
+  if (TREE_THIS_VOLATILE (expr))
+    gimple_set_has_volatile_ops (stmt, true);
+
+  get_addr_dereference_operands (stmt, pptr, flags, full_ref, offset, size,
+                                recurse_on_base);
 }
 
 
 /* A subroutine of get_expr_operands to handle TARGET_MEM_REF.  */
 
 static void
-get_tmr_operands (tree stmt, tree expr, int flags)
+get_tmr_operands (gimple stmt, tree expr, int flags)
 {
-  tree tag = TMR_TAG (expr), ref;
-  HOST_WIDE_INT offset, size, maxsize;
-  subvar_t svars, sv;
-  stmt_ann_t s_ann = stmt_ann (stmt);
+  tree tag;
 
-  /* First record the real operands.  */
-  get_expr_operands (stmt, &TMR_BASE (expr), opf_none);
-  get_expr_operands (stmt, &TMR_INDEX (expr), opf_none);
+  /* Mark the statement as having memory operands.  */
+  gimple_set_references_memory (stmt, true);
 
-  /* MEM_REFs should never be killing.  */
-  flags &= ~opf_kill_def;
+  /* First record the real operands.  */
+  get_expr_operands (stmt, &TMR_BASE (expr), opf_use);
+  get_expr_operands (stmt, &TMR_INDEX (expr), opf_use);
 
   if (TMR_SYMBOL (expr))
-    {
-      stmt_ann_t ann = stmt_ann (stmt);
-      add_to_addressable_set (TMR_SYMBOL (expr), &ann->addresses_taken);
-    }
+    gimple_add_to_addresses_taken (stmt, TMR_SYMBOL (expr));
 
+  tag = TMR_TAG (expr);
   if (!tag)
     {
       /* Something weird, so ensure that we will be careful.  */
-      stmt_ann (stmt)->has_volatile_ops = true;
+      gimple_set_has_volatile_ops (stmt, true);
       return;
     }
-
-  if (DECL_P (tag))
+  if (!MTAG_P (tag))
     {
       get_expr_operands (stmt, &tag, flags);
       return;
     }
 
-  ref = get_ref_base_and_extent (tag, &offset, &size, &maxsize);
-  gcc_assert (ref != NULL_TREE);
-  svars = get_subvars_for_var (ref);
-  for (sv = svars; sv; sv = sv->next)
-    {
-      bool exact;              
-      if (overlap_subvar (offset, maxsize, sv->var, &exact))
-       {
-         int subvar_flags = flags;
-         if (!exact || size != maxsize)
-           subvar_flags &= ~opf_kill_def;
-         add_stmt_operand (&sv->var, s_ann, subvar_flags);
-       }
-    }
+  add_virtual_operand (tag, stmt, flags, expr, 0, -1, false);
 }
 
 
@@ -1521,23 +1633,19 @@ get_tmr_operands (tree stmt, tree expr, int flags)
    clobbered variables in the function.  */
 
 static void
-add_call_clobber_ops (tree stmt, tree callee)
+add_call_clobber_ops (gimple stmt, tree callee ATTRIBUTE_UNUSED)
 {
   unsigned u;
   bitmap_iterator bi;
-  stmt_ann_t s_ann = stmt_ann (stmt);
   bitmap not_read_b, not_written_b;
-  
-  /* Functions that are not const, pure or never return may clobber
-     call-clobbered variables.  */
-  if (s_ann)
-    s_ann->makes_clobbering_call = true;
-
-  /* If we created .GLOBAL_VAR earlier, just use it.  See compute_may_aliases 
-     for the heuristic used to decide whether to create .GLOBAL_VAR or not.  */
-  if (global_var)
+
+  gcc_assert (!(gimple_call_flags (stmt) & (ECF_PURE | ECF_CONST)));
+
+  /* If we created .GLOBAL_VAR earlier, just use it.  */
+  if (gimple_global_var (cfun))
     {
-      add_stmt_operand (&global_var, s_ann, opf_is_def);
+      tree var = gimple_global_var (cfun);
+      add_virtual_operand (var, stmt, opf_def, NULL, 0, -1, true);
       return;
     }
 
@@ -1545,59 +1653,39 @@ add_call_clobber_ops (tree stmt, tree callee)
      set for each static if the call being processed does not read
      or write that variable.  */
   not_read_b = callee ? ipa_reference_get_not_read_global (callee) : NULL; 
-  not_written_b = callee ? ipa_reference_get_not_written_global (callee) : NULL; 
-  /* Add a V_MAY_DEF operand for every call clobbered variable.  */
-  EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, u, bi)
+  not_written_b = callee ? ipa_reference_get_not_written_global (callee) : NULL;
+
+  /* Add a VDEF operand for every call clobbered variable.  */
+  EXECUTE_IF_SET_IN_BITMAP (gimple_call_clobbered_vars (cfun), 0, u, bi)
     {
       tree var = referenced_var_lookup (u);
-      unsigned int escape_mask = var_ann (var)->escape_mask;
       tree real_var = var;
       bool not_read;
       bool not_written;
-      
-      /* Not read and not written are computed on regular vars, not
-        subvars, so look at the parent var if this is an SFT. */
-      if (TREE_CODE (var) == STRUCT_FIELD_TAG)
-       real_var = SFT_PARENT_VAR (var);
-
-      not_read = not_read_b ? bitmap_bit_p (not_read_b, 
-                                           DECL_UID (real_var)) : false;
-      not_written = not_written_b ? bitmap_bit_p (not_written_b, 
-                                                 DECL_UID (real_var)) : false;
+
+      not_read = not_read_b
+                ? bitmap_bit_p (not_read_b, DECL_UID (real_var))
+                : false;
+
+      not_written = not_written_b
+                   ? bitmap_bit_p (not_written_b, DECL_UID (real_var))
+                   : false;
       gcc_assert (!unmodifiable_var_p (var));
       
       clobber_stats.clobbered_vars++;
 
       /* See if this variable is really clobbered by this function.  */
 
-      /* Trivial case: Things escaping only to pure/const are not
-        clobbered by non-pure-const, and only read by pure/const. */
-      if ((escape_mask & ~(ESCAPE_TO_PURE_CONST)) == 0)
-       {
-         tree call = get_call_expr_in (stmt);
-         if (call_expr_flags (call) & (ECF_CONST | ECF_PURE))
-           {
-             add_stmt_operand (&var, s_ann, opf_none);
-             clobber_stats.unescapable_clobbers_avoided++;
-             continue;
-           }
-         else
-           {
-             clobber_stats.unescapable_clobbers_avoided++;
-             continue;
-           }
-       }
-            
       if (not_written)
        {
          clobber_stats.static_write_clobbers_avoided++;
          if (!not_read)
-           add_stmt_operand (&var, s_ann, opf_none);
+           add_virtual_operand (var, stmt, opf_use, NULL, 0, -1, true);
          else
            clobber_stats.static_read_clobbers_avoided++;
        }
       else
-       add_virtual_operand (var, s_ann, opf_is_def, NULL, 0, -1, true);
+       add_virtual_operand (var, stmt, opf_def, NULL, 0, -1, true);
     }
 }
 
@@ -1606,26 +1694,54 @@ add_call_clobber_ops (tree stmt, tree callee)
    function.  */
 
 static void
-add_call_read_ops (tree stmt, tree callee)
+add_call_read_ops (gimple stmt, tree callee ATTRIBUTE_UNUSED)
 {
   unsigned u;
   bitmap_iterator bi;
-  stmt_ann_t s_ann = stmt_ann (stmt);
   bitmap not_read_b;
 
-  /* if the function is not pure, it may reference memory.  Add
-     a VUSE for .GLOBAL_VAR if it has been created.  See add_referenced_var
-     for the heuristic used to decide whether to create .GLOBAL_VAR.  */
-  if (global_var)
+  /* Const functions do not reference memory.  */
+  if (gimple_call_flags (stmt) & ECF_CONST)
+    return;
+
+  not_read_b = callee ? ipa_reference_get_not_read_global (callee) : NULL;
+
+  /* For pure functions we compute non-escaped uses separately.  */
+  if (gimple_call_flags (stmt) & ECF_PURE)
+    EXECUTE_IF_SET_IN_BITMAP (gimple_call_used_vars (cfun), 0, u, bi)
+      {
+       tree var = referenced_var_lookup (u);
+       tree real_var = var;
+       bool not_read;
+
+       if (unmodifiable_var_p (var))
+         continue;
+
+       not_read = not_read_b
+           ? bitmap_bit_p (not_read_b, DECL_UID (real_var))
+           : false;
+
+       clobber_stats.readonly_clobbers++;
+
+       /* See if this variable is really used by this function.  */
+       if (!not_read)
+         add_virtual_operand (var, stmt, opf_use, NULL, 0, -1, true);
+       else
+         clobber_stats.static_readonly_clobbers_avoided++;
+      }
+
+  /* Add a VUSE for .GLOBAL_VAR if it has been created.  See
+     add_referenced_var for the heuristic used to decide whether to
+     create .GLOBAL_VAR.  */
+  if (gimple_global_var (cfun))
     {
-      add_stmt_operand (&global_var, s_ann, opf_none);
+      tree var = gimple_global_var (cfun);
+      add_virtual_operand (var, stmt, opf_use, NULL, 0, -1, true);
       return;
     }
-  
-  not_read_b = callee ? ipa_reference_get_not_read_global (callee) : NULL; 
 
   /* Add a VUSE for each call-clobbered variable.  */
-  EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, u, bi)
+  EXECUTE_IF_SET_IN_BITMAP (gimple_call_clobbered_vars (cfun), 0, u, bi)
     {
       tree var = referenced_var (u);
       tree real_var = var;
@@ -1633,12 +1749,6 @@ add_call_read_ops (tree stmt, tree callee)
       
       clobber_stats.readonly_clobbers++;
 
-      /* Not read and not written are computed on regular vars, not
-        subvars, so look at the parent var if this is an SFT. */
-
-      if (TREE_CODE (var) == STRUCT_FIELD_TAG)
-       real_var = SFT_PARENT_VAR (var);
-
       not_read = not_read_b ? bitmap_bit_p (not_read_b, DECL_UID (real_var))
                            : false;
       
@@ -1648,69 +1758,55 @@ add_call_read_ops (tree stmt, tree callee)
          continue;
        }
             
-      add_stmt_operand (&var, s_ann, opf_none | opf_non_specific);
+      add_virtual_operand (var, stmt, opf_use, NULL, 0, -1, true);
     }
 }
 
 
-/* A subroutine of get_expr_operands to handle CALL_EXPR.  */
+/* If STMT is a call that may clobber globals and other symbols that
+   escape, add them to the VDEF/VUSE lists for it.  */
 
 static void
-get_call_expr_operands (tree stmt, tree expr)
+maybe_add_call_clobbered_vops (gimple stmt)
 {
-  tree op;
-  int call_flags = call_expr_flags (expr);
+  int call_flags = gimple_call_flags (stmt);
+
+  /* Mark the statement as having memory operands.  */
+  gimple_set_references_memory (stmt, true);
 
-  /* If aliases have been computed already, add V_MAY_DEF or V_USE
+  /* If aliases have been computed already, add VDEF or VUSE
      operands for all the symbols that have been found to be
-     call-clobbered.
-     
-     Note that if aliases have not been computed, the global effects
-     of calls will not be included in the SSA web. This is fine
-     because no optimizer should run before aliases have been
-     computed.  By not bothering with virtual operands for CALL_EXPRs
-     we avoid adding superfluous virtual operands, which can be a
-     significant compile time sink (See PR 15855).  */
-  if (aliases_computed_p
-      && !bitmap_empty_p (call_clobbered_vars)
-      && !(call_flags & ECF_NOVOPS))
+     call-clobbered.  */
+  if (gimple_aliases_computed_p (cfun) && !(call_flags & ECF_NOVOPS))
     {
       /* A 'pure' or a 'const' function never call-clobbers anything. 
         A 'noreturn' function might, but since we don't return anyway 
         there is no point in recording that.  */ 
-      if (TREE_SIDE_EFFECTS (expr)
-         && !(call_flags & (ECF_PURE | ECF_CONST | ECF_NORETURN)))
-       add_call_clobber_ops (stmt, get_callee_fndecl (expr));
+      if (!(call_flags & (ECF_PURE | ECF_CONST | ECF_NORETURN)))
+       add_call_clobber_ops (stmt, gimple_call_fndecl (stmt));
       else if (!(call_flags & ECF_CONST))
-       add_call_read_ops (stmt, get_callee_fndecl (expr));
+       add_call_read_ops (stmt, gimple_call_fndecl (stmt));
     }
-
-  /* Find uses in the called function.  */
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 0), opf_none);
-
-  for (op = TREE_OPERAND (expr, 1); op; op = TREE_CHAIN (op))
-    get_expr_operands (stmt, &TREE_VALUE (op), opf_none);
-
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
 }
 
 
 /* Scan operands in the ASM_EXPR stmt referred to in INFO.  */
 
 static void
-get_asm_expr_operands (tree stmt)
+get_asm_expr_operands (gimple stmt)
 {
-  stmt_ann_t s_ann = stmt_ann (stmt);
-  int noutputs = list_length (ASM_OUTPUTS (stmt));
-  const char **oconstraints
-    = (const char **) alloca ((noutputs) * sizeof (const char *));
-  int i;
-  tree link;
+  size_t i, noutputs;
+  const char **oconstraints;
   const char *constraint;
   bool allows_mem, allows_reg, is_inout;
 
-  for (i=0, link = ASM_OUTPUTS (stmt); link; ++i, link = TREE_CHAIN (link))
+  noutputs = gimple_asm_noutputs (stmt);
+  oconstraints = (const char **) alloca ((noutputs) * sizeof (const char *));
+
+  /* Gather all output operands.  */
+  for (i = 0; i < gimple_asm_noutputs (stmt); i++)
     {
+      tree link = gimple_asm_output_op (stmt, i);
       constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
       oconstraints[i] = constraint;
       parse_output_constraint (&constraint, i, 0, 0, &allows_mem,
@@ -1724,95 +1820,59 @@ get_asm_expr_operands (tree stmt)
       if (!allows_reg && allows_mem)
        {
          tree t = get_base_address (TREE_VALUE (link));
-         if (t && DECL_P (t) && s_ann)
-           add_to_addressable_set (t, &s_ann->addresses_taken);
+         if (t && DECL_P (t))
+           gimple_add_to_addresses_taken (stmt, t);
        }
 
-      get_expr_operands (stmt, &TREE_VALUE (link), opf_is_def);
+      get_expr_operands (stmt, &TREE_VALUE (link), opf_def);
     }
 
-  for (link = ASM_INPUTS (stmt); link; link = TREE_CHAIN (link))
+  /* Gather all input operands.  */
+  for (i = 0; i < gimple_asm_ninputs (stmt); i++)
     {
+      tree link = gimple_asm_input_op (stmt, i);
       constraint = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
-      parse_input_constraint (&constraint, 0, 0, noutputs, 0,
-                             oconstraints, &allows_mem, &allows_reg);
+      parse_input_constraint (&constraint, 0, 0, noutputs, 0, oconstraints,
+                             &allows_mem, &allows_reg);
 
       /* Memory operands are addressable.  Note that STMT needs the
         address of this operand.  */
       if (!allows_reg && allows_mem)
        {
          tree t = get_base_address (TREE_VALUE (link));
-         if (t && DECL_P (t) && s_ann)
-           add_to_addressable_set (t, &s_ann->addresses_taken);
+         if (t && DECL_P (t))
+           gimple_add_to_addresses_taken (stmt, t);
        }
 
       get_expr_operands (stmt, &TREE_VALUE (link), 0);
     }
 
+  /* Clobber all memory and addressable symbols for asm ("" : : : "memory");  */
+  for (i = 0; i < gimple_asm_nclobbers (stmt); i++)
+    {
+      tree link = gimple_asm_clobber_op (stmt, i);
+      if (strcmp (TREE_STRING_POINTER (TREE_VALUE (link)), "memory") == 0)
+       {
+         unsigned i;
+         bitmap_iterator bi;
 
-  /* Clobber memory for asm ("" : : : "memory");  */
-  for (link = ASM_CLOBBERS (stmt); link; link = TREE_CHAIN (link))
-    if (strcmp (TREE_STRING_POINTER (TREE_VALUE (link)), "memory") == 0)
-      {
-       unsigned i;
-       bitmap_iterator bi;
+         /* Mark the statement as having memory operands.  */
+         gimple_set_references_memory (stmt, true);
 
-       /* Clobber all call-clobbered variables (or .GLOBAL_VAR if we
-          decided to group them).  */
-       if (global_var)
-         add_stmt_operand (&global_var, s_ann, opf_is_def);
-       else
-         EXECUTE_IF_SET_IN_BITMAP (call_clobbered_vars, 0, i, bi)
+         EXECUTE_IF_SET_IN_BITMAP (gimple_call_clobbered_vars (cfun), 0, i, bi)
            {
              tree var = referenced_var (i);
-             add_stmt_operand (&var, s_ann, opf_is_def | opf_non_specific);
+             add_stmt_operand (&var, stmt, opf_def | opf_implicit);
            }
 
-       /* Now clobber all addressables.  */
-       EXECUTE_IF_SET_IN_BITMAP (addressable_vars, 0, i, bi)
+         EXECUTE_IF_SET_IN_BITMAP (gimple_addressable_vars (cfun), 0, i, bi)
            {
              tree var = referenced_var (i);
-
-             /* Subvars are explicitly represented in this list, so
-                we don't need the original to be added to the clobber
-                ops, but the original *will* be in this list because 
-                we keep the addressability of the original
-                variable up-to-date so we don't screw up the rest of
-                the backend.  */
-             if (var_can_have_subvars (var)
-                 && get_subvars_for_var (var) != NULL)
-               continue;               
-
-             add_stmt_operand (&var, s_ann, opf_is_def | opf_non_specific);
+             add_stmt_operand (&var, stmt, opf_def | opf_implicit);
            }
-
-       break;
-      }
-}
-
-
-/* Scan operands for the assignment expression EXPR in statement STMT.  */
-
-static void
-get_modify_expr_operands (tree stmt, tree expr)
-{
-  /* First get operands from the RHS.  */
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-
-  /* For the LHS, use a regular definition (OPF_IS_DEF) for GIMPLE
-     registers.  If the LHS is a store to memory, we will either need
-     a preserving definition (V_MAY_DEF) or a killing definition
-     (V_MUST_DEF).
-
-     Preserving definitions are those that modify a part of an
-     aggregate object for which no subvars have been computed (or the
-     reference does not correspond exactly to one of them). Stores
-     through a pointer are also represented with V_MAY_DEF operators.
-
-     The determination of whether to use a preserving or a killing
-     definition is done while scanning the LHS of the assignment.  By
-     default, assume that we will emit a V_MUST_DEF.  */
-  get_expr_operands (stmt, &TREE_OPERAND (expr, 0), opf_is_def|opf_kill_def);
+         break;
+       }
+    }
 }
 
 
@@ -1821,18 +1881,17 @@ get_modify_expr_operands (tree stmt, tree expr)
    interpret the operands found.  */
 
 static void
-get_expr_operands (tree stmt, tree *expr_p, int flags)
+get_expr_operands (gimple stmt, tree *expr_p, int flags)
 {
   enum tree_code code;
-  enum tree_code_class class;
+  enum tree_code_class codeclass;
   tree expr = *expr_p;
-  stmt_ann_t s_ann = stmt_ann (stmt);
 
   if (expr == NULL)
     return;
 
   code = TREE_CODE (expr);
-  class = TREE_CODE_CLASS (code);
+  codeclass = TREE_CODE_CLASS (code);
 
   switch (code)
     {
@@ -1841,7 +1900,7 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
         reference to it, but the fact that the statement takes its
         address will be of interest to some passes (e.g. alias
         resolution).  */
-      add_to_addressable_set (TREE_OPERAND (expr, 0), &s_ann->addresses_taken);
+      gimple_add_to_addresses_taken (stmt, TREE_OPERAND (expr, 0));
 
       /* If the address is invariant, there may be no interesting
         variable references inside.  */
@@ -1858,33 +1917,16 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
       return;
 
     case SSA_NAME:
-    case STRUCT_FIELD_TAG:
     case SYMBOL_MEMORY_TAG:
     case NAME_MEMORY_TAG:
-     add_stmt_operand (expr_p, s_ann, flags);
+     add_stmt_operand (expr_p, stmt, flags);
      return;
 
     case VAR_DECL:
     case PARM_DECL:
     case RESULT_DECL:
-      {
-       subvar_t svars;
-       
-       /* Add the subvars for a variable, if it has subvars, to DEFS
-          or USES.  Otherwise, add the variable itself.  Whether it
-          goes to USES or DEFS depends on the operand flags.  */
-       if (var_can_have_subvars (expr)
-           && (svars = get_subvars_for_var (expr)))
-         {
-           subvar_t sv;
-           for (sv = svars; sv; sv = sv->next)
-             add_stmt_operand (&sv->var, s_ann, flags);
-         }
-       else
-         add_stmt_operand (expr_p, s_ann, flags);
-
-       return;
-      }
+      add_stmt_operand (expr_p, stmt, flags);
+      return;
 
     case MISALIGNED_INDIRECT_REF:
       get_expr_operands (stmt, &TREE_OPERAND (expr, 1), flags);
@@ -1892,7 +1934,7 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
 
     case ALIGN_INDIRECT_REF:
     case INDIRECT_REF:
-      get_indirect_ref_operands (stmt, expr, flags, NULL_TREE, 0, -1, true);
+      get_indirect_ref_operands (stmt, expr, flags, expr, 0, -1, true);
       return;
 
     case TARGET_MEM_REF:
@@ -1907,61 +1949,31 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
       {
        tree ref;
        HOST_WIDE_INT offset, size, maxsize;
-       bool none = true;
-
-       /* This component reference becomes an access to all of the
-          subvariables it can touch, if we can determine that, but
-          *NOT* the real one.  If we can't determine which fields we
-          could touch, the recursion will eventually get to a
-          variable and add *all* of its subvars, or whatever is the
-          minimum correct subset.  */
-       ref = get_ref_base_and_extent (expr, &offset, &size, &maxsize);
-       if (SSA_VAR_P (ref) && get_subvars_for_var (ref))
-         {
-           subvar_t sv;
-           subvar_t svars = get_subvars_for_var (ref);
 
-           for (sv = svars; sv; sv = sv->next)
-             {
-               bool exact;             
-
-               if (overlap_subvar (offset, maxsize, sv->var, &exact))
-                 {
-                   int subvar_flags = flags;
-                   none = false;
-                   if (!exact || size != maxsize)
-                     subvar_flags &= ~opf_kill_def;
-                   add_stmt_operand (&sv->var, s_ann, subvar_flags);
-                 }
-             }
+       if (TREE_THIS_VOLATILE (expr))
+         gimple_set_has_volatile_ops (stmt, true);
 
-           if (!none)
-             flags |= opf_no_vops;
-         }
-       else if (TREE_CODE (ref) == INDIRECT_REF)
+       ref = get_ref_base_and_extent (expr, &offset, &size, &maxsize);
+       if (TREE_CODE (ref) == INDIRECT_REF)
          {
            get_indirect_ref_operands (stmt, ref, flags, expr, offset,
                                       maxsize, false);
            flags |= opf_no_vops;
          }
 
-       /* Even if we found subvars above we need to ensure to see
-          immediate uses for d in s.a[d].  In case of s.a having
-          a subvar or we would miss it otherwise.  */
-       get_expr_operands (stmt, &TREE_OPERAND (expr, 0),
-                          flags & ~opf_kill_def);
+       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
        
        if (code == COMPONENT_REF)
          {
-           if (s_ann && TREE_THIS_VOLATILE (TREE_OPERAND (expr, 1)))
-             s_ann->has_volatile_ops = true; 
-           get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
+           if (TREE_THIS_VOLATILE (TREE_OPERAND (expr, 1)))
+             gimple_set_has_volatile_ops (stmt, true);
+           get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_use);
          }
        else if (code == ARRAY_REF || code == ARRAY_RANGE_REF)
          {
-            get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-            get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
-            get_expr_operands (stmt, &TREE_OPERAND (expr, 3), opf_none);
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_use);
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_use);
+            get_expr_operands (stmt, &TREE_OPERAND (expr, 3), opf_use);
          }
 
        return;
@@ -1970,23 +1982,15 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
     case WITH_SIZE_EXPR:
       /* WITH_SIZE_EXPR is a pass-through reference to its first argument,
         and an rvalue reference to its second argument.  */
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_use);
       get_expr_operands (stmt, &TREE_OPERAND (expr, 0), flags);
       return;
 
-    case CALL_EXPR:
-      get_call_expr_operands (stmt, expr);
-      return;
-
     case COND_EXPR:
     case VEC_COND_EXPR:
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 0), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_none);
-      get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_none);
-      return;
-
-    case MODIFY_EXPR:
-      get_modify_expr_operands (stmt, expr);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 0), opf_use);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 1), opf_use);
+      get_expr_operands (stmt, &TREE_OPERAND (expr, 2), opf_use);
       return;
 
     case CONSTRUCTOR:
@@ -1999,17 +2003,12 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
        for (idx = 0;
             VEC_iterate (constructor_elt, CONSTRUCTOR_ELTS (expr), idx, ce);
             idx++)
-         get_expr_operands (stmt, &ce->value, opf_none);
+         get_expr_operands (stmt, &ce->value, opf_use);
 
        return;
       }
 
     case BIT_FIELD_REF:
-      /* Stores using BIT_FIELD_REF are always preserving definitions.  */
-      flags &= ~opf_kill_def;
-
-      /* Fallthru  */
-
     case TRUTH_NOT_EXPR:
     case VIEW_CONVERT_EXPR:
     do_unary:
@@ -2038,30 +2037,24 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
         return;
       }
 
-    case BLOCK:
+    case CHANGE_DYNAMIC_TYPE_EXPR:
+      gcc_unreachable ();
+
     case FUNCTION_DECL:
-    case EXC_PTR_EXPR:
-    case FILTER_EXPR:
     case LABEL_DECL:
     case CONST_DECL:
-    case OMP_PARALLEL:
-    case OMP_SECTIONS:
-    case OMP_FOR:
-    case OMP_SINGLE:
-    case OMP_MASTER:
-    case OMP_ORDERED:
-    case OMP_CRITICAL:
-    case OMP_RETURN:
-    case OMP_CONTINUE:
+    case CASE_LABEL_EXPR:
+    case FILTER_EXPR:
+    case EXC_PTR_EXPR:
       /* Expressions that make no memory references.  */
       return;
 
     default:
-      if (class == tcc_unary)
+      if (codeclass == tcc_unary)
        goto do_unary;
-      if (class == tcc_binary || class == tcc_comparison)
+      if (codeclass == tcc_binary || codeclass == tcc_comparison)
        goto do_binary;
-      if (class == tcc_constant || class == tcc_type)
+      if (codeclass == tcc_constant || codeclass == tcc_type)
        return;
     }
 
@@ -2079,59 +2072,28 @@ get_expr_operands (tree stmt, tree *expr_p, int flags)
    build_* operand vectors will have potential operands in them.  */
 
 static void
-parse_ssa_operands (tree stmt)
+parse_ssa_operands (gimple stmt)
 {
-  enum tree_code code;
+  enum gimple_code code = gimple_code (stmt);
 
-  code = TREE_CODE (stmt);
-  switch (code)
+  if (code == GIMPLE_ASM)
+    get_asm_expr_operands (stmt);
+  else
     {
-    case MODIFY_EXPR:
-      get_modify_expr_operands (stmt, stmt);
-      break;
-
-    case COND_EXPR:
-      get_expr_operands (stmt, &COND_EXPR_COND (stmt), opf_none);
-      break;
+      size_t i, start = 0;
 
-    case SWITCH_EXPR:
-      get_expr_operands (stmt, &SWITCH_COND (stmt), opf_none);
-      break;
-
-    case ASM_EXPR:
-      get_asm_expr_operands (stmt);
-      break;
-
-    case RETURN_EXPR:
-      get_expr_operands (stmt, &TREE_OPERAND (stmt, 0), opf_none);
-      break;
-
-    case GOTO_EXPR:
-      get_expr_operands (stmt, &GOTO_DESTINATION (stmt), opf_none);
-      break;
-
-    case LABEL_EXPR:
-      get_expr_operands (stmt, &LABEL_EXPR_LABEL (stmt), opf_none);
-      break;
+      if (code == GIMPLE_ASSIGN || code == GIMPLE_CALL)
+       {
+         get_expr_operands (stmt, gimple_op_ptr (stmt, 0), opf_def);
+         start = 1;
+       }
 
-    case BIND_EXPR:
-    case CASE_LABEL_EXPR:
-    case TRY_CATCH_EXPR:
-    case TRY_FINALLY_EXPR:
-    case EH_FILTER_EXPR:
-    case CATCH_EXPR:
-    case RESX_EXPR:
-      /* These nodes contain no variable references.  */
-      break;
+      for (i = start; i < gimple_num_ops (stmt); i++)
+       get_expr_operands (stmt, gimple_op_ptr (stmt, i), opf_use);
 
-    default:
-      /* Notice that if get_expr_operands tries to use &STMT as the
-        operand pointer (which may only happen for USE operands), we
-        will fail in add_stmt_operand.  This default will handle
-        statements like empty statements, or CALL_EXPRs that may
-        appear on the RHS of a statement or as statements themselves.  */
-      get_expr_operands (stmt, &stmt, opf_none);
-      break;
+      /* Add call-clobbered operands, if needed.  */
+      if (code == GIMPLE_CALL)
+       maybe_add_call_clobbered_vops (stmt);
     }
 }
 
@@ -2139,62 +2101,106 @@ parse_ssa_operands (tree stmt)
 /* Create an operands cache for STMT.  */
 
 static void
-build_ssa_operands (tree stmt)
+build_ssa_operands (gimple stmt)
 {
-  stmt_ann_t ann = get_stmt_ann (stmt);
-  
-  /* Initially assume that the statement has no volatile operands.  */
-  if (ann)
-    ann->has_volatile_ops = false;
+  /* Initially assume that the statement has no volatile operands and
+     makes no memory references.  */
+  gimple_set_has_volatile_ops (stmt, false);
+  gimple_set_references_memory (stmt, false);
 
-  start_ssa_stmt_operands ();
+  /* Just clear the bitmap so we don't end up reallocating it over and over.  */
+  if (gimple_addresses_taken (stmt))
+    bitmap_clear (gimple_addresses_taken (stmt));
 
+  start_ssa_stmt_operands ();
   parse_ssa_operands (stmt);
   operand_build_sort_virtual (build_vuses);
-  operand_build_sort_virtual (build_v_may_defs);
-  operand_build_sort_virtual (build_v_must_defs);
-
+  operand_build_sort_virtual (build_vdefs);
   finalize_ssa_stmt_operands (stmt);
+
+  /* For added safety, assume that statements with volatile operands
+     also reference memory.  */
+  if (gimple_has_volatile_ops (stmt))
+    gimple_set_references_memory (stmt, true);
 }
 
 
-/* Free any operands vectors in OPS.  */
+/* Releases the operands of STMT back to their freelists, and clears
+   the stmt operand lists.  */
 
-void 
-free_ssa_operands (stmt_operands_p ops)
+void
+free_stmt_operands (gimple stmt)
 {
-  ops->def_ops = NULL;
-  ops->use_ops = NULL;
-  ops->maydef_ops = NULL;
-  ops->mustdef_ops = NULL;
-  ops->vuse_ops = NULL;
+  def_optype_p defs = gimple_def_ops (stmt), last_def;
+  use_optype_p uses = gimple_use_ops (stmt), last_use;
+  voptype_p vuses = gimple_vuse_ops (stmt);
+  voptype_p vdefs = gimple_vdef_ops (stmt), vdef, next_vdef;
+  unsigned i;
+
+  if (defs)
+    {
+      for (last_def = defs; last_def->next; last_def = last_def->next)
+       continue;
+      last_def->next = gimple_ssa_operands (cfun)->free_defs;
+      gimple_ssa_operands (cfun)->free_defs = defs;
+      gimple_set_def_ops (stmt, NULL);
+    }
+
+  if (uses)
+    {
+      for (last_use = uses; last_use->next; last_use = last_use->next)
+       delink_imm_use (USE_OP_PTR (last_use));
+      delink_imm_use (USE_OP_PTR (last_use));
+      last_use->next = gimple_ssa_operands (cfun)->free_uses;
+      gimple_ssa_operands (cfun)->free_uses = uses;
+      gimple_set_use_ops (stmt, NULL);
+    }
+
+  if (vuses)
+    {
+      for (i = 0; i < VUSE_NUM (vuses); i++)
+       delink_imm_use (VUSE_OP_PTR (vuses, i));
+      add_vop_to_freelist (vuses);
+      gimple_set_vuse_ops (stmt, NULL);
+    }
+
+  if (vdefs)
+    {
+      for (vdef = vdefs; vdef; vdef = next_vdef)
+       {
+         next_vdef = vdef->next;
+         delink_imm_use (VDEF_OP_PTR (vdef, 0));
+         add_vop_to_freelist (vdef);
+       }
+      gimple_set_vdef_ops (stmt, NULL);
+    }
+
+  if (gimple_has_ops (stmt))
+    gimple_set_addresses_taken (stmt, NULL);
+
+  if (gimple_has_mem_ops (stmt))
+    {
+      gimple_set_stored_syms (stmt, NULL, &operands_bitmap_obstack);
+      gimple_set_loaded_syms (stmt, NULL, &operands_bitmap_obstack);
+    }
 }
 
 
 /* Get the operands of statement STMT.  */
 
 void
-update_stmt_operands (tree stmt)
+update_stmt_operands (gimple stmt)
 {
-  stmt_ann_t ann = get_stmt_ann (stmt);
-
   /* If update_stmt_operands is called before SSA is initialized, do
      nothing.  */
   if (!ssa_operands_active ())
     return;
 
-  /* The optimizers cannot handle statements that are nothing but a
-     _DECL.  This indicates a bug in the gimplifier.  */
-  gcc_assert (!SSA_VAR_P (stmt));
-
-  gcc_assert (ann->modified);
-
   timevar_push (TV_TREE_OPS);
 
+  gcc_assert (gimple_modified_p (stmt));
   build_ssa_operands (stmt);
-
-  /* Clear the modified bit for STMT.  */
-  ann->modified = 0;
+  gimple_set_modified (stmt, false);
 
   timevar_pop (TV_TREE_OPS);
 }
@@ -2203,63 +2209,55 @@ update_stmt_operands (tree stmt)
 /* Copies virtual operands from SRC to DST.  */
 
 void
-copy_virtual_operands (tree dest, tree src)
+copy_virtual_operands (gimple dest, gimple src)
 {
-  tree t;
-  ssa_op_iter iter, old_iter;
-  use_operand_p use_p, u2;
-  def_operand_p def_p, d2;
-
-  build_ssa_operands (dest);
-
-  /* Copy all the virtual fields.  */
-  FOR_EACH_SSA_TREE_OPERAND (t, src, iter, SSA_OP_VUSE)
-    append_vuse (t);
-  FOR_EACH_SSA_TREE_OPERAND (t, src, iter, SSA_OP_VMAYDEF)
-    append_v_may_def (t);
-  FOR_EACH_SSA_TREE_OPERAND (t, src, iter, SSA_OP_VMUSTDEF)
-    append_v_must_def (t);
-
-  if (VEC_length (tree, build_vuses) == 0
-      && VEC_length (tree, build_v_may_defs) == 0
-      && VEC_length (tree, build_v_must_defs) == 0)
+  unsigned int i, n;
+  voptype_p src_vuses, dest_vuses;
+  voptype_p src_vdefs, dest_vdefs;
+  struct voptype_d vuse;
+  struct voptype_d vdef;
+
+  if (!gimple_has_mem_ops (src))
     return;
 
-  /* Now commit the virtual operands to this stmt.  */
-  finalize_ssa_v_must_defs (dest);
-  finalize_ssa_v_may_defs (dest);
-  finalize_ssa_vuses (dest);
+  gimple_set_vdef_ops (dest, NULL);
+  gimple_set_vuse_ops (dest, NULL);
 
-  /* Finally, set the field to the same values as then originals.  */
-  t = op_iter_init_tree (&old_iter, src, SSA_OP_VUSE);
-  FOR_EACH_SSA_USE_OPERAND (use_p, dest, iter, SSA_OP_VUSE)
-    {
-      gcc_assert (!op_iter_done (&old_iter));
-      SET_USE (use_p, t);
-      t = op_iter_next_tree (&old_iter);
-    }
-  gcc_assert (op_iter_done (&old_iter));
+  gimple_set_stored_syms (dest, gimple_stored_syms (src),
+                         &operands_bitmap_obstack);
+  gimple_set_loaded_syms (dest, gimple_loaded_syms (src),
+                         &operands_bitmap_obstack);
 
-  op_iter_init_maydef (&old_iter, src, &u2, &d2);
-  FOR_EACH_SSA_MAYDEF_OPERAND (def_p, use_p, dest, iter)
+  /* Copy all the VUSE operators and corresponding operands.  */
+  dest_vuses = &vuse;
+  for (src_vuses = gimple_vuse_ops (src);
+       src_vuses;
+       src_vuses = src_vuses->next)
     {
-      gcc_assert (!op_iter_done (&old_iter));
-      SET_USE (use_p, USE_FROM_PTR (u2));
-      SET_DEF (def_p, DEF_FROM_PTR (d2));
-      op_iter_next_maymustdef (&u2, &d2, &old_iter);
+      n = VUSE_NUM (src_vuses);
+      dest_vuses = add_vuse_op (dest, NULL_TREE, n, dest_vuses);
+      for (i = 0; i < n; i++)
+       SET_USE (VUSE_OP_PTR (dest_vuses, i), VUSE_OP (src_vuses, i));
+
+      if (gimple_vuse_ops (dest) == NULL)
+       gimple_set_vuse_ops (dest, vuse.next);
     }
-  gcc_assert (op_iter_done (&old_iter));
 
-  op_iter_init_mustdef (&old_iter, src, &u2, &d2);
-  FOR_EACH_SSA_MUSTDEF_OPERAND (def_p, use_p, dest, iter)
+  /* Copy all the VDEF operators and corresponding operands.  */
+  dest_vdefs = &vdef;
+  for (src_vdefs = gimple_vdef_ops (src);
+       src_vdefs;
+       src_vdefs = src_vdefs->next)
     {
-      gcc_assert (!op_iter_done (&old_iter));
-      SET_USE (use_p, USE_FROM_PTR (u2));
-      SET_DEF (def_p, DEF_FROM_PTR (d2));
-      op_iter_next_maymustdef (&u2, &d2, &old_iter);
+      n = VUSE_NUM (src_vdefs);
+      dest_vdefs = add_vdef_op (dest, NULL_TREE, n, dest_vdefs);
+      VDEF_RESULT (dest_vdefs) = VDEF_RESULT (src_vdefs);
+      for (i = 0; i < n; i++)
+       SET_USE (VUSE_OP_PTR (dest_vdefs, i), VUSE_OP (src_vdefs, i));
+
+      if (gimple_vdef_ops (dest) == NULL)
+       gimple_set_vdef_ops (dest, vdef.next);
     }
-  gcc_assert (op_iter_done (&old_iter));
-
 }
 
 
@@ -2267,61 +2265,51 @@ copy_virtual_operands (tree dest, tree src)
    create an artificial stmt which looks like a load from the store, this can
    be used to eliminate redundant loads.  OLD_OPS are the operands from the 
    store stmt, and NEW_STMT is the new load which represents a load of the
-   values stored.  */
+   values stored.  If DELINK_IMM_USES_P is specified, the immediate
+   uses of this stmt will be de-linked.  */
 
 void
-create_ssa_artficial_load_stmt (tree new_stmt, tree old_stmt)
+create_ssa_artificial_load_stmt (gimple new_stmt, gimple old_stmt,
+                                bool delink_imm_uses_p)
 {
-  stmt_ann_t ann;
   tree op;
   ssa_op_iter iter;
   use_operand_p use_p;
-  unsigned x;
+  unsigned i;
 
-  ann = get_stmt_ann (new_stmt);
+  gimple_set_modified (new_stmt, false);
 
-  /* Process the stmt looking for operands.  */
+  /* Process NEW_STMT looking for operands.  */
   start_ssa_stmt_operands ();
   parse_ssa_operands (new_stmt);
 
-  for (x = 0; x < VEC_length (tree, build_vuses); x++)
-    {
-      tree t = VEC_index (tree, build_vuses, x);
-      if (TREE_CODE (t) != SSA_NAME)
-       {
-         var_ann_t ann = var_ann (t);
-         ann->in_vuse_list = 0;
-       }
-    }
+  for (i = 0; VEC_iterate (tree, build_vuses, i, op); i++)
+    if (TREE_CODE (op) != SSA_NAME)
+      var_ann (op)->in_vuse_list = false;
    
-  for (x = 0; x < VEC_length (tree, build_v_may_defs); x++)
-    {
-      tree t = VEC_index (tree, build_v_may_defs, x);
-      if (TREE_CODE (t) != SSA_NAME)
-       {
-         var_ann_t ann = var_ann (t);
-         ann->in_v_may_def_list = 0;
-       }
-    }
+  for (i = 0; VEC_iterate (tree, build_vdefs, i, op); i++)
+    if (TREE_CODE (op) != SSA_NAME)
+      var_ann (op)->in_vdef_list = false;
 
   /* Remove any virtual operands that were found.  */
-  VEC_truncate (tree, build_v_may_defs, 0);
-  VEC_truncate (tree, build_v_must_defs, 0);
+  VEC_truncate (tree, build_vdefs, 0);
   VEC_truncate (tree, build_vuses, 0);
 
+  /* Clear the loads and stores bitmaps.  */
+  bitmap_clear (build_loads);
+  bitmap_clear (build_stores);
+
   /* For each VDEF on the original statement, we want to create a
-     VUSE of the V_MAY_DEF result or V_MUST_DEF op on the new 
-     statement.  */
-  FOR_EACH_SSA_TREE_OPERAND (op, old_stmt, iter, 
-                            (SSA_OP_VMAYDEF | SSA_OP_VMUSTDEF))
+     VUSE of the VDEF result operand on the new statement.  */
+  FOR_EACH_SSA_TREE_OPERAND (op, old_stmt, iter, SSA_OP_VDEF)
     append_vuse (op);
-    
-  /* Now build the operands for this new stmt.  */
+
   finalize_ssa_stmt_operands (new_stmt);
 
   /* All uses in this fake stmt must not be in the immediate use lists.  */
-  FOR_EACH_SSA_USE_OPERAND (use_p, new_stmt, iter, SSA_OP_ALL_USES)
-    delink_imm_use (use_p);
+  if (delink_imm_uses_p)
+    FOR_EACH_SSA_USE_OPERAND (use_p, new_stmt, iter, SSA_OP_ALL_USES)
+      delink_imm_use (use_p);
 }
 
 
@@ -2329,7 +2317,7 @@ create_ssa_artficial_load_stmt (tree new_stmt, tree old_stmt)
    to test the validity of the swap operation.  */
 
 void
-swap_tree_operands (tree stmt, tree *exp0, tree *exp1)
+swap_tree_operands (gimple stmt, tree *exp0, tree *exp1)
 {
   tree op0, op1;
   op0 = *exp0;
@@ -2344,14 +2332,14 @@ swap_tree_operands (tree stmt, tree *exp0, tree *exp1)
       use0 = use1 = NULL;
 
       /* Find the 2 operands in the cache, if they are there.  */
-      for (ptr = USE_OPS (stmt); ptr; ptr = ptr->next)
+      for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
        if (USE_OP_PTR (ptr)->use == exp0)
          {
            use0 = ptr;
            break;
          }
 
-      for (ptr = USE_OPS (stmt); ptr; ptr = ptr->next)
+      for (ptr = gimple_use_ops (stmt); ptr; ptr = ptr->next)
        if (USE_OP_PTR (ptr)->use == exp1)
          {
            use1 = ptr;
@@ -2373,21 +2361,12 @@ swap_tree_operands (tree stmt, tree *exp0, tree *exp1)
   *exp1 = op0;
 }
 
-
-/* Add the base address of REF to the set *ADDRESSES_TAKEN.  If
-   *ADDRESSES_TAKEN is NULL, a new set is created.  REF may be
-   a single variable whose address has been taken or any other valid
-   GIMPLE memory reference (structure reference, array, etc).  If the
-   base address of REF is a decl that has sub-variables, also add all
-   of its sub-variables.  */
+/* Add the base address of REF to SET.  */
 
 void
-add_to_addressable_set (tree ref, bitmap *addresses_taken)
+add_to_addressable_set (tree ref, bitmap *set)
 {
   tree var;
-  subvar_t svars;
-
-  gcc_assert (addresses_taken);
 
   /* Note that it is *NOT OKAY* to use the target of a COMPONENT_REF
      as the only thing we take the address of.  If VAR is a structure,
@@ -2397,28 +2376,29 @@ add_to_addressable_set (tree ref, bitmap *addresses_taken)
   var = get_base_address (ref);
   if (var && SSA_VAR_P (var))
     {
-      if (*addresses_taken == NULL)
-       *addresses_taken = BITMAP_GGC_ALLOC ();      
-      
-      if (var_can_have_subvars (var)
-         && (svars = get_subvars_for_var (var)))
-       {
-         subvar_t sv;
-         for (sv = svars; sv; sv = sv->next)
-           {
-             bitmap_set_bit (*addresses_taken, DECL_UID (sv->var));
-             TREE_ADDRESSABLE (sv->var) = 1;
-           }
-       }
-      else
-       {
-         bitmap_set_bit (*addresses_taken, DECL_UID (var));
-         TREE_ADDRESSABLE (var) = 1;
-       }
+      if (*set == NULL)
+       *set = BITMAP_ALLOC (&operands_bitmap_obstack);
+
+      bitmap_set_bit (*set, DECL_UID (var));
+      TREE_ADDRESSABLE (var) = 1;
     }
 }
 
 
+/* Add the base address of REF to the set of addresses taken by STMT.
+   REF may be a single variable whose address has been taken or any
+   other valid GIMPLE memory reference (structure reference, array,
+   etc).  If the base address of REF is a decl that has sub-variables,
+   also add all of its sub-variables.  */
+
+void
+gimple_add_to_addresses_taken (gimple stmt, tree ref)
+{
+  gcc_assert (gimple_has_ops (stmt));
+  add_to_addressable_set (ref, gimple_addresses_taken_ptr (stmt));
+}
+
+
 /* Scan the immediate_use list for VAR making sure its linked properly.
    Return TRUE if there is a problem and emit an error message to F.  */
 
@@ -2478,10 +2458,10 @@ verify_imm_links (FILE *f, tree var)
   return false;
 
  error:
-  if (ptr->stmt && stmt_modified_p (ptr->stmt))
+  if (ptr->loc.stmt && gimple_modified_p (ptr->loc.stmt))
     {
-      fprintf (f, " STMT MODIFIED. - <%p> ", (void *)ptr->stmt);
-      print_generic_stmt (f, ptr->stmt, TDF_SLIM);
+      fprintf (f, " STMT MODIFIED. - <%p> ", (void *)ptr->loc.stmt);
+      print_gimple_stmt (f, ptr->loc.stmt, 0, TDF_SLIM);
     }
   fprintf (f, " IMM ERROR : (use_p : tree - %p:%p)", (void *)ptr, 
           (void *)ptr->use);
@@ -2513,13 +2493,13 @@ dump_immediate_uses_for (FILE *file, tree var)
 
   FOR_EACH_IMM_USE_FAST (use_p, iter, var)
     {
-      if (use_p->stmt == NULL && use_p->use == NULL)
+      if (use_p->loc.stmt == NULL && use_p->use == NULL)
         fprintf (file, "***end of stmt iterator marker***\n");
       else
        if (!is_gimple_reg (USE_FROM_PTR (use_p)))
-         print_generic_stmt (file, USE_STMT (use_p), TDF_VOPS);
+         print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_VOPS|TDF_MEMSYMS);
        else
-         print_generic_stmt (file, USE_STMT (use_p), TDF_SLIM);
+         print_gimple_stmt (file, USE_STMT (use_p), 0, TDF_SLIM);
     }
   fprintf(file, "\n");
 }
@@ -2561,4 +2541,193 @@ debug_immediate_uses_for (tree var)
   dump_immediate_uses_for (stderr, var);
 }
 
-#include "gt-tree-ssa-operands.h"
+
+/* Create a new change buffer for the statement pointed by STMT_P and
+   push the buffer into SCB_STACK.  Each change buffer
+   records state information needed to determine what changed in the
+   statement.  Mainly, this keeps track of symbols that may need to be
+   put into SSA form, SSA name replacements and other information
+   needed to keep the SSA form up to date.  */
+
+void
+push_stmt_changes (gimple *stmt_p)
+{
+  gimple stmt;
+  scb_t buf;
+
+  stmt = *stmt_p;
+
+  /* It makes no sense to keep track of PHI nodes.  */
+  if (gimple_code (stmt) == GIMPLE_PHI)
+    return;
+
+  buf = XNEW (struct scb_d);
+  memset (buf, 0, sizeof *buf);
+
+  buf->stmt_p = stmt_p;
+
+  if (gimple_references_memory_p (stmt))
+    {
+      tree op;
+      ssa_op_iter i;
+
+      FOR_EACH_SSA_TREE_OPERAND (op, stmt, i, SSA_OP_VUSE)
+       {
+         tree sym = TREE_CODE (op) == SSA_NAME ? SSA_NAME_VAR (op) : op;
+         if (buf->loads == NULL)
+           buf->loads = BITMAP_ALLOC (NULL);
+         bitmap_set_bit (buf->loads, DECL_UID (sym));
+       }
+
+      FOR_EACH_SSA_TREE_OPERAND (op, stmt, i, SSA_OP_VDEF)
+       {
+         tree sym = TREE_CODE (op) == SSA_NAME ? SSA_NAME_VAR (op) : op;
+         if (buf->stores == NULL)
+           buf->stores = BITMAP_ALLOC (NULL);
+         bitmap_set_bit (buf->stores, DECL_UID (sym));
+       }
+    }
+
+  VEC_safe_push (scb_t, heap, scb_stack, buf);
+}
+
+
+/* Given two sets S1 and S2, mark the symbols that differ in S1 and S2
+   for renaming.  The set to mark for renaming is (S1 & ~S2) | (S2 & ~S1).  */
+
+static void
+mark_difference_for_renaming (bitmap s1, bitmap s2)
+{
+  if (s1 == NULL && s2 == NULL)
+    return;
+
+  if (s1 && s2 == NULL)
+    mark_set_for_renaming (s1);
+  else if (s1 == NULL && s2)
+    mark_set_for_renaming (s2);
+  else if (!bitmap_equal_p (s1, s2))
+    {
+      bitmap t1 = BITMAP_ALLOC (NULL);
+      bitmap_xor (t1, s1, s2);
+      mark_set_for_renaming (t1);
+      BITMAP_FREE (t1);
+    }
+}
+
+
+/* Pop the top SCB from SCB_STACK and act on the differences between
+   what was recorded by push_stmt_changes and the current state of
+   the statement.  */
+
+void
+pop_stmt_changes (gimple *stmt_p)
+{
+  tree op;
+  gimple stmt;
+  ssa_op_iter iter;
+  bitmap loads, stores;
+  scb_t buf;
+
+  stmt = *stmt_p;
+
+  /* It makes no sense to keep track of PHI nodes.  */
+  if (gimple_code (stmt) == GIMPLE_PHI)
+    return;
+
+  buf = VEC_pop (scb_t, scb_stack);
+  gcc_assert (stmt_p == buf->stmt_p);
+
+  /* Force an operand re-scan on the statement and mark any newly
+     exposed variables.  */
+  update_stmt (stmt);
+
+  /* Determine whether any memory symbols need to be renamed.  If the
+     sets of loads and stores are different after the statement is
+     modified, then the affected symbols need to be renamed.
+     
+     Note that it may be possible for the statement to not reference
+     memory anymore, but we still need to act on the differences in
+     the sets of symbols.  */
+  loads = stores = NULL;
+  if (gimple_references_memory_p (stmt))
+    {
+      tree op;
+      ssa_op_iter i;
+
+      FOR_EACH_SSA_TREE_OPERAND (op, stmt, i, SSA_OP_VUSE)
+       {
+         tree sym = TREE_CODE (op) == SSA_NAME ? SSA_NAME_VAR (op) : op;
+         if (loads == NULL)
+           loads = BITMAP_ALLOC (NULL);
+         bitmap_set_bit (loads, DECL_UID (sym));
+       }
+
+      FOR_EACH_SSA_TREE_OPERAND (op, stmt, i, SSA_OP_VDEF)
+       {
+         tree sym = TREE_CODE (op) == SSA_NAME ? SSA_NAME_VAR (op) : op;
+         if (stores == NULL)
+           stores = BITMAP_ALLOC (NULL);
+         bitmap_set_bit (stores, DECL_UID (sym));
+       }
+    }
+
+  /* If LOADS is different from BUF->LOADS, the affected
+     symbols need to be marked for renaming.  */
+  mark_difference_for_renaming (loads, buf->loads);
+
+  /* Similarly for STORES and BUF->STORES.  */
+  mark_difference_for_renaming (stores, buf->stores);
+
+  /* Mark all the naked GIMPLE register operands for renaming.  */
+  FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_DEF|SSA_OP_USE)
+    if (DECL_P (op))
+      mark_sym_for_renaming (op);
+
+  /* FIXME, need to add more finalizers here.  Cleanup EH info,
+     recompute invariants for address expressions, add
+     SSA replacement mappings, etc.  For instance, given
+     testsuite/gcc.c-torture/compile/pr16808.c, we fold a statement of
+     the form:
+
+         # SMT.4_20 = VDEF <SMT.4_16>
+         D.1576_11 = 1.0e+0;
+
+     So, the VDEF will disappear, but instead of marking SMT.4 for
+     renaming it would be far more efficient to establish a
+     replacement mapping that would replace every reference of
+     SMT.4_20 with SMT.4_16.  */
+
+  /* Free memory used by the buffer.  */
+  BITMAP_FREE (buf->loads);
+  BITMAP_FREE (buf->stores);
+  BITMAP_FREE (loads);
+  BITMAP_FREE (stores);
+  buf->stmt_p = NULL;
+  free (buf);
+}
+
+
+/* Discard the topmost change buffer from SCB_STACK.  This is useful
+   when the caller realized that it did not actually modified the
+   statement.  It avoids the expensive operand re-scan.  */
+
+void
+discard_stmt_changes (gimple *stmt_p)
+{
+  scb_t buf;
+  gimple stmt;
+  
+  /* It makes no sense to keep track of PHI nodes.  */
+  stmt = *stmt_p;
+  if (gimple_code (stmt) == GIMPLE_PHI)
+    return;
+
+  buf = VEC_pop (scb_t, scb_stack);
+  gcc_assert (stmt_p == buf->stmt_p);
+
+  /* Free memory used by the buffer.  */
+  BITMAP_FREE (buf->loads);
+  BITMAP_FREE (buf->stores);
+  buf->stmt_p = NULL;
+  free (buf);
+}