OSDN Git Service

2008-05-01 H.J. Lu <hongjiu.lu@intel.com>
[pf3gnuchains/gcc-fork.git] / gcc / tree-ssa-structalias.c
index def8958..ddcf498 100644 (file)
@@ -1,23 +1,22 @@
 /* Tree based points-to analysis
-   Copyright (C) 2005, 2006 Free Software Foundation, Inc.
+   Copyright (C) 2005, 2006, 2007 Free Software Foundation, Inc.
    Contributed by Daniel Berlin <dberlin@dberlin.org>
 
-This file is part of GCC.
+   This file is part of GCC.
 
-GCC is free software; you can redistribute it and/or modify
-under the terms of the GNU General Public License as published by
-the Free Software Foundation; either version 2 of the License, or
-(at your option) any later version.
+   GCC is free software; you can redistribute it and/or modify
+   under the terms of the GNU General Public License as published by
+   the Free Software Foundation; either version 3 of the License, or
+   (at your option) any later version.
 
-GCC is distributed in the hope that it will be useful,
-but WITHOUT ANY WARRANTY; without even the implied warranty of
-MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-GNU General Public License for more details.
+   GCC is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
 
-You should have received a copy of the GNU General Public License
-along with GCC; if not, write to the Free Software
-Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
-*/
+   You should have received a copy of the GNU General Public License
+   along with GCC; see the file COPYING3.  If not see
+   <http://www.gnu.org/licenses/>.  */
 
 #include "config.h"
 #include "system.h"
@@ -250,19 +249,16 @@ struct variable_info
   /* True if this is a heap variable.  */
   unsigned int is_heap_var:1;
 
+  /* True if we may not use TBAA to prune references to this
+     variable.  This is used for C++ placement new.  */
+  unsigned int no_tbaa_pruning : 1;
+
   /* Points-to set for this variable.  */
   bitmap solution;
 
   /* Old points-to set for this variable.  */
   bitmap oldsolution;
 
-  /* Finished points-to set for this variable (IE what is returned
-     from find_what_p_points_to.  */
-  bitmap finished_solution;
-
-  /* Variable ids represented by this node.  */
-  bitmap variables;
-
   /* Variable id this was collapsed to due to type unsafety.  This
      should be unused completely after build_succ_graph, or something
      is broken.  */
@@ -288,7 +284,7 @@ static VEC(varinfo_t,heap) *varmap;
 static inline varinfo_t
 get_varinfo (unsigned int n)
 {
-  return VEC_index(varinfo_t, varmap, n);
+  return VEC_index (varinfo_t, varmap, n);
 }
 
 /* Return the varmap element N, following the collapsed_to link.  */
@@ -296,7 +292,7 @@ get_varinfo (unsigned int n)
 static inline varinfo_t
 get_varinfo_fc (unsigned int n)
 {
-  varinfo_t v = VEC_index(varinfo_t, varmap, n);
+  varinfo_t v = VEC_index (varinfo_t, varmap, n);
 
   if (v->collapsed_to)
     return v->collapsed_to;
@@ -330,9 +326,10 @@ static tree
 heapvar_lookup (tree from)
 {
   struct tree_map *h, in;
-  in.from = from;
+  in.base.from = from;
 
-  h = htab_find_with_hash (heapvar_for_stmt, &in, htab_hash_pointer (from));
+  h = (struct tree_map *) htab_find_with_hash (heapvar_for_stmt, &in,
+                                              htab_hash_pointer (from));
   if (h)
     return h->to;
   return NULL_TREE;
@@ -347,9 +344,9 @@ heapvar_insert (tree from, tree to)
   struct tree_map *h;
   void **loc;
 
-  h = ggc_alloc (sizeof (struct tree_map));
+  h = GGC_NEW (struct tree_map);
   h->hash = htab_hash_pointer (from);
-  h->from = from;
+  h->base.from = from;
   h->to = to;
   loc = htab_find_slot_with_hash (heapvar_for_stmt, h, h->hash, INSERT);
   *(struct tree_map **) loc = h;
@@ -361,7 +358,8 @@ heapvar_insert (tree from, tree to)
 static varinfo_t
 new_var_info (tree t, unsigned int id, const char *name)
 {
-  varinfo_t ret = pool_alloc (variable_info_pool);
+  varinfo_t ret = (varinfo_t) pool_alloc (variable_info_pool);
+  tree var;
 
   ret->id = id;
   ret->name = name;
@@ -372,9 +370,14 @@ new_var_info (tree t, unsigned int id, const char *name)
   ret->is_special_var = false;
   ret->is_unknown_size_var = false;
   ret->has_union = false;
+  var = t;
+  if (TREE_CODE (var) == SSA_NAME)
+    var = SSA_NAME_VAR (var);
+  ret->no_tbaa_pruning = (DECL_P (var)
+                         && POINTER_TYPE_P (TREE_TYPE (var))
+                         && DECL_NO_TBAA_P (var));
   ret->solution = BITMAP_ALLOC (&pta_obstack);
   ret->oldsolution = BITMAP_ALLOC (&oldpta_obstack);
-  ret->finished_solution = NULL;
   ret->next = NULL;
   ret->collapsed_to = NULL;
   return ret;
@@ -454,17 +457,57 @@ struct constraint_graph
      been unified. */
   unsigned int *rep;
 
-  /* Equivalence class representative for a node.  This is used for
+  /* Equivalence class representative for a label.  This is used for
      variable substitution.  */
   int *eq_rep;
 
-  /* Label for each node, used during variable substitution.  */
-  unsigned int *label;
+  /* Pointer equivalence label for a node.  All nodes with the same
+     pointer equivalence label can be unified together at some point
+     (either during constraint optimization or after the constraint
+     graph is built).  */
+  unsigned int *pe;
+
+  /* Pointer equivalence representative for a label.  This is used to
+     handle nodes that are pointer equivalent but not location
+     equivalent.  We can unite these once the addressof constraints
+     are transformed into initial points-to sets.  */
+  int *pe_rep;
+
+  /* Pointer equivalence label for each node, used during variable
+     substitution.  */
+  unsigned int *pointer_label;
+
+  /* Location equivalence label for each node, used during location
+     equivalence finding.  */
+  unsigned int *loc_label;
+
+  /* Pointed-by set for each node, used during location equivalence
+     finding.  This is pointed-by rather than pointed-to, because it
+     is constructed using the predecessor graph.  */
+  bitmap *pointed_by;
+
+  /* Points to sets for pointer equivalence.  This is *not* the actual
+     points-to sets for nodes.  */
+  bitmap *points_to;
 
   /* Bitmap of nodes where the bit is set if the node is a direct
      node.  Used for variable substitution.  */
   sbitmap direct_nodes;
 
+  /* Bitmap of nodes where the bit is set if the node is address
+     taken.  Used for variable substitution.  */
+  bitmap address_taken;
+
+  /* True if points_to bitmap for this node is stored in the hash
+     table.  */
+  sbitmap pt_used;
+
+  /* Number of incoming edges remaining to be processed by pointer
+     equivalence.
+     Used for variable substitution.  */
+  unsigned int *number_incoming;
+
+
   /* Vector of complex constraints for each graph node.  Complex
      constraints are those involving dereferences or offsets that are
      not 0.  */
@@ -479,7 +522,6 @@ static constraint_graph_t graph;
    end.  */
 #define FIRST_REF_NODE (VEC_length (varinfo_t, varmap))
 #define LAST_REF_NODE (FIRST_REF_NODE + (FIRST_REF_NODE - 1))
-#define FIRST_ADDR_NODE (LAST_REF_NODE + 1)
 
 /* Return the representative node for NODE, if NODE has been unioned
    with another NODE.
@@ -518,7 +560,7 @@ static constraint_t
 new_constraint (const struct constraint_expr lhs,
                const struct constraint_expr rhs)
 {
-  constraint_t ret = pool_alloc (constraint_pool);
+  constraint_t ret = (constraint_t) pool_alloc (constraint_pool);
   ret->lhs = lhs;
   ret->rhs = rhs;
   return ret;
@@ -826,17 +868,7 @@ merge_graph_nodes (constraint_graph_t graph, unsigned int to,
         are in a cycle with, since we know they are in a cycle with
         each other.  */
       if (graph->indirect_cycles[to] == -1)
-       {
-         graph->indirect_cycles[to] = graph->indirect_cycles[from];
-       }
-      else
-       {
-         unsigned int tonode = find (graph->indirect_cycles[to]);
-         unsigned int fromnode = find (graph->indirect_cycles[from]);
-
-         if (unite (tonode, fromnode))
-           unify_nodes (graph, tonode, fromnode, true);
-       }
+       graph->indirect_cycles[to] = graph->indirect_cycles[from];
     }
 
   /* Merge all the successor edges.  */
@@ -926,6 +958,30 @@ valid_graph_edge (constraint_graph_t graph, unsigned int src,
          && bitmap_bit_p (graph->succs[dest], src));
 }
 
+/* Initialize the constraint graph structure to contain SIZE nodes.  */
+
+static void
+init_graph (unsigned int size)
+{
+  unsigned int j;
+
+  graph = XCNEW (struct constraint_graph);
+  graph->size = size;
+  graph->succs = XCNEWVEC (bitmap, graph->size);
+  graph->indirect_cycles = XNEWVEC (int, graph->size);
+  graph->rep = XNEWVEC (unsigned int, graph->size);
+  graph->complex = XCNEWVEC (VEC(constraint_t, heap) *, size);
+  graph->pe = XCNEWVEC (unsigned int, graph->size);
+  graph->pe_rep = XNEWVEC (int, graph->size);
+
+  for (j = 0; j < graph->size; j++)
+    {
+      graph->rep[j] = j;
+      graph->pe_rep[j] = -1;
+      graph->indirect_cycles[j] = -1;
+    }
+}
+
 /* Build the constraint graph, adding only predecessor edges right now.  */
 
 static void
@@ -935,19 +991,19 @@ build_pred_graph (void)
   constraint_t c;
   unsigned int j;
 
-  graph = XNEW (struct constraint_graph);
-  graph->size = (VEC_length (varinfo_t, varmap)) * 3;
-  graph->succs = XCNEWVEC (bitmap, graph->size);
   graph->implicit_preds = XCNEWVEC (bitmap, graph->size);
   graph->preds = XCNEWVEC (bitmap, graph->size);
-  graph->indirect_cycles = XNEWVEC (int, VEC_length (varinfo_t, varmap));
-  graph->label = XCNEWVEC (unsigned int, graph->size);
-  graph->rep = XNEWVEC (unsigned int, graph->size);
+  graph->pointer_label = XCNEWVEC (unsigned int, graph->size);
+  graph->loc_label = XCNEWVEC (unsigned int, graph->size);
+  graph->pointed_by = XCNEWVEC (bitmap, graph->size);
+  graph->points_to = XCNEWVEC (bitmap, graph->size);
   graph->eq_rep = XNEWVEC (int, graph->size);
-  graph->complex = XCNEWVEC (VEC(constraint_t, heap) *,
-                            VEC_length (varinfo_t, varmap));
   graph->direct_nodes = sbitmap_alloc (graph->size);
+  graph->pt_used = sbitmap_alloc (graph->size);
+  graph->address_taken = BITMAP_ALLOC (&predbitmap_obstack);
+  graph->number_incoming = XCNEWVEC (unsigned int, graph->size);
   sbitmap_zero (graph->direct_nodes);
+  sbitmap_zero (graph->pt_used);
 
   for (j = 0; j < FIRST_REF_NODE; j++)
     {
@@ -956,10 +1012,7 @@ build_pred_graph (void)
     }
 
   for (j = 0; j < graph->size; j++)
-    {
-      graph->rep[j] = j;
-      graph->eq_rep[j] = -1;
-    }
+    graph->eq_rep[j] = -1;
 
   for (j = 0; j < VEC_length (varinfo_t, varmap); j++)
     graph->indirect_cycles[j] = -1;
@@ -976,8 +1029,6 @@ build_pred_graph (void)
          /* *x = y.  */
          if (rhs.offset == 0 && lhs.offset == 0 && rhs.type == SCALAR)
            add_pred_graph_edge (graph, FIRST_REF_NODE + lhsvar, rhsvar);
-         if (rhs.type == ADDRESSOF)
-           RESET_BIT (graph->direct_nodes, rhsvar);
        }
       else if (rhs.type == DEREF)
        {
@@ -990,11 +1041,19 @@ build_pred_graph (void)
       else if (rhs.type == ADDRESSOF)
        {
          /* x = &y */
-         add_pred_graph_edge (graph, lhsvar, FIRST_ADDR_NODE + rhsvar);
+         if (graph->points_to[lhsvar] == NULL)
+           graph->points_to[lhsvar] = BITMAP_ALLOC (&predbitmap_obstack);
+         bitmap_set_bit (graph->points_to[lhsvar], rhsvar);
+
+         if (graph->pointed_by[rhsvar] == NULL)
+           graph->pointed_by[rhsvar] = BITMAP_ALLOC (&predbitmap_obstack);
+         bitmap_set_bit (graph->pointed_by[rhsvar], lhsvar);
+
          /* Implicitly, *x = y */
          add_implicit_graph_edge (graph, FIRST_REF_NODE + lhsvar, rhsvar);
 
          RESET_BIT (graph->direct_nodes, rhsvar);
+         bitmap_set_bit (graph->address_taken, rhsvar);
        }
       else if (lhsvar > anything_id
               && lhsvar != rhsvar && lhs.offset == 0 && rhs.offset == 0)
@@ -1009,7 +1068,7 @@ build_pred_graph (void)
        {
          if (rhs.offset != 0)
            RESET_BIT (graph->direct_nodes, lhs.var);
-         if (lhs.offset != 0)
+         else if (lhs.offset != 0)
            RESET_BIT (graph->direct_nodes, rhs.var);
        }
     }
@@ -1077,7 +1136,7 @@ DEF_VEC_ALLOC_I(unsigned,heap);
 struct scc_info
 {
   sbitmap visited;
-  sbitmap roots;
+  sbitmap deleted;
   unsigned int *dfs;
   unsigned int *node_mapping;
   int current_index;
@@ -1116,7 +1175,7 @@ scc_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
        break;
 
       w = find (i);
-      if (TEST_BIT (si->roots, w))
+      if (TEST_BIT (si->deleted, w))
        continue;
 
       if (!TEST_BIT (si->visited, w))
@@ -1124,7 +1183,7 @@ scc_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
       {
        unsigned int t = find (w);
        unsigned int nnode = find (n);
-       gcc_assert(nnode == n);
+       gcc_assert (nnode == n);
 
        if (si->dfs[t] < si->dfs[nnode])
          si->dfs[n] = si->dfs[t];
@@ -1156,11 +1215,13 @@ scc_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
 
          lowest_node = bitmap_first_set_bit (scc);
          gcc_assert (lowest_node < FIRST_REF_NODE);
+
+         /* Collapse the SCC nodes into a single node, and mark the
+            indirect cycles.  */
          EXECUTE_IF_SET_IN_BITMAP (scc, 0, i, bi)
            {
              if (i < FIRST_REF_NODE)
                {
-                 /* Mark this node for collapsing.  */
                  if (unite (lowest_node, i))
                    unify_nodes (graph, lowest_node, i, false);
                }
@@ -1171,7 +1232,7 @@ scc_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
                }
            }
        }
-      SET_BIT (si->roots, n);
+      SET_BIT (si->deleted, n);
     }
   else
     VEC_safe_push (unsigned, heap, si->scc_stack, n);
@@ -1199,6 +1260,12 @@ unify_nodes (constraint_graph_t graph, unsigned int to, unsigned int from,
   merge_graph_nodes (graph, to, from);
   merge_node_constraints (graph, to, from);
 
+  if (get_varinfo (from)->no_tbaa_pruning)
+    get_varinfo (to)->no_tbaa_pruning = true;
+
+  /* Mark TO as changed if FROM was changed. If TO was already marked
+     as changed, decrease the changed count.  */
+
   if (update_changed && TEST_BIT (changed, from))
     {
       RESET_BIT (changed, from);
@@ -1210,28 +1277,29 @@ unify_nodes (constraint_graph_t graph, unsigned int to, unsigned int from,
          changed_count--;
        }
     }
-
-  /* If the solution changes because of the merging, we need to mark
-     the variable as changed.  */
-  if (bitmap_ior_into (get_varinfo (to)->solution,
-                      get_varinfo (from)->solution))
+  if (get_varinfo (from)->solution)
     {
-      if (update_changed && !TEST_BIT (changed, to))
+      /* If the solution changes because of the merging, we need to mark
+        the variable as changed.  */
+      if (bitmap_ior_into (get_varinfo (to)->solution,
+                          get_varinfo (from)->solution))
        {
-         SET_BIT (changed, to);
-         changed_count++;
+         if (update_changed && !TEST_BIT (changed, to))
+           {
+             SET_BIT (changed, to);
+             changed_count++;
+           }
+       }
+      
+      BITMAP_FREE (get_varinfo (from)->solution);
+      BITMAP_FREE (get_varinfo (from)->oldsolution);
+      
+      if (stats.iterations > 0)
+       {
+         BITMAP_FREE (get_varinfo (to)->oldsolution);
+         get_varinfo (to)->oldsolution = BITMAP_ALLOC (&oldpta_obstack);
        }
     }
-
-  BITMAP_FREE (get_varinfo (from)->solution);
-  BITMAP_FREE (get_varinfo (from)->oldsolution);
-
-  if (stats.iterations > 0)
-    {
-      BITMAP_FREE (get_varinfo (to)->oldsolution);
-      get_varinfo (to)->oldsolution = BITMAP_ALLOC (&oldpta_obstack);
-    }
-
   if (valid_graph_edge (graph, to, to))
     {
       if (graph->succs[to])
@@ -1256,7 +1324,7 @@ struct topo_info
 static struct topo_info *
 init_topo_info (void)
 {
-  size_t size = VEC_length (varinfo_t, varmap);
+  size_t size = graph->size;
   struct topo_info *ti = XNEW (struct topo_info);
   ti->visited = sbitmap_alloc (size);
   sbitmap_zero (ti->visited);
@@ -1317,49 +1385,6 @@ type_safe (unsigned int n, unsigned HOST_WIDE_INT *offset)
   return (get_varinfo (n)->offset + *offset) < get_varinfo (n)->fullsize;
 }
 
-/* Process a constraint C that represents *x = &y.  */
-
-static void
-do_da_constraint (constraint_graph_t graph ATTRIBUTE_UNUSED,
-                 constraint_t c, bitmap delta)
-{
-  unsigned int rhs = c->rhs.var;
-  unsigned int j;
-  bitmap_iterator bi;
-
-  /* For each member j of Delta (Sol(x)), add x to Sol(j)  */
-  EXECUTE_IF_SET_IN_BITMAP (delta, 0, j, bi)
-    {
-      unsigned HOST_WIDE_INT offset = c->lhs.offset;
-      if (type_safe (j, &offset) && !(get_varinfo (j)->is_special_var))
-       {
-       /* *x != NULL && *x != ANYTHING*/
-         varinfo_t v;
-         unsigned int t;
-         bitmap sol;
-         unsigned HOST_WIDE_INT fieldoffset = get_varinfo (j)->offset + offset;
-
-         v = first_vi_for_offset (get_varinfo (j), fieldoffset);
-         if (!v)
-           continue;
-         t = find (v->id);
-         sol = get_varinfo (t)->solution;
-         if (!bitmap_bit_p (sol, rhs))
-           {
-             bitmap_set_bit (sol, rhs);
-             if (!TEST_BIT (changed, t))
-               {
-                 SET_BIT (changed, t);
-                 changed_count++;
-               }
-           }
-       }
-      else if (0 && dump_file && !(get_varinfo (j)->is_special_var))
-       fprintf (dump_file, "Untypesafe usage in do_da_constraint.\n");
-
-    }
-}
-
 /* Process a constraint C that represents x = *y, using DELTA as the
    starting solution.  */
 
@@ -1367,7 +1392,7 @@ static void
 do_sd_constraint (constraint_graph_t graph, constraint_t c,
                  bitmap delta)
 {
-  unsigned int lhs = find (c->lhs.var);
+  unsigned int lhs = c->lhs.var;
   bool flag = false;
   bitmap sol = get_varinfo (lhs)->solution;
   unsigned int j;
@@ -1403,9 +1428,6 @@ do_sd_constraint (constraint_graph_t graph, constraint_t c,
          else if (add_graph_edge (graph, lhs, t))
            flag |= bitmap_ior_into (sol, get_varinfo (t)->solution);
        }
-      else if (0 && dump_file && !(get_varinfo (j)->is_special_var))
-       fprintf (dump_file, "Untypesafe usage in do_sd_constraint\n");
-
     }
 
 done:
@@ -1426,8 +1448,7 @@ done:
 static void
 do_ds_constraint (constraint_t c, bitmap delta)
 {
-  unsigned int rhs = find (c->rhs.var);
-  unsigned HOST_WIDE_INT roff = c->rhs.offset;
+  unsigned int rhs = c->rhs.var;
   bitmap sol = get_varinfo (rhs)->solution;
   unsigned int j;
   bitmap_iterator bi;
@@ -1465,7 +1486,7 @@ do_ds_constraint (constraint_t c, bitmap delta)
   EXECUTE_IF_SET_IN_BITMAP (delta, 0, j, bi)
     {
       unsigned HOST_WIDE_INT loff = c->lhs.offset;
-      if (type_safe (j, &loff) && !(get_varinfo(j)->is_special_var))
+      if (type_safe (j, &loff) && !(get_varinfo (j)->is_special_var))
        {
          varinfo_t v;
          unsigned int t;
@@ -1478,7 +1499,7 @@ do_ds_constraint (constraint_t c, bitmap delta)
          t = find (v->id);
          tmp = get_varinfo (t)->solution;
 
-         if (set_union_with_increment (tmp, sol, roff))
+         if (set_union_with_increment (tmp, sol, 0))
            {
              get_varinfo (t)->solution = tmp;
              if (t == rhs)
@@ -1490,8 +1511,6 @@ do_ds_constraint (constraint_t c, bitmap delta)
                }
            }
        }
-      else if (0 && dump_file && !(get_varinfo (j)->is_special_var))
-       fprintf (dump_file, "Untypesafe usage in do_ds_constraint\n");
     }
 }
 
@@ -1505,8 +1524,7 @@ do_complex_constraint (constraint_graph_t graph, constraint_t c, bitmap delta)
     {
       if (c->rhs.type == ADDRESSOF)
        {
-         /* *x = &y */
-         do_da_constraint (graph, c, delta);
+         gcc_unreachable();
        }
       else
        {
@@ -1525,19 +1543,16 @@ do_complex_constraint (constraint_graph_t graph, constraint_t c, bitmap delta)
       bitmap tmp;
       bitmap solution;
       bool flag = false;
-      unsigned int t;
 
-      gcc_assert(c->rhs.type == SCALAR && c->lhs.type == SCALAR);
-      t = find (c->rhs.var);
-      solution = get_varinfo (t)->solution;
-      t = find (c->lhs.var);
-      tmp = get_varinfo (t)->solution;
+      gcc_assert (c->rhs.type == SCALAR && c->lhs.type == SCALAR);
+      solution = get_varinfo (c->rhs.var)->solution;
+      tmp = get_varinfo (c->lhs.var)->solution;
 
       flag = set_union_with_increment (tmp, solution, c->rhs.offset);
 
       if (flag)
        {
-         get_varinfo (t)->solution = tmp;
+         get_varinfo (c->lhs.var)->solution = tmp;
          if (!TEST_BIT (changed, c->lhs.var))
            {
              SET_BIT (changed, c->lhs.var);
@@ -1558,8 +1573,8 @@ init_scc_info (size_t size)
   si->current_index = 0;
   si->visited = sbitmap_alloc (size);
   sbitmap_zero (si->visited);
-  si->roots = sbitmap_alloc (size);
-  sbitmap_zero (si->roots);
+  si->deleted = sbitmap_alloc (size);
+  sbitmap_zero (si->deleted);
   si->node_mapping = XNEWVEC (unsigned int, size);
   si->dfs = XCNEWVEC (unsigned int, size);
 
@@ -1576,7 +1591,7 @@ static void
 free_scc_info (struct scc_info *si)
 {
   sbitmap_free (si->visited);
-  sbitmap_free (si->roots);
+  sbitmap_free (si->deleted);
   free (si->node_mapping);
   free (si->dfs);
   VEC_free (unsigned, heap, si->scc_stack);
@@ -1613,62 +1628,146 @@ compute_topo_order (constraint_graph_t graph,
                    struct topo_info *ti)
 {
   unsigned int i;
-  unsigned int size = VEC_length (varinfo_t, varmap);
+  unsigned int size = graph->size;
 
   for (i = 0; i != size; ++i)
     if (!TEST_BIT (ti->visited, i) && find (i) == i)
       topo_visit (graph, ti, i);
 }
 
-/* Perform offline variable substitution.
+/* Structure used to for hash value numbering of pointer equivalence
+   classes.  */
+
+typedef struct equiv_class_label
+{
+  unsigned int equivalence_class;
+  bitmap labels;
+  hashval_t hashcode;
+} *equiv_class_label_t;
+typedef const struct equiv_class_label *const_equiv_class_label_t;
+
+/* A hashtable for mapping a bitmap of labels->pointer equivalence
+   classes.  */
+static htab_t pointer_equiv_class_table;
+
+/* A hashtable for mapping a bitmap of labels->location equivalence
+   classes.  */
+static htab_t location_equiv_class_table;
+
+/* Hash function for a equiv_class_label_t */
+
+static hashval_t
+equiv_class_label_hash (const void *p)
+{
+  const_equiv_class_label_t const ecl = (const_equiv_class_label_t) p;
+  return ecl->hashcode;
+}
+
+/* Equality function for two equiv_class_label_t's.  */
+
+static int
+equiv_class_label_eq (const void *p1, const void *p2)
+{
+  const_equiv_class_label_t const eql1 = (const_equiv_class_label_t) p1;
+  const_equiv_class_label_t const eql2 = (const_equiv_class_label_t) p2;
+  return bitmap_equal_p (eql1->labels, eql2->labels);
+}
+
+/* Lookup a equivalence class in TABLE by the bitmap of LABELS it
+   contains.  */
+
+static unsigned int
+equiv_class_lookup (htab_t table, bitmap labels)
+{
+  void **slot;
+  struct equiv_class_label ecl;
+
+  ecl.labels = labels;
+  ecl.hashcode = bitmap_hash (labels);
+
+  slot = htab_find_slot_with_hash (table, &ecl,
+                                  ecl.hashcode, NO_INSERT);
+  if (!slot)
+    return 0;
+  else
+    return ((equiv_class_label_t) *slot)->equivalence_class;
+}
+
+
+/* Add an equivalence class named EQUIVALENCE_CLASS with labels LABELS
+   to TABLE.  */
+
+static void
+equiv_class_add (htab_t table, unsigned int equivalence_class,
+                bitmap labels)
+{
+  void **slot;
+  equiv_class_label_t ecl = XNEW (struct equiv_class_label);
+
+  ecl->labels = labels;
+  ecl->equivalence_class = equivalence_class;
+  ecl->hashcode = bitmap_hash (labels);
 
-   This is a linear time way of identifying variables that must have
-   equivalent points-to sets, including those caused by static cycles,
-   and single entry subgraphs, in the constraint graph.
+  slot = htab_find_slot_with_hash (table, ecl,
+                                  ecl->hashcode, INSERT);
+  gcc_assert (!*slot);
+  *slot = (void *) ecl;
+}
+
+/* Perform offline variable substitution.
 
-   The technique is described in "Off-line variable substitution for
-   scaling points-to analysis" by Atanas Rountev and Satish Chandra,
-   in "ACM SIGPLAN Notices" volume 35, number 5, pages 47-56.
+   This is a worst case quadratic time way of identifying variables
+   that must have equivalent points-to sets, including those caused by
+   static cycles, and single entry subgraphs, in the constraint graph.
 
-   There is an optimal way to do this involving hash based value
-   numbering, once the technique is published i will implement it
-   here.  
+   The technique is described in "Exploiting Pointer and Location
+   Equivalence to Optimize Pointer Analysis. In the 14th International
+   Static Analysis Symposium (SAS), August 2007."  It is known as the
+   "HU" algorithm, and is equivalent to value numbering the collapsed
+   constraint graph including evaluating unions.
 
    The general method of finding equivalence classes is as follows:
    Add fake nodes (REF nodes) and edges for *a = b and a = *b constraints.
-   Add fake nodes (ADDRESS nodes) and edges for a = &b constraints.
-   Initialize all non-REF/ADDRESS nodes to be direct nodes
-   For each SCC in the predecessor graph:
-      for each member (x) of the SCC
-         if x is not a direct node:
-          set rootnode(SCC) to be not a direct node
-        collapse node x into rootnode(SCC).
-      if rootnode(SCC) is not a direct node:
-        label rootnode(SCC) with a new equivalence class
-      else:
-        if all labeled predecessors of rootnode(SCC) have the same
-       label:
-         label rootnode(SCC) with this label
-       else:
-         label rootnode(SCC) with a new equivalence class
+   Initialize all non-REF nodes to be direct nodes.
+   For each constraint a = a U {b}, we set pts(a) = pts(a) u {fresh
+   variable}
+   For each constraint containing the dereference, we also do the same
+   thing.
+
+   We then compute SCC's in the graph and unify nodes in the same SCC,
+   including pts sets.
+
+   For each non-collapsed node x:
+    Visit all unvisited explicit incoming edges.
+    Ignoring all non-pointers, set pts(x) = Union of pts(a) for y
+    where y->x.
+    Lookup the equivalence class for pts(x).
+     If we found one, equivalence_class(x) = found class.
+     Otherwise, equivalence_class(x) = new class, and new_class is
+    added to the lookup table.
 
    All direct nodes with the same equivalence class can be replaced
    with a single representative node.
    All unlabeled nodes (label == 0) are not pointers and all edges
    involving them can be eliminated.
-   We perform these optimizations during move_complex_constraints.
-*/
+   We perform these optimizations during rewrite_constraints
 
-static int equivalence_class;
+   In addition to pointer equivalence class finding, we also perform
+   location equivalence class finding.  This is the set of variables
+   that always appear together in points-to sets.  We use this to
+   compress the size of the points-to sets.  */
+
+/* Current maximum pointer equivalence class id.  */
+static int pointer_equiv_class;
+
+/* Current maximum location equivalence class id.  */
+static int location_equiv_class;
 
 /* Recursive routine to find strongly connected components in GRAPH,
-   and label it's nodes with equivalence classes.
-   This is used during variable substitution to find cycles involving
-   the regular or implicit predecessors, and label them as equivalent.
-   The SCC finding algorithm used is the same as that for scc_visit.  */
+   and label it's nodes with DFS numbers.  */
 
 static void
-label_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
+condense_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
 {
   unsigned int i;
   bitmap_iterator bi;
@@ -1684,15 +1783,15 @@ label_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
     {
       unsigned int w = si->node_mapping[i];
 
-      if (TEST_BIT (si->roots, w))
+      if (TEST_BIT (si->deleted, w))
        continue;
 
       if (!TEST_BIT (si->visited, w))
-       label_visit (graph, si, w);
+       condense_visit (graph, si, w);
       {
        unsigned int t = si->node_mapping[w];
        unsigned int nnode = si->node_mapping[n];
-       gcc_assert(nnode == n);
+       gcc_assert (nnode == n);
 
        if (si->dfs[t] < si->dfs[nnode])
          si->dfs[n] = si->dfs[t];
@@ -1704,11 +1803,11 @@ label_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
     {
       unsigned int w = si->node_mapping[i];
 
-      if (TEST_BIT (si->roots, w))
+      if (TEST_BIT (si->deleted, w))
        continue;
 
       if (!TEST_BIT (si->visited, w))
-       label_visit (graph, si, w);
+       condense_visit (graph, si, w);
       {
        unsigned int t = si->node_mapping[w];
        unsigned int nnode = si->node_mapping[n];
@@ -1730,46 +1829,96 @@ label_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
 
          if (!TEST_BIT (graph->direct_nodes, w))
            RESET_BIT (graph->direct_nodes, n);
-       }
-      SET_BIT (si->roots, n);
-
-      if (!TEST_BIT (graph->direct_nodes, n))
-       {
-         graph->label[n] = equivalence_class++;
-       }
-      else
-       {
-         unsigned int size = 0;
-         unsigned int firstlabel = ~0;
 
+         /* Unify our nodes.  */
+         if (graph->preds[w])
+           {
+             if (!graph->preds[n])
+               graph->preds[n] = BITMAP_ALLOC (&predbitmap_obstack);
+             bitmap_ior_into (graph->preds[n], graph->preds[w]);
+           }
+         if (graph->implicit_preds[w])
+           {
+             if (!graph->implicit_preds[n])
+               graph->implicit_preds[n] = BITMAP_ALLOC (&predbitmap_obstack);
+             bitmap_ior_into (graph->implicit_preds[n],
+                              graph->implicit_preds[w]);
+           }
+         if (graph->points_to[w])
+           {
+             if (!graph->points_to[n])
+               graph->points_to[n] = BITMAP_ALLOC (&predbitmap_obstack);
+             bitmap_ior_into (graph->points_to[n],
+                              graph->points_to[w]);
+           }
          EXECUTE_IF_IN_NONNULL_BITMAP (graph->preds[n], 0, i, bi)
            {
-             unsigned int j = si->node_mapping[i];
-
-             if (j == n || graph->label[j] == 0)
-               continue;
-
-             if (firstlabel == (unsigned int)~0)
-               {
-                 firstlabel = graph->label[j];
-                 size++;
-               }
-             else if (graph->label[j] != firstlabel)
-               size++;
+             unsigned int rep = si->node_mapping[i];
+             graph->number_incoming[rep]++;
            }
-
-         if (size == 0)
-           graph->label[n] = 0;
-         else if (size == 1)
-           graph->label[n] = firstlabel;
-         else
-           graph->label[n] = equivalence_class++;
        }
+      SET_BIT (si->deleted, n);
     }
   else
     VEC_safe_push (unsigned, heap, si->scc_stack, n);
 }
 
+/* Label pointer equivalences.  */
+
+static void
+label_visit (constraint_graph_t graph, struct scc_info *si, unsigned int n)
+{
+  unsigned int i;
+  bitmap_iterator bi;
+  SET_BIT (si->visited, n);
+
+  if (!graph->points_to[n])
+    graph->points_to[n] = BITMAP_ALLOC (&predbitmap_obstack);
+
+  /* Label and union our incoming edges's points to sets.  */
+  EXECUTE_IF_IN_NONNULL_BITMAP (graph->preds[n], 0, i, bi)
+    {
+      unsigned int w = si->node_mapping[i];
+      if (!TEST_BIT (si->visited, w))
+       label_visit (graph, si, w);
+
+      /* Skip unused edges  */
+      if (w == n || graph->pointer_label[w] == 0)
+       {
+         graph->number_incoming[w]--;
+         continue;
+       }
+      if (graph->points_to[w])
+       bitmap_ior_into(graph->points_to[n], graph->points_to[w]);
+
+      /* If all incoming edges to w have been processed and
+        graph->points_to[w] was not stored in the hash table, we can
+        free it.  */
+      graph->number_incoming[w]--;
+      if (!graph->number_incoming[w] && !TEST_BIT (graph->pt_used, w))
+       {
+         BITMAP_FREE (graph->points_to[w]);
+       }
+    }
+  /* Indirect nodes get fresh variables.  */
+  if (!TEST_BIT (graph->direct_nodes, n))
+    bitmap_set_bit (graph->points_to[n], FIRST_REF_NODE + n);
+
+  if (!bitmap_empty_p (graph->points_to[n]))
+    {
+      unsigned int label = equiv_class_lookup (pointer_equiv_class_table,
+                                              graph->points_to[n]);
+      if (!label)
+       {
+         SET_BIT (graph->pt_used, n);
+         label = pointer_equiv_class++;
+         equiv_class_add (pointer_equiv_class_table,
+                          label, graph->points_to[n]);
+       }
+      graph->pointer_label[n] = label;
+    }
+}
+
 /* Perform offline variable substitution, discovering equivalence
    classes, and eliminating non-pointer variables.  */
 
@@ -1781,24 +1930,79 @@ perform_var_substitution (constraint_graph_t graph)
   struct scc_info *si = init_scc_info (size);
 
   bitmap_obstack_initialize (&iteration_obstack);
-  equivalence_class = 0;
+  pointer_equiv_class_table = htab_create (511, equiv_class_label_hash,
+                                          equiv_class_label_eq, free);
+  location_equiv_class_table = htab_create (511, equiv_class_label_hash,
+                                           equiv_class_label_eq, free);
+  pointer_equiv_class = 1;
+  location_equiv_class = 1;
+
+  /* Condense the nodes, which means to find SCC's, count incoming
+     predecessors, and unite nodes in SCC's.  */
+  for (i = 0; i < FIRST_REF_NODE; i++)
+    if (!TEST_BIT (si->visited, si->node_mapping[i]))
+      condense_visit (graph, si, si->node_mapping[i]);
 
-  /* We only need to visit the non-address nodes for labeling
-     purposes, as the address nodes will never have any predecessors,
-     because &x never appears on the LHS of a constraint.  */
-  for (i = 0; i < LAST_REF_NODE; i++)
+  sbitmap_zero (si->visited);
+  /* Actually the label the nodes for pointer equivalences  */
+  for (i = 0; i < FIRST_REF_NODE; i++)
     if (!TEST_BIT (si->visited, si->node_mapping[i]))
       label_visit (graph, si, si->node_mapping[i]);
 
+  /* Calculate location equivalence labels.  */
+  for (i = 0; i < FIRST_REF_NODE; i++)
+    {
+      bitmap pointed_by;
+      bitmap_iterator bi;
+      unsigned int j;
+      unsigned int label;
+
+      if (!graph->pointed_by[i])
+       continue;
+      pointed_by = BITMAP_ALLOC (&iteration_obstack);
+
+      /* Translate the pointed-by mapping for pointer equivalence
+        labels.  */
+      EXECUTE_IF_SET_IN_BITMAP (graph->pointed_by[i], 0, j, bi)
+       {
+         bitmap_set_bit (pointed_by,
+                         graph->pointer_label[si->node_mapping[j]]);
+       }
+      /* The original pointed_by is now dead.  */
+      BITMAP_FREE (graph->pointed_by[i]);
+
+      /* Look up the location equivalence label if one exists, or make
+        one otherwise.  */
+      label = equiv_class_lookup (location_equiv_class_table,
+                                 pointed_by);
+      if (label == 0)
+       {
+         label = location_equiv_class++;
+         equiv_class_add (location_equiv_class_table,
+                          label, pointed_by);
+       }
+      else
+       {
+         if (dump_file && (dump_flags & TDF_DETAILS))
+           fprintf (dump_file, "Found location equivalence for node %s\n",
+                    get_varinfo (i)->name);
+         BITMAP_FREE (pointed_by);
+       }
+      graph->loc_label[i] = label;
+
+    }
+
   if (dump_file && (dump_flags & TDF_DETAILS))
     for (i = 0; i < FIRST_REF_NODE; i++)
       {
        bool direct_node = TEST_BIT (graph->direct_nodes, i);
        fprintf (dump_file,
-                "Equivalence class for %s node id %d:%s is %d\n",
+                "Equivalence classes for %s node id %d:%s are pointer: %d"
+                ", location:%d\n",
                 direct_node ? "Direct node" : "Indirect node", i,
-                get_varinfo(i)->name,
-                graph->label[si->node_mapping[i]]);
+                get_varinfo (i)->name,
+                graph->pointer_label[si->node_mapping[i]],
+                graph->loc_label[si->node_mapping[i]]);
       }
 
   /* Quickly eliminate our non-pointer variables.  */
@@ -1807,7 +2011,7 @@ perform_var_substitution (constraint_graph_t graph)
     {
       unsigned int node = si->node_mapping[i];
 
-      if (graph->label[node] == 0 && TEST_BIT (graph->direct_nodes, node))
+      if (graph->pointer_label[node] == 0)
        {
          if (dump_file && (dump_flags & TDF_DETAILS))
            fprintf (dump_file,
@@ -1817,6 +2021,7 @@ perform_var_substitution (constraint_graph_t graph)
          clear_edges_for_node (graph, node);
        }
     }
+
   return si;
 }
 
@@ -1827,9 +2032,16 @@ static void
 free_var_substitution_info (struct scc_info *si)
 {
   free_scc_info (si);
-  free (graph->label);
+  free (graph->pointer_label);
+  free (graph->loc_label);
+  free (graph->pointed_by);
+  free (graph->points_to);
+  free (graph->number_incoming);
   free (graph->eq_rep);
   sbitmap_free (graph->direct_nodes);
+  sbitmap_free (graph->pt_used);
+  htab_delete (pointer_equiv_class_table);
+  htab_delete (location_equiv_class_table);
   bitmap_obstack_release (&iteration_obstack);
 }
 
@@ -1843,9 +2055,9 @@ find_equivalent_node (constraint_graph_t graph,
   /* If the address version of this variable is unused, we can
      substitute it for anything else with the same label.
      Otherwise, we know the pointers are equivalent, but not the
-     locations.  */
+     locations, and we can unite them later.  */
 
-  if (graph->label[FIRST_ADDR_NODE + node] == 0)
+  if (!bitmap_bit_p (graph->address_taken, node))
     {
       gcc_assert (label < graph->size);
 
@@ -1859,19 +2071,89 @@ find_equivalent_node (constraint_graph_t graph,
       else
        {
          graph->eq_rep[label] = node;
+         graph->pe_rep[label] = node;
        }
     }
+  else
+    {
+      gcc_assert (label < graph->size);
+      graph->pe[node] = label;
+      if (graph->pe_rep[label] == -1)
+       graph->pe_rep[label] = node;
+    }
+
   return node;
 }
 
-/* Move complex constraints to the appropriate nodes, and collapse
-   variables we've discovered are equivalent during variable
-   substitution.  SI is the SCC_INFO that is the result of
-   perform_variable_substitution.  */
+/* Unite pointer equivalent but not location equivalent nodes in
+   GRAPH.  This may only be performed once variable substitution is
+   finished.  */
+
+static void
+unite_pointer_equivalences (constraint_graph_t graph)
+{
+  unsigned int i;
+
+  /* Go through the pointer equivalences and unite them to their
+     representative, if they aren't already.  */
+  for (i = 0; i < FIRST_REF_NODE; i++)
+    {
+      unsigned int label = graph->pe[i];
+      if (label)
+       {
+         int label_rep = graph->pe_rep[label];
+         
+         if (label_rep == -1)
+           continue;
+         
+         label_rep = find (label_rep);
+         if (label_rep >= 0 && unite (label_rep, find (i)))
+           unify_nodes (graph, label_rep, i, false);
+       }
+    }
+}
+
+/* Move complex constraints to the GRAPH nodes they belong to.  */
+
+static void
+move_complex_constraints (constraint_graph_t graph)
+{
+  int i;
+  constraint_t c;
+
+  for (i = 0; VEC_iterate (constraint_t, constraints, i, c); i++)
+    {
+      if (c)
+       {
+         struct constraint_expr lhs = c->lhs;
+         struct constraint_expr rhs = c->rhs;
+
+         if (lhs.type == DEREF)
+           {
+             insert_into_complex (graph, lhs.var, c);
+           }
+         else if (rhs.type == DEREF)
+           {
+             if (!(get_varinfo (lhs.var)->is_special_var))
+               insert_into_complex (graph, rhs.var, c);
+           }
+         else if (rhs.type != ADDRESSOF && lhs.var > anything_id
+                  && (lhs.offset != 0 || rhs.offset != 0))
+           {
+             insert_into_complex (graph, rhs.var, c);
+           }
+       }
+    }
+}
+
+
+/* Optimize and rewrite complex constraints while performing
+   collapsing of equivalent nodes.  SI is the SCC_INFO that is the
+   result of perform_variable_substitution.  */
 
 static void
-move_complex_constraints (constraint_graph_t graph,
-                         struct scc_info *si)
+rewrite_constraints (constraint_graph_t graph,
+                    struct scc_info *si)
 {
   int i;
   unsigned int j;
@@ -1891,47 +2173,37 @@ move_complex_constraints (constraint_graph_t graph,
 
       lhsnode = si->node_mapping[lhsvar];
       rhsnode = si->node_mapping[rhsvar];
-      lhslabel = graph->label[lhsnode];
-      rhslabel = graph->label[rhsnode];
+      lhslabel = graph->pointer_label[lhsnode];
+      rhslabel = graph->pointer_label[rhsnode];
 
       /* See if it is really a non-pointer variable, and if so, ignore
         the constraint.  */
       if (lhslabel == 0)
        {
-         if (!TEST_BIT (graph->direct_nodes, lhsnode))
-           lhslabel = graph->label[lhsnode] = equivalence_class++;
-         else
+         if (dump_file && (dump_flags & TDF_DETAILS))
            {
-             if (dump_file && (dump_flags & TDF_DETAILS))
-               {
-
-                 fprintf (dump_file, "%s is a non-pointer variable,"
-                          "ignoring constraint:",
-                          get_varinfo (lhs.var)->name);
-                 dump_constraint (dump_file, c);
-               }
-             VEC_replace (constraint_t, constraints, i, NULL);
-             continue;
+             
+             fprintf (dump_file, "%s is a non-pointer variable,"
+                      "ignoring constraint:",
+                      get_varinfo (lhs.var)->name);
+             dump_constraint (dump_file, c);
            }
+         VEC_replace (constraint_t, constraints, i, NULL);
+         continue;
        }
 
       if (rhslabel == 0)
        {
-         if (!TEST_BIT (graph->direct_nodes, rhsnode))
-           rhslabel = graph->label[rhsnode] = equivalence_class++;
-         else
+         if (dump_file && (dump_flags & TDF_DETAILS))
            {
-             if (dump_file && (dump_flags & TDF_DETAILS))
-               {
-
-                 fprintf (dump_file, "%s is a non-pointer variable,"
-                          "ignoring constraint:",
-                          get_varinfo (rhs.var)->name);
-                 dump_constraint (dump_file, c);
-               }
-             VEC_replace (constraint_t, constraints, i, NULL);
-             continue;
+             
+             fprintf (dump_file, "%s is a non-pointer variable,"
+                      "ignoring constraint:",
+                      get_varinfo (rhs.var)->name);
+             dump_constraint (dump_file, c);
            }
+         VEC_replace (constraint_t, constraints, i, NULL);
+         continue;
        }
 
       lhsvar = find_equivalent_node (graph, lhsvar, lhslabel);
@@ -1939,22 +2211,6 @@ move_complex_constraints (constraint_graph_t graph,
       c->lhs.var = lhsvar;
       c->rhs.var = rhsvar;
 
-      if (lhs.type == DEREF)
-       {
-         if (rhs.type == ADDRESSOF || rhsvar > anything_id)
-           insert_into_complex (graph, lhsvar, c);
-       }
-      else if (rhs.type == DEREF)
-       {
-         if (!(get_varinfo (lhsvar)->is_special_var))
-           insert_into_complex (graph, rhsvar, c);
-       }
-      else if (rhs.type != ADDRESSOF && lhsvar > anything_id
-              && (lhs.offset != 0 || rhs.offset != 0))
-       {
-         insert_into_complex (graph, rhsvar, c);
-       }
-
     }
 }
 
@@ -2008,7 +2264,7 @@ eliminate_indirect_cycles (unsigned int node)
 static void
 solve_graph (constraint_graph_t graph)
 {
-  unsigned int size = VEC_length (varinfo_t, varmap);
+  unsigned int size = graph->size;
   unsigned int i;
   bitmap pts;
 
@@ -2051,9 +2307,10 @@ solve_graph (constraint_graph_t graph)
          if (find (i) != i)
            continue;
 
-         eliminate_indirect_cycles (i);
-
-         gcc_assert (find (i) == i);
+         /* In certain indirect cycle cases, we may merge this
+            variable to another.  */
+         if (eliminate_indirect_cycles (i) && find (i) != i)
+           continue;
 
          /* If the node has changed, we need to process the
             complex constraints and outgoing edges again.  */
@@ -2064,6 +2321,7 @@ solve_graph (constraint_graph_t graph)
              bitmap solution;
              VEC(constraint_t,heap) *complex = graph->complex[i];
              bool solution_empty;
+
              RESET_BIT (changed, i);
              changed_count--;
 
@@ -2082,6 +2340,13 @@ solve_graph (constraint_graph_t graph)
              /* Process the complex constraints */
              for (j = 0; VEC_iterate (constraint_t, complex, j, c); j++)
                {
+                 /* XXX: This is going to unsort the constraints in
+                    some cases, which will occasionally add duplicate
+                    constraints during unification.  This does not
+                    affect correctness.  */
+                 c->lhs.var = find (c->lhs.var);
+                 c->rhs.var = find (c->rhs.var);
+
                  /* The only complex constraint that can change our
                     solution to non-empty, given an empty solution,
                     is a constraint where the lhs side is receiving
@@ -2136,67 +2401,31 @@ solve_graph (constraint_graph_t graph)
 }
 
 /* Map from trees to variable infos.  */
-static htab_t vi_for_tree;
+static struct pointer_map_t *vi_for_tree;
 
-typedef struct tree_vi
-{
-  tree t;
-  varinfo_t vi;
-} *tree_vi_t;
-
-/* Hash a tree id structure.  */
-
-static hashval_t
-tree_vi_hash (const void *p)
-{
-  const tree_vi_t ta = (tree_vi_t) p;
-  return htab_hash_pointer (ta->t);
-}
-
-/* Return true if the tree in P1 and the tree in P2 are the same.  */
-
-static int
-tree_vi_eq (const void *p1, const void *p2)
-{
-  const tree_vi_t ta1 = (tree_vi_t) p1;
-  const tree_vi_t ta2 = (tree_vi_t) p2;
-  return ta1->t == ta2->t;
-}
 
-/* Insert ID as the variable id for tree T in the hashtable.  */
+/* Insert ID as the variable id for tree T in the vi_for_tree map.  */
 
 static void
 insert_vi_for_tree (tree t, varinfo_t vi)
 {
-  void **slot;
-  struct tree_vi finder;
-  tree_vi_t new_pair;
-
-  finder.t = t;
-  slot = htab_find_slot (vi_for_tree, &finder, INSERT);
+  void **slot = pointer_map_insert (vi_for_tree, t);
+  gcc_assert (vi);
   gcc_assert (*slot == NULL);
-  new_pair = XNEW (struct tree_vi);
-  new_pair->t = t;
-  new_pair->vi = vi;
-  *slot = (void *)new_pair;
+  *slot = vi;
 }
 
 /* Find the variable info for tree T in VI_FOR_TREE.  If T does not
-   exist in the hash table, return false, otherwise, return true and
-   set *VI to the varinfo we found.  */
+   exist in the map, return NULL, otherwise, return the varinfo we found.  */
 
-static bool
-lookup_vi_for_tree (tree t, varinfo_t *vi)
+static varinfo_t
+lookup_vi_for_tree (tree t)
 {
-  tree_vi_t pair;
-  struct tree_vi finder;
+  void **slot = pointer_map_contains (vi_for_tree, t);
+  if (slot == NULL)
+    return NULL;
 
-  finder.t = t;
-  pair = htab_find (vi_for_tree,  &finder);
-  if (pair == NULL)
-    return false;
-  *vi = pair->vi;
-  return true;
+  return (varinfo_t) *slot;
 }
 
 /* Return a printable name for DECL  */
@@ -2233,21 +2462,17 @@ alias_get_name (tree decl)
   return res;
 }
 
-/* Find the variable id for tree T in the hashtable.
-   If T doesn't exist in the hash table, create an entry for it.  */
+/* Find the variable id for tree T in the map.
+   If T doesn't exist in the map, create an entry for it and return it.  */
 
 static varinfo_t
 get_vi_for_tree (tree t)
 {
-  tree_vi_t pair;
-  struct tree_vi finder;
-
-  finder.t = t;
-  pair = htab_find (vi_for_tree,  &finder);
-  if (pair == NULL)
+  void **slot = pointer_map_contains (vi_for_tree, t);
+  if (slot == NULL)
     return get_varinfo (create_variable_info_for (t, alias_get_name (t)));
 
-  return pair->vi;
+  return (varinfo_t) *slot;
 }
 
 /* Get a constraint expression from an SSA_VAR_P node.  */
@@ -2282,10 +2507,12 @@ get_constraint_exp_from_ssa_var (tree t)
 }
 
 /* Process a completed constraint T, and add it to the constraint
-   list.  */
+   list.  FROM_CALL is true if this is a constraint coming from a
+   call, which means any DEREFs we see are "may-deref's", not
+   "must-deref"'s.  */
 
 static void
-process_constraint (constraint_t t)
+process_constraint_1 (constraint_t t, bool from_call)
 {
   struct constraint_expr rhs = t->rhs;
   struct constraint_expr lhs = t->lhs;
@@ -2293,10 +2520,13 @@ process_constraint (constraint_t t)
   gcc_assert (rhs.var < VEC_length (varinfo_t, varmap));
   gcc_assert (lhs.var < VEC_length (varinfo_t, varmap));
 
-  if (lhs.type == DEREF)
-    get_varinfo (lhs.var)->directly_dereferenced = true;
-  if (rhs.type == DEREF)
-    get_varinfo (rhs.var)->directly_dereferenced = true;
+  if (!from_call)
+    {
+      if (lhs.type == DEREF)
+       get_varinfo (lhs.var)->directly_dereferenced = true;
+      if (rhs.type == DEREF)
+       get_varinfo (rhs.var)->directly_dereferenced = true;
+    }
 
   if (!use_field_sensitive)
     {
@@ -2314,7 +2544,7 @@ process_constraint (constraint_t t)
       rhs = t->lhs;
       t->lhs = t->rhs;
       t->rhs = rhs;
-      process_constraint (t);
+      process_constraint_1 (t, from_call);
     }
   /* This can happen in our IR with things like n->a = *p */
   else if (rhs.type == DEREF && lhs.type == DEREF && rhs.var != anything_id)
@@ -2332,8 +2562,19 @@ process_constraint (constraint_t t)
       gcc_assert (!AGGREGATE_TYPE_P (pointedtotype)
                  || get_varinfo (rhs.var)->is_unknown_size_var);
 
-      process_constraint (new_constraint (tmplhs, rhs));
-      process_constraint (new_constraint (lhs, tmplhs));
+      process_constraint_1 (new_constraint (tmplhs, rhs), from_call);
+      process_constraint_1 (new_constraint (lhs, tmplhs), from_call);
+    }
+  else if (rhs.type == ADDRESSOF && lhs.type == DEREF)
+    {
+      /* Split into tmp = &rhs, *lhs = tmp */
+      tree rhsdecl = get_varinfo (rhs.var)->decl;
+      tree pointertype = TREE_TYPE (rhsdecl);
+      tree tmpvar = create_tmp_var_raw (pointertype, "derefaddrtmp");
+      struct constraint_expr tmplhs = get_constraint_exp_from_ssa_var (tmpvar);
+
+      process_constraint_1 (new_constraint (tmplhs, rhs), from_call);
+      process_constraint_1 (new_constraint (lhs, tmplhs), from_call);
     }
   else
     {
@@ -2342,6 +2583,16 @@ process_constraint (constraint_t t)
     }
 }
 
+
+/* Process constraint T, performing various simplifications and then
+   adding it to our list of overall constraints.  */
+
+static void
+process_constraint (constraint_t t)
+{
+  process_constraint_1 (t, false);
+}
+
 /* Return true if T is a variable of a type that could contain
    pointers.  */
 
@@ -2350,9 +2601,11 @@ could_have_pointers (tree t)
 {
   tree type = TREE_TYPE (t);
 
-  if (POINTER_TYPE_P (type) || AGGREGATE_TYPE_P (type)
+  if (POINTER_TYPE_P (type)
+      || AGGREGATE_TYPE_P (type)
       || TREE_CODE (type) == COMPLEX_TYPE)
     return true;
+
   return false;
 }
 
@@ -2372,25 +2625,6 @@ bitpos_of_field (const tree fdecl)
 }
 
 
-/* Return true if an access to [ACCESSPOS, ACCESSSIZE]
-   overlaps with a field at [FIELDPOS, FIELDSIZE] */
-
-static bool
-offset_overlaps_with_access (const unsigned HOST_WIDE_INT fieldpos,
-                            const unsigned HOST_WIDE_INT fieldsize,
-                            const unsigned HOST_WIDE_INT accesspos,
-                            const unsigned HOST_WIDE_INT accesssize)
-{
-  if (fieldpos == accesspos && fieldsize == accesssize)
-    return true;
-  if (accesspos >= fieldpos && accesspos < (fieldpos + fieldsize))
-    return true;
-  if (accesspos < fieldpos && (accesspos + accesssize > fieldpos))
-    return true;
-
-  return false;
-}
-
 /* Given a COMPONENT_REF T, return the constraint_expr for it.  */
 
 static void
@@ -2423,11 +2657,6 @@ get_constraint_for_component_ref (tree t, VEC(ce_s, heap) **results)
 
   t = get_ref_base_and_extent (t, &bitpos, &bitsize, &bitmaxsize);
 
-  /* String constants are readonly, so there is nothing to really do
-     here.  */
-  if (TREE_CODE (t) == STRING_CST)
-    return;
-
   get_constraint_for (t, results);
   result = VEC_last (ce_s, *results);
   result->offset = bitpos;
@@ -2455,8 +2684,8 @@ get_constraint_for_component_ref (tree t, VEC(ce_s, heap) **results)
          varinfo_t curr;
          for (curr = get_varinfo (result->var); curr; curr = curr->next)
            {
-             if (offset_overlaps_with_access (curr->offset, curr->size,
-                                              result->offset, bitmaxsize))
+             if (ranges_overlap_p (curr->offset, curr->size,
+                                   result->offset, bitmaxsize))
                {
                  result->var = curr->id;
                  break;
@@ -2480,6 +2709,13 @@ get_constraint_for_component_ref (tree t, VEC(ce_s, heap) **results)
 
       result->offset = 0;
     }
+  else if (bitmaxsize == -1)
+    {
+      /* We can't handle DEREF constraints with unknown size, we'll
+        get the wrong answer.  Punt and return anything.  */
+      result->var = anything_id;
+      result->offset = 0;
+    }
 }
 
 
@@ -2529,19 +2765,20 @@ get_constraint_for (tree t, VEC (ce_s, heap) **results)
      when it is the NULL pointer, and then we just say it points to
      NULL.  */
   if (TREE_CODE (t) == INTEGER_CST
-      && !POINTER_TYPE_P (TREE_TYPE (t)))
+      && integer_zerop (t))
     {
-      temp.var = integer_id;
-      temp.type = SCALAR;
+      temp.var = nothing_id;
+      temp.type = ADDRESSOF;
       temp.offset = 0;
       VEC_safe_push (ce_s, heap, *results, &temp);
       return;
     }
-  else if (TREE_CODE (t) == INTEGER_CST
-          && integer_zerop (t))
+
+  /* String constants are read-only.  */
+  if (TREE_CODE (t) == STRING_CST)
     {
-      temp.var = nothing_id;
-      temp.type = ADDRESSOF;
+      temp.var = readonly_id;
+      temp.type = SCALAR;
       temp.offset = 0;
       VEC_safe_push (ce_s, heap, *results, &temp);
       return;
@@ -2550,6 +2787,7 @@ get_constraint_for (tree t, VEC (ce_s, heap) **results)
   switch (TREE_CODE_CLASS (TREE_CODE (t)))
     {
     case tcc_expression:
+    case tcc_vl_exp:
       {
        switch (TREE_CODE (t))
          {
@@ -2561,33 +2799,13 @@ get_constraint_for (tree t, VEC (ce_s, heap) **results)
              tree pttype = TREE_TYPE (TREE_TYPE (t));
 
              get_constraint_for (exp, results);
-             /* Make sure we capture constraints to all elements
-                of an array.  */
-             if ((handled_component_p (exp)
-                  && ref_contains_array_ref (exp))
-                 || TREE_CODE (TREE_TYPE (exp)) == ARRAY_TYPE)
-               {
-                 struct constraint_expr *origrhs;
-                 varinfo_t origvar;
-                 struct constraint_expr tmp;
 
-                 if (VEC_length (ce_s, *results) == 0)
-                   return;
 
-                 gcc_assert (VEC_length (ce_s, *results) == 1);
-                 origrhs = VEC_last (ce_s, *results);
-                 tmp = *origrhs;
-                 VEC_pop (ce_s, *results);
-                 origvar = get_varinfo (origrhs->var);
-                 for (; origvar; origvar = origvar->next)
-                   {
-                     tmp.var = origvar->id;
-                     VEC_safe_push (ce_s, heap, *results, &tmp);
-                   }
-               }
-             else if (VEC_length (ce_s, *results) == 1
-                      && (AGGREGATE_TYPE_P (pttype)
-                          || TREE_CODE (pttype) == COMPLEX_TYPE))
+             /* Complex types are special. Taking the address of one
+                allows you to access either part of it through that
+                pointer.  */
+             if (VEC_length (ce_s, *results) == 1 &&
+                 TREE_CODE (pttype) == COMPLEX_TYPE)
                {
                  struct constraint_expr *origrhs;
                  varinfo_t origvar;
@@ -2695,7 +2913,6 @@ get_constraint_for (tree t, VEC (ce_s, heap) **results)
          {
          case NOP_EXPR:
          case CONVERT_EXPR:
-         case NON_LVALUE_EXPR:
            {
              tree op = TREE_OPERAND (t, 0);
 
@@ -2847,7 +3064,7 @@ do_rhs_deref_structure_copy (const struct constraint_expr lhs,
 }
 
 /* Handle the structure copy case where we have a structure copy
-   between a aggregate on the RHS and a dereference of a pointer on
+   between an aggregate on the RHS and a dereference of a pointer on
    the LHS that is of SIZE (in bits)
 
    For each field of the rhs variable (rhsfield)
@@ -3038,6 +3255,7 @@ do_structure_copy (tree lhsop, tree rhsop)
     }
 }
 
+
 /* Update related alias information kept in AI.  This is used when
    building name tags, alias sets and deciding grouping heuristics.
    STMT is the statement to process.  This function also updates
@@ -3049,15 +3267,21 @@ update_alias_info (tree stmt, struct alias_info *ai)
   bitmap addr_taken;
   use_operand_p use_p;
   ssa_op_iter iter;
+  bool stmt_dereferences_ptr_p;
   enum escape_type stmt_escape_type = is_escape_site (stmt);
+  struct mem_ref_stats_d *mem_ref_stats = gimple_mem_ref_stats (cfun);
+
+  stmt_dereferences_ptr_p = false;
 
   if (stmt_escape_type == ESCAPE_TO_CALL
       || stmt_escape_type == ESCAPE_TO_PURE_CONST)
     {
-      ai->num_calls_found++;
+      mem_ref_stats->num_call_sites++;
       if (stmt_escape_type == ESCAPE_TO_PURE_CONST)
-       ai->num_pure_const_calls_found++;
+       mem_ref_stats->num_pure_const_call_sites++;
     }
+  else if (stmt_escape_type == ESCAPE_TO_ASM)
+    mem_ref_stats->num_asm_sites++;
 
   /* Mark all the variables whose address are taken by the statement.  */
   addr_taken = addresses_taken (stmt);
@@ -3081,17 +3305,15 @@ update_alias_info (tree stmt, struct alias_info *ai)
        }
     }
 
-  /* Process each operand use.  If an operand may be aliased, keep
-     track of how many times it's being used.  For pointers, determine
-     whether they are dereferenced by the statement, or whether their
-     value escapes, etc.  */
+  /* Process each operand use.  For pointers, determine whether they
+     are dereferenced by the statement, or whether their value
+     escapes, etc.  */
   FOR_EACH_PHI_OR_STMT_USE (use_p, stmt, iter, SSA_OP_USE)
     {
       tree op, var;
       var_ann_t v_ann;
       struct ptr_info_def *pi;
-      bool is_store, is_potential_deref;
-      unsigned num_uses, num_derefs;
+      unsigned num_uses, num_loads, num_stores;
 
       op = USE_FROM_PTR (use_p);
 
@@ -3111,12 +3333,11 @@ update_alias_info (tree stmt, struct alias_info *ai)
             so that they can be treated like regular statements?
             Currently, they are treated as second-class
             statements.  */
-         add_to_addressable_set (TREE_OPERAND (op, 0),
-                                 &addressable_vars);
+         add_to_addressable_set (TREE_OPERAND (op, 0), &addressable_vars);
          continue;
        }
 
-      /* Ignore constants.  */
+      /* Ignore constants (they may occur in PHI node arguments).  */
       if (TREE_CODE (op) != SSA_NAME)
        continue;
 
@@ -3147,7 +3368,7 @@ update_alias_info (tree stmt, struct alias_info *ai)
 
       /* Determine whether OP is a dereferenced pointer, and if STMT
         is an escape point, whether OP escapes.  */
-      count_uses_and_derefs (op, stmt, &num_uses, &num_derefs, &is_store);
+      count_uses_and_derefs (op, stmt, &num_uses, &num_loads, &num_stores);
 
       /* Handle a corner case involving address expressions of the
         form '&PTR->FLD'.  The problem with these expressions is that
@@ -3170,7 +3391,6 @@ update_alias_info (tree stmt, struct alias_info *ai)
         are not GIMPLE invariants), they can only appear on the RHS
         of an assignment and their base address is always an
         INDIRECT_REF expression.  */
-      is_potential_deref = false;
       if (TREE_CODE (stmt) == GIMPLE_MODIFY_STMT
          && TREE_CODE (GIMPLE_STMT_OPERAND (stmt, 1)) == ADDR_EXPR
          && !is_gimple_val (GIMPLE_STMT_OPERAND (stmt, 1)))
@@ -3181,10 +3401,10 @@ update_alias_info (tree stmt, struct alias_info *ai)
          tree base = get_base_address (TREE_OPERAND (rhs, 0));
          if (TREE_CODE (base) == INDIRECT_REF
              && TREE_OPERAND (base, 0) == op)
-           is_potential_deref = true;
+           num_loads++;
        }
 
-      if (num_derefs > 0 || is_potential_deref)
+      if (num_loads + num_stores > 0)
        {
          /* Mark OP as dereferenced.  In a subsequent pass,
             dereferenced pointers that point to a set of
@@ -3195,13 +3415,20 @@ update_alias_info (tree stmt, struct alias_info *ai)
          /* If this is a store operation, mark OP as being
             dereferenced to store, otherwise mark it as being
             dereferenced to load.  */
-         if (is_store)
+         if (num_stores > 0)
            pointer_set_insert (ai->dereferenced_ptrs_store, var);
          else
            pointer_set_insert (ai->dereferenced_ptrs_load, var);
+
+         /* Update the frequency estimate for all the dereferences of
+            pointer OP.  */
+         update_mem_sym_stats_from_stmt (op, stmt, num_loads, num_stores);
+
+         /* Indicate that STMT contains pointer dereferences.  */
+         stmt_dereferences_ptr_p = true;
        }
 
-      if (stmt_escape_type != NO_ESCAPE && num_derefs < num_uses)
+      if (stmt_escape_type != NO_ESCAPE && num_loads + num_stores < num_uses)
        {
          /* If STMT is an escape point and STMT contains at
             least one direct use of OP, then the value of OP
@@ -3226,13 +3453,55 @@ update_alias_info (tree stmt, struct alias_info *ai)
     return;
 
   /* Mark stored variables in STMT as being written to and update the
-     reference counter for potentially aliased symbols in STMT.  */
-  if (stmt_references_memory_p (stmt) && STORED_SYMS (stmt))
+     memory reference stats for all memory symbols referenced by STMT.  */
+  if (stmt_references_memory_p (stmt))
     {
       unsigned i;
       bitmap_iterator bi;
-      EXECUTE_IF_SET_IN_BITMAP (STORED_SYMS (stmt), 0, i, bi)
-       pointer_set_insert (ai->written_vars, referenced_var (i));
+
+      mem_ref_stats->num_mem_stmts++;
+
+      /* Notice that we only update memory reference stats for symbols
+        loaded and stored by the statement if the statement does not
+        contain pointer dereferences and it is not a call/asm site.
+        This is to avoid double accounting problems when creating
+        memory partitions.  After computing points-to information,
+        pointer dereference statistics are used to update the
+        reference stats of the pointed-to variables, so here we
+        should only update direct references to symbols.
+
+        Indirect references are not updated here for two reasons: (1)
+        The first time we compute alias information, the sets
+        LOADED/STORED are empty for pointer dereferences, (2) After
+        partitioning, LOADED/STORED may have references to
+        partitions, not the original pointed-to variables.  So, if we
+        always counted LOADED/STORED here and during partitioning, we
+        would count many symbols more than once.
+
+        This does cause some imprecision when a statement has a
+        combination of direct symbol references and pointer
+        dereferences (e.g., MEMORY_VAR = *PTR) or if a call site has
+        memory symbols in its argument list, but these cases do not
+        occur so frequently as to constitute a serious problem.  */
+      if (STORED_SYMS (stmt))
+       EXECUTE_IF_SET_IN_BITMAP (STORED_SYMS (stmt), 0, i, bi)
+         {
+           tree sym = referenced_var (i);
+           pointer_set_insert (ai->written_vars, sym);
+           if (!stmt_dereferences_ptr_p
+               && stmt_escape_type != ESCAPE_TO_CALL
+               && stmt_escape_type != ESCAPE_TO_PURE_CONST
+               && stmt_escape_type != ESCAPE_TO_ASM)
+             update_mem_sym_stats_from_stmt (sym, stmt, 0, 1);
+         }
+
+      if (!stmt_dereferences_ptr_p
+         && LOADED_SYMS (stmt)
+         && stmt_escape_type != ESCAPE_TO_CALL
+         && stmt_escape_type != ESCAPE_TO_PURE_CONST
+         && stmt_escape_type != ESCAPE_TO_ASM)
+       EXECUTE_IF_SET_IN_BITMAP (LOADED_SYMS (stmt), 0, i, bi)
+         update_mem_sym_stats_from_stmt (referenced_var (i), stmt, 1, 0);
     }
 }
 
@@ -3264,24 +3533,22 @@ handle_ptr_arith (VEC (ce_s, heap) *lhsc, tree expr)
   unsigned int j = 0;
   VEC (ce_s, heap) *temp = NULL;
   unsigned int rhsoffset = 0;
+  bool unknown_addend = false;
 
-  if (TREE_CODE (expr) != PLUS_EXPR
-      && TREE_CODE (expr) != MINUS_EXPR)
+  if (TREE_CODE (expr) != POINTER_PLUS_EXPR)
     return false;
 
   op0 = TREE_OPERAND (expr, 0);
   op1 = TREE_OPERAND (expr, 1);
+  gcc_assert (POINTER_TYPE_P (TREE_TYPE (op0)));
 
   get_constraint_for (op0, &temp);
-  if (POINTER_TYPE_P (TREE_TYPE (op0))
-      && TREE_CODE (op1) == INTEGER_CST
-      && TREE_CODE (expr) == PLUS_EXPR)
-    {
-      rhsoffset = TREE_INT_CST_LOW (op1) * BITS_PER_UNIT;
-    }
-  else
-    return false;
 
+  /* Handle non-constants by making constraints from integer.  */
+  if (TREE_CODE (op1) == INTEGER_CST)
+    rhsoffset = TREE_INT_CST_LOW (op1) * BITS_PER_UNIT;
+  else
+    unknown_addend = true;
 
   for (i = 0; VEC_iterate (ce_s, lhsc, i, c); i++)
     for (j = 0; VEC_iterate (ce_s, temp, j, c2); j++)
@@ -3298,6 +3565,30 @@ handle_ptr_arith (VEC (ce_s, heap) *lhsc, tree expr)
            c2->var = temp->id;
            c2->offset = 0;
          }
+       else if (unknown_addend)
+         {
+           /* Can't handle *a + integer where integer is unknown.  */
+           if (c2->type != SCALAR)
+             {
+               struct constraint_expr intc;
+               intc.var = integer_id;
+               intc.offset = 0;
+               intc.type = SCALAR;
+               process_constraint (new_constraint (*c, intc));
+             }
+           else
+             {
+               /* We known it lives somewhere within c2->var.  */
+               varinfo_t tmp = get_varinfo (c2->var);
+               for (; tmp; tmp = tmp->next)
+                 {
+                   struct constraint_expr tmpc = *c2;
+                   c2->var = tmp->id;
+                   c2->offset = 0;
+                   process_constraint (new_constraint (*c, tmpc));
+                 }
+             }
+         }
        else
          c2->offset = rhsoffset;
        process_constraint (new_constraint (*c, *c2));
@@ -3308,6 +3599,60 @@ handle_ptr_arith (VEC (ce_s, heap) *lhsc, tree expr)
   return true;
 }
 
+/* For non-IPA mode, generate constraints necessary for a call on the
+   RHS.  */
+
+static void
+handle_rhs_call  (tree rhs)
+{
+  tree arg;
+  call_expr_arg_iterator iter;
+  struct constraint_expr rhsc;
+
+  rhsc.var = anything_id;
+  rhsc.offset = 0;
+  rhsc.type = ADDRESSOF;
+
+  FOR_EACH_CALL_EXPR_ARG (arg, iter, rhs)
+    {
+      VEC(ce_s, heap) *lhsc = NULL;
+
+      /* Find those pointers being passed, and make sure they end up
+        pointing to anything.  */
+      if (POINTER_TYPE_P (TREE_TYPE (arg)))
+       {
+         unsigned int j;
+         struct constraint_expr *lhsp;
+
+         get_constraint_for (arg, &lhsc);
+         do_deref (&lhsc);
+         for (j = 0; VEC_iterate (ce_s, lhsc, j, lhsp); j++)
+           process_constraint_1 (new_constraint (*lhsp, rhsc), true);
+         VEC_free (ce_s, heap, lhsc);
+       }
+    }
+}
+
+/* For non-IPA mode, generate constraints necessary for a call
+   that returns a pointer and assigns it to LHS.  This simply makes
+   the LHS point to anything.  */
+
+static void
+handle_lhs_call (tree lhs)
+{
+  VEC(ce_s, heap) *lhsc = NULL;
+  struct constraint_expr rhsc;
+  unsigned int j;
+  struct constraint_expr *lhsp;
+
+  rhsc.var = anything_id;
+  rhsc.offset = 0;
+  rhsc.type = ADDRESSOF;
+  get_constraint_for (lhs, &lhsc);
+  for (j = 0; VEC_iterate (ce_s, lhsc, j, lhsp); j++)
+    process_constraint_1 (new_constraint (*lhsp, rhsc), true);
+  VEC_free (ce_s, heap, lhsc);
+}
 
 /* Walk statement T setting up aliasing constraints according to the
    references found in T.  This function is the main part of the
@@ -3363,102 +3708,118 @@ find_func_aliases (tree origt)
        }
     }
   /* In IPA mode, we need to generate constraints to pass call
-     arguments through their calls.   There are two case, either a
-     modify_expr when we are returning a value, or just a plain
-     call_expr when we are not.   */
-  else if (in_ipa_mode
-          && ((TREE_CODE (t) == GIMPLE_MODIFY_STMT
-               && TREE_CODE (GIMPLE_STMT_OPERAND (t, 1)) == CALL_EXPR
-              && !(call_expr_flags (GIMPLE_STMT_OPERAND (t, 1))
-                   & (ECF_MALLOC | ECF_MAY_BE_ALLOCA)))
-              || (TREE_CODE (t) == CALL_EXPR
-                  && !(call_expr_flags (t)
-                       & (ECF_MALLOC | ECF_MAY_BE_ALLOCA)))))
+     arguments through their calls.   There are two cases, either a
+     GIMPLE_MODIFY_STMT when we are returning a value, or just a plain
+     CALL_EXPR when we are not.
+
+     In non-ipa mode, we need to generate constraints for each
+     pointer passed by address.  */
+  else if (((TREE_CODE (t) == GIMPLE_MODIFY_STMT
+            && TREE_CODE (GIMPLE_STMT_OPERAND (t, 1)) == CALL_EXPR
+            && !(call_expr_flags (GIMPLE_STMT_OPERAND (t, 1))
+                 & (ECF_MALLOC | ECF_MAY_BE_ALLOCA)))
+           || (TREE_CODE (t) == CALL_EXPR
+               && !(call_expr_flags (t)
+                    & (ECF_MALLOC | ECF_MAY_BE_ALLOCA)))))
     {
-      tree lhsop;
-      tree rhsop;
-      tree arglist;
-      varinfo_t fi;
-      int i = 1;
-      tree decl;
-      if (TREE_CODE (t) == GIMPLE_MODIFY_STMT)
-       {
-         lhsop = GIMPLE_STMT_OPERAND (t, 0);
-         rhsop = GIMPLE_STMT_OPERAND (t, 1);
-       }
-      else
-       {
-         lhsop = NULL;
-         rhsop = t;
-       }
-      decl = get_callee_fndecl (rhsop);
-
-      /* If we can directly resolve the function being called, do so.
-        Otherwise, it must be some sort of indirect expression that
-        we should still be able to handle.  */
-      if (decl)
+      if (!in_ipa_mode)
        {
-         fi = get_vi_for_tree (decl);
+         if (TREE_CODE (t) == GIMPLE_MODIFY_STMT)
+           {
+             handle_rhs_call (GIMPLE_STMT_OPERAND (t, 1));
+             if (POINTER_TYPE_P (TREE_TYPE (GIMPLE_STMT_OPERAND (t, 1))))
+               handle_lhs_call (GIMPLE_STMT_OPERAND (t, 0));
+           }
+         else
+           handle_rhs_call (t);
        }
       else
        {
-         decl = TREE_OPERAND (rhsop, 0);
-         fi = get_vi_for_tree (decl);
-       }
-
-      /* Assign all the passed arguments to the appropriate incoming
-        parameters of the function.  */
-      arglist = TREE_OPERAND (rhsop, 1);
-
-      for (;arglist; arglist = TREE_CHAIN (arglist))
-       {
-         tree arg = TREE_VALUE (arglist);
-         struct constraint_expr lhs ;
-         struct constraint_expr *rhsp;
-
-         get_constraint_for (arg, &rhsc);
-         if (TREE_CODE (decl) != FUNCTION_DECL)
+         tree lhsop;
+         tree rhsop;
+         tree arg;
+         call_expr_arg_iterator iter;
+         varinfo_t fi;
+         int i = 1;
+         tree decl;
+         if (TREE_CODE (t) == GIMPLE_MODIFY_STMT)
            {
-             lhs.type = DEREF;
-             lhs.var = fi->id;
-             lhs.offset = i;
+             lhsop = GIMPLE_STMT_OPERAND (t, 0);
+             rhsop = GIMPLE_STMT_OPERAND (t, 1);
            }
          else
            {
-             lhs.type = SCALAR;
-             lhs.var = first_vi_for_offset (fi, i)->id;
-             lhs.offset = 0;
+             lhsop = NULL;
+             rhsop = t;
            }
-         while (VEC_length (ce_s, rhsc) != 0)
+         decl = get_callee_fndecl (rhsop);
+
+         /* If we can directly resolve the function being called, do so.
+            Otherwise, it must be some sort of indirect expression that
+            we should still be able to handle.  */
+         if (decl)
            {
-             rhsp = VEC_last (ce_s, rhsc);
-             process_constraint (new_constraint (lhs, *rhsp));
-             VEC_pop (ce_s, rhsc);
+             fi = get_vi_for_tree (decl);
+           }
+         else
+           {
+             decl = CALL_EXPR_FN (rhsop);
+             fi = get_vi_for_tree (decl);
            }
-         i++;
-       }
-      /* If we are returning a value, assign it to the result.  */
-      if (lhsop)
-       {
-         struct constraint_expr rhs;
-         struct constraint_expr *lhsp;
-         unsigned int j = 0;
 
-         get_constraint_for (lhsop, &lhsc);
-         if (TREE_CODE (decl) != FUNCTION_DECL)
+         /* Assign all the passed arguments to the appropriate incoming
+            parameters of the function.  */
+
+         FOR_EACH_CALL_EXPR_ARG (arg, iter, rhsop)
            {
-             rhs.type = DEREF;
-             rhs.var = fi->id;
-             rhs.offset = i;
+             struct constraint_expr lhs ;
+             struct constraint_expr *rhsp;
+
+             get_constraint_for (arg, &rhsc);
+             if (TREE_CODE (decl) != FUNCTION_DECL)
+               {
+                 lhs.type = DEREF;
+                 lhs.var = fi->id;
+                 lhs.offset = i;
+               }
+             else
+               {
+                 lhs.type = SCALAR;
+                 lhs.var = first_vi_for_offset (fi, i)->id;
+                 lhs.offset = 0;
+               }
+             while (VEC_length (ce_s, rhsc) != 0)
+               {
+                 rhsp = VEC_last (ce_s, rhsc);
+                 process_constraint (new_constraint (lhs, *rhsp));
+                 VEC_pop (ce_s, rhsc);
+               }
+             i++;
            }
-         else
+
+         /* If we are returning a value, assign it to the result.  */
+         if (lhsop)
            {
-             rhs.type = SCALAR;
-             rhs.var = first_vi_for_offset (fi, i)->id;
-             rhs.offset = 0;
+             struct constraint_expr rhs;
+             struct constraint_expr *lhsp;
+             unsigned int j = 0;
+
+             get_constraint_for (lhsop, &lhsc);
+             if (TREE_CODE (decl) != FUNCTION_DECL)
+               {
+                 rhs.type = DEREF;
+                 rhs.var = fi->id;
+                 rhs.offset = i;
+               }
+             else
+               {
+                 rhs.type = SCALAR;
+                 rhs.var = first_vi_for_offset (fi, i)->id;
+                 rhs.offset = 0;
+               }
+             for (j = 0; VEC_iterate (ce_s, lhsc, j, lhsp); j++)
+               process_constraint (new_constraint (*lhsp, rhs));
            }
-         for (j = 0; VEC_iterate (ce_s, lhsc, j, lhsp); j++)
-           process_constraint (new_constraint (*lhsp, rhs));
        }
     }
   /* Otherwise, just a regular assignment statement.  */
@@ -3493,6 +3854,7 @@ find_func_aliases (tree origt)
                  case tcc_constant:
                  case tcc_exceptional:
                  case tcc_expression:
+                 case tcc_vl_exp:
                  case tcc_unary:
                      {
                        unsigned int j;
@@ -3526,7 +3888,7 @@ find_func_aliases (tree origt)
                     to process expressions other than simple operands
                     (e.g. INDIRECT_REF, ADDR_EXPR, CALL_EXPR).  */
                  default:
-                   for (i = 0; i < TREE_CODE_LENGTH (TREE_CODE (rhsop)); i++)
+                   for (i = 0; i < TREE_OPERAND_LENGTH (rhsop); i++)
                      {
                        tree op = TREE_OPERAND (rhsop, i);
                        unsigned int j;
@@ -3548,6 +3910,14 @@ find_func_aliases (tree origt)
            }
        }
     }
+  else if (TREE_CODE (t) == CHANGE_DYNAMIC_TYPE_EXPR)
+    {
+      unsigned int j;
+
+      get_constraint_for (CHANGE_DYNAMIC_TYPE_LOCATION (t), &lhsc);
+      for (j = 0; VEC_iterate (ce_s, lhsc, j, c); ++j)
+       get_varinfo (c->var)->no_tbaa_pruning = true;
+    }
 
   /* After promoting variables and computing aliasing we will
      need to re-scan most statements.  FIXME: Try to minimize the
@@ -3651,20 +4021,34 @@ sort_fieldstack (VEC(fieldoff_s,heap) *fieldstack)
         fieldoff_compare);
 }
 
-/* Given a TYPE, and a vector of field offsets FIELDSTACK, push all the fields
-   of TYPE onto fieldstack, recording their offsets along the way.
-   OFFSET is used to keep track of the offset in this entire structure, rather
-   than just the immediately containing structure.  Returns the number
-   of fields pushed.
+/* Given a TYPE, and a vector of field offsets FIELDSTACK, push all
+   the fields of TYPE onto fieldstack, recording their offsets along
+   the way.
+
+   OFFSET is used to keep track of the offset in this entire
+   structure, rather than just the immediately containing structure.
+   Returns the number of fields pushed.
+
    HAS_UNION is set to true if we find a union type as a field of
-   TYPE.  */
+   TYPE.
+
+   ADDRESSABLE_TYPE is the type of the outermost object that could
+   have its address taken.  */
 
 int
 push_fields_onto_fieldstack (tree type, VEC(fieldoff_s,heap) **fieldstack,
-                            HOST_WIDE_INT offset, bool *has_union)
+                            HOST_WIDE_INT offset, bool *has_union,
+                            tree addressable_type)
 {
   tree field;
   int count = 0;
+  unsigned int first_element = VEC_length (fieldoff_s, *fieldstack);
+
+  /* If the vector of fields is growing too big, bail out early.
+     Callers check for VEC_length <= MAX_FIELDS_FOR_FIELD_SENSITIVE, make
+     sure this fails.  */
+  if (first_element > MAX_FIELDS_FOR_FIELD_SENSITIVE)
+    return 0;
 
   if (TREE_CODE (type) == COMPLEX_TYPE)
     {
@@ -3674,17 +4058,21 @@ push_fields_onto_fieldstack (tree type, VEC(fieldoff_s,heap) **fieldstack,
       real_part->size = TYPE_SIZE (TREE_TYPE (type));
       real_part->offset = offset;
       real_part->decl = NULL_TREE;
+      real_part->alias_set = -1;
+      real_part->base_for_components = false;
 
       img_part = VEC_safe_push (fieldoff_s, heap, *fieldstack, NULL);
       img_part->type = TREE_TYPE (type);
       img_part->size = TYPE_SIZE (TREE_TYPE (type));
       img_part->offset = offset + TREE_INT_CST_LOW (TYPE_SIZE (TREE_TYPE (type)));
       img_part->decl = NULL_TREE;
+      img_part->alias_set = -1;
+      img_part->base_for_components = false;
 
-      return 2;
+      count = 2;
     }
 
-  if (TREE_CODE (type) == ARRAY_TYPE)
+  else if (TREE_CODE (type) == ARRAY_TYPE)
     {
       tree sz = TYPE_SIZE (type);
       tree elsz = TYPE_SIZE (TREE_TYPE (type));
@@ -3716,8 +4104,13 @@ push_fields_onto_fieldstack (tree type, VEC(fieldoff_s,heap) **fieldstack,
          if (!AGGREGATE_TYPE_P (TREE_TYPE (type))) /* var_can_have_subvars */
            push = true;
          else if (!(pushed = push_fields_onto_fieldstack
-                    (TREE_TYPE (type), fieldstack,
-                     offset + i * TREE_INT_CST_LOW (elsz), has_union)))
+                    (TREE_TYPE (type),
+                     fieldstack,
+                     offset + i * TREE_INT_CST_LOW (elsz),
+                     has_union,
+                     (TYPE_NONALIASED_COMPONENT (type)
+                      ? addressable_type
+                      : TREE_TYPE (type)))))
            /* Empty structures may have actual size, like in C++. So
               see if we didn't push any subfields and the size is
               nonzero, push the field onto the stack */
@@ -3732,52 +4125,73 @@ push_fields_onto_fieldstack (tree type, VEC(fieldoff_s,heap) **fieldstack,
              pair->size = elsz;
              pair->decl = NULL_TREE;
              pair->offset = offset + i * TREE_INT_CST_LOW (elsz);
+             if (TYPE_NONALIASED_COMPONENT (type))
+               pair->alias_set = get_alias_set (addressable_type);
+             else
+               pair->alias_set = -1;
+             pair->base_for_components = false;
              count++;
            }
          else
            count += pushed;
        }
-
-      return count;
     }
 
-  for (field = TYPE_FIELDS (type); field; field = TREE_CHAIN (field))
-    if (TREE_CODE (field) == FIELD_DECL)
-      {
-       bool push = false;
-       int pushed = 0;
-
-       if (has_union
-           && (TREE_CODE (TREE_TYPE (field)) == QUAL_UNION_TYPE
-               || TREE_CODE (TREE_TYPE (field)) == UNION_TYPE))
-         *has_union = true;
-
-       if (!var_can_have_subvars (field))
-         push = true;
-       else if (!(pushed = push_fields_onto_fieldstack
-                  (TREE_TYPE (field), fieldstack,
-                   offset + bitpos_of_field (field), has_union))
-                && DECL_SIZE (field)
-                && !integer_zerop (DECL_SIZE (field)))
-         /* Empty structures may have actual size, like in C++. So
-            see if we didn't push any subfields and the size is
-            nonzero, push the field onto the stack */
-         push = true;
-
-       if (push)
+  else
+    {
+      for (field = TYPE_FIELDS (type); field; field = TREE_CHAIN (field))
+       if (TREE_CODE (field) == FIELD_DECL)
          {
-           fieldoff_s *pair;
-
-           pair = VEC_safe_push (fieldoff_s, heap, *fieldstack, NULL);
-           pair->type = TREE_TYPE (field);
-           pair->size = DECL_SIZE (field);
-           pair->decl = field;
-           pair->offset = offset + bitpos_of_field (field);
-           count++;
-         }
-       else
-         count += pushed;
-      }
+           bool push = false;
+           int pushed = 0;
+
+           if (has_union
+               && (TREE_CODE (TREE_TYPE (field)) == QUAL_UNION_TYPE
+                   || TREE_CODE (TREE_TYPE (field)) == UNION_TYPE))
+             *has_union = true;
+
+           if (!var_can_have_subvars (field))
+             push = true;
+           else if (!(pushed = push_fields_onto_fieldstack
+                      (TREE_TYPE (field),
+                       fieldstack,
+                       offset + bitpos_of_field (field),
+                       has_union,
+                       (DECL_NONADDRESSABLE_P (field)
+                        ? addressable_type
+                        : TREE_TYPE (field))))
+                    && DECL_SIZE (field)
+                    && !integer_zerop (DECL_SIZE (field)))
+             /* Empty structures may have actual size, like in C++. So
+                see if we didn't push any subfields and the size is
+                nonzero, push the field onto the stack */
+             push = true;
+
+           if (push)
+             {
+               fieldoff_s *pair;
+
+               pair = VEC_safe_push (fieldoff_s, heap, *fieldstack, NULL);
+               pair->type = TREE_TYPE (field);
+               pair->size = DECL_SIZE (field);
+               pair->decl = field;
+               pair->offset = offset + bitpos_of_field (field);
+               if (DECL_NONADDRESSABLE_P (field))
+                 pair->alias_set = get_alias_set (addressable_type);
+               else
+                 pair->alias_set = -1;
+               pair->base_for_components = false;
+               count++;
+             }
+           else
+             count += pushed;
+          }
+    }
+
+  /* Make sure the first pushed field is marked as eligible for
+     being a base for component references.  */
+  if (count > 0)
+    VEC_index (fieldoff_s, *fieldstack, first_element)->base_for_components = true;
 
   return count;
 }
@@ -3971,7 +4385,8 @@ create_variable_info_for (tree decl, const char *name)
             || TREE_CODE (decltype) == QUAL_UNION_TYPE;
   if (var_can_have_subvars (decl) && use_field_sensitive && !hasunion)
     {
-      push_fields_onto_fieldstack (decltype, &fieldstack, 0, &hasunion);
+      push_fields_onto_fieldstack (decltype, &fieldstack, 0, &hasunion,
+                                  decltype);
       if (hasunion)
        {
          VEC_free (fieldoff_s, heap, fieldstack);
@@ -4012,6 +4427,7 @@ create_variable_info_for (tree decl, const char *name)
       && !notokay
       && !vi->is_unknown_size_var
       && var_can_have_subvars (decl)
+      && VEC_length (fieldoff_s, fieldstack) > 1
       && VEC_length (fieldoff_s, fieldstack) <= MAX_FIELDS_FOR_FIELD_SENSITIVE)
     {
       unsigned int newindex = VEC_length (varinfo_t, varmap);
@@ -4089,8 +4505,10 @@ create_variable_info_for (tree decl, const char *name)
 
          stats.total_vars++;
        }
-      VEC_free (fieldoff_s, heap, fieldstack);
     }
+
+  VEC_free (fieldoff_s, heap, fieldstack);
+
   return index;
 }
 
@@ -4115,7 +4533,10 @@ dump_solution_for_var (FILE *file, unsigned int var)
        {
          fprintf (file, "%s ", get_varinfo (i)->name);
        }
-      fprintf (file, "}\n");
+      fprintf (file, "}");
+      if (vi->no_tbaa_pruning)
+       fprintf (file, " no-tbaa-pruning");
+      fprintf (file, "\n");
     }
 }
 
@@ -4136,8 +4557,8 @@ intra_create_variable_infos (void)
   tree t;
   struct constraint_expr lhs, rhs;
 
-  /* For each incoming pointer argument arg, ARG = ANYTHING or a
-     dummy variable if flag_argument_noalias > 2. */
+  /* For each incoming pointer argument arg, create the constraint ARG
+     = ANYTHING or a dummy variable if flag_argument_noalias is set.  */
   for (t = DECL_ARGUMENTS (current_function_decl); t; t = TREE_CHAIN (t))
     {
       varinfo_t p;
@@ -4145,11 +4566,11 @@ intra_create_variable_infos (void)
       if (!could_have_pointers (t))
        continue;
 
-      /* With flag_argument_noalias greater than two means that the incoming
-        argument cannot alias anything except for itself so create a HEAP
-        variable.  */
-      if (POINTER_TYPE_P (TREE_TYPE (t))
-         && flag_argument_noalias > 2)
+      /* If flag_argument_noalias is set, then function pointer
+        arguments are guaranteed not to point to each other.  In that
+        case, create an artificial variable PARM_NOALIAS and the
+        constraint ARG = &PARM_NOALIAS.  */
+      if (POINTER_TYPE_P (TREE_TYPE (t)) && flag_argument_noalias > 0)
        {
          varinfo_t vi;
          tree heapvar = heapvar_lookup (t);
@@ -4160,14 +4581,26 @@ intra_create_variable_infos (void)
 
          if (heapvar == NULL_TREE)
            {
+             var_ann_t ann;
              heapvar = create_tmp_var_raw (TREE_TYPE (TREE_TYPE (t)),
                                            "PARM_NOALIAS");
-             get_var_ann (heapvar)->is_heapvar = 1;
              DECL_EXTERNAL (heapvar) = 1;
              if (gimple_referenced_vars (cfun))
                add_referenced_var (heapvar);
+
              heapvar_insert (t, heapvar);
+
+             ann = get_var_ann (heapvar);
+             if (flag_argument_noalias == 1)
+               ann->noalias_state = NO_ALIAS;
+             else if (flag_argument_noalias == 2)
+               ann->noalias_state = NO_ALIAS_GLOBAL;
+             else if (flag_argument_noalias == 3)
+               ann->noalias_state = NO_ALIAS_ANYTHING;
+             else
+               gcc_unreachable ();
            }
+
          vi = get_vi_for_tree (heapvar);
          vi->is_artificial_var = 1;
          vi->is_heap_var = 1;
@@ -4191,23 +4624,100 @@ intra_create_variable_infos (void)
     }
 }
 
+/* Structure used to put solution bitmaps in a hashtable so they can
+   be shared among variables with the same points-to set.  */
+
+typedef struct shared_bitmap_info
+{
+  bitmap pt_vars;
+  hashval_t hashcode;
+} *shared_bitmap_info_t;
+typedef const struct shared_bitmap_info *const_shared_bitmap_info_t;
+
+static htab_t shared_bitmap_table;
+
+/* Hash function for a shared_bitmap_info_t */
+
+static hashval_t
+shared_bitmap_hash (const void *p)
+{
+  const_shared_bitmap_info_t const bi = (const_shared_bitmap_info_t) p;
+  return bi->hashcode;
+}
+
+/* Equality function for two shared_bitmap_info_t's. */
+
+static int
+shared_bitmap_eq (const void *p1, const void *p2)
+{
+  const_shared_bitmap_info_t const sbi1 = (const_shared_bitmap_info_t) p1;
+  const_shared_bitmap_info_t const sbi2 = (const_shared_bitmap_info_t) p2;
+  return bitmap_equal_p (sbi1->pt_vars, sbi2->pt_vars);
+}
+
+/* Lookup a bitmap in the shared bitmap hashtable, and return an already
+   existing instance if there is one, NULL otherwise.  */
+
+static bitmap
+shared_bitmap_lookup (bitmap pt_vars)
+{
+  void **slot;
+  struct shared_bitmap_info sbi;
+
+  sbi.pt_vars = pt_vars;
+  sbi.hashcode = bitmap_hash (pt_vars);
+
+  slot = htab_find_slot_with_hash (shared_bitmap_table, &sbi,
+                                  sbi.hashcode, NO_INSERT);
+  if (!slot)
+    return NULL;
+  else
+    return ((shared_bitmap_info_t) *slot)->pt_vars;
+}
+
+
+/* Add a bitmap to the shared bitmap hashtable.  */
+
+static void
+shared_bitmap_add (bitmap pt_vars)
+{
+  void **slot;
+  shared_bitmap_info_t sbi = XNEW (struct shared_bitmap_info);
+
+  sbi->pt_vars = pt_vars;
+  sbi->hashcode = bitmap_hash (pt_vars);
+
+  slot = htab_find_slot_with_hash (shared_bitmap_table, sbi,
+                                  sbi->hashcode, INSERT);
+  gcc_assert (!*slot);
+  *slot = (void *) sbi;
+}
+
+
 /* Set bits in INTO corresponding to the variable uids in solution set
    FROM, which came from variable PTR.
    For variables that are actually dereferenced, we also use type
-   based alias analysis to prune the points-to sets.  */
+   based alias analysis to prune the points-to sets.
+   IS_DEREFED is true if PTR was directly dereferenced, which we use to
+   help determine whether we are we are allowed to prune using TBAA.
+   If NO_TBAA_PRUNING is true, we do not perform any TBAA pruning of
+   the from set.  */
 
 static void
-set_uids_in_ptset (tree ptr, bitmap into, bitmap from)
+set_uids_in_ptset (tree ptr, bitmap into, bitmap from, bool is_derefed,
+                  bool no_tbaa_pruning)
 {
   unsigned int i;
   bitmap_iterator bi;
-  subvar_t sv;
-  HOST_WIDE_INT ptr_alias_set = get_alias_set (TREE_TYPE (ptr));
+  alias_set_type ptr_alias_set;
+
+  gcc_assert (POINTER_TYPE_P (TREE_TYPE (ptr)));
+  ptr_alias_set = get_alias_set (TREE_TYPE (TREE_TYPE (ptr)));
 
   EXECUTE_IF_SET_IN_BITMAP (from, 0, i, bi)
     {
       varinfo_t vi = get_varinfo (i);
-      unsigned HOST_WIDE_INT var_alias_set;
+      alias_set_type var_alias_set;
 
       /* The only artificial variables that are allowed in a may-alias
         set are heap variables.  */
@@ -4216,26 +4726,55 @@ set_uids_in_ptset (tree ptr, bitmap into, bitmap from)
 
       if (vi->has_union && get_subvars_for_var (vi->decl) != NULL)
        {
+         unsigned int i;
+         tree subvar;
+         subvar_t sv = get_subvars_for_var (vi->decl);
+
          /* Variables containing unions may need to be converted to
             their SFT's, because SFT's can have unions and we cannot.  */
-         for (sv = get_subvars_for_var (vi->decl); sv; sv = sv->next)
-           bitmap_set_bit (into, DECL_UID (sv->var));
+         for (i = 0; VEC_iterate (tree, sv, i, subvar); ++i)
+           bitmap_set_bit (into, DECL_UID (subvar));
        }
       else if (TREE_CODE (vi->decl) == VAR_DECL
-              || TREE_CODE (vi->decl) == PARM_DECL)
+              || TREE_CODE (vi->decl) == PARM_DECL
+              || TREE_CODE (vi->decl) == RESULT_DECL)
        {
+         subvar_t sv;
          if (var_can_have_subvars (vi->decl)
-             && get_subvars_for_var (vi->decl))
+             && (sv = get_subvars_for_var (vi->decl)))
            {
              /* If VI->DECL is an aggregate for which we created
-                SFTs, add the SFT corresponding to VI->OFFSET.  */
-             tree sft = get_subvar_at (vi->decl, vi->offset);
-             if (sft)
+                SFTs, add the SFT corresponding to VI->OFFSET.
+                If we didn't do field-sensitive PTA we need to to
+                add all overlapping SFTs.  */
+             unsigned int j;
+             tree sft = get_first_overlapping_subvar (sv, vi->offset,
+                                                      vi->size, &j);
+             gcc_assert (sft);
+             for (; VEC_iterate (tree, sv, j, sft); ++j)
                {
+                 if (SFT_OFFSET (sft) > vi->offset
+                     && vi->size <= SFT_OFFSET (sft) - vi->offset)
+                   break;
+
                  var_alias_set = get_alias_set (sft);
-                 if (!vi->directly_dereferenced
+                 if (no_tbaa_pruning
+                     || (!is_derefed && !vi->directly_dereferenced)
                      || alias_sets_conflict_p (ptr_alias_set, var_alias_set))
-                   bitmap_set_bit (into, DECL_UID (sft));
+                   {
+                     bitmap_set_bit (into, DECL_UID (sft));
+                     
+                     /* Pointed-to SFTs are needed by the operand scanner
+                        to adjust offsets when adding operands to memory
+                        expressions that dereference PTR.  This means
+                        that memory partitioning may not partition
+                        this SFT because the operand scanner will not
+                        be able to find the other SFTs next to this
+                        one.  But we only need to do this if the pointed
+                        to type is aggregate.  */
+                     if (SFT_BASE_FOR_COMPONENTS_P (sft))
+                       SFT_UNPARTITIONABLE_P (sft) = true;
+                   }
                }
            }
          else
@@ -4247,7 +4786,8 @@ set_uids_in_ptset (tree ptr, bitmap into, bitmap from)
              else
                {
                  var_alias_set = get_alias_set (vi->decl);
-                 if (!vi->directly_dereferenced
+                 if (no_tbaa_pruning
+                     || (!is_derefed && !vi->directly_dereferenced)
                      || alias_sets_conflict_p (ptr_alias_set, var_alias_set))
                    bitmap_set_bit (into, DECL_UID (vi->decl));
                }
@@ -4280,6 +4820,7 @@ set_used_smts (void)
   for (i = 0; VEC_iterate (varinfo_t, varmap, i, vi); i++)
     {
       tree var = vi->decl;
+      varinfo_t withsolution = get_varinfo (find (i));
       tree smt;
       var_ann_t va;
       struct ptr_info_def *pi = NULL;
@@ -4292,9 +4833,8 @@ set_used_smts (void)
       else if (TREE_CODE (var) == SSA_NAME)
        pi = SSA_NAME_PTR_INFO (var);
 
-      /* Skip the special variables and those without their own
-        solution set.  */
-      if (vi->is_special_var || find (vi->id) != vi->id
+      /* Skip the special variables and those that can't be aliased.  */
+      if (vi->is_special_var
          || !SSA_VAR_P (var)
          || (pi && !pi->is_dereferenced)
          || (TREE_CODE (var) == VAR_DECL && !may_be_aliased (var))
@@ -4309,22 +4849,20 @@ set_used_smts (void)
        continue;
 
       smt = va->symbol_mem_tag;
-      if (smt && bitmap_bit_p (vi->solution, anything_id))
+      if (smt && bitmap_bit_p (withsolution->solution, anything_id))
        bitmap_set_bit (used_smts, DECL_UID (smt));
     }
 }
 
-/* Merge the necessary SMT's into the solution set for VI, which is
+/* Merge the necessary SMT's into the bitmap INTO, which is
    P's varinfo.  This involves merging all SMT's that are a subset of
    the SMT necessary for P. */
 
 static void
-merge_smts_into (tree p, varinfo_t vi)
+merge_smts_into (tree p, bitmap solution)
 {
-  unsigned int i;
-  bitmap_iterator bi;
   tree smt;
-  VEC(tree, gc) *aliases;
+  bitmap aliases;
   tree var = p;
 
   if (TREE_CODE (p) == SSA_NAME)
@@ -4333,37 +4871,19 @@ merge_smts_into (tree p, varinfo_t vi)
   smt = var_ann (var)->symbol_mem_tag;
   if (smt)
     {
-      HOST_WIDE_INT smtset = get_alias_set (TREE_TYPE (smt));
-
-      /* Need to set the SMT subsets first before this
-        will work properly.  */
-      bitmap_set_bit (vi->finished_solution, DECL_UID (smt));
-      EXECUTE_IF_SET_IN_BITMAP (used_smts, 0, i, bi)
-       {
-         tree newsmt = referenced_var (i);
-         tree newsmttype = TREE_TYPE (newsmt);
-
-         if (alias_set_subset_of (get_alias_set (newsmttype),
-                                  smtset))
-           bitmap_set_bit (vi->finished_solution, i);
-       }
+      /* The smt itself isn't included in its aliases.  */
+      bitmap_set_bit (solution, DECL_UID (smt));
 
-      aliases = var_ann (smt)->may_aliases;
+      aliases = MTAG_ALIASES (smt);
       if (aliases)
-       {
-         size_t k;
-         tree al;
-         for (k = 0; VEC_iterate (tree, aliases, k, al); k++)
-           bitmap_set_bit (vi->finished_solution,
-                           DECL_UID (al));
-       }
+       bitmap_ior_into (solution, aliases);
     }
 }
 
 /* Given a pointer variable P, fill in its points-to set, or return
    false if we can't.
    Rather than return false for variables that point-to anything, we
-   instead find the corresponding SMT, and merge in it's aliases.  In
+   instead find the corresponding SMT, and merge in its aliases.  In
    addition to these aliases, we also set the bits for the SMT's
    themselves and their subsets, as SMT's are still in use by
    non-SSA_NAME's, and pruning may eliminate every one of their
@@ -4387,9 +4907,9 @@ find_what_p_points_to (tree p)
       && SSA_NAME_IS_DEFAULT_DEF (p))
     lookup_p = SSA_NAME_VAR (p);
 
-  if (lookup_vi_for_tree (lookup_p, &vi))
+  vi = lookup_vi_for_tree (lookup_p);
+  if (vi)
     {
-
       if (vi->is_artificial_var)
        return false;
 
@@ -4409,6 +4929,8 @@ find_what_p_points_to (tree p)
          unsigned int i;
          bitmap_iterator bi;
          bool was_pt_anything = false;
+         bitmap finished_solution;
+         bitmap result;
 
          if (!pi->is_dereferenced)
            return false;
@@ -4441,32 +4963,33 @@ find_what_p_points_to (tree p)
                }
            }
 
-         /* Share the final set of variables between the SSA_NAME
-            pointer infos for collapsed nodes that are collapsed to
-            non-special variables.  This is because special vars have
-            no real types associated with them, so while we know the
-            pointers are equivalent to them, we need to generate the
-            solution separately since it will include SMT's from the
-            original non-collapsed variable.  */
-         if (!vi->is_special_var && vi->finished_solution)
+         /* Share the final set of variables when possible.  */
+         finished_solution = BITMAP_GGC_ALLOC ();
+         stats.points_to_sets_created++;
+
+         /* Instead of using pt_anything, we merge in the SMT aliases
+            for the underlying SMT.  In addition, if they could have
+            pointed to anything, they could point to global memory.  */
+         if (was_pt_anything)
            {
-             pi->pt_vars = vi->finished_solution;
+             merge_smts_into (p, finished_solution);
+             pi->pt_global_mem = 1;
            }
-         else
-           {
-             vi->finished_solution = BITMAP_GGC_ALLOC ();
-             stats.points_to_sets_created++;
 
-             /* Instead of using pt_anything, we instead merge in the SMT
-                aliases for the underlying SMT.  */
-             if (was_pt_anything)
-               {
-                 merge_smts_into (p, vi);
-                 pi->pt_global_mem = 1;
-               }
+         set_uids_in_ptset (p, finished_solution, vi->solution,
+                            vi->directly_dereferenced,
+                            vi->no_tbaa_pruning);
+         result = shared_bitmap_lookup (finished_solution);
 
-             set_uids_in_ptset (vi->decl, vi->finished_solution, vi->solution);
-             pi->pt_vars = vi->finished_solution;
+         if (!result)
+           {
+             shared_bitmap_add (finished_solution);
+             pi->pt_vars = finished_solution;
+           }
+         else
+           {
+             pi->pt_vars = result;
+             bitmap_clear (finished_solution);
            }
 
          if (bitmap_empty_p (pi->pt_vars))
@@ -4637,10 +5160,11 @@ init_alias_vars (void)
                                          sizeof (struct variable_info), 30);
   constraints = VEC_alloc (constraint_t, heap, 8);
   varmap = VEC_alloc (varinfo_t, heap, 8);
-  vi_for_tree = htab_create (10, tree_vi_hash, tree_vi_eq, free);
+  vi_for_tree = pointer_map_create ();
 
   memset (&stats, 0, sizeof (stats));
-
+  shared_bitmap_table = htab_create (511, shared_bitmap_hash,
+                                    shared_bitmap_eq, free);
   init_base_vars ();
 }
 
@@ -4671,7 +5195,7 @@ remove_preds_and_fake_succs (constraint_graph_t graph)
   /* Now reallocate the size of the successor list as, and blow away
      the predecessor bitmaps.  */
   graph->size = VEC_length (varinfo_t, varmap);
-  graph->succs = xrealloc (graph->succs, graph->size * sizeof (bitmap));
+  graph->succs = XRESIZEVEC (bitmap, graph->succs, graph->size);
 
   free (graph->implicit_preds);
   graph->implicit_preds = NULL;
@@ -4680,6 +5204,139 @@ remove_preds_and_fake_succs (constraint_graph_t graph)
   bitmap_obstack_release (&predbitmap_obstack);
 }
 
+/* Compute the set of variables we can't TBAA prune.  */
+
+static void
+compute_tbaa_pruning (void)
+{
+  unsigned int size = VEC_length (varinfo_t, varmap);
+  unsigned int i;
+  bool any;
+
+  changed_count = 0;
+  changed = sbitmap_alloc (size);
+  sbitmap_zero (changed);
+
+  /* Mark all initial no_tbaa_pruning nodes as changed.  */
+  any = false;
+  for (i = 0; i < size; ++i)
+    {
+      varinfo_t ivi = get_varinfo (i);
+
+      if (find (i) == i && ivi->no_tbaa_pruning)
+       {
+         any = true;
+         if ((graph->succs[i] && !bitmap_empty_p (graph->succs[i]))
+             || VEC_length (constraint_t, graph->complex[i]) > 0)
+           {
+             SET_BIT (changed, i);
+             ++changed_count;
+           }
+       }
+    }
+
+  while (changed_count > 0)
+    {
+      struct topo_info *ti = init_topo_info ();
+      ++stats.iterations;
+
+      compute_topo_order (graph, ti);
+
+      while (VEC_length (unsigned, ti->topo_order) != 0)
+       {
+         bitmap_iterator bi;
+
+         i = VEC_pop (unsigned, ti->topo_order);
+
+         /* If this variable is not a representative, skip it.  */
+         if (find (i) != i)
+           continue;
+
+         /* If the node has changed, we need to process the complex
+            constraints and outgoing edges again.  */
+         if (TEST_BIT (changed, i))
+           {
+             unsigned int j;
+             constraint_t c;
+             VEC(constraint_t,heap) *complex = graph->complex[i];
+
+             RESET_BIT (changed, i);
+             --changed_count;
+
+             /* Process the complex copy constraints.  */
+             for (j = 0; VEC_iterate (constraint_t, complex, j, c); ++j)
+               {
+                 if (c->lhs.type == SCALAR && c->rhs.type == SCALAR)
+                   {
+                     varinfo_t lhsvi = get_varinfo (find (c->lhs.var));
+
+                     if (!lhsvi->no_tbaa_pruning)
+                       {
+                         lhsvi->no_tbaa_pruning = true;
+                         if (!TEST_BIT (changed, lhsvi->id))
+                           {
+                             SET_BIT (changed, lhsvi->id);
+                             ++changed_count;
+                           }
+                       }
+                   }
+               }
+
+             /* Propagate to all successors.  */
+             EXECUTE_IF_IN_NONNULL_BITMAP (graph->succs[i], 0, j, bi)
+               {
+                 unsigned int to = find (j);
+                 varinfo_t tovi = get_varinfo (to);
+
+                 /* Don't propagate to ourselves.  */
+                 if (to == i)
+                   continue;
+
+                 if (!tovi->no_tbaa_pruning)
+                   {
+                     tovi->no_tbaa_pruning = true;
+                     if (!TEST_BIT (changed, to))
+                       {
+                         SET_BIT (changed, to);
+                         ++changed_count;
+                       }
+                   }
+               }
+           }
+       }
+
+      free_topo_info (ti);
+    }
+
+  sbitmap_free (changed);
+
+  if (any)
+    {
+      for (i = 0; i < size; ++i)
+       {
+         varinfo_t ivi = get_varinfo (i);
+         varinfo_t ivip = get_varinfo (find (i));
+
+         if (ivip->no_tbaa_pruning)
+           {
+             tree var = ivi->decl;
+
+             if (TREE_CODE (var) == SSA_NAME)
+               var = SSA_NAME_VAR (var);
+
+             if (POINTER_TYPE_P (TREE_TYPE (var)))
+               {
+                 DECL_NO_TBAA_P (var) = 1;
+
+                 /* Tell the RTL layer that this pointer can alias
+                    anything.  */
+                 DECL_POINTER_ALIAS_SET (var) = 0;
+               }
+           }
+       }
+    }
+}
+
 /* Create points-to sets for the current function.  See the comments
    at the start of the file for an algorithmic overview.  */
 
@@ -4702,11 +5359,12 @@ compute_points_to_sets (struct alias_info *ai)
       block_stmt_iterator bsi;
       tree phi;
 
-      for (phi = phi_nodes (bb); phi; phi = TREE_CHAIN (phi))
+      for (phi = phi_nodes (bb); phi; phi = PHI_CHAIN (phi))
        {
          if (is_gimple_reg (PHI_RESULT (phi)))
            {
              find_func_aliases (phi);
+
              /* Update various related attributes like escaped
                 addresses, pointer dereferences for loads and stores.
                 This is used when creating name tags and alias
@@ -4715,7 +5373,7 @@ compute_points_to_sets (struct alias_info *ai)
            }
        }
 
-      for (bsi = bsi_start (bb); !bsi_end_p (bsi); bsi_next (&bsi))
+      for (bsi = bsi_start (bb); !bsi_end_p (bsi); )
        {
          tree stmt = bsi_stmt (bsi);
 
@@ -4726,6 +5384,13 @@ compute_points_to_sets (struct alias_info *ai)
             This is used when creating name tags and alias
             sets.  */
          update_alias_info (stmt, ai);
+
+         /* The information in CHANGE_DYNAMIC_TYPE_EXPR nodes has now
+            been captured, and we can remove them.  */
+         if (TREE_CODE (stmt) == CHANGE_DYNAMIC_TYPE_EXPR)
+           bsi_remove (&bsi, true);
+         else
+           bsi_next (&bsi);
        }
     }
 
@@ -4739,13 +5404,35 @@ compute_points_to_sets (struct alias_info *ai)
   if (dump_file)
     fprintf (dump_file,
             "\nCollapsing static cycles and doing variable "
-            "substitution:\n");
+            "substitution\n");
+
+  init_graph (VEC_length (varinfo_t, varmap) * 2);
+  
+  if (dump_file)
+    fprintf (dump_file, "Building predecessor graph\n");
   build_pred_graph ();
+  
+  if (dump_file)
+    fprintf (dump_file, "Detecting pointer and location "
+            "equivalences\n");
   si = perform_var_substitution (graph);
-  move_complex_constraints (graph, si);
+  
+  if (dump_file)
+    fprintf (dump_file, "Rewriting constraints and unifying "
+            "variables\n");
+  rewrite_constraints (graph, si);
   free_var_substitution_info (si);
 
   build_succ_graph ();
+  move_complex_constraints (graph);
+
+  if (dump_file)
+    fprintf (dump_file, "Uniting pointer but not location equivalent "
+            "variables\n");
+  unite_pointer_equivalences (graph);
+
+  if (dump_file)
+    fprintf (dump_file, "Finding indirect cycles\n");
   find_indirect_cycles (graph);
 
   /* Implicit nodes and predecessors are no longer necessary at this
@@ -4753,10 +5440,12 @@ compute_points_to_sets (struct alias_info *ai)
   remove_preds_and_fake_succs (graph);
 
   if (dump_file)
-    fprintf (dump_file, "\nSolving graph:\n");
+    fprintf (dump_file, "Solving graph\n");
 
   solve_graph (graph);
 
+  compute_tbaa_pruning ();
+
   if (dump_file)
     dump_sa_points_to_info (dump_file);
 
@@ -4771,22 +5460,25 @@ compute_points_to_sets (struct alias_info *ai)
 void
 delete_points_to_sets (void)
 {
-  varinfo_t v;
-  int i;
+  unsigned int i;
 
+  htab_delete (shared_bitmap_table);
   if (dump_file && (dump_flags & TDF_STATS))
     fprintf (dump_file, "Points to sets created:%d\n",
             stats.points_to_sets_created);
 
-  htab_delete (vi_for_tree);
+  pointer_map_destroy (vi_for_tree);
   bitmap_obstack_release (&pta_obstack);
   VEC_free (constraint_t, heap, constraints);
 
-  for (i = 0; VEC_iterate (varinfo_t, varmap, i, v); i++)
+  for (i = 0; i < graph->size; i++)
     VEC_free (constraint_t, heap, graph->complex[i]);
+  free (graph->complex);
 
   free (graph->rep);
   free (graph->succs);
+  free (graph->pe);
+  free (graph->pe_rep);
   free (graph->indirect_cycles);
   free (graph);
 
@@ -4837,22 +5529,22 @@ ipa_pta_execute (void)
     {
       if (node->analyzed && cgraph_is_master_clone (node))
        {
-         struct function *cfun = DECL_STRUCT_FUNCTION (node->decl);
+         struct function *func = DECL_STRUCT_FUNCTION (node->decl);
          basic_block bb;
          tree old_func_decl = current_function_decl;
          if (dump_file)
            fprintf (dump_file,
                     "Generating constraints for %s\n",
                     cgraph_node_name (node));
-         push_cfun (cfun);
+         push_cfun (func);
          current_function_decl = node->decl;
 
-         FOR_EACH_BB_FN (bb, cfun)
+         FOR_EACH_BB_FN (bb, func)
            {
              block_stmt_iterator bsi;
              tree phi;
 
-             for (phi = phi_nodes (bb); phi; phi = TREE_CHAIN (phi))
+             for (phi = phi_nodes (bb); phi; phi = PHI_CHAIN (phi))
                {
                  if (is_gimple_reg (PHI_RESULT (phi)))
                    {
@@ -4875,8 +5567,6 @@ ipa_pta_execute (void)
        }
     }
 
-
-
   if (dump_file)
     {
       fprintf (dump_file, "Points-to analysis\n\nConstraints:\n\n");
@@ -4888,12 +5578,15 @@ ipa_pta_execute (void)
             "\nCollapsing static cycles and doing variable "
             "substitution:\n");
 
+  init_graph (VEC_length (varinfo_t, varmap) * 2);
   build_pred_graph ();
   si = perform_var_substitution (graph);
-  move_complex_constraints (graph, si);
+  rewrite_constraints (graph, si);
   free_var_substitution_info (si);
 
   build_succ_graph ();
+  move_complex_constraints (graph);
+  unite_pointer_equivalences (graph);
   find_indirect_cycles (graph);
 
   /* Implicit nodes and predecessors are no longer necessary at this
@@ -4901,7 +5594,7 @@ ipa_pta_execute (void)
   remove_preds_and_fake_succs (graph);
 
   if (dump_file)
-    fprintf (dump_file, "\nSolving graph:\n");
+    fprintf (dump_file, "\nSolving graph\n");
 
   solve_graph (graph);
 
@@ -4914,8 +5607,10 @@ ipa_pta_execute (void)
   return 0;
 }
 
-struct tree_opt_pass pass_ipa_pta =
+struct simple_ipa_opt_pass pass_ipa_pta =
 {
+ {
+  SIMPLE_IPA_PASS,
   "pta",                               /* name */
   gate_ipa_pta,                        /* gate */
   ipa_pta_execute,                     /* execute */
@@ -4927,8 +5622,8 @@ struct tree_opt_pass pass_ipa_pta =
   0,                                   /* properties_provided */
   0,                                   /* properties_destroyed */
   0,                                   /* todo_flags_start */
-  0,                                    /* todo_flags_finish */
-  0                                    /* letter */
+  TODO_update_ssa                       /* todo_flags_finish */
+ }
 };
 
 /* Initialize the heapvar for statement mapping.  */