OSDN Git Service

* crontab: Spread snapshot building more evenly throughout the
[pf3gnuchains/gcc-fork.git] / gcc / cgraphunit.c
index ad504dd..1524805 100644 (file)
@@ -1,5 +1,5 @@
-/* Callgraph handling code.
-   Copyright (C) 2003 Free Software Foundation, Inc.
+/* Callgraph based intraprocedural optimizations.
+   Copyright (C) 2003, 2004, 2005 Free Software Foundation, Inc.
    Contributed by Jan Hubicka
 
 This file is part of GCC.
@@ -19,14 +19,136 @@ along with GCC; see the file COPYING.  If not, write to the Free
 Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 02111-1307, USA.  */
 
+/* This module implements main driver of compilation process as well as
+   few basic intraprocedural optimizers.
+
+   The main scope of this file is to act as an interface in between
+   tree based frontends and the backend (and middle end)
+
+   The front-end is supposed to use following functionality:
+
+    - cgraph_finalize_function
+
+      This function is called once front-end has parsed whole body of function
+      and it is certain that the function body nor the declaration will change.
+
+      (There is one exception needed for implementing GCC extern inline function.)
+
+    - cgraph_varpool_finalize_variable
+
+      This function has same behavior as the above but is used for static
+      variables.
+
+    - cgraph_finalize_compilation_unit
+
+      This function is called once compilation unit is finalized and it will
+      no longer change.
+
+      In the unit-at-a-time the call-graph construction and local function
+      analysis takes place here.  Bodies of unreachable functions are released
+      to conserve memory usage.
+
+      ???  The compilation unit in this point of view should be compilation
+      unit as defined by the language - for instance C frontend allows multiple
+      compilation units to be parsed at once and it should call function each
+      time parsing is done so we save memory.
+
+    - cgraph_optimize
+
+      In this unit-at-a-time compilation the intra procedural analysis takes
+      place here.  In particular the static functions whose address is never
+      taken are marked as local.  Backend can then use this information to
+      modify calling conventions, do better inlining or similar optimizations.
+
+    - cgraph_assemble_pending_functions
+    - cgraph_varpool_assemble_pending_variables
+
+      In non-unit-at-a-time mode these functions can be used to force compilation
+      of functions or variables that are known to be needed at given stage
+      of compilation
+
+    - cgraph_mark_needed_node
+    - cgraph_varpool_mark_needed_node
+
+      When function or variable is referenced by some hidden way (for instance
+      via assembly code and marked by attribute "used"), the call-graph data structure
+      must be updated accordingly by this function.
+
+    - analyze_expr callback
+
+      This function is responsible for lowering tree nodes not understood by
+      generic code into understandable ones or alternatively marking
+      callgraph and varpool nodes referenced by the as needed.
+
+      ??? On the tree-ssa genericizing should take place here and we will avoid
+      need for these hooks (replacing them by genericizing hook)
+
+    - expand_function callback
+
+      This function is used to expand function and pass it into RTL back-end.
+      Front-end should not make any assumptions about when this function can be
+      called.  In particular cgraph_assemble_pending_functions,
+      cgraph_varpool_assemble_pending_variables, cgraph_finalize_function,
+      cgraph_varpool_finalize_function, cgraph_optimize can cause arbitrarily
+      previously finalized functions to be expanded.
+
+    We implement two compilation modes.
+
+      - unit-at-a-time:  In this mode analyzing of all functions is deferred
+       to cgraph_finalize_compilation_unit and expansion into cgraph_optimize.
+
+       In cgraph_finalize_compilation_unit the reachable functions are
+       analyzed.  During analysis the call-graph edges from reachable
+       functions are constructed and their destinations are marked as
+       reachable.  References to functions and variables are discovered too
+       and variables found to be needed output to the assembly file.  Via
+       mark_referenced call in assemble_variable functions referenced by
+       static variables are noticed too.
+
+       The intra-procedural information is produced and its existence
+       indicated by global_info_ready.  Once this flag is set it is impossible
+       to change function from !reachable to reachable and thus
+       assemble_variable no longer call mark_referenced.
+
+       Finally the call-graph is topologically sorted and all reachable functions
+       that has not been completely inlined or are not external are output.
+
+       ??? It is possible that reference to function or variable is optimized
+       out.  We can not deal with this nicely because topological order is not
+       suitable for it.  For tree-ssa we may consider another pass doing
+       optimization and re-discovering reachable functions.
+
+       ??? Reorganize code so variables are output very last and only if they
+       really has been referenced by produced code, so we catch more cases
+       where reference has been optimized out.
+
+      - non-unit-at-a-time
+
+       All functions are variables are output as early as possible to conserve
+       memory consumption.  This may or may not result in less memory used but
+       it is still needed for some legacy code that rely on particular ordering
+       of things output from the compiler.
+
+       Varpool data structures are not used and variables are output directly.
+
+       Functions are output early using call of
+       cgraph_assemble_pending_function from cgraph_finalize_function.  The
+       decision on whether function is needed is made more conservative so
+       uninlininable static functions are needed too.  During the call-graph
+       construction the edge destinations are not marked as reachable and it
+       is completely relied upn assemble_variable to mark them.  */
+
+
 #include "config.h"
 #include "system.h"
 #include "coretypes.h"
 #include "tm.h"
 #include "tree.h"
+#include "rtl.h"
+#include "tree-flow.h"
 #include "tree-inline.h"
 #include "langhooks.h"
-#include "hashtab.h"
+#include "pointer-set.h"
 #include "toplev.h"
 #include "flags.h"
 #include "ggc.h"
@@ -35,117 +157,684 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "cgraph.h"
 #include "diagnostic.h"
 #include "timevar.h"
+#include "params.h"
+#include "fibheap.h"
+#include "c-common.h"
+#include "intl.h"
+#include "function.h"
+#include "tree-gimple.h"
+#include "tree-pass.h"
+#include "output.h"
+
+static void cgraph_expand_all_functions (void);
+static void cgraph_mark_functions_to_output (void);
+static void cgraph_expand_function (struct cgraph_node *);
+static tree record_call_1 (tree *, int *, void *);
+static void cgraph_mark_local_functions (void);
+static void cgraph_analyze_function (struct cgraph_node *node);
+static void cgraph_create_edges (struct cgraph_node *node, tree body);
+
+/* Records tree nodes seen in cgraph_create_edges.  Simply using
+   walk_tree_without_duplicates doesn't guarantee each node is visited
+   once because it gets a new htab upon each recursive call from
+   record_calls_1.  */
+static struct pointer_set_t *visited_nodes;
+
+static FILE *cgraph_dump_file;
+
+/* Determine if function DECL is needed.  That is, visible to something
+   either outside this translation unit, something magic in the system
+   configury, or (if not doing unit-at-a-time) to something we havn't
+   seen yet.  */
+
+static bool
+decide_is_function_needed (struct cgraph_node *node, tree decl)
+{
+  tree origin;
+
+  /* If we decided it was needed before, but at the time we didn't have
+     the body of the function available, then it's still needed.  We have
+     to go back and re-check its dependencies now.  */
+  if (node->needed)
+    return true;
+
+  /* Externally visible functions must be output.  The exception is
+     COMDAT functions that must be output only when they are needed.  */
+  if (TREE_PUBLIC (decl) && !DECL_COMDAT (decl) && !DECL_EXTERNAL (decl))
+    return true;
+
+  /* Constructors and destructors are reachable from the runtime by
+     some mechanism.  */
+  if (DECL_STATIC_CONSTRUCTOR (decl) || DECL_STATIC_DESTRUCTOR (decl))
+    return true;
+
+  /* If the user told us it is used, then it must be so.  */
+  if (lookup_attribute ("used", DECL_ATTRIBUTES (decl)))
+    return true;
+
+  /* ??? If the assembler name is set by hand, it is possible to assemble
+     the name later after finalizing the function and the fact is noticed
+     in assemble_name then.  This is arguably a bug.  */
+  if (DECL_ASSEMBLER_NAME_SET_P (decl)
+      && TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (decl)))
+    return true;
+
+  if (flag_unit_at_a_time)
+    return false;
+
+  /* If not doing unit at a time, then we'll only defer this function
+     if its marked for inlining.  Otherwise we want to emit it now.  */
+
+  /* "extern inline" functions are never output locally.  */
+  if (DECL_EXTERNAL (decl))
+    return false;
+  /* Nested functions of extern inline function shall not be emit unless
+     we inlined the origin.  */
+  for (origin = decl_function_context (decl); origin;
+       origin = decl_function_context (origin))
+    if (DECL_EXTERNAL (origin))
+      return false;
+  /* We want to emit COMDAT functions only when absolutely necessary.  */
+  if (DECL_COMDAT (decl))
+    return false;
+  if (!DECL_INLINE (decl)
+      || (!node->local.disregard_inline_limits
+         /* When declared inline, defer even the uninlinable functions.
+            This allows them to be eliminated when unused.  */
+         && !DECL_DECLARED_INLINE_P (decl) 
+         && (!node->local.inlinable || !cgraph_default_inline_p (node))))
+    return true;
+
+  return false;
+}
+
+/* Walk the decls we marked as necessary and see if they reference new
+   variables or functions and add them into the worklists.  */
+static bool
+cgraph_varpool_analyze_pending_decls (void)
+{
+  bool changed = false;
+  timevar_push (TV_CGRAPH);
+
+  while (cgraph_varpool_first_unanalyzed_node)
+    {
+      tree decl = cgraph_varpool_first_unanalyzed_node->decl;
+
+      cgraph_varpool_first_unanalyzed_node->analyzed = true;
+
+      cgraph_varpool_first_unanalyzed_node = cgraph_varpool_first_unanalyzed_node->next_needed;
+
+      if (DECL_INITIAL (decl))
+       cgraph_create_edges (NULL, DECL_INITIAL (decl));
+      changed = true;
+    }
+  timevar_pop (TV_CGRAPH);
+  return changed;
+}
+
+/* Optimization of function bodies might've rendered some variables as
+   unnecessary so we want to avoid these from being compiled.
+
+   This is done by prunning the queue and keeping only the variables that
+   really appear needed (ie they are either externally visible or referenced
+   by compiled function). Re-doing the reachability analysis on variables
+   brings back the remaining variables referenced by these.  */
+static void
+cgraph_varpool_remove_unreferenced_decls (void)
+{
+  struct cgraph_varpool_node *next, *node = cgraph_varpool_nodes_queue;
+
+  cgraph_varpool_reset_queue ();
+
+  if (errorcount || sorrycount)
+    return;
 
-static void cgraph_expand_functions PARAMS ((void));
-static void cgraph_mark_functions_to_output PARAMS ((void));
-static void cgraph_expand_function PARAMS ((struct cgraph_node *));
-static tree record_call_1 PARAMS ((tree *, int *, void *));
-static void cgraph_mark_local_functions PARAMS ((void));
-static void cgraph_mark_functions_to_inline_once PARAMS ((void));
-static void cgraph_optimize_function PARAMS ((struct cgraph_node *));
+  while (node)
+    {
+      tree decl = node->decl;
+      next = node->next_needed;
+      node->needed = 0;
 
-/* Analyze function once it is parsed.  Set up the local information
-   available - create cgraph edges for function calls via BODY.  */
+      if (node->finalized
+         && ((DECL_ASSEMBLER_NAME_SET_P (decl)
+              && TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (decl)))
+             || node->force_output
+             || decide_is_variable_needed (node, decl)))
+       cgraph_varpool_mark_needed_node (node);
+
+      node = next;
+    }
+  cgraph_varpool_analyze_pending_decls ();
+}
+
+
+/* When not doing unit-at-a-time, output all functions enqueued.
+   Return true when such a functions were found.  */
+
+bool
+cgraph_assemble_pending_functions (void)
+{
+  bool output = false;
+
+  if (flag_unit_at_a_time)
+    return false;
+
+  while (cgraph_nodes_queue)
+    {
+      struct cgraph_node *n = cgraph_nodes_queue;
+
+      cgraph_nodes_queue = cgraph_nodes_queue->next_needed;
+      n->next_needed = NULL;
+      if (!n->global.inlined_to
+         && !n->alias
+         && !DECL_EXTERNAL (n->decl))
+       {
+         cgraph_expand_function (n);
+         output = true;
+       }
+    }
+
+  return output;
+}
+
+/* DECL has been parsed.  Take it, queue it, compile it at the whim of the
+   logic in effect.  If NESTED is true, then our caller cannot stand to have
+   the garbage collector run at the moment.  We would need to either create
+   a new GC context, or just not compile right now.  */
 
 void
-cgraph_finalize_function (decl, body)
-     tree decl;
-     tree body ATTRIBUTE_UNUSED;
+cgraph_finalize_function (tree decl, bool nested)
 {
   struct cgraph_node *node = cgraph_node (decl);
 
+  if (node->local.finalized)
+    {
+      /* As an GCC extension we allow redefinition of the function.  The
+        semantics when both copies of bodies differ is not well defined.
+        We replace the old body with new body so in unit at a time mode
+        we always use new body, while in normal mode we may end up with
+        old body inlined into some functions and new body expanded and
+        inlined in others.
+        
+        ??? It may make more sense to use one body for inlining and other
+        body for expanding the function but this is difficult to do.  */
+
+      /* If node->output is set, then this is a unit-at-a-time compilation
+        and we have already begun whole-unit analysis.  This is *not*
+        testing for whether we've already emitted the function.  That
+        case can be sort-of legitimately seen with real function 
+        redefinition errors.  I would argue that the front end should
+        never present us with such a case, but don't enforce that for now.  */
+      gcc_assert (!node->output);
+
+      /* Reset our data structures so we can analyze the function again.  */
+      memset (&node->local, 0, sizeof (node->local));
+      memset (&node->global, 0, sizeof (node->global));
+      memset (&node->rtl, 0, sizeof (node->rtl));
+      node->analyzed = false;
+      node->local.redefined_extern_inline = true;
+
+      if (!flag_unit_at_a_time)
+       {
+         struct cgraph_node *n;
+
+         for (n = cgraph_nodes; n; n = n->next)
+           if (n->global.inlined_to == node)
+             cgraph_remove_node (n);
+       }
+
+      cgraph_node_remove_callees (node);
+
+      /* We may need to re-queue the node for assembling in case
+         we already proceeded it and ignored as not needed.  */
+      if (node->reachable && !flag_unit_at_a_time)
+       {
+         struct cgraph_node *n;
+
+         for (n = cgraph_nodes_queue; n; n = n->next_needed)
+           if (n == node)
+             break;
+         if (!n)
+           node->reachable = 0;
+       }
+    }
+
+  notice_global_symbol (decl);
   node->decl = decl;
   node->local.finalized = true;
+  node->lowered = DECL_STRUCT_FUNCTION (decl)->cfg != NULL;
+  if (node->nested)
+    lower_nested_functions (decl);
+  gcc_assert (!node->nested);
+
+  /* If not unit at a time, then we need to create the call graph
+     now, so that called functions can be queued and emitted now.  */
+  if (!flag_unit_at_a_time)
+    {
+      cgraph_analyze_function (node);
+      cgraph_decide_inlining_incrementally (node);
+    }
 
-  if (/* Externally visible functions must be output.  The exception are
-        COMDAT functions that must be output only when they are needed.
-        Similarly are handled deferred functions and
-        external functions (GCC extension "extern inline") */
-      (TREE_PUBLIC (decl) && !DECL_COMDAT (decl) && !DECL_EXTERNAL (decl))
-      /* ??? Constructors and destructors not called otherwise can be inlined
-        into single construction/destruction function per section to save some
-        resources.  For now just mark it as reachable.  */
-      || DECL_STATIC_CONSTRUCTOR (decl)
-      || DECL_STATIC_DESTRUCTOR (decl)
-      /* Function whose name is output to the assembler file must be produced.
-        It is possible to assemble the name later after finalizing the function
-        and the fact is noticed in assemble_name then.  */
-      || (DECL_ASSEMBLER_NAME_SET_P (decl)
-         && TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (decl))))
-    {
-      cgraph_mark_needed_node (node, 1);
-    }
-
-  (*debug_hooks->deferred_inline_function) (decl);
+  if (decide_is_function_needed (node, decl))
+    cgraph_mark_needed_node (node);
+
+  /* If not unit at a time, go ahead and emit everything we've found
+     to be reachable at this time.  */
+  if (!nested)
+    {
+      if (!cgraph_assemble_pending_functions ())
+       ggc_collect ();
+    }
+
+  /* If we've not yet emitted decl, tell the debug info about it.  */
+  if (!TREE_ASM_WRITTEN (decl))
+    (*debug_hooks->deferred_inline_function) (decl);
+
+  /* Possibly warn about unused parameters.  */
+  if (warn_unused_parameter)
+    do_warn_unused_parameter (decl);
+}
+
+/* Used only while constructing the callgraph.  */
+static basic_block current_basic_block;
+
+void
+cgraph_lower_function (struct cgraph_node *node)
+{
+  if (node->lowered)
+    return;
+  tree_lowering_passes (node->decl);
+  node->lowered = true;
 }
 
 /* Walk tree and record all calls.  Called via walk_tree.  */
 static tree
-record_call_1 (tp, walk_subtrees, data)
-     tree *tp;
-     int *walk_subtrees;
-     void *data;
+record_call_1 (tree *tp, int *walk_subtrees, void *data)
 {
-  if (TREE_CODE (*tp) == VAR_DECL && TREE_STATIC (*tp))
-    cgraph_varpool_mark_needed_node (cgraph_varpool_node (*tp));
-  /* Record dereferences to the functions.  This makes the functions
-     reachable unconditionally.  */
-  else if (TREE_CODE (*tp) == ADDR_EXPR)
-    {
-      tree decl = TREE_OPERAND (*tp, 0);
-      if (TREE_CODE (decl) == FUNCTION_DECL)
-        cgraph_mark_needed_node (cgraph_node (decl), 1);
-    }
-  else if (TREE_CODE (*tp) == CALL_EXPR)
+  tree t = *tp;
+
+  switch (TREE_CODE (t))
     {
-      tree decl = get_callee_fndecl (*tp);
-      if (decl && TREE_CODE (decl) == FUNCTION_DECL)
+    case VAR_DECL:
+      /* ??? Really, we should mark this decl as *potentially* referenced
+        by this function and re-examine whether the decl is actually used
+        after rtl has been generated.  */
+      if (TREE_STATIC (t) || DECL_EXTERNAL (t))
+       {
+         cgraph_varpool_mark_needed_node (cgraph_varpool_node (t));
+         if (lang_hooks.callgraph.analyze_expr)
+           return lang_hooks.callgraph.analyze_expr (tp, walk_subtrees, 
+                                                     data);
+       }
+      break;
+
+    case FDESC_EXPR:
+    case ADDR_EXPR:
+      if (flag_unit_at_a_time)
+       {
+         /* Record dereferences to the functions.  This makes the
+            functions reachable unconditionally.  */
+         tree decl = TREE_OPERAND (*tp, 0);
+         if (TREE_CODE (decl) == FUNCTION_DECL)
+           cgraph_mark_needed_node (cgraph_node (decl));
+       }
+      break;
+
+    case CALL_EXPR:
+      {
+       tree decl = get_callee_fndecl (*tp);
+       if (decl && TREE_CODE (decl) == FUNCTION_DECL)
+         {
+           cgraph_create_edge (data, cgraph_node (decl), *tp,
+                               current_basic_block->count,
+                               current_basic_block->loop_depth);
+
+           /* When we see a function call, we don't want to look at the
+              function reference in the ADDR_EXPR that is hanging from
+              the CALL_EXPR we're examining here, because we would
+              conclude incorrectly that the function's address could be
+              taken by something that is not a function call.  So only
+              walk the function parameter list, skip the other subtrees.  */
+
+           walk_tree (&TREE_OPERAND (*tp, 1), record_call_1, data,
+                      visited_nodes);
+           *walk_subtrees = 0;
+         }
+       break;
+      }
+
+    default:
+      /* Save some cycles by not walking types and declaration as we
+        won't find anything useful there anyway.  */
+      if (IS_TYPE_OR_DECL_P (*tp))
        {
-         if (DECL_BUILT_IN (decl))
-           return NULL;
-         cgraph_record_call (data, decl);
-            
-         /* When we see a function call, we don't want to look at the
-            function reference in the ADDR_EXPR that is hanging from
-            the CALL_EXPR we're examining here, because we would
-            conclude incorrectly that the function's address could be
-            taken by something that is not a function call.  So only
-            walk the function parameter list, skip the other subtrees.  */
-
-         walk_tree (&TREE_OPERAND (*tp, 1), record_call_1, data, NULL);
          *walk_subtrees = 0;
+         break;
        }
+
+      if ((unsigned int) TREE_CODE (t) >= LAST_AND_UNUSED_TREE_CODE)
+       return lang_hooks.callgraph.analyze_expr (tp, walk_subtrees, data);
+      break;
     }
+
   return NULL;
 }
 
-/* Create cgraph edges for function calls inside BODY from DECL.  */
+/* Create cgraph edges for function calls inside BODY from NODE.  */
 
-void
-cgraph_create_edges (decl, body)
-     tree decl;
-     tree body;
+static void
+cgraph_create_edges (struct cgraph_node *node, tree body)
 {
   /* The nodes we're interested in are never shared, so walk
      the tree ignoring duplicates.  */
-  walk_tree_without_duplicates (&body, record_call_1, decl);
+  visited_nodes = pointer_set_create ();
+  gcc_assert (current_basic_block == NULL);
+  if (TREE_CODE (body) == FUNCTION_DECL)
+    {
+      struct function *this_cfun = DECL_STRUCT_FUNCTION (body);
+      block_stmt_iterator bsi;
+      tree step;
+
+      /* Reach the trees by walking over the CFG, and note the 
+        enclosing basic-blocks in the call edges.  */
+      FOR_EACH_BB_FN (current_basic_block, this_cfun)
+        for (bsi = bsi_start (current_basic_block); !bsi_end_p (bsi); bsi_next (&bsi))
+         walk_tree (bsi_stmt_ptr (bsi), record_call_1, node, visited_nodes);
+      current_basic_block = NULL;
+
+      /* Walk over any private statics that may take addresses of functions.  */
+      if (TREE_CODE (DECL_INITIAL (body)) == BLOCK)
+       {
+         for (step = BLOCK_VARS (DECL_INITIAL (body));
+              step;
+              step = TREE_CHAIN (step))
+           if (DECL_INITIAL (step))
+             walk_tree (&DECL_INITIAL (step), record_call_1, node, visited_nodes);
+       }
+
+      /* Also look here for private statics.  */
+      if (DECL_STRUCT_FUNCTION (body))
+       for (step = DECL_STRUCT_FUNCTION (body)->unexpanded_var_list;
+            step;
+            step = TREE_CHAIN (step))
+         {
+           tree decl = TREE_VALUE (step);
+           if (DECL_INITIAL (decl) && TREE_STATIC (decl))
+             walk_tree (&DECL_INITIAL (decl), record_call_1, node, visited_nodes);
+         }
+    }
+  else
+    walk_tree (&body, record_call_1, node, visited_nodes);
+    
+  pointer_set_destroy (visited_nodes);
+  visited_nodes = NULL;
+}
+
+static bool error_found;
+
+/* Callback of verify_cgraph_node.  Check that all call_exprs have
+   cgraph nodes.  */
+
+static tree
+verify_cgraph_node_1 (tree *tp, int *walk_subtrees, void *data)
+{
+  tree t = *tp;
+  tree decl;
+
+  if (TREE_CODE (t) == CALL_EXPR && (decl = get_callee_fndecl (t)))
+    {
+      struct cgraph_edge *e = cgraph_edge (data, t);
+      if (e)
+       {
+         if (e->aux)
+           {
+             error ("Shared call_expr:");
+             debug_tree (t);
+             error_found = true;
+           }
+         if (e->callee->decl != cgraph_node (decl)->decl)
+           {
+             error ("Edge points to wrong declaration:");
+             debug_tree (e->callee->decl);
+             fprintf (stderr," Instead of:");
+             debug_tree (decl);
+           }
+         e->aux = (void *)1;
+       }
+      else
+       {
+         error ("Missing callgraph edge for call expr:");
+         debug_tree (t);
+         error_found = true;
+       }
+    }
+
+  /* Save some cycles by not walking types and declaration as we
+     won't find anything useful there anyway.  */
+  if (IS_TYPE_OR_DECL_P (*tp))
+    *walk_subtrees = 0;
+
+  return NULL_TREE;
+}
+
+/* Verify cgraph nodes of given cgraph node.  */
+void
+verify_cgraph_node (struct cgraph_node *node)
+{
+  struct cgraph_edge *e;
+  struct cgraph_node *main_clone;
+  struct function *this_cfun = DECL_STRUCT_FUNCTION (node->decl);
+  basic_block this_block;
+  block_stmt_iterator bsi;
+
+  timevar_push (TV_CGRAPH_VERIFY);
+  error_found = false;
+  for (e = node->callees; e; e = e->next_callee)
+    if (e->aux)
+      {
+       error ("Aux field set for edge %s->%s",
+              cgraph_node_name (e->caller), cgraph_node_name (e->callee));
+       error_found = true;
+      }
+  for (e = node->callers; e; e = e->next_caller)
+    {
+      if (!e->inline_failed)
+       {
+         if (node->global.inlined_to
+             != (e->caller->global.inlined_to
+                 ? e->caller->global.inlined_to : e->caller))
+           {
+             error ("Inlined_to pointer is wrong");
+             error_found = true;
+           }
+         if (node->callers->next_caller)
+           {
+             error ("Multiple inline callers");
+             error_found = true;
+           }
+       }
+      else
+       if (node->global.inlined_to)
+         {
+           error ("Inlined_to pointer set for noninline callers");
+           error_found = true;
+         }
+    }
+  if (!node->callers && node->global.inlined_to)
+    {
+      error ("Inlined_to pointer is set but no predecesors found");
+      error_found = true;
+    }
+  if (node->global.inlined_to == node)
+    {
+      error ("Inlined_to pointer reffers to itself");
+      error_found = true;
+    }
+
+  for (main_clone = cgraph_node (node->decl); main_clone;
+       main_clone = main_clone->next_clone)
+    if (main_clone == node)
+      break;
+  if (!node)
+    {
+      error ("Node not found in DECL_ASSEMBLER_NAME hash");
+      error_found = true;
+    }
+  
+  if (node->analyzed
+      && DECL_SAVED_TREE (node->decl) && !TREE_ASM_WRITTEN (node->decl)
+      && (!DECL_EXTERNAL (node->decl) || node->global.inlined_to))
+    {
+      if (this_cfun->cfg)
+       {
+         /* The nodes we're interested in are never shared, so walk
+            the tree ignoring duplicates.  */
+         visited_nodes = pointer_set_create ();
+         /* Reach the trees by walking over the CFG, and note the
+            enclosing basic-blocks in the call edges.  */
+         FOR_EACH_BB_FN (this_block, this_cfun)
+           for (bsi = bsi_start (this_block); !bsi_end_p (bsi); bsi_next (&bsi))
+             walk_tree (bsi_stmt_ptr (bsi), verify_cgraph_node_1, node, visited_nodes);
+         pointer_set_destroy (visited_nodes);
+         visited_nodes = NULL;
+       }
+      else
+       /* No CFG available?!  */
+       gcc_unreachable ();
+
+      for (e = node->callees; e; e = e->next_callee)
+       {
+         if (!e->aux)
+           {
+             error ("Edge %s->%s has no corresponding call_expr",
+                    cgraph_node_name (e->caller),
+                    cgraph_node_name (e->callee));
+             error_found = true;
+           }
+         e->aux = 0;
+       }
+    }
+  if (error_found)
+    {
+      dump_cgraph_node (stderr, node);
+      internal_error ("verify_cgraph_node failed.");
+    }
+  timevar_pop (TV_CGRAPH_VERIFY);
+}
+
+/* Verify whole cgraph structure.  */
+void
+verify_cgraph (void)
+{
+  struct cgraph_node *node;
+
+  if (sorrycount || errorcount)
+    return;
+
+  for (node = cgraph_nodes; node; node = node->next)
+    verify_cgraph_node (node);
+}
+
+
+/* Output all variables enqueued to be assembled.  */
+bool
+cgraph_varpool_assemble_pending_decls (void)
+{
+  bool changed = false;
+
+  if (errorcount || sorrycount)
+    return false;
+  /* EH might mark decls as needed during expansion.  This should be safe since
+     we don't create references to new function, but it should not be used
+     elsewhere.  */
+  cgraph_varpool_analyze_pending_decls ();
+
+  while (cgraph_varpool_nodes_queue)
+    {
+      tree decl = cgraph_varpool_nodes_queue->decl;
+      struct cgraph_varpool_node *node = cgraph_varpool_nodes_queue;
+
+      cgraph_varpool_nodes_queue = cgraph_varpool_nodes_queue->next_needed;
+      if (!TREE_ASM_WRITTEN (decl) && !node->alias && !DECL_EXTERNAL (decl))
+       {
+         assemble_variable (decl, 0, 1, 0);
+         changed = true;
+       }
+      node->next_needed = NULL;
+    }
+  return changed;
+}
+
+/* Analyze the function scheduled to be output.  */
+static void
+cgraph_analyze_function (struct cgraph_node *node)
+{
+  tree decl = node->decl;
+  struct cgraph_edge *e;
+
+  current_function_decl = decl;
+  push_cfun (DECL_STRUCT_FUNCTION (decl));
+  cgraph_lower_function (node);
+
+  /* First kill forward declaration so reverse inlining works properly.  */
+  cgraph_create_edges (node, decl);
+
+  node->local.inlinable = tree_inlinable_function_p (decl);
+  node->local.self_insns = estimate_num_insns (decl);
+  if (node->local.inlinable)
+    node->local.disregard_inline_limits
+      = lang_hooks.tree_inlining.disregard_inline_limits (decl);
+  for (e = node->callers; e; e = e->next_caller)
+    {
+      if (node->local.redefined_extern_inline)
+       e->inline_failed = N_("redefined extern inline functions are not "
+                          "considered for inlining");
+      else if (!node->local.inlinable)
+       e->inline_failed = N_("function not inlinable");
+      else
+       e->inline_failed = N_("function not considered for inlining");
+    }
+  if (flag_really_no_inline && !node->local.disregard_inline_limits)
+    node->local.inlinable = 0;
+  /* Inlining characteristics are maintained by the cgraph_mark_inline.  */
+  node->global.insns = node->local.self_insns;
+
+  node->analyzed = true;
+  pop_cfun ();
+  current_function_decl = NULL;
 }
 
 /* Analyze the whole compilation unit once it is parsed completely.  */
 
 void
-cgraph_finalize_compilation_unit ()
+cgraph_finalize_compilation_unit (void)
 {
   struct cgraph_node *node;
-  struct cgraph_edge *edge;
+  /* Keep track of already processed nodes when called multiple times for
+     intermodule optimization.  */
+  static struct cgraph_node *first_analyzed;
 
-  cgraph_varpool_assemble_pending_decls ();
+  finish_aliases_1 ();
+
+  if (!flag_unit_at_a_time)
+    {
+      cgraph_assemble_pending_functions ();
+      return;
+    }
+
+  if (!quiet_flag)
+    {
+      fprintf (stderr, "\nAnalyzing compilation unit");
+      fflush (stderr);
+    }
 
   timevar_push (TV_CGRAPH);
+  cgraph_varpool_analyze_pending_decls ();
   if (cgraph_dump_file)
     {
-      fprintf (cgraph_dump_file, "\nInitial entry points:");
-      for (node = cgraph_nodes; node; node = node->next)
+      fprintf (cgraph_dump_file, "Initial entry points:");
+      for (node = cgraph_nodes; node != first_analyzed; node = node->next)
        if (node->needed && DECL_SAVED_TREE (node->decl))
          fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
       fprintf (cgraph_dump_file, "\n");
@@ -157,364 +846,409 @@ cgraph_finalize_compilation_unit ()
      method table generation for instance).  */
   while (cgraph_nodes_queue)
     {
+      struct cgraph_edge *edge;
       tree decl = cgraph_nodes_queue->decl;
 
       node = cgraph_nodes_queue;
       cgraph_nodes_queue = cgraph_nodes_queue->next_needed;
+      node->next_needed = NULL;
 
-      if (node->lowered || !node->reachable || !DECL_SAVED_TREE (decl))
-       abort ();
-
-      if (lang_hooks.callgraph.lower_function)
-       (*lang_hooks.callgraph.lower_function) (decl);
+      /* ??? It is possible to create extern inline function and later using
+        weak alias attribute to kill its body. See
+        gcc.c-torture/compile/20011119-1.c  */
+      if (!DECL_SAVED_TREE (decl))
+       continue;
 
-      current_function_decl = node->decl;
-      if (!node->needed && !DECL_COMDAT (node->decl))
-       node->local.can_inline_once = tree_inlinable_function_p (decl, 1);
-      else
-       node->local.can_inline_once = 0;
-      if (flag_inline_trees)
-       node->local.inline_many = tree_inlinable_function_p (decl, 0);
-      else
-       node->local.inline_many = 0;
-
-      /* At the moment frontend automatically emits all nested functions.  */
-      if (node->nested)
-       {
-         struct cgraph_node *node2;
-
-         for (node2 = node->nested; node2; node2 = node2->next_nested)
-           if (!node2->reachable)
-             cgraph_mark_needed_node (node2, 0);
-       }
+      gcc_assert (!node->analyzed && node->reachable);
+      gcc_assert (DECL_SAVED_TREE (decl));
 
-      /* First kill forward declaration so reverse inling works properly.  */
-      cgraph_create_edges (decl, DECL_SAVED_TREE (decl));
+      cgraph_analyze_function (node);
 
       for (edge = node->callees; edge; edge = edge->next_callee)
-       {
-         if (!edge->callee->reachable)
-            cgraph_mark_needed_node (edge->callee, 0);
-       }
-      node->lowered = true;
-      cgraph_varpool_assemble_pending_decls ();
+       if (!edge->callee->reachable)
+         cgraph_mark_reachable_node (edge->callee);
+
+      cgraph_varpool_analyze_pending_decls ();
     }
+
   /* Collect entry points to the unit.  */
 
   if (cgraph_dump_file)
     {
-      fprintf (cgraph_dump_file, "\nUnit entry points:");
-      for (node = cgraph_nodes; node; node = node->next)
+      fprintf (cgraph_dump_file, "Unit entry points:");
+      for (node = cgraph_nodes; node != first_analyzed; node = node->next)
        if (node->needed && DECL_SAVED_TREE (node->decl))
          fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
-      fprintf (cgraph_dump_file, "\n");
+      fprintf (cgraph_dump_file, "\n\nInitial ");
+      dump_cgraph (cgraph_dump_file);
     }
 
   if (cgraph_dump_file)
     fprintf (cgraph_dump_file, "\nReclaiming functions:");
 
-  for (node = cgraph_nodes; node; node = node->next)
+  for (node = cgraph_nodes; node != first_analyzed; node = node->next)
     {
       tree decl = node->decl;
 
       if (!node->reachable && DECL_SAVED_TREE (decl))
        {
-         cgraph_remove_node (node);
          if (cgraph_dump_file)
            fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
+         cgraph_remove_node (node);
        }
+      else
+       node->next_needed = NULL;
     }
   if (cgraph_dump_file)
-    fprintf (cgraph_dump_file, "\n");
+    {
+      fprintf (cgraph_dump_file, "\n\nReclaimed ");
+      dump_cgraph (cgraph_dump_file);
+    }
+  first_analyzed = cgraph_nodes;
   ggc_collect ();
   timevar_pop (TV_CGRAPH);
 }
-
 /* Figure out what functions we want to assemble.  */
 
 static void
-cgraph_mark_functions_to_output ()
+cgraph_mark_functions_to_output (void)
 {
   struct cgraph_node *node;
 
   for (node = cgraph_nodes; node; node = node->next)
     {
       tree decl = node->decl;
+      struct cgraph_edge *e;
+      
+      gcc_assert (!node->output);
+
+      for (e = node->callers; e; e = e->next_caller)
+       if (e->inline_failed)
+         break;
 
       /* We need to output all local functions that are used and not
         always inlined, as well as those that are reachable from
         outside the current compilation unit.  */
       if (DECL_SAVED_TREE (decl)
+         && !node->global.inlined_to
          && (node->needed
-             || (!node->local.inline_many && !node->global.inline_once
-                 && node->reachable)
-             || (DECL_ASSEMBLER_NAME_SET_P (decl)
-                 && TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (decl))))
-         && !TREE_ASM_WRITTEN (decl) && !node->origin
+             || (e && node->reachable))
+         && !TREE_ASM_WRITTEN (decl)
          && !DECL_EXTERNAL (decl))
        node->output = 1;
+      else
+       {
+         /* We should've reclaimed all functions that are not needed.  */
+#ifdef ENABLE_CHECKING
+         if (!node->global.inlined_to && DECL_SAVED_TREE (decl)
+             && !DECL_EXTERNAL (decl))
+           {
+             dump_cgraph_node (stderr, node);
+             internal_error ("failed to reclaim unneeded function");
+           }
+#endif
+         gcc_assert (node->global.inlined_to || !DECL_SAVED_TREE (decl)
+                     || DECL_EXTERNAL (decl));
+
+       }
+      
     }
 }
 
-/* Optimize the function before expansion.  */
+/* Expand function specified by NODE.  */
 
 static void
-cgraph_optimize_function (node)
-     struct cgraph_node *node;
+cgraph_expand_function (struct cgraph_node *node)
 {
   tree decl = node->decl;
 
-  timevar_push (TV_INTEGRATION);
-  if (flag_inline_trees)
-    optimize_inline_calls (decl);
-  if (node->nested)
+  /* We ought to not compile any inline clones.  */
+  gcc_assert (!node->global.inlined_to);
+
+  if (flag_unit_at_a_time)
+    announce_function (decl);
+
+  cgraph_lower_function (node);
+
+  /* Generate RTL for the body of DECL.  */
+  lang_hooks.callgraph.expand_function (decl);
+
+  /* Make sure that BE didn't give up on compiling.  */
+  /* ??? Can happen with nested function of extern inline.  */
+  gcc_assert (TREE_ASM_WRITTEN (node->decl));
+
+  current_function_decl = NULL;
+  if (!cgraph_preserve_function_body_p (node->decl))
     {
-      for (node = node->nested; node; node = node->next_nested)
-       cgraph_optimize_function (node);
+      DECL_SAVED_TREE (node->decl) = NULL;
+      DECL_STRUCT_FUNCTION (node->decl) = NULL;
+      DECL_INITIAL (node->decl) = error_mark_node;
+      /* Eliminate all call edges.  This is important so the call_expr no longer
+        points to the dead function body.  */
+      cgraph_node_remove_callees (node);
     }
-  timevar_pop (TV_INTEGRATION);
 }
 
-/* Expand function specified by NODE.  */
+/* Return true when CALLER_DECL should be inlined into CALLEE_DECL.  */
 
-static void
-cgraph_expand_function (node)
-     struct cgraph_node *node;
+bool
+cgraph_inline_p (struct cgraph_edge *e, const char **reason)
 {
-  tree decl = node->decl;
-
-  announce_function (decl);
+  *reason = e->inline_failed;
+  return !e->inline_failed;
+}
 
-  cgraph_optimize_function (node);
 
-  /* Generate RTL for the body of DECL.  Nested functions are expanded
-     via lang_expand_decl_stmt.  */
-  (*lang_hooks.callgraph.expand_function) (decl);
 
-  /* When we decided to inline the function once, we never ever should
-     need to output it separately.  */
-  if (node->global.inline_once)
-    abort ();
-  if (!node->local.inline_many
-      || !node->callers)
-    DECL_SAVED_TREE (decl) = NULL;
-  current_function_decl = NULL;
-}
+/* Expand all functions that must be output.
 
-
-/* Expand all functions that must be output. 
-  
    Attempt to topologically sort the nodes so function is output when
    all called functions are already assembled to allow data to be
    propagated across the callgraph.  Use a stack to get smaller distance
-   between a function and it's callees (later we may choose to use a more
+   between a function and its callees (later we may choose to use a more
    sophisticated algorithm for function reordering; we will likely want
    to use subsections to make the output functions appear in top-down
-   order.  */
+   order).  */
 
 static void
-cgraph_expand_functions ()
+cgraph_expand_all_functions (void)
 {
-  struct cgraph_node *node, *node2;
-  struct cgraph_node **stack =
-    xcalloc (sizeof (struct cgraph_node *), cgraph_n_nodes);
+  struct cgraph_node *node;
   struct cgraph_node **order =
-    xcalloc (sizeof (struct cgraph_node *), cgraph_n_nodes);
-  int stack_size = 0;
-  int order_pos = 0;
-  struct cgraph_edge *edge, last;
+    xcalloc (cgraph_n_nodes, sizeof (struct cgraph_node *));
+  int order_pos = 0, new_order_pos = 0;
   int i;
 
-  cgraph_mark_functions_to_output ();
+  order_pos = cgraph_postorder (order);
+  gcc_assert (order_pos == cgraph_n_nodes);
 
-  /* We have to deal with cycles nicely, so use a depth first traversal
-     output algorithm.  Ignore the fact that some functions won't need
-     to be output and put them into order as well, so we get dependencies
-     right through intline functions.  */
-  for (node = cgraph_nodes; node; node = node->next)
-    node->aux = NULL;
-  for (node = cgraph_nodes; node; node = node->next)
-    if (!node->aux)
-      {
-       node2 = node;
-       if (!node->callers)
-         node->aux = &last;
-       else
-         node->aux = node->callers;
-       while (node2)
-         {
-           while (node2->aux != &last)
-             {
-               edge = node2->aux;
-               if (edge->next_caller)
-                 node2->aux = edge->next_caller;
-               else
-                 node2->aux = &last;
-               if (!edge->caller->aux)
-                 {
-                   if (!edge->caller->callers)
-                     edge->caller->aux = &last;
-                   else
-                     edge->caller->aux = edge->caller->callers;
-                   stack[stack_size++] = node2;
-                   node2 = edge->caller;
-                   break;
-                 }
-             }
-           if (node2->aux == &last)
-             {
-               order[order_pos++] = node2;
-               if (stack_size)
-                 node2 = stack[--stack_size];
-               else
-                 node2 = NULL;
-             }
-         }
-      }
-  for (i = order_pos - 1; i >= 0; i--)
+  /* Garbage collector may remove inline clones we eliminate during
+     optimization.  So we must be sure to not reference them.  */
+  for (i = 0; i < order_pos; i++)
+    if (order[i]->output)
+      order[new_order_pos++] = order[i];
+
+  for (i = new_order_pos - 1; i >= 0; i--)
     {
       node = order[i];
       if (node->output)
        {
-         if (!node->reachable)
-           abort ();
+         gcc_assert (node->reachable);
          node->output = 0;
          cgraph_expand_function (node);
        }
     }
-  free (stack);
   free (order);
 }
 
 /* Mark all local functions.
-   We can not use node->needed directly as it is modified during
-   execution of cgraph_optimize.  */
+   
+   A local function is one whose calls can occur only in the current
+   compilation unit and all its calls are explicit, so we can change
+   its calling convention.  We simply mark all static functions whose
+   address is not taken as local.  */
 
 static void
-cgraph_mark_local_functions ()
+cgraph_mark_local_functions (void)
 {
   struct cgraph_node *node;
 
-  if (cgraph_dump_file)
-    fprintf (cgraph_dump_file, "Marking local functions:");
-
   /* Figure out functions we want to assemble.  */
   for (node = cgraph_nodes; node; node = node->next)
     {
       node->local.local = (!node->needed
                           && DECL_SAVED_TREE (node->decl)
-                          && !DECL_COMDAT (node->decl)
                           && !TREE_PUBLIC (node->decl));
-      if (cgraph_dump_file && node->local.local)
-       fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
     }
-  if (cgraph_dump_file)
-    fprintf (cgraph_dump_file, "\n");
-}
-
-/* Decide what function should be inlined because they are invoked once
-   (so inlining won't result in duplication of the code).  */
-
-static void
-cgraph_mark_functions_to_inline_once ()
-{
-  struct cgraph_node *node, *node1;
 
   if (cgraph_dump_file)
-    fprintf (cgraph_dump_file, "\n\nMarking functions to inline once:");
-
-  /* Now look for function called only once and mark them to inline.
-     From this point number of calls to given function won't grow.  */
-  for (node = cgraph_nodes; node; node = node->next)
     {
-      if (node->callers && !node->callers->next_caller && !node->needed
-         && node->local.can_inline_once)
-       {
-         bool ok = true;
-
-         /* Verify that we won't duplicate the caller.  */
-         for (node1 = node->callers->caller;
-              node1->local.inline_many
-              && node1->callers
-              && ok;
-              node1 = node1->callers->caller)
-           if (node1->callers->next_caller || node1->needed)
-             ok = false;
-         if (ok)
-           {
-             node->global.inline_once = true;
-             if (cgraph_dump_file)
-               fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
-           }
-       }
+      fprintf (cgraph_dump_file, "\nMarking local functions:");
+      for (node = cgraph_nodes; node; node = node->next)
+       if (node->local.local)
+         fprintf (cgraph_dump_file, " %s", cgraph_node_name (node));
+      fprintf (cgraph_dump_file, "\n\n");
     }
-  if (cgraph_dump_file)
-    fprintf (cgraph_dump_file, "\n");
 }
 
+/* Return true when function body of DECL still needs to be kept around
+   for later re-use.  */
+bool
+cgraph_preserve_function_body_p (tree decl)
+{
+  struct cgraph_node *node;
+  /* Keep the body; we're going to dump it.  */
+  if (dump_enabled_p (TDI_tree_all))
+    return true;
+  if (!cgraph_global_info_ready)
+    return (DECL_INLINE (decl) && !flag_really_no_inline);
+  /* Look if there is any clone around.  */
+  for (node = cgraph_node (decl); node; node = node->next_clone)
+    if (node->global.inlined_to)
+      return true;
+  return false;
+}
 
 /* Perform simple optimizations based on callgraph.  */
 
 void
-cgraph_optimize ()
+cgraph_optimize (void)
 {
-  struct cgraph_node *node;
-  bool changed = true;
+#ifdef ENABLE_CHECKING
+  verify_cgraph ();
+#endif
+  if (!flag_unit_at_a_time)
+    {
+      cgraph_varpool_assemble_pending_decls ();
+      return;
+    }
+
+  process_pending_assemble_externals ();
+  
+  /* Frontend may output common variables after the unit has been finalized.
+     It is safe to deal with them here as they are always zero initialized.  */
+  cgraph_varpool_analyze_pending_decls ();
 
   timevar_push (TV_CGRAPHOPT);
+  if (!quiet_flag)
+    fprintf (stderr, "Performing intraprocedural optimizations\n");
+
+  cgraph_mark_local_functions ();
   if (cgraph_dump_file)
     {
-      fprintf (cgraph_dump_file, "Initial callgraph:");
+      fprintf (cgraph_dump_file, "Marked ");
       dump_cgraph (cgraph_dump_file);
     }
-  cgraph_mark_local_functions ();
-
-  cgraph_mark_functions_to_inline_once ();
-
+  ipa_passes ();
   cgraph_global_info_ready = true;
   if (cgraph_dump_file)
     {
-      fprintf (cgraph_dump_file, "Optimized callgraph:");
+      fprintf (cgraph_dump_file, "Optimized ");
       dump_cgraph (cgraph_dump_file);
+      dump_varpool (cgraph_dump_file);
     }
   timevar_pop (TV_CGRAPHOPT);
+
+  /* Output everything.  */
   if (!quiet_flag)
-    fprintf (stderr, "\n\nAssembling functions:");
-
-  /* Output everything.  
-     ??? Our inline heuristic may decide to not inline functions previously
-     marked as inlinable thus adding new function bodies that must be output.
-     Later we should move all inlining decisions to callgraph code to make
-     this impossible.  */
-  cgraph_expand_functions ();
-  if (!quiet_flag)
-    fprintf (stderr, "\n\nAssembling functions that failed to inline:");
-  while (changed && !errorcount && !sorrycount)
+    fprintf (stderr, "Assembling functions:\n");
+#ifdef ENABLE_CHECKING
+  verify_cgraph ();
+#endif
+  
+  cgraph_mark_functions_to_output ();
+  cgraph_expand_all_functions ();
+  cgraph_varpool_remove_unreferenced_decls ();
+
+  cgraph_varpool_assemble_pending_decls ();
+
+  if (cgraph_dump_file)
     {
-      changed = false;
+      fprintf (cgraph_dump_file, "\nFinal ");
+      dump_cgraph (cgraph_dump_file);
+    }
+#ifdef ENABLE_CHECKING
+  verify_cgraph ();
+  /* Double check that all inline clones are gone and that all
+     function bodies have been released from memory.  */
+  if (flag_unit_at_a_time
+      && !dump_enabled_p (TDI_tree_all)
+      && !(sorrycount || errorcount))
+    {
+      struct cgraph_node *node;
+      bool error_found = false;
+
       for (node = cgraph_nodes; node; node = node->next)
-       {
-         tree decl = node->decl;
-         if (!node->origin
-             && !TREE_ASM_WRITTEN (decl)
-             && DECL_SAVED_TREE (decl)
-             && !DECL_EXTERNAL (decl))
-           {
-             struct cgraph_edge *edge;
-
-             for (edge = node->callers; edge; edge = edge->next_caller)
-               if (TREE_ASM_WRITTEN (edge->caller->decl))
-                 {
-                   changed = true;
-                   cgraph_expand_function (node);
-                   break;
-                 }
-           }
-       }
+       if (node->analyzed
+           && (node->global.inlined_to
+               || DECL_SAVED_TREE (node->decl)))
+         {
+           error_found = true;
+           dump_cgraph_node (stderr, node);
+         }
+      if (error_found)
+       internal_error ("Nodes with no released memory found.");
     }
-  if (cgraph_dump_file)
+#endif
+}
+
+/* Generate and emit a static constructor or destructor.  WHICH must be
+   one of 'I' or 'D'.  BODY should be a STATEMENT_LIST containing 
+   GENERIC statements.  */
+
+void
+cgraph_build_static_cdtor (char which, tree body, int priority)
+{
+  static int counter = 0;
+  char which_buf[16];
+  tree decl, name, resdecl;
+
+  sprintf (which_buf, "%c_%d", which, counter++);
+  name = get_file_function_name_long (which_buf);
+
+  decl = build_decl (FUNCTION_DECL, name,
+                    build_function_type (void_type_node, void_list_node));
+  current_function_decl = decl;
+
+  resdecl = build_decl (RESULT_DECL, NULL_TREE, void_type_node);
+  DECL_ARTIFICIAL (resdecl) = 1;
+  DECL_IGNORED_P (resdecl) = 1;
+  DECL_RESULT (decl) = resdecl;
+
+  allocate_struct_function (decl);
+
+  TREE_STATIC (decl) = 1;
+  TREE_USED (decl) = 1;
+  DECL_ARTIFICIAL (decl) = 1;
+  DECL_IGNORED_P (decl) = 1;
+  DECL_NO_INSTRUMENT_FUNCTION_ENTRY_EXIT (decl) = 1;
+  DECL_SAVED_TREE (decl) = body;
+  TREE_PUBLIC (decl) = ! targetm.have_ctors_dtors;
+  DECL_UNINLINABLE (decl) = 1;
+
+  DECL_INITIAL (decl) = make_node (BLOCK);
+  TREE_USED (DECL_INITIAL (decl)) = 1;
+
+  DECL_SOURCE_LOCATION (decl) = input_location;
+  cfun->function_end_locus = input_location;
+
+  switch (which)
     {
-      fprintf (cgraph_dump_file, "Final callgraph:");
-      dump_cgraph (cgraph_dump_file);
+    case 'I':
+      DECL_STATIC_CONSTRUCTOR (decl) = 1;
+      break;
+    case 'D':
+      DECL_STATIC_DESTRUCTOR (decl) = 1;
+      break;
+    default:
+      gcc_unreachable ();
+    }
+
+  gimplify_function_tree (decl);
+
+  /* ??? We will get called LATE in the compilation process.  */
+  if (cgraph_global_info_ready)
+    {
+      tree_lowering_passes (decl);
+      tree_rest_of_compilation (decl);
     }
+  else
+    cgraph_finalize_function (decl, 0);
+  
+  if (targetm.have_ctors_dtors)
+    {
+      void (*fn) (rtx, int);
+
+      if (which == 'I')
+       fn = targetm.asm_out.constructor;
+      else
+       fn = targetm.asm_out.destructor;
+      fn (XEXP (DECL_RTL (decl), 0), priority);
+    }
+}
+
+void
+init_cgraph (void)
+{
+  cgraph_dump_file = dump_begin (TDI_cgraph, NULL);
 }