OSDN Git Service

f056d3db58e6eefdfa0c566c456df565bb9ad8b9
[pf3gnuchains/gcc-fork.git] / gcc / cgraph.c
1 /* Callgraph handling code.
2    Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010
3    Free Software Foundation, Inc.
4    Contributed by Jan Hubicka
5
6 This file is part of GCC.
7
8 GCC is free software; you can redistribute it and/or modify it under
9 the terms of the GNU General Public License as published by the Free
10 Software Foundation; either version 3, or (at your option) any later
11 version.
12
13 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
14 WARRANTY; without even the implied warranty of MERCHANTABILITY or
15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
16 for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with GCC; see the file COPYING3.  If not see
20 <http://www.gnu.org/licenses/>.  */
21
22 /*  This file contains basic routines manipulating call graph
23
24 The callgraph:
25
26     The call-graph is data structure designed for intra-procedural optimization
27     but it is also used in non-unit-at-a-time compilation to allow easier code
28     sharing.
29
30     The call-graph consist of nodes and edges represented via linked lists.
31     Each function (external or not) corresponds to the unique node.
32
33     The mapping from declarations to call-graph nodes is done using hash table
34     based on DECL_UID.  The call-graph nodes are created lazily using
35     cgraph_node function when called for unknown declaration.
36
37     The callgraph at the moment does not represent all indirect calls or calls
38     from other compilation units.  Flag NEEDED is set for each node that may be
39     accessed in such an invisible way and it shall be considered an entry point
40     to the callgraph.
41
42     On the other hand, the callgraph currently does contain some edges for
43     indirect calls with unknown callees which can be accessed through
44     indirect_calls field of a node.  It should be noted however that at the
45     moment only calls which are potential candidates for indirect inlining are
46     added there.
47
48     Interprocedural information:
49
50       Callgraph is place to store data needed for interprocedural optimization.
51       All data structures are divided into three components: local_info that
52       is produced while analyzing the function, global_info that is result
53       of global walking of the callgraph on the end of compilation and
54       rtl_info used by RTL backend to propagate data from already compiled
55       functions to their callers.
56
57       Moreover, each node has a uid which can be used to keep information in
58       on-the-side arrays.  UIDs are reused and therefore reasonably dense.
59
60     Inlining plans:
61
62       The function inlining information is decided in advance and maintained
63       in the callgraph as so called inline plan.
64       For each inlined call, the callee's node is cloned to represent the
65       new function copy produced by inliner.
66       Each inlined call gets a unique corresponding clone node of the callee
67       and the data structure is updated while inlining is performed, so
68       the clones are eliminated and their callee edges redirected to the
69       caller.
70
71       Each edge has "inline_failed" field.  When the field is set to NULL,
72       the call will be inlined.  When it is non-NULL it contains a reason
73       why inlining wasn't performed.  */
74
75 #include "config.h"
76 #include "system.h"
77 #include "coretypes.h"
78 #include "tm.h"
79 #include "tree.h"
80 #include "tree-inline.h"
81 #include "langhooks.h"
82 #include "hashtab.h"
83 #include "toplev.h"
84 #include "flags.h"
85 #include "ggc.h"
86 #include "debug.h"
87 #include "target.h"
88 #include "basic-block.h"
89 #include "cgraph.h"
90 #include "output.h"
91 #include "intl.h"
92 #include "gimple.h"
93 #include "tree-dump.h"
94 #include "tree-flow.h"
95 #include "value-prof.h"
96 #include "except.h"
97 #include "diagnostic-core.h"
98 #include "rtl.h"
99 #include "ipa-utils.h"
100 #include "lto-streamer.h"
101 #include "ipa-inline.h"
102
103 const char * const ld_plugin_symbol_resolution_names[]=
104 {
105   "",
106   "undef",
107   "prevailing_def",
108   "prevailing_def_ironly",
109   "preempted_reg",
110   "preempted_ir",
111   "resolved_ir",
112   "resolved_exec",
113   "resolved_dyn",
114   "prevailing_def_ironly_exp"
115 };
116
117 static void cgraph_node_remove_callers (struct cgraph_node *node);
118 static inline void cgraph_edge_remove_caller (struct cgraph_edge *e);
119 static inline void cgraph_edge_remove_callee (struct cgraph_edge *e);
120
121 /* Hash table used to convert declarations into nodes.  */
122 static GTY((param_is (struct cgraph_node))) htab_t cgraph_hash;
123 /* Hash table used to convert assembler names into nodes.  */
124 static GTY((param_is (struct cgraph_node))) htab_t assembler_name_hash;
125
126 /* The linked list of cgraph nodes.  */
127 struct cgraph_node *cgraph_nodes;
128
129 /* Queue of cgraph nodes scheduled to be lowered.  */
130 struct cgraph_node *cgraph_nodes_queue;
131
132 /* Queue of cgraph nodes scheduled to be added into cgraph.  This is a
133    secondary queue used during optimization to accommodate passes that
134    may generate new functions that need to be optimized and expanded.  */
135 struct cgraph_node *cgraph_new_nodes;
136
137 /* Number of nodes in existence.  */
138 int cgraph_n_nodes;
139
140 /* Maximal uid used in cgraph nodes.  */
141 int cgraph_max_uid;
142
143 /* Maximal uid used in cgraph edges.  */
144 int cgraph_edge_max_uid;
145
146 /* Set when whole unit has been analyzed so we can access global info.  */
147 bool cgraph_global_info_ready = false;
148
149 /* What state callgraph is in right now.  */
150 enum cgraph_state cgraph_state = CGRAPH_STATE_CONSTRUCTION;
151
152 /* Set when the cgraph is fully build and the basic flags are computed.  */
153 bool cgraph_function_flags_ready = false;
154
155 /* Linked list of cgraph asm nodes.  */
156 struct cgraph_asm_node *cgraph_asm_nodes;
157
158 /* Last node in cgraph_asm_nodes.  */
159 static GTY(()) struct cgraph_asm_node *cgraph_asm_last_node;
160
161 /* The order index of the next cgraph node to be created.  This is
162    used so that we can sort the cgraph nodes in order by when we saw
163    them, to support -fno-toplevel-reorder.  */
164 int cgraph_order;
165
166 /* List of hooks triggered on cgraph_edge events.  */
167 struct cgraph_edge_hook_list {
168   cgraph_edge_hook hook;
169   void *data;
170   struct cgraph_edge_hook_list *next;
171 };
172
173 /* List of hooks triggered on cgraph_node events.  */
174 struct cgraph_node_hook_list {
175   cgraph_node_hook hook;
176   void *data;
177   struct cgraph_node_hook_list *next;
178 };
179
180 /* List of hooks triggered on events involving two cgraph_edges.  */
181 struct cgraph_2edge_hook_list {
182   cgraph_2edge_hook hook;
183   void *data;
184   struct cgraph_2edge_hook_list *next;
185 };
186
187 /* List of hooks triggered on events involving two cgraph_nodes.  */
188 struct cgraph_2node_hook_list {
189   cgraph_2node_hook hook;
190   void *data;
191   struct cgraph_2node_hook_list *next;
192 };
193
194 /* List of hooks triggered when an edge is removed.  */
195 struct cgraph_edge_hook_list *first_cgraph_edge_removal_hook;
196 /* List of hooks triggered when a node is removed.  */
197 struct cgraph_node_hook_list *first_cgraph_node_removal_hook;
198 /* List of hooks triggered when an edge is duplicated.  */
199 struct cgraph_2edge_hook_list *first_cgraph_edge_duplicated_hook;
200 /* List of hooks triggered when a node is duplicated.  */
201 struct cgraph_2node_hook_list *first_cgraph_node_duplicated_hook;
202 /* List of hooks triggered when an function is inserted.  */
203 struct cgraph_node_hook_list *first_cgraph_function_insertion_hook;
204
205 /* Head of a linked list of unused (freed) call graph nodes.
206    Do not GTY((delete)) this list so UIDs gets reliably recycled.  */
207 static GTY(()) struct cgraph_node *free_nodes;
208 /* Head of a linked list of unused (freed) call graph edges.
209    Do not GTY((delete)) this list so UIDs gets reliably recycled.  */
210 static GTY(()) struct cgraph_edge *free_edges;
211
212 /* Did procss_same_body_aliases run?  */
213 bool same_body_aliases_done;
214
215 /* Macros to access the next item in the list of free cgraph nodes and
216    edges. */
217 #define NEXT_FREE_NODE(NODE) (NODE)->next
218 #define NEXT_FREE_EDGE(EDGE) (EDGE)->prev_caller
219
220 /* Register HOOK to be called with DATA on each removed edge.  */
221 struct cgraph_edge_hook_list *
222 cgraph_add_edge_removal_hook (cgraph_edge_hook hook, void *data)
223 {
224   struct cgraph_edge_hook_list *entry;
225   struct cgraph_edge_hook_list **ptr = &first_cgraph_edge_removal_hook;
226
227   entry = (struct cgraph_edge_hook_list *) xmalloc (sizeof (*entry));
228   entry->hook = hook;
229   entry->data = data;
230   entry->next = NULL;
231   while (*ptr)
232     ptr = &(*ptr)->next;
233   *ptr = entry;
234   return entry;
235 }
236
237 /* Remove ENTRY from the list of hooks called on removing edges.  */
238 void
239 cgraph_remove_edge_removal_hook (struct cgraph_edge_hook_list *entry)
240 {
241   struct cgraph_edge_hook_list **ptr = &first_cgraph_edge_removal_hook;
242
243   while (*ptr != entry)
244     ptr = &(*ptr)->next;
245   *ptr = entry->next;
246   free (entry);
247 }
248
249 /* Call all edge removal hooks.  */
250 static void
251 cgraph_call_edge_removal_hooks (struct cgraph_edge *e)
252 {
253   struct cgraph_edge_hook_list *entry = first_cgraph_edge_removal_hook;
254   while (entry)
255   {
256     entry->hook (e, entry->data);
257     entry = entry->next;
258   }
259 }
260
261 /* Register HOOK to be called with DATA on each removed node.  */
262 struct cgraph_node_hook_list *
263 cgraph_add_node_removal_hook (cgraph_node_hook hook, void *data)
264 {
265   struct cgraph_node_hook_list *entry;
266   struct cgraph_node_hook_list **ptr = &first_cgraph_node_removal_hook;
267
268   entry = (struct cgraph_node_hook_list *) xmalloc (sizeof (*entry));
269   entry->hook = hook;
270   entry->data = data;
271   entry->next = NULL;
272   while (*ptr)
273     ptr = &(*ptr)->next;
274   *ptr = entry;
275   return entry;
276 }
277
278 /* Remove ENTRY from the list of hooks called on removing nodes.  */
279 void
280 cgraph_remove_node_removal_hook (struct cgraph_node_hook_list *entry)
281 {
282   struct cgraph_node_hook_list **ptr = &first_cgraph_node_removal_hook;
283
284   while (*ptr != entry)
285     ptr = &(*ptr)->next;
286   *ptr = entry->next;
287   free (entry);
288 }
289
290 /* Call all node removal hooks.  */
291 static void
292 cgraph_call_node_removal_hooks (struct cgraph_node *node)
293 {
294   struct cgraph_node_hook_list *entry = first_cgraph_node_removal_hook;
295   while (entry)
296   {
297     entry->hook (node, entry->data);
298     entry = entry->next;
299   }
300 }
301
302 /* Register HOOK to be called with DATA on each inserted node.  */
303 struct cgraph_node_hook_list *
304 cgraph_add_function_insertion_hook (cgraph_node_hook hook, void *data)
305 {
306   struct cgraph_node_hook_list *entry;
307   struct cgraph_node_hook_list **ptr = &first_cgraph_function_insertion_hook;
308
309   entry = (struct cgraph_node_hook_list *) xmalloc (sizeof (*entry));
310   entry->hook = hook;
311   entry->data = data;
312   entry->next = NULL;
313   while (*ptr)
314     ptr = &(*ptr)->next;
315   *ptr = entry;
316   return entry;
317 }
318
319 /* Remove ENTRY from the list of hooks called on inserted nodes.  */
320 void
321 cgraph_remove_function_insertion_hook (struct cgraph_node_hook_list *entry)
322 {
323   struct cgraph_node_hook_list **ptr = &first_cgraph_function_insertion_hook;
324
325   while (*ptr != entry)
326     ptr = &(*ptr)->next;
327   *ptr = entry->next;
328   free (entry);
329 }
330
331 /* Call all node insertion hooks.  */
332 void
333 cgraph_call_function_insertion_hooks (struct cgraph_node *node)
334 {
335   struct cgraph_node_hook_list *entry = first_cgraph_function_insertion_hook;
336   while (entry)
337   {
338     entry->hook (node, entry->data);
339     entry = entry->next;
340   }
341 }
342
343 /* Register HOOK to be called with DATA on each duplicated edge.  */
344 struct cgraph_2edge_hook_list *
345 cgraph_add_edge_duplication_hook (cgraph_2edge_hook hook, void *data)
346 {
347   struct cgraph_2edge_hook_list *entry;
348   struct cgraph_2edge_hook_list **ptr = &first_cgraph_edge_duplicated_hook;
349
350   entry = (struct cgraph_2edge_hook_list *) xmalloc (sizeof (*entry));
351   entry->hook = hook;
352   entry->data = data;
353   entry->next = NULL;
354   while (*ptr)
355     ptr = &(*ptr)->next;
356   *ptr = entry;
357   return entry;
358 }
359
360 /* Remove ENTRY from the list of hooks called on duplicating edges.  */
361 void
362 cgraph_remove_edge_duplication_hook (struct cgraph_2edge_hook_list *entry)
363 {
364   struct cgraph_2edge_hook_list **ptr = &first_cgraph_edge_duplicated_hook;
365
366   while (*ptr != entry)
367     ptr = &(*ptr)->next;
368   *ptr = entry->next;
369   free (entry);
370 }
371
372 /* Call all edge duplication hooks.  */
373 static void
374 cgraph_call_edge_duplication_hooks (struct cgraph_edge *cs1,
375                                     struct cgraph_edge *cs2)
376 {
377   struct cgraph_2edge_hook_list *entry = first_cgraph_edge_duplicated_hook;
378   while (entry)
379   {
380     entry->hook (cs1, cs2, entry->data);
381     entry = entry->next;
382   }
383 }
384
385 /* Register HOOK to be called with DATA on each duplicated node.  */
386 struct cgraph_2node_hook_list *
387 cgraph_add_node_duplication_hook (cgraph_2node_hook hook, void *data)
388 {
389   struct cgraph_2node_hook_list *entry;
390   struct cgraph_2node_hook_list **ptr = &first_cgraph_node_duplicated_hook;
391
392   entry = (struct cgraph_2node_hook_list *) xmalloc (sizeof (*entry));
393   entry->hook = hook;
394   entry->data = data;
395   entry->next = NULL;
396   while (*ptr)
397     ptr = &(*ptr)->next;
398   *ptr = entry;
399   return entry;
400 }
401
402 /* Remove ENTRY from the list of hooks called on duplicating nodes.  */
403 void
404 cgraph_remove_node_duplication_hook (struct cgraph_2node_hook_list *entry)
405 {
406   struct cgraph_2node_hook_list **ptr = &first_cgraph_node_duplicated_hook;
407
408   while (*ptr != entry)
409     ptr = &(*ptr)->next;
410   *ptr = entry->next;
411   free (entry);
412 }
413
414 /* Call all node duplication hooks.  */
415 static void
416 cgraph_call_node_duplication_hooks (struct cgraph_node *node1,
417                                     struct cgraph_node *node2)
418 {
419   struct cgraph_2node_hook_list *entry = first_cgraph_node_duplicated_hook;
420   while (entry)
421   {
422     entry->hook (node1, node2, entry->data);
423     entry = entry->next;
424   }
425 }
426
427 /* Returns a hash code for P.  */
428
429 static hashval_t
430 hash_node (const void *p)
431 {
432   const struct cgraph_node *n = (const struct cgraph_node *) p;
433   return (hashval_t) DECL_UID (n->decl);
434 }
435
436
437 /* Returns nonzero if P1 and P2 are equal.  */
438
439 static int
440 eq_node (const void *p1, const void *p2)
441 {
442   const struct cgraph_node *n1 = (const struct cgraph_node *) p1;
443   const struct cgraph_node *n2 = (const struct cgraph_node *) p2;
444   return DECL_UID (n1->decl) == DECL_UID (n2->decl);
445 }
446
447 /* Allocate new callgraph node.  */
448
449 static inline struct cgraph_node *
450 cgraph_allocate_node (void)
451 {
452   struct cgraph_node *node;
453
454   if (free_nodes)
455     {
456       node = free_nodes;
457       free_nodes = NEXT_FREE_NODE (node);
458     }
459   else
460     {
461       node = ggc_alloc_cleared_cgraph_node ();
462       node->uid = cgraph_max_uid++;
463     }
464
465   return node;
466 }
467
468 /* Allocate new callgraph node and insert it into basic data structures.  */
469
470 static struct cgraph_node *
471 cgraph_create_node_1 (void)
472 {
473   struct cgraph_node *node = cgraph_allocate_node ();
474
475   node->next = cgraph_nodes;
476   node->order = cgraph_order++;
477   if (cgraph_nodes)
478     cgraph_nodes->previous = node;
479   node->previous = NULL;
480   node->frequency = NODE_FREQUENCY_NORMAL;
481   node->count_materialization_scale = REG_BR_PROB_BASE;
482   ipa_empty_ref_list (&node->ref_list);
483   cgraph_nodes = node;
484   cgraph_n_nodes++;
485   return node;
486 }
487
488 /* Return cgraph node assigned to DECL.  Create new one when needed.  */
489
490 struct cgraph_node *
491 cgraph_create_node (tree decl)
492 {
493   struct cgraph_node key, *node, **slot;
494
495   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
496
497   if (!cgraph_hash)
498     cgraph_hash = htab_create_ggc (10, hash_node, eq_node, NULL);
499
500   key.decl = decl;
501   slot = (struct cgraph_node **) htab_find_slot (cgraph_hash, &key, INSERT);
502   gcc_assert (!*slot);
503
504   node = cgraph_create_node_1 ();
505   node->decl = decl;
506   *slot = node;
507   if (DECL_CONTEXT (decl) && TREE_CODE (DECL_CONTEXT (decl)) == FUNCTION_DECL)
508     {
509       node->origin = cgraph_get_create_node (DECL_CONTEXT (decl));
510       node->next_nested = node->origin->nested;
511       node->origin->nested = node;
512     }
513   if (assembler_name_hash)
514     {
515       void **aslot;
516       tree name = DECL_ASSEMBLER_NAME (decl);
517
518       aslot = htab_find_slot_with_hash (assembler_name_hash, name,
519                                         decl_assembler_name_hash (name),
520                                         INSERT);
521       /* We can have multiple declarations with same assembler name. For C++
522          it is __builtin_strlen and strlen, for instance.  Do we need to
523          record them all?  Original implementation marked just first one
524          so lets hope for the best.  */
525       if (*aslot == NULL)
526         *aslot = node;
527     }
528   return node;
529 }
530
531 /* Try to find a call graph node for declaration DECL and if it does not exist,
532    create it.  */
533
534 struct cgraph_node *
535 cgraph_get_create_node (tree decl)
536 {
537   struct cgraph_node *node;
538
539   node = cgraph_get_node (decl);
540   if (node)
541     return node;
542
543   return cgraph_create_node (decl);
544 }
545
546 /* Mark ALIAS as an alias to DECL.  DECL_NODE is cgraph node representing
547    the function body is associated with (not neccesarily cgraph_node (DECL).  */
548
549 struct cgraph_node *
550 cgraph_create_function_alias (tree alias, tree decl)
551 {
552   struct cgraph_node *alias_node;
553
554   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
555   gcc_assert (TREE_CODE (alias) == FUNCTION_DECL);
556   alias_node = cgraph_get_create_node (alias);
557   gcc_assert (!alias_node->local.finalized);
558   alias_node->thunk.alias = decl;
559   alias_node->local.finalized = true;
560   alias_node->alias = 1;
561
562   if ((TREE_PUBLIC (alias) && !DECL_COMDAT (alias) && !DECL_EXTERNAL (alias))
563       || (DECL_VIRTUAL_P (alias)
564           && (DECL_COMDAT (alias) || DECL_EXTERNAL (alias))))
565     cgraph_mark_reachable_node (alias_node);
566   return alias_node;
567 }
568
569 /* Attempt to mark ALIAS as an alias to DECL.  Return alias node if successful
570    and NULL otherwise.
571    Same body aliases are output whenever the body of DECL is output,
572    and cgraph_get_node (ALIAS) transparently returns cgraph_get_node (DECL).  */
573
574 struct cgraph_node *
575 cgraph_same_body_alias (struct cgraph_node *decl_node ATTRIBUTE_UNUSED, tree alias, tree decl)
576 {
577   struct cgraph_node *n;
578 #ifndef ASM_OUTPUT_DEF
579   /* If aliases aren't supported by the assembler, fail.  */
580   return NULL;
581 #endif
582   /* Langhooks can create same body aliases of symbols not defined.
583      Those are useless. Drop them on the floor.  */
584   if (cgraph_global_info_ready)
585     return NULL;
586
587   n = cgraph_create_function_alias (alias, decl);
588   n->same_body_alias = true;
589   if (same_body_aliases_done)
590     ipa_record_reference (n, NULL, cgraph_get_node (decl), NULL, IPA_REF_ALIAS,
591                           NULL);
592   return n;
593 }
594
595 /* Add thunk alias into callgraph.  The alias declaration is ALIAS and it
596    aliases DECL with an adjustments made into the first parameter.
597    See comments in thunk_adjust for detail on the parameters.  */
598
599 struct cgraph_node *
600 cgraph_add_thunk (struct cgraph_node *decl_node ATTRIBUTE_UNUSED,
601                   tree alias, tree decl,
602                   bool this_adjusting,
603                   HOST_WIDE_INT fixed_offset, HOST_WIDE_INT virtual_value,
604                   tree virtual_offset,
605                   tree real_alias)
606 {
607   struct cgraph_node *node;
608
609   node = cgraph_get_node (alias);
610   if (node)
611     {
612       gcc_assert (node->local.finalized);
613       gcc_assert (!node->alias);
614       gcc_assert (!node->thunk.thunk_p);
615       cgraph_remove_node (node);
616     }
617   
618   node = cgraph_create_node (alias);
619   gcc_checking_assert (!virtual_offset
620                        || double_int_equal_p
621                             (tree_to_double_int (virtual_offset),
622                              shwi_to_double_int (virtual_value)));
623   node->thunk.fixed_offset = fixed_offset;
624   node->thunk.this_adjusting = this_adjusting;
625   node->thunk.virtual_value = virtual_value;
626   node->thunk.virtual_offset_p = virtual_offset != NULL;
627   node->thunk.alias = real_alias;
628   node->thunk.thunk_p = true;
629   node->local.finalized = true;
630
631   if (cgraph_decide_is_function_needed (node, decl))
632     cgraph_mark_needed_node (node);
633
634   if ((TREE_PUBLIC (decl) && !DECL_COMDAT (decl) && !DECL_EXTERNAL (decl))
635       || (DECL_VIRTUAL_P (decl)
636           && (DECL_COMDAT (decl) || DECL_EXTERNAL (decl))))
637     cgraph_mark_reachable_node (node);
638
639   return node;
640 }
641
642 /* Returns the cgraph node assigned to DECL or NULL if no cgraph node
643    is assigned.  */
644
645 struct cgraph_node *
646 cgraph_get_node (const_tree decl)
647 {
648   struct cgraph_node key, *node = NULL, **slot;
649
650   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
651
652   if (!cgraph_hash)
653     return NULL;
654
655   key.decl = CONST_CAST2 (tree, const_tree, decl);
656
657   slot = (struct cgraph_node **) htab_find_slot (cgraph_hash, &key,
658                                                  NO_INSERT);
659
660   if (slot && *slot)
661     node = *slot;
662   return node;
663 }
664
665 /* Insert already constructed node into hashtable.  */
666
667 void
668 cgraph_insert_node_to_hashtable (struct cgraph_node *node)
669 {
670   struct cgraph_node **slot;
671
672   slot = (struct cgraph_node **) htab_find_slot (cgraph_hash, node, INSERT);
673
674   gcc_assert (!*slot);
675   *slot = node;
676 }
677
678 /* Returns a hash code for P.  */
679
680 static hashval_t
681 hash_node_by_assembler_name (const void *p)
682 {
683   const struct cgraph_node *n = (const struct cgraph_node *) p;
684   return (hashval_t) decl_assembler_name_hash (DECL_ASSEMBLER_NAME (n->decl));
685 }
686
687 /* Returns nonzero if P1 and P2 are equal.  */
688
689 static int
690 eq_assembler_name (const void *p1, const void *p2)
691 {
692   const struct cgraph_node *n1 = (const struct cgraph_node *) p1;
693   const_tree name = (const_tree)p2;
694   return (decl_assembler_name_equal (n1->decl, name));
695 }
696
697 /* Return the cgraph node that has ASMNAME for its DECL_ASSEMBLER_NAME.
698    Return NULL if there's no such node.  */
699
700 struct cgraph_node *
701 cgraph_node_for_asm (tree asmname)
702 {
703   struct cgraph_node *node;
704   void **slot;
705
706   if (!assembler_name_hash)
707     {
708       assembler_name_hash =
709         htab_create_ggc (10, hash_node_by_assembler_name, eq_assembler_name,
710                          NULL);
711       for (node = cgraph_nodes; node; node = node->next)
712         if (!node->global.inlined_to)
713           {
714             tree name = DECL_ASSEMBLER_NAME (node->decl);
715             slot = htab_find_slot_with_hash (assembler_name_hash, name,
716                                              decl_assembler_name_hash (name),
717                                              INSERT);
718             /* We can have multiple declarations with same assembler name. For C++
719                it is __builtin_strlen and strlen, for instance.  Do we need to
720                record them all?  Original implementation marked just first one
721                so lets hope for the best.  */
722             if (!*slot)
723               *slot = node;
724           }
725     }
726
727   slot = htab_find_slot_with_hash (assembler_name_hash, asmname,
728                                    decl_assembler_name_hash (asmname),
729                                    NO_INSERT);
730
731   if (slot)
732     {
733       node = (struct cgraph_node *) *slot;
734       return node;
735     }
736   return NULL;
737 }
738
739 /* Returns a hash value for X (which really is a die_struct).  */
740
741 static hashval_t
742 edge_hash (const void *x)
743 {
744   return htab_hash_pointer (((const struct cgraph_edge *) x)->call_stmt);
745 }
746
747 /* Return nonzero if decl_id of die_struct X is the same as UID of decl *Y.  */
748
749 static int
750 edge_eq (const void *x, const void *y)
751 {
752   return ((const struct cgraph_edge *) x)->call_stmt == y;
753 }
754
755 /* Add call graph edge E to call site hash of its caller.  */
756
757 static inline void
758 cgraph_add_edge_to_call_site_hash (struct cgraph_edge *e)
759 {
760   void **slot;
761   slot = htab_find_slot_with_hash (e->caller->call_site_hash,
762                                    e->call_stmt,
763                                    htab_hash_pointer (e->call_stmt),
764                                    INSERT);
765   gcc_assert (!*slot);
766   *slot = e;
767 }
768
769 /* Return the callgraph edge representing the GIMPLE_CALL statement
770    CALL_STMT.  */
771
772 struct cgraph_edge *
773 cgraph_edge (struct cgraph_node *node, gimple call_stmt)
774 {
775   struct cgraph_edge *e, *e2;
776   int n = 0;
777
778   if (node->call_site_hash)
779     return (struct cgraph_edge *)
780       htab_find_with_hash (node->call_site_hash, call_stmt,
781                            htab_hash_pointer (call_stmt));
782
783   /* This loop may turn out to be performance problem.  In such case adding
784      hashtables into call nodes with very many edges is probably best
785      solution.  It is not good idea to add pointer into CALL_EXPR itself
786      because we want to make possible having multiple cgraph nodes representing
787      different clones of the same body before the body is actually cloned.  */
788   for (e = node->callees; e; e = e->next_callee)
789     {
790       if (e->call_stmt == call_stmt)
791         break;
792       n++;
793     }
794
795   if (!e)
796     for (e = node->indirect_calls; e; e = e->next_callee)
797       {
798         if (e->call_stmt == call_stmt)
799           break;
800         n++;
801       }
802
803   if (n > 100)
804     {
805       node->call_site_hash = htab_create_ggc (120, edge_hash, edge_eq, NULL);
806       for (e2 = node->callees; e2; e2 = e2->next_callee)
807         cgraph_add_edge_to_call_site_hash (e2);
808       for (e2 = node->indirect_calls; e2; e2 = e2->next_callee)
809         cgraph_add_edge_to_call_site_hash (e2);
810     }
811
812   return e;
813 }
814
815
816 /* Change field call_stmt of edge E to NEW_STMT.  */
817
818 void
819 cgraph_set_call_stmt (struct cgraph_edge *e, gimple new_stmt)
820 {
821   tree decl;
822
823   if (e->caller->call_site_hash)
824     {
825       htab_remove_elt_with_hash (e->caller->call_site_hash,
826                                  e->call_stmt,
827                                  htab_hash_pointer (e->call_stmt));
828     }
829
830   e->call_stmt = new_stmt;
831   if (e->indirect_unknown_callee
832       && (decl = gimple_call_fndecl (new_stmt)))
833     {
834       /* Constant propagation (and possibly also inlining?) can turn an
835          indirect call into a direct one.  */
836       struct cgraph_node *new_callee = cgraph_get_node (decl);
837
838       gcc_checking_assert (new_callee);
839       cgraph_make_edge_direct (e, new_callee);
840     }
841
842   push_cfun (DECL_STRUCT_FUNCTION (e->caller->decl));
843   e->can_throw_external = stmt_can_throw_external (new_stmt);
844   pop_cfun ();
845   if (e->caller->call_site_hash)
846     cgraph_add_edge_to_call_site_hash (e);
847 }
848
849 /* Like cgraph_set_call_stmt but walk the clone tree and update all
850    clones sharing the same function body.  */
851
852 void
853 cgraph_set_call_stmt_including_clones (struct cgraph_node *orig,
854                                        gimple old_stmt, gimple new_stmt)
855 {
856   struct cgraph_node *node;
857   struct cgraph_edge *edge = cgraph_edge (orig, old_stmt);
858
859   if (edge)
860     cgraph_set_call_stmt (edge, new_stmt);
861
862   node = orig->clones;
863   if (node)
864     while (node != orig)
865       {
866         struct cgraph_edge *edge = cgraph_edge (node, old_stmt);
867         if (edge)
868           cgraph_set_call_stmt (edge, new_stmt);
869         if (node->clones)
870           node = node->clones;
871         else if (node->next_sibling_clone)
872           node = node->next_sibling_clone;
873         else
874           {
875             while (node != orig && !node->next_sibling_clone)
876               node = node->clone_of;
877             if (node != orig)
878               node = node->next_sibling_clone;
879           }
880       }
881 }
882
883 /* Like cgraph_create_edge walk the clone tree and update all clones sharing
884    same function body.  If clones already have edge for OLD_STMT; only
885    update the edge same way as cgraph_set_call_stmt_including_clones does.
886
887    TODO: COUNT and LOOP_DEPTH should be properly distributed based on relative
888    frequencies of the clones.  */
889
890 void
891 cgraph_create_edge_including_clones (struct cgraph_node *orig,
892                                      struct cgraph_node *callee,
893                                      gimple old_stmt,
894                                      gimple stmt, gcov_type count,
895                                      int freq,
896                                      cgraph_inline_failed_t reason)
897 {
898   struct cgraph_node *node;
899   struct cgraph_edge *edge;
900
901   if (!cgraph_edge (orig, stmt))
902     {
903       edge = cgraph_create_edge (orig, callee, stmt, count, freq);
904       edge->inline_failed = reason;
905     }
906
907   node = orig->clones;
908   if (node)
909     while (node != orig)
910       {
911         struct cgraph_edge *edge = cgraph_edge (node, old_stmt);
912
913         /* It is possible that clones already contain the edge while
914            master didn't.  Either we promoted indirect call into direct
915            call in the clone or we are processing clones of unreachable
916            master where edges has been removed.  */
917         if (edge)
918           cgraph_set_call_stmt (edge, stmt);
919         else if (!cgraph_edge (node, stmt))
920           {
921             edge = cgraph_create_edge (node, callee, stmt, count,
922                                        freq);
923             edge->inline_failed = reason;
924           }
925
926         if (node->clones)
927           node = node->clones;
928         else if (node->next_sibling_clone)
929           node = node->next_sibling_clone;
930         else
931           {
932             while (node != orig && !node->next_sibling_clone)
933               node = node->clone_of;
934             if (node != orig)
935               node = node->next_sibling_clone;
936           }
937       }
938 }
939
940 /* Allocate a cgraph_edge structure and fill it with data according to the
941    parameters of which only CALLEE can be NULL (when creating an indirect call
942    edge).  */
943
944 static struct cgraph_edge *
945 cgraph_create_edge_1 (struct cgraph_node *caller, struct cgraph_node *callee,
946                        gimple call_stmt, gcov_type count, int freq)
947 {
948   struct cgraph_edge *edge;
949
950   /* LTO does not actually have access to the call_stmt since these
951      have not been loaded yet.  */
952   if (call_stmt)
953     {
954       /* This is a rather expensive check possibly triggering
955          construction of call stmt hashtable.  */
956       gcc_checking_assert (!cgraph_edge (caller, call_stmt));
957
958       gcc_assert (is_gimple_call (call_stmt));
959     }
960
961   if (free_edges)
962     {
963       edge = free_edges;
964       free_edges = NEXT_FREE_EDGE (edge);
965     }
966   else
967     {
968       edge = ggc_alloc_cgraph_edge ();
969       edge->uid = cgraph_edge_max_uid++;
970     }
971
972   edge->aux = NULL;
973   edge->caller = caller;
974   edge->callee = callee;
975   edge->prev_caller = NULL;
976   edge->next_caller = NULL;
977   edge->prev_callee = NULL;
978   edge->next_callee = NULL;
979
980   edge->count = count;
981   gcc_assert (count >= 0);
982   edge->frequency = freq;
983   gcc_assert (freq >= 0);
984   gcc_assert (freq <= CGRAPH_FREQ_MAX);
985
986   edge->call_stmt = call_stmt;
987   push_cfun (DECL_STRUCT_FUNCTION (caller->decl));
988   edge->can_throw_external
989     = call_stmt ? stmt_can_throw_external (call_stmt) : false;
990   pop_cfun ();
991   edge->call_stmt_cannot_inline_p =
992     (call_stmt ? gimple_call_cannot_inline_p (call_stmt) : false);
993   if (call_stmt && caller->call_site_hash)
994     cgraph_add_edge_to_call_site_hash (edge);
995
996   edge->indirect_info = NULL;
997   edge->indirect_inlining_edge = 0;
998
999   return edge;
1000 }
1001
1002 /* Create edge from CALLER to CALLEE in the cgraph.  */
1003
1004 struct cgraph_edge *
1005 cgraph_create_edge (struct cgraph_node *caller, struct cgraph_node *callee,
1006                     gimple call_stmt, gcov_type count, int freq)
1007 {
1008   struct cgraph_edge *edge = cgraph_create_edge_1 (caller, callee, call_stmt,
1009                                                    count, freq);
1010
1011   edge->indirect_unknown_callee = 0;
1012   initialize_inline_failed (edge);
1013
1014   edge->next_caller = callee->callers;
1015   if (callee->callers)
1016     callee->callers->prev_caller = edge;
1017   edge->next_callee = caller->callees;
1018   if (caller->callees)
1019     caller->callees->prev_callee = edge;
1020   caller->callees = edge;
1021   callee->callers = edge;
1022
1023   return edge;
1024 }
1025
1026 /* Allocate cgraph_indirect_call_info and set its fields to default values. */
1027
1028 struct cgraph_indirect_call_info *
1029 cgraph_allocate_init_indirect_info (void)
1030 {
1031   struct cgraph_indirect_call_info *ii;
1032
1033   ii = ggc_alloc_cleared_cgraph_indirect_call_info ();
1034   ii->param_index = -1;
1035   return ii;
1036 }
1037
1038 /* Create an indirect edge with a yet-undetermined callee where the call
1039    statement destination is a formal parameter of the caller with index
1040    PARAM_INDEX. */
1041
1042 struct cgraph_edge *
1043 cgraph_create_indirect_edge (struct cgraph_node *caller, gimple call_stmt,
1044                              int ecf_flags,
1045                              gcov_type count, int freq)
1046 {
1047   struct cgraph_edge *edge = cgraph_create_edge_1 (caller, NULL, call_stmt,
1048                                                    count, freq);
1049
1050   edge->indirect_unknown_callee = 1;
1051   initialize_inline_failed (edge);
1052
1053   edge->indirect_info = cgraph_allocate_init_indirect_info ();
1054   edge->indirect_info->ecf_flags = ecf_flags;
1055
1056   edge->next_callee = caller->indirect_calls;
1057   if (caller->indirect_calls)
1058     caller->indirect_calls->prev_callee = edge;
1059   caller->indirect_calls = edge;
1060
1061   return edge;
1062 }
1063
1064 /* Remove the edge E from the list of the callers of the callee.  */
1065
1066 static inline void
1067 cgraph_edge_remove_callee (struct cgraph_edge *e)
1068 {
1069   gcc_assert (!e->indirect_unknown_callee);
1070   if (e->prev_caller)
1071     e->prev_caller->next_caller = e->next_caller;
1072   if (e->next_caller)
1073     e->next_caller->prev_caller = e->prev_caller;
1074   if (!e->prev_caller)
1075     e->callee->callers = e->next_caller;
1076 }
1077
1078 /* Remove the edge E from the list of the callees of the caller.  */
1079
1080 static inline void
1081 cgraph_edge_remove_caller (struct cgraph_edge *e)
1082 {
1083   if (e->prev_callee)
1084     e->prev_callee->next_callee = e->next_callee;
1085   if (e->next_callee)
1086     e->next_callee->prev_callee = e->prev_callee;
1087   if (!e->prev_callee)
1088     {
1089       if (e->indirect_unknown_callee)
1090         e->caller->indirect_calls = e->next_callee;
1091       else
1092         e->caller->callees = e->next_callee;
1093     }
1094   if (e->caller->call_site_hash)
1095     htab_remove_elt_with_hash (e->caller->call_site_hash,
1096                                e->call_stmt,
1097                                htab_hash_pointer (e->call_stmt));
1098 }
1099
1100 /* Put the edge onto the free list.  */
1101
1102 static void
1103 cgraph_free_edge (struct cgraph_edge *e)
1104 {
1105   int uid = e->uid;
1106
1107   /* Clear out the edge so we do not dangle pointers.  */
1108   memset (e, 0, sizeof (*e));
1109   e->uid = uid;
1110   NEXT_FREE_EDGE (e) = free_edges;
1111   free_edges = e;
1112 }
1113
1114 /* Remove the edge E in the cgraph.  */
1115
1116 void
1117 cgraph_remove_edge (struct cgraph_edge *e)
1118 {
1119   /* Call all edge removal hooks.  */
1120   cgraph_call_edge_removal_hooks (e);
1121
1122   if (!e->indirect_unknown_callee)
1123     /* Remove from callers list of the callee.  */
1124     cgraph_edge_remove_callee (e);
1125
1126   /* Remove from callees list of the callers.  */
1127   cgraph_edge_remove_caller (e);
1128
1129   /* Put the edge onto the free list.  */
1130   cgraph_free_edge (e);
1131 }
1132
1133 /* Set callee of call graph edge E and add it to the corresponding set of
1134    callers. */
1135
1136 static void
1137 cgraph_set_edge_callee (struct cgraph_edge *e, struct cgraph_node *n)
1138 {
1139   e->prev_caller = NULL;
1140   if (n->callers)
1141     n->callers->prev_caller = e;
1142   e->next_caller = n->callers;
1143   n->callers = e;
1144   e->callee = n;
1145 }
1146
1147 /* Redirect callee of E to N.  The function does not update underlying
1148    call expression.  */
1149
1150 void
1151 cgraph_redirect_edge_callee (struct cgraph_edge *e, struct cgraph_node *n)
1152 {
1153   /* Remove from callers list of the current callee.  */
1154   cgraph_edge_remove_callee (e);
1155
1156   /* Insert to callers list of the new callee.  */
1157   cgraph_set_edge_callee (e, n);
1158 }
1159
1160 /* Make an indirect EDGE with an unknown callee an ordinary edge leading to
1161    CALLEE.  DELTA is an integer constant that is to be added to the this
1162    pointer (first parameter) to compensate for skipping a thunk adjustment.  */
1163
1164 void
1165 cgraph_make_edge_direct (struct cgraph_edge *edge, struct cgraph_node *callee)
1166 {
1167   edge->indirect_unknown_callee = 0;
1168
1169   /* Get the edge out of the indirect edge list. */
1170   if (edge->prev_callee)
1171     edge->prev_callee->next_callee = edge->next_callee;
1172   if (edge->next_callee)
1173     edge->next_callee->prev_callee = edge->prev_callee;
1174   if (!edge->prev_callee)
1175     edge->caller->indirect_calls = edge->next_callee;
1176
1177   /* Put it into the normal callee list */
1178   edge->prev_callee = NULL;
1179   edge->next_callee = edge->caller->callees;
1180   if (edge->caller->callees)
1181     edge->caller->callees->prev_callee = edge;
1182   edge->caller->callees = edge;
1183
1184   /* Insert to callers list of the new callee.  */
1185   cgraph_set_edge_callee (edge, callee);
1186
1187   /* We need to re-determine the inlining status of the edge.  */
1188   initialize_inline_failed (edge);
1189 }
1190
1191
1192 /* Update or remove the corresponding cgraph edge if a GIMPLE_CALL
1193    OLD_STMT changed into NEW_STMT.  OLD_CALL is gimple_call_fndecl
1194    of OLD_STMT if it was previously call statement.
1195    If NEW_STMT is NULL, the call has been dropped without any
1196    replacement.  */
1197
1198 static void
1199 cgraph_update_edges_for_call_stmt_node (struct cgraph_node *node,
1200                                         gimple old_stmt, tree old_call,
1201                                         gimple new_stmt)
1202 {
1203   tree new_call = (new_stmt && is_gimple_call (new_stmt))
1204                   ? gimple_call_fndecl (new_stmt) : 0;
1205
1206   /* We are seeing indirect calls, then there is nothing to update.  */
1207   if (!new_call && !old_call)
1208     return;
1209   /* See if we turned indirect call into direct call or folded call to one builtin
1210      into different builtin.  */
1211   if (old_call != new_call)
1212     {
1213       struct cgraph_edge *e = cgraph_edge (node, old_stmt);
1214       struct cgraph_edge *ne = NULL;
1215       gcov_type count;
1216       int frequency;
1217
1218       if (e)
1219         {
1220           /* See if the edge is already there and has the correct callee.  It
1221              might be so because of indirect inlining has already updated
1222              it.  We also might've cloned and redirected the edge.  */
1223           if (new_call && e->callee)
1224             {
1225               struct cgraph_node *callee = e->callee;
1226               while (callee)
1227                 {
1228                   if (callee->decl == new_call
1229                       || callee->former_clone_of == new_call)
1230                     return;
1231                   callee = callee->clone_of;
1232                 }
1233             }
1234
1235           /* Otherwise remove edge and create new one; we can't simply redirect
1236              since function has changed, so inline plan and other information
1237              attached to edge is invalid.  */
1238           count = e->count;
1239           frequency = e->frequency;
1240           cgraph_remove_edge (e);
1241         }
1242       else if (new_call)
1243         {
1244           /* We are seeing new direct call; compute profile info based on BB.  */
1245           basic_block bb = gimple_bb (new_stmt);
1246           count = bb->count;
1247           frequency = compute_call_stmt_bb_frequency (current_function_decl,
1248                                                       bb);
1249         }
1250
1251       if (new_call)
1252         {
1253           ne = cgraph_create_edge (node, cgraph_get_create_node (new_call),
1254                                    new_stmt, count, frequency);
1255           gcc_assert (ne->inline_failed);
1256         }
1257     }
1258   /* We only updated the call stmt; update pointer in cgraph edge..  */
1259   else if (old_stmt != new_stmt)
1260     cgraph_set_call_stmt (cgraph_edge (node, old_stmt), new_stmt);
1261 }
1262
1263 /* Update or remove the corresponding cgraph edge if a GIMPLE_CALL
1264    OLD_STMT changed into NEW_STMT.  OLD_DECL is gimple_call_fndecl
1265    of OLD_STMT before it was updated (updating can happen inplace).  */
1266
1267 void
1268 cgraph_update_edges_for_call_stmt (gimple old_stmt, tree old_decl, gimple new_stmt)
1269 {
1270   struct cgraph_node *orig = cgraph_get_node (cfun->decl);
1271   struct cgraph_node *node;
1272
1273   gcc_checking_assert (orig);
1274   cgraph_update_edges_for_call_stmt_node (orig, old_stmt, old_decl, new_stmt);
1275   if (orig->clones)
1276     for (node = orig->clones; node != orig;)
1277       {
1278         cgraph_update_edges_for_call_stmt_node (node, old_stmt, old_decl, new_stmt);
1279         if (node->clones)
1280           node = node->clones;
1281         else if (node->next_sibling_clone)
1282           node = node->next_sibling_clone;
1283         else
1284           {
1285             while (node != orig && !node->next_sibling_clone)
1286               node = node->clone_of;
1287             if (node != orig)
1288               node = node->next_sibling_clone;
1289           }
1290       }
1291 }
1292
1293
1294 /* Remove all callees from the node.  */
1295
1296 void
1297 cgraph_node_remove_callees (struct cgraph_node *node)
1298 {
1299   struct cgraph_edge *e, *f;
1300
1301   /* It is sufficient to remove the edges from the lists of callers of
1302      the callees.  The callee list of the node can be zapped with one
1303      assignment.  */
1304   for (e = node->callees; e; e = f)
1305     {
1306       f = e->next_callee;
1307       cgraph_call_edge_removal_hooks (e);
1308       if (!e->indirect_unknown_callee)
1309         cgraph_edge_remove_callee (e);
1310       cgraph_free_edge (e);
1311     }
1312   for (e = node->indirect_calls; e; e = f)
1313     {
1314       f = e->next_callee;
1315       cgraph_call_edge_removal_hooks (e);
1316       if (!e->indirect_unknown_callee)
1317         cgraph_edge_remove_callee (e);
1318       cgraph_free_edge (e);
1319     }
1320   node->indirect_calls = NULL;
1321   node->callees = NULL;
1322   if (node->call_site_hash)
1323     {
1324       htab_delete (node->call_site_hash);
1325       node->call_site_hash = NULL;
1326     }
1327 }
1328
1329 /* Remove all callers from the node.  */
1330
1331 static void
1332 cgraph_node_remove_callers (struct cgraph_node *node)
1333 {
1334   struct cgraph_edge *e, *f;
1335
1336   /* It is sufficient to remove the edges from the lists of callees of
1337      the callers.  The caller list of the node can be zapped with one
1338      assignment.  */
1339   for (e = node->callers; e; e = f)
1340     {
1341       f = e->next_caller;
1342       cgraph_call_edge_removal_hooks (e);
1343       cgraph_edge_remove_caller (e);
1344       cgraph_free_edge (e);
1345     }
1346   node->callers = NULL;
1347 }
1348
1349 /* Release memory used to represent body of function NODE.  */
1350
1351 void
1352 cgraph_release_function_body (struct cgraph_node *node)
1353 {
1354   if (DECL_STRUCT_FUNCTION (node->decl))
1355     {
1356       tree old_decl = current_function_decl;
1357       push_cfun (DECL_STRUCT_FUNCTION (node->decl));
1358       if (cfun->gimple_df)
1359         {
1360           current_function_decl = node->decl;
1361           delete_tree_ssa ();
1362           delete_tree_cfg_annotations ();
1363           cfun->eh = NULL;
1364           current_function_decl = old_decl;
1365         }
1366       if (cfun->cfg)
1367         {
1368           gcc_assert (dom_computed[0] == DOM_NONE);
1369           gcc_assert (dom_computed[1] == DOM_NONE);
1370           clear_edges ();
1371         }
1372       if (cfun->value_histograms)
1373         free_histograms ();
1374       gcc_assert (!current_loops);
1375       pop_cfun();
1376       gimple_set_body (node->decl, NULL);
1377       VEC_free (ipa_opt_pass, heap,
1378                 node->ipa_transforms_to_apply);
1379       /* Struct function hangs a lot of data that would leak if we didn't
1380          removed all pointers to it.   */
1381       ggc_free (DECL_STRUCT_FUNCTION (node->decl));
1382       DECL_STRUCT_FUNCTION (node->decl) = NULL;
1383     }
1384   DECL_SAVED_TREE (node->decl) = NULL;
1385   /* If the node is abstract and needed, then do not clear DECL_INITIAL
1386      of its associated function function declaration because it's
1387      needed to emit debug info later.  */
1388   if (!node->abstract_and_needed)
1389     DECL_INITIAL (node->decl) = error_mark_node;
1390 }
1391
1392 /* Remove the node from cgraph.  */
1393
1394 void
1395 cgraph_remove_node (struct cgraph_node *node)
1396 {
1397   void **slot;
1398   bool kill_body = false;
1399   struct cgraph_node *n;
1400   int uid = node->uid;
1401
1402   cgraph_call_node_removal_hooks (node);
1403   cgraph_node_remove_callers (node);
1404   cgraph_node_remove_callees (node);
1405   ipa_remove_all_references (&node->ref_list);
1406   ipa_remove_all_refering (&node->ref_list);
1407   VEC_free (ipa_opt_pass, heap,
1408             node->ipa_transforms_to_apply);
1409
1410   /* Incremental inlining access removed nodes stored in the postorder list.
1411      */
1412   node->needed = node->reachable = false;
1413   for (n = node->nested; n; n = n->next_nested)
1414     n->origin = NULL;
1415   node->nested = NULL;
1416   if (node->origin)
1417     {
1418       struct cgraph_node **node2 = &node->origin->nested;
1419
1420       while (*node2 != node)
1421         node2 = &(*node2)->next_nested;
1422       *node2 = node->next_nested;
1423     }
1424   if (node->previous)
1425     node->previous->next = node->next;
1426   else
1427     cgraph_nodes = node->next;
1428   if (node->next)
1429     node->next->previous = node->previous;
1430   node->next = NULL;
1431   node->previous = NULL;
1432   slot = htab_find_slot (cgraph_hash, node, NO_INSERT);
1433   if (*slot == node)
1434     {
1435       struct cgraph_node *next_inline_clone;
1436
1437       for (next_inline_clone = node->clones;
1438            next_inline_clone && next_inline_clone->decl != node->decl;
1439            next_inline_clone = next_inline_clone->next_sibling_clone)
1440         ;
1441
1442       /* If there is inline clone of the node being removed, we need
1443          to put it into the position of removed node and reorganize all
1444          other clones to be based on it.  */
1445       if (next_inline_clone)
1446         {
1447           struct cgraph_node *n;
1448           struct cgraph_node *new_clones;
1449
1450           *slot = next_inline_clone;
1451
1452           /* Unlink inline clone from the list of clones of removed node.  */
1453           if (next_inline_clone->next_sibling_clone)
1454             next_inline_clone->next_sibling_clone->prev_sibling_clone
1455               = next_inline_clone->prev_sibling_clone;
1456           if (next_inline_clone->prev_sibling_clone)
1457             {
1458               gcc_assert (node->clones != next_inline_clone);
1459               next_inline_clone->prev_sibling_clone->next_sibling_clone
1460                 = next_inline_clone->next_sibling_clone;
1461             }
1462           else
1463             {
1464               gcc_assert (node->clones == next_inline_clone);
1465               node->clones = next_inline_clone->next_sibling_clone;
1466             }
1467
1468           new_clones = node->clones;
1469           node->clones = NULL;
1470
1471           /* Copy clone info.  */
1472           next_inline_clone->clone = node->clone;
1473
1474           /* Now place it into clone tree at same level at NODE.  */
1475           next_inline_clone->clone_of = node->clone_of;
1476           next_inline_clone->prev_sibling_clone = NULL;
1477           next_inline_clone->next_sibling_clone = NULL;
1478           if (node->clone_of)
1479             {
1480               if (node->clone_of->clones)
1481                 node->clone_of->clones->prev_sibling_clone = next_inline_clone;
1482               next_inline_clone->next_sibling_clone = node->clone_of->clones;
1483               node->clone_of->clones = next_inline_clone;
1484             }
1485
1486           /* Merge the clone list.  */
1487           if (new_clones)
1488             {
1489               if (!next_inline_clone->clones)
1490                 next_inline_clone->clones = new_clones;
1491               else
1492                 {
1493                   n = next_inline_clone->clones;
1494                   while (n->next_sibling_clone)
1495                     n =  n->next_sibling_clone;
1496                   n->next_sibling_clone = new_clones;
1497                   new_clones->prev_sibling_clone = n;
1498                 }
1499             }
1500
1501           /* Update clone_of pointers.  */
1502           n = new_clones;
1503           while (n)
1504             {
1505               n->clone_of = next_inline_clone;
1506               n = n->next_sibling_clone;
1507             }
1508         }
1509       else
1510         {
1511           htab_clear_slot (cgraph_hash, slot);
1512           kill_body = true;
1513         }
1514
1515     }
1516   if (node->prev_sibling_clone)
1517     node->prev_sibling_clone->next_sibling_clone = node->next_sibling_clone;
1518   else if (node->clone_of)
1519     node->clone_of->clones = node->next_sibling_clone;
1520   if (node->next_sibling_clone)
1521     node->next_sibling_clone->prev_sibling_clone = node->prev_sibling_clone;
1522   if (node->clones)
1523     {
1524       struct cgraph_node *n, *next;
1525
1526       if (node->clone_of)
1527         {
1528           for (n = node->clones; n->next_sibling_clone; n = n->next_sibling_clone)
1529             n->clone_of = node->clone_of;
1530           n->clone_of = node->clone_of;
1531           n->next_sibling_clone = node->clone_of->clones;
1532           if (node->clone_of->clones)
1533             node->clone_of->clones->prev_sibling_clone = n;
1534           node->clone_of->clones = node->clones;
1535         }
1536       else
1537         {
1538           /* We are removing node with clones.  this makes clones inconsistent,
1539              but assume they will be removed subsequently and just keep clone
1540              tree intact.  This can happen in unreachable function removal since
1541              we remove unreachable functions in random order, not by bottom-up
1542              walk of clone trees.  */
1543           for (n = node->clones; n; n = next)
1544             {
1545                next = n->next_sibling_clone;
1546                n->next_sibling_clone = NULL;
1547                n->prev_sibling_clone = NULL;
1548                n->clone_of = NULL;
1549             }
1550         }
1551     }
1552
1553   if (node->same_comdat_group)
1554     {
1555       struct cgraph_node *prev;
1556       for (prev = node->same_comdat_group;
1557            prev->same_comdat_group != node;
1558            prev = prev->same_comdat_group)
1559         ;
1560       if (node->same_comdat_group == prev)
1561         prev->same_comdat_group = NULL;
1562       else
1563         prev->same_comdat_group = node->same_comdat_group;
1564       node->same_comdat_group = NULL;
1565     }
1566
1567   /* While all the clones are removed after being proceeded, the function
1568      itself is kept in the cgraph even after it is compiled.  Check whether
1569      we are done with this body and reclaim it proactively if this is the case.
1570      */
1571   if (!kill_body && *slot)
1572     {
1573       struct cgraph_node *n = (struct cgraph_node *) *slot;
1574       if (!n->clones && !n->clone_of && !n->global.inlined_to
1575           && (cgraph_global_info_ready
1576               && (TREE_ASM_WRITTEN (n->decl) || DECL_EXTERNAL (n->decl)
1577                   || n->in_other_partition)))
1578         kill_body = true;
1579     }
1580   if (assembler_name_hash)
1581     {
1582       tree name = DECL_ASSEMBLER_NAME (node->decl);
1583       slot = htab_find_slot_with_hash (assembler_name_hash, name,
1584                                        decl_assembler_name_hash (name),
1585                                        NO_INSERT);
1586       /* Inline clones are not hashed.  */
1587       if (slot && *slot == node)
1588         htab_clear_slot (assembler_name_hash, slot);
1589     }
1590
1591   if (kill_body)
1592     cgraph_release_function_body (node);
1593   node->decl = NULL;
1594   if (node->call_site_hash)
1595     {
1596       htab_delete (node->call_site_hash);
1597       node->call_site_hash = NULL;
1598     }
1599   cgraph_n_nodes--;
1600
1601   /* Clear out the node to NULL all pointers and add the node to the free
1602      list.  */
1603   memset (node, 0, sizeof(*node));
1604   node->uid = uid;
1605   NEXT_FREE_NODE (node) = free_nodes;
1606   free_nodes = node;
1607 }
1608
1609 /* Add NEW_ to the same comdat group that OLD is in.  */
1610
1611 void
1612 cgraph_add_to_same_comdat_group (struct cgraph_node *new_,
1613                                  struct cgraph_node *old)
1614 {
1615   gcc_assert (DECL_ONE_ONLY (old->decl));
1616   gcc_assert (!new_->same_comdat_group);
1617   gcc_assert (new_ != old);
1618
1619   DECL_COMDAT_GROUP (new_->decl) = DECL_COMDAT_GROUP (old->decl);
1620   new_->same_comdat_group = old;
1621   if (!old->same_comdat_group)
1622     old->same_comdat_group = new_;
1623   else
1624     {
1625       struct cgraph_node *n;
1626       for (n = old->same_comdat_group;
1627            n->same_comdat_group != old;
1628            n = n->same_comdat_group)
1629         ;
1630       n->same_comdat_group = new_;
1631     }
1632 }
1633
1634 /* Remove the node from cgraph.  */
1635
1636 void
1637 cgraph_remove_node_and_inline_clones (struct cgraph_node *node)
1638 {
1639   struct cgraph_edge *e, *next;
1640   for (e = node->callees; e; e = next)
1641     {
1642       next = e->next_callee;
1643       if (!e->inline_failed)
1644         cgraph_remove_node_and_inline_clones (e->callee);
1645     }
1646   cgraph_remove_node (node);
1647 }
1648
1649 /* Notify finalize_compilation_unit that given node is reachable.  */
1650
1651 void
1652 cgraph_mark_reachable_node (struct cgraph_node *node)
1653 {
1654   if (!node->reachable && node->local.finalized)
1655     {
1656       if (cgraph_global_info_ready)
1657         {
1658           /* Verify that function does not appear to be needed out of blue
1659              during the optimization process.  This can happen for extern
1660              inlines when bodies was removed after inlining.  */
1661           gcc_assert ((node->analyzed || node->in_other_partition
1662                        || DECL_EXTERNAL (node->decl)));
1663         }
1664       else
1665         notice_global_symbol (node->decl);
1666       node->reachable = 1;
1667
1668       node->next_needed = cgraph_nodes_queue;
1669       cgraph_nodes_queue = node;
1670     }
1671 }
1672
1673 /* Likewise indicate that a node is needed, i.e. reachable via some
1674    external means.  */
1675
1676 void
1677 cgraph_mark_needed_node (struct cgraph_node *node)
1678 {
1679   node->needed = 1;
1680   gcc_assert (!node->global.inlined_to);
1681   cgraph_mark_reachable_node (node);
1682 }
1683
1684 /* Likewise indicate that a node is having address taken.  */
1685
1686 void
1687 cgraph_mark_address_taken_node (struct cgraph_node *node)
1688 {
1689   gcc_assert (!node->global.inlined_to);
1690   cgraph_mark_reachable_node (node);
1691   /* FIXME: address_taken flag is used both as a shortcut for testing whether
1692      IPA_REF_ADDR reference exists (and thus it should be set on node
1693      representing alias we take address of) and as a test whether address
1694      of the object was taken (and thus it should be set on node alias is
1695      referring to).  We should remove the first use and the remove the
1696      following set.  */
1697   node->address_taken = 1;
1698   node = cgraph_function_or_thunk_node (node, NULL);
1699   node->address_taken = 1;
1700 }
1701
1702 /* Return local info for the compiled function.  */
1703
1704 struct cgraph_local_info *
1705 cgraph_local_info (tree decl)
1706 {
1707   struct cgraph_node *node;
1708
1709   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
1710   node = cgraph_get_node (decl);
1711   if (!node)
1712     return NULL;
1713   return &node->local;
1714 }
1715
1716 /* Return local info for the compiled function.  */
1717
1718 struct cgraph_global_info *
1719 cgraph_global_info (tree decl)
1720 {
1721   struct cgraph_node *node;
1722
1723   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL && cgraph_global_info_ready);
1724   node = cgraph_get_node (decl);
1725   if (!node)
1726     return NULL;
1727   return &node->global;
1728 }
1729
1730 /* Return local info for the compiled function.  */
1731
1732 struct cgraph_rtl_info *
1733 cgraph_rtl_info (tree decl)
1734 {
1735   struct cgraph_node *node;
1736
1737   gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
1738   node = cgraph_get_node (decl);
1739   if (!node
1740       || (decl != current_function_decl
1741           && !TREE_ASM_WRITTEN (node->decl)))
1742     return NULL;
1743   return &node->rtl;
1744 }
1745
1746 /* Return a string describing the failure REASON.  */
1747
1748 const char*
1749 cgraph_inline_failed_string (cgraph_inline_failed_t reason)
1750 {
1751 #undef DEFCIFCODE
1752 #define DEFCIFCODE(code, string)        string,
1753
1754   static const char *cif_string_table[CIF_N_REASONS] = {
1755 #include "cif-code.def"
1756   };
1757
1758   /* Signedness of an enum type is implementation defined, so cast it
1759      to unsigned before testing. */
1760   gcc_assert ((unsigned) reason < CIF_N_REASONS);
1761   return cif_string_table[reason];
1762 }
1763
1764 /* Return name of the node used in debug output.  */
1765 const char *
1766 cgraph_node_name (struct cgraph_node *node)
1767 {
1768   return lang_hooks.decl_printable_name (node->decl, 2);
1769 }
1770
1771 /* Names used to print out the availability enum.  */
1772 const char * const cgraph_availability_names[] =
1773   {"unset", "not_available", "overwritable", "available", "local"};
1774
1775
1776 /* Dump call graph node NODE to file F.  */
1777
1778 void
1779 dump_cgraph_node (FILE *f, struct cgraph_node *node)
1780 {
1781   struct cgraph_edge *edge;
1782   int indirect_calls_count = 0;
1783
1784   fprintf (f, "%s/%i", cgraph_node_name (node), node->uid);
1785   dump_addr (f, " @", (void *)node);
1786   if (DECL_ASSEMBLER_NAME_SET_P (node->decl))
1787     fprintf (f, " (asm: %s)", IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (node->decl)));
1788   if (node->global.inlined_to)
1789     fprintf (f, " (inline copy in %s/%i)",
1790              cgraph_node_name (node->global.inlined_to),
1791              node->global.inlined_to->uid);
1792   if (node->same_comdat_group)
1793     fprintf (f, " (same comdat group as %s/%i)",
1794              cgraph_node_name (node->same_comdat_group),
1795              node->same_comdat_group->uid);
1796   if (node->clone_of)
1797     fprintf (f, " (clone of %s/%i)",
1798              cgraph_node_name (node->clone_of),
1799              node->clone_of->uid);
1800   if (cgraph_function_flags_ready)
1801     fprintf (f, " availability:%s",
1802              cgraph_availability_names [cgraph_function_body_availability (node)]);
1803   if (node->analyzed)
1804     fprintf (f, " analyzed");
1805   if (node->in_other_partition)
1806     fprintf (f, " in_other_partition");
1807   if (node->count)
1808     fprintf (f, " executed "HOST_WIDEST_INT_PRINT_DEC"x",
1809              (HOST_WIDEST_INT)node->count);
1810   if (node->origin)
1811     fprintf (f, " nested in: %s", cgraph_node_name (node->origin));
1812   if (node->needed)
1813     fprintf (f, " needed");
1814   if (node->address_taken)
1815     fprintf (f, " address_taken");
1816   else if (node->reachable)
1817     fprintf (f, " reachable");
1818   else if (node->reachable_from_other_partition)
1819     fprintf (f, " reachable_from_other_partition");
1820   if (gimple_has_body_p (node->decl))
1821     fprintf (f, " body");
1822   if (node->process)
1823     fprintf (f, " process");
1824   if (node->local.local)
1825     fprintf (f, " local");
1826   if (node->local.externally_visible)
1827     fprintf (f, " externally_visible");
1828   if (node->resolution != LDPR_UNKNOWN)
1829     fprintf (f, " %s",
1830              ld_plugin_symbol_resolution_names[(int)node->resolution]);
1831   if (node->local.finalized)
1832     fprintf (f, " finalized");
1833   if (node->local.redefined_extern_inline)
1834     fprintf (f, " redefined_extern_inline");
1835   if (TREE_ASM_WRITTEN (node->decl))
1836     fprintf (f, " asm_written");
1837   if (node->only_called_at_startup)
1838     fprintf (f, " only_called_at_startup");
1839   if (node->only_called_at_exit)
1840     fprintf (f, " only_called_at_exit");
1841   else if (node->alias)
1842     fprintf (f, " alias");
1843
1844   fprintf (f, "\n");
1845
1846   if (node->thunk.thunk_p)
1847     {
1848       fprintf (f, "  thunk of %s (asm: %s) fixed offset %i virtual value %i has "
1849                "virtual offset %i)\n",
1850                lang_hooks.decl_printable_name (node->thunk.alias, 2),
1851                IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (node->thunk.alias)),
1852                (int)node->thunk.fixed_offset,
1853                (int)node->thunk.virtual_value,
1854                (int)node->thunk.virtual_offset_p);
1855     }
1856   if (node->alias && node->thunk.alias)
1857     {
1858       fprintf (f, "  alias of %s",
1859                lang_hooks.decl_printable_name (node->thunk.alias, 2));
1860       if (DECL_ASSEMBLER_NAME_SET_P (node->thunk.alias))
1861         fprintf (f, " (asm: %s)",
1862                  IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (node->thunk.alias)));
1863       fprintf (f, "\n");
1864     }
1865   
1866   fprintf (f, "  called by: ");
1867
1868   for (edge = node->callers; edge; edge = edge->next_caller)
1869     {
1870       fprintf (f, "%s/%i ", cgraph_node_name (edge->caller),
1871                edge->caller->uid);
1872       if (edge->count)
1873         fprintf (f, "("HOST_WIDEST_INT_PRINT_DEC"x) ",
1874                  (HOST_WIDEST_INT)edge->count);
1875       if (edge->frequency)
1876         fprintf (f, "(%.2f per call) ",
1877                  edge->frequency / (double)CGRAPH_FREQ_BASE);
1878       if (!edge->inline_failed)
1879         fprintf(f, "(inlined) ");
1880       if (edge->indirect_inlining_edge)
1881         fprintf(f, "(indirect_inlining) ");
1882       if (edge->can_throw_external)
1883         fprintf(f, "(can throw external) ");
1884     }
1885
1886   fprintf (f, "\n  calls: ");
1887   for (edge = node->callees; edge; edge = edge->next_callee)
1888     {
1889       fprintf (f, "%s/%i ", cgraph_node_name (edge->callee),
1890                edge->callee->uid);
1891       if (!edge->inline_failed)
1892         fprintf(f, "(inlined) ");
1893       if (edge->indirect_inlining_edge)
1894         fprintf(f, "(indirect_inlining) ");
1895       if (edge->count)
1896         fprintf (f, "("HOST_WIDEST_INT_PRINT_DEC"x) ",
1897                  (HOST_WIDEST_INT)edge->count);
1898       if (edge->frequency)
1899         fprintf (f, "(%.2f per call) ",
1900                  edge->frequency / (double)CGRAPH_FREQ_BASE);
1901       if (edge->can_throw_external)
1902         fprintf(f, "(can throw external) ");
1903     }
1904   fprintf (f, "\n");
1905   fprintf (f, "  References: ");
1906   ipa_dump_references (f, &node->ref_list);
1907   fprintf (f, "  Refering this function: ");
1908   ipa_dump_refering (f, &node->ref_list);
1909
1910   for (edge = node->indirect_calls; edge; edge = edge->next_callee)
1911     indirect_calls_count++;
1912   if (indirect_calls_count)
1913     fprintf (f, "  has %i outgoing edges for indirect calls.\n",
1914              indirect_calls_count);
1915 }
1916
1917
1918 /* Dump call graph node NODE to stderr.  */
1919
1920 DEBUG_FUNCTION void
1921 debug_cgraph_node (struct cgraph_node *node)
1922 {
1923   dump_cgraph_node (stderr, node);
1924 }
1925
1926
1927 /* Dump the callgraph to file F.  */
1928
1929 void
1930 dump_cgraph (FILE *f)
1931 {
1932   struct cgraph_node *node;
1933
1934   fprintf (f, "callgraph:\n\n");
1935   for (node = cgraph_nodes; node; node = node->next)
1936     dump_cgraph_node (f, node);
1937 }
1938
1939
1940 /* Dump the call graph to stderr.  */
1941
1942 DEBUG_FUNCTION void
1943 debug_cgraph (void)
1944 {
1945   dump_cgraph (stderr);
1946 }
1947
1948
1949 /* Set the DECL_ASSEMBLER_NAME and update cgraph hashtables.  */
1950
1951 void
1952 change_decl_assembler_name (tree decl, tree name)
1953 {
1954   struct cgraph_node *node;
1955   void **slot;
1956   if (!DECL_ASSEMBLER_NAME_SET_P (decl))
1957     SET_DECL_ASSEMBLER_NAME (decl, name);
1958   else
1959     {
1960       if (name == DECL_ASSEMBLER_NAME (decl))
1961         return;
1962
1963       if (assembler_name_hash
1964           && TREE_CODE (decl) == FUNCTION_DECL
1965           && (node = cgraph_get_node (decl)) != NULL)
1966         {
1967           tree old_name = DECL_ASSEMBLER_NAME (decl);
1968           slot = htab_find_slot_with_hash (assembler_name_hash, old_name,
1969                                            decl_assembler_name_hash (old_name),
1970                                            NO_INSERT);
1971           /* Inline clones are not hashed.  */
1972           if (slot && *slot == node)
1973             htab_clear_slot (assembler_name_hash, slot);
1974         }
1975       if (TREE_SYMBOL_REFERENCED (DECL_ASSEMBLER_NAME (decl))
1976           && DECL_RTL_SET_P (decl))
1977         warning (0, "%D renamed after being referenced in assembly", decl);
1978
1979       SET_DECL_ASSEMBLER_NAME (decl, name);
1980     }
1981   if (assembler_name_hash
1982       && TREE_CODE (decl) == FUNCTION_DECL
1983       && (node = cgraph_get_node (decl)) != NULL)
1984     {
1985       slot = htab_find_slot_with_hash (assembler_name_hash, name,
1986                                        decl_assembler_name_hash (name),
1987                                        INSERT);
1988       gcc_assert (!*slot);
1989       *slot = node;
1990     }
1991 }
1992
1993 /* Add a top-level asm statement to the list.  */
1994
1995 struct cgraph_asm_node *
1996 cgraph_add_asm_node (tree asm_str)
1997 {
1998   struct cgraph_asm_node *node;
1999
2000   node = ggc_alloc_cleared_cgraph_asm_node ();
2001   node->asm_str = asm_str;
2002   node->order = cgraph_order++;
2003   node->next = NULL;
2004   if (cgraph_asm_nodes == NULL)
2005     cgraph_asm_nodes = node;
2006   else
2007     cgraph_asm_last_node->next = node;
2008   cgraph_asm_last_node = node;
2009   return node;
2010 }
2011
2012 /* Return true when the DECL can possibly be inlined.  */
2013 bool
2014 cgraph_function_possibly_inlined_p (tree decl)
2015 {
2016   if (!cgraph_global_info_ready)
2017     return !DECL_UNINLINABLE (decl);
2018   return DECL_POSSIBLY_INLINED (decl);
2019 }
2020
2021 /* Create clone of E in the node N represented by CALL_EXPR the callgraph.  */
2022 struct cgraph_edge *
2023 cgraph_clone_edge (struct cgraph_edge *e, struct cgraph_node *n,
2024                    gimple call_stmt, unsigned stmt_uid, gcov_type count_scale,
2025                    int freq_scale, bool update_original)
2026 {
2027   struct cgraph_edge *new_edge;
2028   gcov_type count = e->count * count_scale / REG_BR_PROB_BASE;
2029   gcov_type freq;
2030
2031   /* We do not want to ignore loop nest after frequency drops to 0.  */
2032   if (!freq_scale)
2033     freq_scale = 1;
2034   freq = e->frequency * (gcov_type) freq_scale / CGRAPH_FREQ_BASE;
2035   if (freq > CGRAPH_FREQ_MAX)
2036     freq = CGRAPH_FREQ_MAX;
2037
2038   if (e->indirect_unknown_callee)
2039     {
2040       tree decl;
2041
2042       if (call_stmt && (decl = gimple_call_fndecl (call_stmt)))
2043         {
2044           struct cgraph_node *callee = cgraph_get_node (decl);
2045           gcc_checking_assert (callee);
2046           new_edge = cgraph_create_edge (n, callee, call_stmt, count, freq);
2047         }
2048       else
2049         {
2050           new_edge = cgraph_create_indirect_edge (n, call_stmt,
2051                                                   e->indirect_info->ecf_flags,
2052                                                   count, freq);
2053           *new_edge->indirect_info = *e->indirect_info;
2054         }
2055     }
2056   else
2057     {
2058       new_edge = cgraph_create_edge (n, e->callee, call_stmt, count, freq);
2059       if (e->indirect_info)
2060         {
2061           new_edge->indirect_info
2062             = ggc_alloc_cleared_cgraph_indirect_call_info ();
2063           *new_edge->indirect_info = *e->indirect_info;
2064         }
2065     }
2066
2067   new_edge->inline_failed = e->inline_failed;
2068   new_edge->indirect_inlining_edge = e->indirect_inlining_edge;
2069   new_edge->lto_stmt_uid = stmt_uid;
2070   /* Clone flags that depend on call_stmt availability manually.  */
2071   new_edge->can_throw_external = e->can_throw_external;
2072   new_edge->call_stmt_cannot_inline_p = e->call_stmt_cannot_inline_p;
2073   if (update_original)
2074     {
2075       e->count -= new_edge->count;
2076       if (e->count < 0)
2077         e->count = 0;
2078     }
2079   cgraph_call_edge_duplication_hooks (e, new_edge);
2080   return new_edge;
2081 }
2082
2083
2084 /* Create node representing clone of N executed COUNT times.  Decrease
2085    the execution counts from original node too.
2086    The new clone will have decl set to DECL that may or may not be the same
2087    as decl of N.
2088
2089    When UPDATE_ORIGINAL is true, the counts are subtracted from the original
2090    function's profile to reflect the fact that part of execution is handled
2091    by node.  
2092    When CALL_DUPLICATOIN_HOOK is true, the ipa passes are acknowledged about
2093    the new clone. Otherwise the caller is responsible for doing so later.  */
2094
2095 struct cgraph_node *
2096 cgraph_clone_node (struct cgraph_node *n, tree decl, gcov_type count, int freq,
2097                    bool update_original,
2098                    VEC(cgraph_edge_p,heap) *redirect_callers,
2099                    bool call_duplication_hook)
2100 {
2101   struct cgraph_node *new_node = cgraph_create_node_1 ();
2102   struct cgraph_edge *e;
2103   gcov_type count_scale;
2104   unsigned i;
2105
2106   new_node->decl = decl;
2107   new_node->origin = n->origin;
2108   if (new_node->origin)
2109     {
2110       new_node->next_nested = new_node->origin->nested;
2111       new_node->origin->nested = new_node;
2112     }
2113   new_node->analyzed = n->analyzed;
2114   new_node->local = n->local;
2115   new_node->local.externally_visible = false;
2116   new_node->local.local = true;
2117   new_node->global = n->global;
2118   new_node->rtl = n->rtl;
2119   new_node->count = count;
2120   new_node->frequency = n->frequency;
2121   new_node->clone = n->clone;
2122   new_node->clone.tree_map = 0;
2123   if (n->count)
2124     {
2125       if (new_node->count > n->count)
2126         count_scale = REG_BR_PROB_BASE;
2127       else
2128         count_scale = new_node->count * REG_BR_PROB_BASE / n->count;
2129     }
2130   else
2131     count_scale = 0;
2132   if (update_original)
2133     {
2134       n->count -= count;
2135       if (n->count < 0)
2136         n->count = 0;
2137     }
2138
2139   FOR_EACH_VEC_ELT (cgraph_edge_p, redirect_callers, i, e)
2140     {
2141       /* Redirect calls to the old version node to point to its new
2142          version.  */
2143       cgraph_redirect_edge_callee (e, new_node);
2144     }
2145
2146
2147   for (e = n->callees;e; e=e->next_callee)
2148     cgraph_clone_edge (e, new_node, e->call_stmt, e->lto_stmt_uid,
2149                        count_scale, freq, update_original);
2150
2151   for (e = n->indirect_calls; e; e = e->next_callee)
2152     cgraph_clone_edge (e, new_node, e->call_stmt, e->lto_stmt_uid,
2153                        count_scale, freq, update_original);
2154   ipa_clone_references (new_node, NULL, &n->ref_list);
2155
2156   new_node->next_sibling_clone = n->clones;
2157   if (n->clones)
2158     n->clones->prev_sibling_clone = new_node;
2159   n->clones = new_node;
2160   new_node->clone_of = n;
2161
2162   if (n->decl != decl)
2163     {
2164       struct cgraph_node **slot;
2165       slot = (struct cgraph_node **) htab_find_slot (cgraph_hash, new_node, INSERT);
2166       gcc_assert (!*slot);
2167       *slot = new_node;
2168       if (assembler_name_hash)
2169         {
2170           void **aslot;
2171           tree name = DECL_ASSEMBLER_NAME (decl);
2172
2173           aslot = htab_find_slot_with_hash (assembler_name_hash, name,
2174                                             decl_assembler_name_hash (name),
2175                                             INSERT);
2176           gcc_assert (!*aslot);
2177           *aslot = new_node;
2178         }
2179     }
2180
2181   if (call_duplication_hook)
2182     cgraph_call_node_duplication_hooks (n, new_node);
2183   return new_node;
2184 }
2185
2186 /* Create a new name for clone of DECL, add SUFFIX.  Returns an identifier.  */
2187
2188 static GTY(()) unsigned int clone_fn_id_num;
2189
2190 tree
2191 clone_function_name (tree decl, const char *suffix)
2192 {
2193   tree name = DECL_ASSEMBLER_NAME (decl);
2194   size_t len = IDENTIFIER_LENGTH (name);
2195   char *tmp_name, *prefix;
2196
2197   prefix = XALLOCAVEC (char, len + strlen (suffix) + 2);
2198   memcpy (prefix, IDENTIFIER_POINTER (name), len);
2199   strcpy (prefix + len + 1, suffix);
2200 #ifndef NO_DOT_IN_LABEL
2201   prefix[len] = '.';
2202 #elif !defined NO_DOLLAR_IN_LABEL
2203   prefix[len] = '$';
2204 #else
2205   prefix[len] = '_';
2206 #endif
2207   ASM_FORMAT_PRIVATE_NAME (tmp_name, prefix, clone_fn_id_num++);
2208   return get_identifier (tmp_name);
2209 }
2210
2211 /* Create callgraph node clone with new declaration.  The actual body will
2212    be copied later at compilation stage.
2213
2214    TODO: after merging in ipa-sra use function call notes instead of args_to_skip
2215    bitmap interface.
2216    */
2217 struct cgraph_node *
2218 cgraph_create_virtual_clone (struct cgraph_node *old_node,
2219                              VEC(cgraph_edge_p,heap) *redirect_callers,
2220                              VEC(ipa_replace_map_p,gc) *tree_map,
2221                              bitmap args_to_skip,
2222                              const char * suffix)
2223 {
2224   tree old_decl = old_node->decl;
2225   struct cgraph_node *new_node = NULL;
2226   tree new_decl;
2227   size_t i;
2228   struct ipa_replace_map *map;
2229
2230   if (!flag_wpa)
2231     gcc_checking_assert  (tree_versionable_function_p (old_decl));
2232
2233   gcc_assert (old_node->local.can_change_signature || !args_to_skip);
2234
2235   /* Make a new FUNCTION_DECL tree node */
2236   if (!args_to_skip)
2237     new_decl = copy_node (old_decl);
2238   else
2239     new_decl = build_function_decl_skip_args (old_decl, args_to_skip);
2240   DECL_STRUCT_FUNCTION (new_decl) = NULL;
2241
2242   /* Generate a new name for the new version. */
2243   DECL_NAME (new_decl) = clone_function_name (old_decl, suffix);
2244   SET_DECL_ASSEMBLER_NAME (new_decl, DECL_NAME (new_decl));
2245   SET_DECL_RTL (new_decl, NULL);
2246
2247   new_node = cgraph_clone_node (old_node, new_decl, old_node->count,
2248                                 CGRAPH_FREQ_BASE, false,
2249                                 redirect_callers, false);
2250   /* Update the properties.
2251      Make clone visible only within this translation unit.  Make sure
2252      that is not weak also.
2253      ??? We cannot use COMDAT linkage because there is no
2254      ABI support for this.  */
2255   DECL_EXTERNAL (new_node->decl) = 0;
2256   if (DECL_ONE_ONLY (old_decl))
2257     DECL_SECTION_NAME (new_node->decl) = NULL;
2258   DECL_COMDAT_GROUP (new_node->decl) = 0;
2259   TREE_PUBLIC (new_node->decl) = 0;
2260   DECL_COMDAT (new_node->decl) = 0;
2261   DECL_WEAK (new_node->decl) = 0;
2262   DECL_STATIC_CONSTRUCTOR (new_node->decl) = 0;
2263   DECL_STATIC_DESTRUCTOR (new_node->decl) = 0;
2264   new_node->clone.tree_map = tree_map;
2265   new_node->clone.args_to_skip = args_to_skip;
2266   FOR_EACH_VEC_ELT (ipa_replace_map_p, tree_map, i, map)
2267     {
2268       tree var = map->new_tree;
2269
2270       STRIP_NOPS (var);
2271       if (TREE_CODE (var) != ADDR_EXPR)
2272         continue;
2273       var = get_base_var (var);
2274       if (!var)
2275         continue;
2276
2277       /* Record references of the future statement initializing the constant
2278          argument.  */
2279       if (TREE_CODE (var) == FUNCTION_DECL)
2280         {
2281           struct cgraph_node *ref_node = cgraph_get_node (var);
2282           gcc_checking_assert (ref_node);
2283           ipa_record_reference (new_node, NULL, ref_node, NULL, IPA_REF_ADDR,
2284                                 NULL);
2285         }
2286       else if (TREE_CODE (var) == VAR_DECL)
2287         ipa_record_reference (new_node, NULL, NULL, varpool_node (var),
2288                               IPA_REF_ADDR, NULL);
2289     }
2290   if (!args_to_skip)
2291     new_node->clone.combined_args_to_skip = old_node->clone.combined_args_to_skip;
2292   else if (old_node->clone.combined_args_to_skip)
2293     {
2294       int newi = 0, oldi = 0;
2295       tree arg;
2296       bitmap new_args_to_skip = BITMAP_GGC_ALLOC ();
2297       struct cgraph_node *orig_node;
2298       for (orig_node = old_node; orig_node->clone_of; orig_node = orig_node->clone_of)
2299         ;
2300       for (arg = DECL_ARGUMENTS (orig_node->decl); arg; arg = DECL_CHAIN (arg), oldi++)
2301         {
2302           if (bitmap_bit_p (old_node->clone.combined_args_to_skip, oldi))
2303             {
2304               bitmap_set_bit (new_args_to_skip, oldi);
2305               continue;
2306             }
2307           if (bitmap_bit_p (args_to_skip, newi))
2308             bitmap_set_bit (new_args_to_skip, oldi);
2309           newi++;
2310         }
2311       new_node->clone.combined_args_to_skip = new_args_to_skip;
2312     }
2313   else
2314     new_node->clone.combined_args_to_skip = args_to_skip;
2315   new_node->local.externally_visible = 0;
2316   new_node->local.local = 1;
2317   new_node->lowered = true;
2318   new_node->reachable = true;
2319
2320   cgraph_call_node_duplication_hooks (old_node, new_node);
2321
2322
2323   return new_node;
2324 }
2325
2326 /* NODE is no longer nested function; update cgraph accordingly.  */
2327 void
2328 cgraph_unnest_node (struct cgraph_node *node)
2329 {
2330   struct cgraph_node **node2 = &node->origin->nested;
2331   gcc_assert (node->origin);
2332
2333   while (*node2 != node)
2334     node2 = &(*node2)->next_nested;
2335   *node2 = node->next_nested;
2336   node->origin = NULL;
2337 }
2338
2339 /* Return function availability.  See cgraph.h for description of individual
2340    return values.  */
2341 enum availability
2342 cgraph_function_body_availability (struct cgraph_node *node)
2343 {
2344   enum availability avail;
2345   gcc_assert (cgraph_function_flags_ready);
2346   if (!node->analyzed)
2347     avail = AVAIL_NOT_AVAILABLE;
2348   else if (node->local.local)
2349     avail = AVAIL_LOCAL;
2350   else if (!node->local.externally_visible)
2351     avail = AVAIL_AVAILABLE;
2352   /* Inline functions are safe to be analyzed even if their symbol can
2353      be overwritten at runtime.  It is not meaningful to enforce any sane
2354      behaviour on replacing inline function by different body.  */
2355   else if (DECL_DECLARED_INLINE_P (node->decl))
2356     avail = AVAIL_AVAILABLE;
2357
2358   /* If the function can be overwritten, return OVERWRITABLE.  Take
2359      care at least of two notable extensions - the COMDAT functions
2360      used to share template instantiations in C++ (this is symmetric
2361      to code cp_cannot_inline_tree_fn and probably shall be shared and
2362      the inlinability hooks completely eliminated).
2363
2364      ??? Does the C++ one definition rule allow us to always return
2365      AVAIL_AVAILABLE here?  That would be good reason to preserve this
2366      bit.  */
2367
2368   else if (decl_replaceable_p (node->decl) && !DECL_EXTERNAL (node->decl))
2369     avail = AVAIL_OVERWRITABLE;
2370   else avail = AVAIL_AVAILABLE;
2371
2372   return avail;
2373 }
2374
2375 /* Add the function FNDECL to the call graph.
2376    Unlike cgraph_finalize_function, this function is intended to be used
2377    by middle end and allows insertion of new function at arbitrary point
2378    of compilation.  The function can be either in high, low or SSA form
2379    GIMPLE.
2380
2381    The function is assumed to be reachable and have address taken (so no
2382    API breaking optimizations are performed on it).
2383
2384    Main work done by this function is to enqueue the function for later
2385    processing to avoid need the passes to be re-entrant.  */
2386
2387 void
2388 cgraph_add_new_function (tree fndecl, bool lowered)
2389 {
2390   struct cgraph_node *node;
2391   switch (cgraph_state)
2392     {
2393       case CGRAPH_STATE_CONSTRUCTION:
2394         /* Just enqueue function to be processed at nearest occurrence.  */
2395         node = cgraph_create_node (fndecl);
2396         node->next_needed = cgraph_new_nodes;
2397         if (lowered)
2398           node->lowered = true;
2399         cgraph_new_nodes = node;
2400         break;
2401
2402       case CGRAPH_STATE_IPA:
2403       case CGRAPH_STATE_IPA_SSA:
2404       case CGRAPH_STATE_EXPANSION:
2405         /* Bring the function into finalized state and enqueue for later
2406            analyzing and compilation.  */
2407         node = cgraph_get_create_node (fndecl);
2408         node->local.local = false;
2409         node->local.finalized = true;
2410         node->reachable = node->needed = true;
2411         if (!lowered && cgraph_state == CGRAPH_STATE_EXPANSION)
2412           {
2413             push_cfun (DECL_STRUCT_FUNCTION (fndecl));
2414             current_function_decl = fndecl;
2415             gimple_register_cfg_hooks ();
2416             tree_lowering_passes (fndecl);
2417             bitmap_obstack_initialize (NULL);
2418             if (!gimple_in_ssa_p (DECL_STRUCT_FUNCTION (fndecl)))
2419               execute_pass_list (pass_early_local_passes.pass.sub);
2420             bitmap_obstack_release (NULL);
2421             pop_cfun ();
2422             current_function_decl = NULL;
2423
2424             lowered = true;
2425           }
2426         if (lowered)
2427           node->lowered = true;
2428         node->next_needed = cgraph_new_nodes;
2429         cgraph_new_nodes = node;
2430         break;
2431
2432       case CGRAPH_STATE_FINISHED:
2433         /* At the very end of compilation we have to do all the work up
2434            to expansion.  */
2435         node = cgraph_create_node (fndecl);
2436         if (lowered)
2437           node->lowered = true;
2438         cgraph_analyze_function (node);
2439         push_cfun (DECL_STRUCT_FUNCTION (fndecl));
2440         current_function_decl = fndecl;
2441         gimple_register_cfg_hooks ();
2442         bitmap_obstack_initialize (NULL);
2443         if (!gimple_in_ssa_p (DECL_STRUCT_FUNCTION (fndecl)))
2444           execute_pass_list (pass_early_local_passes.pass.sub);
2445         bitmap_obstack_release (NULL);
2446         tree_rest_of_compilation (fndecl);
2447         pop_cfun ();
2448         current_function_decl = NULL;
2449         break;
2450     }
2451
2452   /* Set a personality if required and we already passed EH lowering.  */
2453   if (lowered
2454       && (function_needs_eh_personality (DECL_STRUCT_FUNCTION (fndecl))
2455           == eh_personality_lang))
2456     DECL_FUNCTION_PERSONALITY (fndecl) = lang_hooks.eh_personality ();
2457 }
2458
2459 /* Worker for cgraph_node_can_be_local_p.  */
2460 static bool
2461 cgraph_node_cannot_be_local_p_1 (struct cgraph_node *node,
2462                                  void *data ATTRIBUTE_UNUSED)
2463 {
2464   return !(!node->needed
2465            && ((DECL_COMDAT (node->decl) && !node->same_comdat_group)
2466                || !node->local.externally_visible));
2467 }
2468
2469 /* Return true if NODE can be made local for API change.
2470    Extern inline functions and C++ COMDAT functions can be made local
2471    at the expense of possible code size growth if function is used in multiple
2472    compilation units.  */
2473 bool
2474 cgraph_node_can_be_local_p (struct cgraph_node *node)
2475 {
2476   return (!node->address_taken
2477           && !cgraph_for_node_and_aliases (node,
2478                                            cgraph_node_cannot_be_local_p_1,
2479                                            NULL, true));
2480 }
2481
2482 /* Make DECL local.  FIXME: We shouldn't need to mess with rtl this early,
2483    but other code such as notice_global_symbol generates rtl.  */
2484 void
2485 cgraph_make_decl_local (tree decl)
2486 {
2487   rtx rtl, symbol;
2488
2489   if (TREE_CODE (decl) == VAR_DECL)
2490     DECL_COMMON (decl) = 0;
2491   else gcc_assert (TREE_CODE (decl) == FUNCTION_DECL);
2492
2493   if (DECL_ONE_ONLY (decl) || DECL_COMDAT (decl))
2494     {
2495       /* It is possible that we are linking against library defining same COMDAT
2496          function.  To avoid conflict we need to rename our local name of the
2497          function just in the case WHOPR partitioning decide to make it hidden
2498          to avoid cross partition references.  */
2499       if (flag_wpa)
2500         {
2501           const char *old_name;
2502
2503           old_name  = IDENTIFIER_POINTER (DECL_ASSEMBLER_NAME (decl));
2504           if (TREE_CODE (decl) == FUNCTION_DECL)
2505             {
2506               struct cgraph_node *node = cgraph_get_node (decl);
2507               change_decl_assembler_name (decl,
2508                                           clone_function_name (decl, "local"));
2509               if (node->local.lto_file_data)
2510                 lto_record_renamed_decl (node->local.lto_file_data,
2511                                          old_name,
2512                                          IDENTIFIER_POINTER
2513                                            (DECL_ASSEMBLER_NAME (decl)));
2514             }
2515           else if (TREE_CODE (decl) == VAR_DECL)
2516             {
2517               struct varpool_node *vnode = varpool_get_node (decl);
2518               /* change_decl_assembler_name will warn here on vtables because
2519                  C++ frontend still sets TREE_SYMBOL_REFERENCED on them.  */
2520               SET_DECL_ASSEMBLER_NAME (decl,
2521                                        clone_function_name (decl, "local"));
2522               if (vnode->lto_file_data)
2523                 lto_record_renamed_decl (vnode->lto_file_data,
2524                                          old_name,
2525                                          IDENTIFIER_POINTER
2526                                            (DECL_ASSEMBLER_NAME (decl)));
2527             }
2528         }
2529       DECL_SECTION_NAME (decl) = 0;
2530       DECL_COMDAT (decl) = 0;
2531     }
2532   DECL_COMDAT_GROUP (decl) = 0;
2533   DECL_WEAK (decl) = 0;
2534   DECL_EXTERNAL (decl) = 0;
2535   TREE_PUBLIC (decl) = 0;
2536   if (!DECL_RTL_SET_P (decl))
2537     return;
2538
2539   /* Update rtl flags.  */
2540   make_decl_rtl (decl);
2541
2542   rtl = DECL_RTL (decl);
2543   if (!MEM_P (rtl))
2544     return;
2545
2546   symbol = XEXP (rtl, 0);
2547   if (GET_CODE (symbol) != SYMBOL_REF)
2548     return;
2549
2550   SYMBOL_REF_WEAK (symbol) = DECL_WEAK (decl);
2551 }
2552
2553 /* Call calback on NODE, thunks and aliases asociated to NODE. 
2554    When INCLUDE_OVERWRITABLE is false, overwritable aliases and thunks are
2555    skipped. */
2556
2557 bool
2558 cgraph_for_node_thunks_and_aliases (struct cgraph_node *node,
2559                                     bool (*callback) (struct cgraph_node *, void *),
2560                                     void *data,
2561                                     bool include_overwritable)
2562 {
2563   struct cgraph_edge *e;
2564   int i;
2565   struct ipa_ref *ref;
2566
2567   if (callback (node, data))
2568     return true;
2569   for (e = node->callers; e; e = e->next_caller)
2570     if (e->caller->thunk.thunk_p
2571         && (include_overwritable
2572             || cgraph_function_body_availability (e->caller) > AVAIL_OVERWRITABLE))
2573       if (cgraph_for_node_thunks_and_aliases (e->caller, callback, data,
2574                                               include_overwritable))
2575         return true;
2576   for (i = 0; ipa_ref_list_refering_iterate (&node->ref_list, i, ref); i++)
2577     if (ref->use == IPA_REF_ALIAS)
2578       {
2579         struct cgraph_node *alias = ipa_ref_refering_node (ref);
2580         if (include_overwritable
2581             || cgraph_function_body_availability (alias) > AVAIL_OVERWRITABLE)
2582           if (cgraph_for_node_thunks_and_aliases (alias, callback, data,
2583                                                   include_overwritable))
2584             return true;
2585       }
2586   return false;
2587 }
2588
2589 /* Call calback on NODE and aliases asociated to NODE. 
2590    When INCLUDE_OVERWRITABLE is false, overwritable aliases and thunks are
2591    skipped. */
2592
2593 bool
2594 cgraph_for_node_and_aliases (struct cgraph_node *node,
2595                              bool (*callback) (struct cgraph_node *, void *),
2596                              void *data,
2597                              bool include_overwritable)
2598 {
2599   int i;
2600   struct ipa_ref *ref;
2601
2602   if (callback (node, data))
2603     return true;
2604   for (i = 0; ipa_ref_list_refering_iterate (&node->ref_list, i, ref); i++)
2605     if (ref->use == IPA_REF_ALIAS)
2606       {
2607         struct cgraph_node *alias = ipa_ref_refering_node (ref);
2608         if (include_overwritable
2609             || cgraph_function_body_availability (alias) > AVAIL_OVERWRITABLE)
2610           if (cgraph_for_node_and_aliases (alias, callback, data,
2611                                            include_overwritable))
2612             return true;
2613       }
2614   return false;
2615 }
2616
2617 /* Worker to bring NODE local.  */
2618
2619 static bool
2620 cgraph_make_node_local_1 (struct cgraph_node *node, void *data ATTRIBUTE_UNUSED)
2621 {
2622   gcc_checking_assert (cgraph_node_can_be_local_p (node));
2623   if (DECL_COMDAT (node->decl) || DECL_EXTERNAL (node->decl))
2624     {
2625       cgraph_make_decl_local (node->decl);
2626
2627       node->local.externally_visible = false;
2628       node->local.local = true;
2629       node->resolution = LDPR_PREVAILING_DEF_IRONLY;
2630       gcc_assert (cgraph_function_body_availability (node) == AVAIL_LOCAL);
2631     }
2632   return false;
2633 }
2634
2635 /* Bring NODE local.  */
2636
2637 void
2638 cgraph_make_node_local (struct cgraph_node *node)
2639 {
2640   cgraph_for_node_thunks_and_aliases (node, cgraph_make_node_local_1,
2641                                       NULL, true);
2642 }
2643
2644 /* Worker to set nothrow flag.  */
2645
2646 static bool
2647 cgraph_set_nothrow_flag_1 (struct cgraph_node *node, void *data)
2648 {
2649   struct cgraph_edge *e;
2650
2651   TREE_NOTHROW (node->decl) = data != NULL;
2652
2653   if (data != NULL)
2654     for (e = node->callers; e; e = e->next_caller)
2655       e->can_throw_external = false;
2656   return false;
2657 }
2658
2659 /* Set TREE_NOTHROW on NODE's decl and on aliases of NODE
2660    if any to NOTHROW.  */
2661
2662 void
2663 cgraph_set_nothrow_flag (struct cgraph_node *node, bool nothrow)
2664 {
2665   cgraph_for_node_thunks_and_aliases (node, cgraph_set_nothrow_flag_1,
2666                                       (void *)(size_t)nothrow, false);
2667 }
2668
2669 /* Worker to set const flag.  */
2670
2671 static bool
2672 cgraph_set_const_flag_1 (struct cgraph_node *node, void *data)
2673 {
2674   /* Static constructors and destructors without a side effect can be
2675      optimized out.  */
2676   if (data && !((size_t)data & 2))
2677     {
2678       if (DECL_STATIC_CONSTRUCTOR (node->decl))
2679         DECL_STATIC_CONSTRUCTOR (node->decl) = 0;
2680       if (DECL_STATIC_DESTRUCTOR (node->decl))
2681         DECL_STATIC_DESTRUCTOR (node->decl) = 0;
2682     }
2683   TREE_READONLY (node->decl) = data != NULL;
2684   DECL_LOOPING_CONST_OR_PURE_P (node->decl) = ((size_t)data & 2) != 0;
2685   return false;
2686 }
2687
2688 /* Set TREE_READONLY on NODE's decl and on aliases of NODE
2689    if any to READONLY.  */
2690
2691 void
2692 cgraph_set_const_flag (struct cgraph_node *node, bool readonly, bool looping)
2693 {
2694   cgraph_for_node_thunks_and_aliases (node, cgraph_set_const_flag_1,
2695                                       (void *)(size_t)(readonly + (int)looping * 2),
2696                                       false);
2697 }
2698
2699 /* Worker to set pure flag.  */
2700
2701 static bool
2702 cgraph_set_pure_flag_1 (struct cgraph_node *node, void *data)
2703 {
2704   /* Static pureructors and destructors without a side effect can be
2705      optimized out.  */
2706   if (data && !((size_t)data & 2))
2707     {
2708       if (DECL_STATIC_CONSTRUCTOR (node->decl))
2709         DECL_STATIC_CONSTRUCTOR (node->decl) = 0;
2710       if (DECL_STATIC_DESTRUCTOR (node->decl))
2711         DECL_STATIC_DESTRUCTOR (node->decl) = 0;
2712     }
2713   DECL_PURE_P (node->decl) = data != NULL;
2714   DECL_LOOPING_CONST_OR_PURE_P (node->decl) = ((size_t)data & 2) != 0;
2715   return false;
2716 }
2717
2718 /* Set DECL_PURE_P on NODE's decl and on aliases of NODE
2719    if any to PURE.  */
2720
2721 void
2722 cgraph_set_pure_flag (struct cgraph_node *node, bool pure, bool looping)
2723 {
2724   cgraph_for_node_thunks_and_aliases (node, cgraph_set_pure_flag_1,
2725                                       (void *)(size_t)(pure + (int)looping * 2),
2726                                       false);
2727 }
2728
2729 /* Data used by cgraph_propagate_frequency.  */
2730
2731 struct cgraph_propagate_frequency_data
2732 {
2733   bool maybe_unlikely_executed;
2734   bool maybe_executed_once;
2735   bool only_called_at_startup;
2736   bool only_called_at_exit;
2737 };
2738
2739 /* Worker for cgraph_propagate_frequency_1.  */
2740
2741 static bool
2742 cgraph_propagate_frequency_1 (struct cgraph_node *node, void *data)
2743 {
2744   struct cgraph_propagate_frequency_data *d;
2745   struct cgraph_edge *edge;
2746
2747   d = (struct cgraph_propagate_frequency_data *)data;
2748   for (edge = node->callers;
2749        edge && (d->maybe_unlikely_executed || d->maybe_executed_once
2750                 || d->only_called_at_startup || d->only_called_at_exit);
2751        edge = edge->next_caller)
2752     {
2753       if (edge->caller != node)
2754         {
2755           d->only_called_at_startup &= edge->caller->only_called_at_startup;
2756           /* It makes sense to put main() together with the static constructors.
2757              It will be executed for sure, but rest of functions called from
2758              main are definitely not at startup only.  */
2759           if (MAIN_NAME_P (DECL_NAME (edge->caller->decl)))
2760             d->only_called_at_startup = 0;
2761           d->only_called_at_exit &= edge->caller->only_called_at_exit;
2762         }
2763       if (!edge->frequency)
2764         continue;
2765       switch (edge->caller->frequency)
2766         {
2767         case NODE_FREQUENCY_UNLIKELY_EXECUTED:
2768           break;
2769         case NODE_FREQUENCY_EXECUTED_ONCE:
2770           if (dump_file && (dump_flags & TDF_DETAILS))
2771             fprintf (dump_file, "  Called by %s that is executed once\n",
2772                      cgraph_node_name (edge->caller));
2773           d->maybe_unlikely_executed = false;
2774           if (inline_edge_summary (edge)->loop_depth)
2775             {
2776               d->maybe_executed_once = false;
2777               if (dump_file && (dump_flags & TDF_DETAILS))
2778                 fprintf (dump_file, "  Called in loop\n");
2779             }
2780           break;
2781         case NODE_FREQUENCY_HOT:
2782         case NODE_FREQUENCY_NORMAL:
2783           if (dump_file && (dump_flags & TDF_DETAILS))
2784             fprintf (dump_file, "  Called by %s that is normal or hot\n",
2785                      cgraph_node_name (edge->caller));
2786           d->maybe_unlikely_executed = false;
2787           d->maybe_executed_once = false;
2788           break;
2789         }
2790     }
2791   return edge != NULL;
2792 }
2793
2794 /* See if the frequency of NODE can be updated based on frequencies of its
2795    callers.  */
2796 bool
2797 cgraph_propagate_frequency (struct cgraph_node *node)
2798 {
2799   struct cgraph_propagate_frequency_data d = {true, true, true, true};
2800   bool changed = false;
2801
2802   if (!node->local.local)
2803     return false;
2804   gcc_assert (node->analyzed);
2805   if (dump_file && (dump_flags & TDF_DETAILS))
2806     fprintf (dump_file, "Processing frequency %s\n", cgraph_node_name (node));
2807
2808   cgraph_for_node_and_aliases (node, cgraph_propagate_frequency_1, &d, true);
2809
2810   if ((d.only_called_at_startup && !d.only_called_at_exit)
2811       && !node->only_called_at_startup)
2812     {
2813        node->only_called_at_startup = true;
2814        if (dump_file)
2815          fprintf (dump_file, "Node %s promoted to only called at startup.\n",
2816                   cgraph_node_name (node));
2817        changed = true;
2818     }
2819   if ((d.only_called_at_exit && !d.only_called_at_startup)
2820       && !node->only_called_at_exit)
2821     {
2822        node->only_called_at_exit = true;
2823        if (dump_file)
2824          fprintf (dump_file, "Node %s promoted to only called at exit.\n",
2825                   cgraph_node_name (node));
2826        changed = true;
2827     }
2828   /* These come either from profile or user hints; never update them.  */
2829   if (node->frequency == NODE_FREQUENCY_HOT
2830       || node->frequency == NODE_FREQUENCY_UNLIKELY_EXECUTED)
2831     return changed;
2832   if (d.maybe_unlikely_executed)
2833     {
2834       node->frequency = NODE_FREQUENCY_UNLIKELY_EXECUTED;
2835       if (dump_file)
2836         fprintf (dump_file, "Node %s promoted to unlikely executed.\n",
2837                  cgraph_node_name (node));
2838       changed = true;
2839     }
2840   else if (d.maybe_executed_once && node->frequency != NODE_FREQUENCY_EXECUTED_ONCE)
2841     {
2842       node->frequency = NODE_FREQUENCY_EXECUTED_ONCE;
2843       if (dump_file)
2844         fprintf (dump_file, "Node %s promoted to executed once.\n",
2845                  cgraph_node_name (node));
2846       changed = true;
2847     }
2848   return changed;
2849 }
2850
2851 /* Return true when NODE can not return or throw and thus
2852    it is safe to ignore its side effects for IPA analysis.  */
2853
2854 bool
2855 cgraph_node_cannot_return (struct cgraph_node *node)
2856 {
2857   int flags = flags_from_decl_or_type (node->decl);
2858   if (!flag_exceptions)
2859     return (flags & ECF_NORETURN) != 0;
2860   else
2861     return ((flags & (ECF_NORETURN | ECF_NOTHROW))
2862              == (ECF_NORETURN | ECF_NOTHROW));
2863 }
2864
2865 /* Return true when call of E can not lead to return from caller
2866    and thus it is safe to ignore its side effects for IPA analysis
2867    when computing side effects of the caller.
2868    FIXME: We could actually mark all edges that have no reaching
2869    patch to EXIT_BLOCK_PTR or throw to get better results.  */
2870 bool
2871 cgraph_edge_cannot_lead_to_return (struct cgraph_edge *e)
2872 {
2873   if (cgraph_node_cannot_return (e->caller))
2874     return true;
2875   if (e->indirect_unknown_callee)
2876     {
2877       int flags = e->indirect_info->ecf_flags;
2878       if (!flag_exceptions)
2879         return (flags & ECF_NORETURN) != 0;
2880       else
2881         return ((flags & (ECF_NORETURN | ECF_NOTHROW))
2882                  == (ECF_NORETURN | ECF_NOTHROW));
2883     }
2884   else
2885     return cgraph_node_cannot_return (e->callee);
2886 }
2887
2888 /* Return true when function NODE can be removed from callgraph
2889    if all direct calls are eliminated.  */
2890
2891 bool
2892 cgraph_can_remove_if_no_direct_calls_and_refs_p (struct cgraph_node *node)
2893 {
2894   gcc_assert (!node->global.inlined_to);
2895   /* Extern inlines can always go, we will use the external definition.  */
2896   if (DECL_EXTERNAL (node->decl))
2897     return true;
2898   /* When function is needed, we can not remove it.  */
2899   if (node->needed || node->reachable_from_other_partition)
2900     return false;
2901   if (DECL_STATIC_CONSTRUCTOR (node->decl)
2902       || DECL_STATIC_DESTRUCTOR (node->decl))
2903     return false;
2904   /* Only COMDAT functions can be removed if externally visible.  */
2905   if (node->local.externally_visible
2906       && (!DECL_COMDAT (node->decl)
2907           || cgraph_used_from_object_file_p (node)))
2908     return false;
2909   return true;
2910 }
2911
2912 /* Worker for cgraph_can_remove_if_no_direct_calls_p.  */
2913
2914 static bool
2915 nonremovable_p (struct cgraph_node *node, void *data ATTRIBUTE_UNUSED)
2916 {
2917   return !cgraph_can_remove_if_no_direct_calls_and_refs_p (node);
2918 }
2919
2920 /* Return true when function NODE and its aliases can be removed from callgraph
2921    if all direct calls are eliminated.  */
2922
2923 bool
2924 cgraph_can_remove_if_no_direct_calls_p (struct cgraph_node *node)
2925 {
2926   /* Extern inlines can always go, we will use the external definition.  */
2927   if (DECL_EXTERNAL (node->decl))
2928     return true;
2929   if (node->address_taken)
2930     return false;
2931   return !cgraph_for_node_and_aliases (node, nonremovable_p, NULL, true);
2932 }
2933
2934 /* Worker for cgraph_can_remove_if_no_direct_calls_p.  */
2935
2936 static bool
2937 used_from_object_file_p (struct cgraph_node *node, void *data ATTRIBUTE_UNUSED)
2938 {
2939   return cgraph_used_from_object_file_p (node);
2940 }
2941
2942 /* Return true when function NODE can be expected to be removed
2943    from program when direct calls in this compilation unit are removed.
2944
2945    As a special case COMDAT functions are
2946    cgraph_can_remove_if_no_direct_calls_p while the are not
2947    cgraph_only_called_directly_p (it is possible they are called from other
2948    unit)
2949
2950    This function behaves as cgraph_only_called_directly_p because eliminating
2951    all uses of COMDAT function does not make it necessarily disappear from
2952    the program unless we are compiling whole program or we do LTO.  In this
2953    case we know we win since dynamic linking will not really discard the
2954    linkonce section.  */
2955
2956 bool
2957 cgraph_will_be_removed_from_program_if_no_direct_calls (struct cgraph_node *node)
2958 {
2959   gcc_assert (!node->global.inlined_to);
2960   if (cgraph_for_node_and_aliases (node, used_from_object_file_p, NULL, true))
2961     return false;
2962   if (!in_lto_p && !flag_whole_program)
2963     return cgraph_only_called_directly_p (node);
2964   else
2965     {
2966        if (DECL_EXTERNAL (node->decl))
2967          return true;
2968       return cgraph_can_remove_if_no_direct_calls_p (node);
2969     }
2970 }
2971
2972 /* Return true when RESOLUTION indicate that linker will use
2973    the symbol from non-LTO object files.  */
2974
2975 bool
2976 resolution_used_from_other_file_p (enum ld_plugin_symbol_resolution resolution)
2977 {
2978   return (resolution == LDPR_PREVAILING_DEF
2979           || resolution == LDPR_PREEMPTED_REG
2980           || resolution == LDPR_RESOLVED_EXEC
2981           || resolution == LDPR_RESOLVED_DYN);
2982 }
2983
2984
2985 /* Return true when NODE is known to be used from other (non-LTO) object file.
2986    Known only when doing LTO via linker plugin.  */
2987
2988 bool
2989 cgraph_used_from_object_file_p (struct cgraph_node *node)
2990 {
2991   gcc_assert (!node->global.inlined_to);
2992   if (!TREE_PUBLIC (node->decl) || DECL_EXTERNAL (node->decl))
2993     return false;
2994   if (resolution_used_from_other_file_p (node->resolution))
2995     return true;
2996   return false;
2997 }
2998
2999 /* Worker for cgraph_only_called_directly_p.  */
3000
3001 static bool
3002 cgraph_not_only_called_directly_p_1 (struct cgraph_node *node, void *data ATTRIBUTE_UNUSED)
3003 {
3004   return !cgraph_only_called_directly_or_aliased_p (node);
3005 }
3006
3007 /* Return true when function NODE and all its aliases are only called
3008    directly.
3009    i.e. it is not externally visible, address was not taken and
3010    it is not used in any other non-standard way.  */
3011
3012 bool
3013 cgraph_only_called_directly_p (struct cgraph_node *node)
3014 {
3015   gcc_assert (cgraph_function_or_thunk_node (node, NULL) == node);
3016   return !cgraph_for_node_and_aliases (node, cgraph_not_only_called_directly_p_1,
3017                                        NULL, true);
3018 }
3019
3020
3021 /* Collect all callers of NODE.  Worker for collect_callers_of_node.  */
3022
3023 static bool
3024 collect_callers_of_node_1 (struct cgraph_node *node, void *data)
3025 {
3026   VEC (cgraph_edge_p, heap) ** redirect_callers = (VEC (cgraph_edge_p, heap) **)data;
3027   struct cgraph_edge *cs;
3028   enum availability avail;
3029   cgraph_function_or_thunk_node (node, &avail);
3030
3031   if (avail > AVAIL_OVERWRITABLE)
3032     for (cs = node->callers; cs != NULL; cs = cs->next_caller)
3033       if (!cs->indirect_inlining_edge)
3034         VEC_safe_push (cgraph_edge_p, heap, *redirect_callers, cs);
3035   return false;
3036 }
3037
3038 /* Collect all callers of NODE and its aliases that are known to lead to NODE
3039    (i.e. are not overwritable).  */
3040
3041 VEC (cgraph_edge_p, heap) *
3042 collect_callers_of_node (struct cgraph_node *node)
3043 {
3044   VEC (cgraph_edge_p, heap) * redirect_callers = NULL;
3045   cgraph_for_node_and_aliases (node, collect_callers_of_node_1,
3046                                &redirect_callers, false);
3047   return redirect_callers;
3048 }
3049
3050 #include "gt-cgraph.h"