OSDN Git Service

2011-08-31 Richard Guenther <rguenther@suse.de>
[pf3gnuchains/gcc-fork.git] / gcc / tree-cfg.c
1 /* Control flow functions for trees.
2    Copyright (C) 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009,
3    2010, 2011  Free Software Foundation, Inc.
4    Contributed by Diego Novillo <dnovillo@redhat.com>
5
6 This file is part of GCC.
7
8 GCC is free software; you can redistribute it and/or modify
9 it under the terms of the GNU General Public License as published by
10 the Free Software Foundation; either version 3, or (at your option)
11 any later version.
12
13 GCC is distributed in the hope that it will be useful,
14 but WITHOUT ANY WARRANTY; without even the implied warranty of
15 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 GNU General Public License for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with GCC; see the file COPYING3.  If not see
20 <http://www.gnu.org/licenses/>.  */
21
22 #include "config.h"
23 #include "system.h"
24 #include "coretypes.h"
25 #include "tm.h"
26 #include "tree.h"
27 #include "tm_p.h"
28 #include "basic-block.h"
29 #include "output.h"
30 #include "flags.h"
31 #include "function.h"
32 #include "ggc.h"
33 #include "langhooks.h"
34 #include "tree-pretty-print.h"
35 #include "gimple-pretty-print.h"
36 #include "tree-flow.h"
37 #include "timevar.h"
38 #include "tree-dump.h"
39 #include "tree-pass.h"
40 #include "diagnostic-core.h"
41 #include "except.h"
42 #include "cfgloop.h"
43 #include "cfglayout.h"
44 #include "tree-ssa-propagate.h"
45 #include "value-prof.h"
46 #include "pointer-set.h"
47 #include "tree-inline.h"
48
49 /* This file contains functions for building the Control Flow Graph (CFG)
50    for a function tree.  */
51
52 /* Local declarations.  */
53
54 /* Initial capacity for the basic block array.  */
55 static const int initial_cfg_capacity = 20;
56
57 /* This hash table allows us to efficiently lookup all CASE_LABEL_EXPRs
58    which use a particular edge.  The CASE_LABEL_EXPRs are chained together
59    via their TREE_CHAIN field, which we clear after we're done with the
60    hash table to prevent problems with duplication of GIMPLE_SWITCHes.
61
62    Access to this list of CASE_LABEL_EXPRs allows us to efficiently
63    update the case vector in response to edge redirections.
64
65    Right now this table is set up and torn down at key points in the
66    compilation process.  It would be nice if we could make the table
67    more persistent.  The key is getting notification of changes to
68    the CFG (particularly edge removal, creation and redirection).  */
69
70 static struct pointer_map_t *edge_to_cases;
71
72 /* If we record edge_to_cases, this bitmap will hold indexes
73    of basic blocks that end in a GIMPLE_SWITCH which we touched
74    due to edge manipulations.  */
75
76 static bitmap touched_switch_bbs;
77
78 /* CFG statistics.  */
79 struct cfg_stats_d
80 {
81   long num_merged_labels;
82 };
83
84 static struct cfg_stats_d cfg_stats;
85
86 /* Nonzero if we found a computed goto while building basic blocks.  */
87 static bool found_computed_goto;
88
89 /* Hash table to store last discriminator assigned for each locus.  */
90 struct locus_discrim_map
91 {
92   location_t locus;
93   int discriminator;
94 };
95 static htab_t discriminator_per_locus;
96
97 /* Basic blocks and flowgraphs.  */
98 static void make_blocks (gimple_seq);
99 static void factor_computed_gotos (void);
100
101 /* Edges.  */
102 static void make_edges (void);
103 static void make_cond_expr_edges (basic_block);
104 static void make_gimple_switch_edges (basic_block);
105 static void make_goto_expr_edges (basic_block);
106 static void make_gimple_asm_edges (basic_block);
107 static unsigned int locus_map_hash (const void *);
108 static int locus_map_eq (const void *, const void *);
109 static void assign_discriminator (location_t, basic_block);
110 static edge gimple_redirect_edge_and_branch (edge, basic_block);
111 static edge gimple_try_redirect_by_replacing_jump (edge, basic_block);
112 static unsigned int split_critical_edges (void);
113
114 /* Various helpers.  */
115 static inline bool stmt_starts_bb_p (gimple, gimple);
116 static int gimple_verify_flow_info (void);
117 static void gimple_make_forwarder_block (edge);
118 static void gimple_cfg2vcg (FILE *);
119 static gimple first_non_label_stmt (basic_block);
120
121 /* Flowgraph optimization and cleanup.  */
122 static void gimple_merge_blocks (basic_block, basic_block);
123 static bool gimple_can_merge_blocks_p (basic_block, basic_block);
124 static void remove_bb (basic_block);
125 static edge find_taken_edge_computed_goto (basic_block, tree);
126 static edge find_taken_edge_cond_expr (basic_block, tree);
127 static edge find_taken_edge_switch_expr (basic_block, tree);
128 static tree find_case_label_for_value (gimple, tree);
129 static void group_case_labels_stmt (gimple);
130
131 void
132 init_empty_tree_cfg_for_function (struct function *fn)
133 {
134   /* Initialize the basic block array.  */
135   init_flow (fn);
136   profile_status_for_function (fn) = PROFILE_ABSENT;
137   n_basic_blocks_for_function (fn) = NUM_FIXED_BLOCKS;
138   last_basic_block_for_function (fn) = NUM_FIXED_BLOCKS;
139   basic_block_info_for_function (fn)
140     = VEC_alloc (basic_block, gc, initial_cfg_capacity);
141   VEC_safe_grow_cleared (basic_block, gc,
142                          basic_block_info_for_function (fn),
143                          initial_cfg_capacity);
144
145   /* Build a mapping of labels to their associated blocks.  */
146   label_to_block_map_for_function (fn)
147     = VEC_alloc (basic_block, gc, initial_cfg_capacity);
148   VEC_safe_grow_cleared (basic_block, gc,
149                          label_to_block_map_for_function (fn),
150                          initial_cfg_capacity);
151
152   SET_BASIC_BLOCK_FOR_FUNCTION (fn, ENTRY_BLOCK,
153                                 ENTRY_BLOCK_PTR_FOR_FUNCTION (fn));
154   SET_BASIC_BLOCK_FOR_FUNCTION (fn, EXIT_BLOCK,
155                    EXIT_BLOCK_PTR_FOR_FUNCTION (fn));
156
157   ENTRY_BLOCK_PTR_FOR_FUNCTION (fn)->next_bb
158     = EXIT_BLOCK_PTR_FOR_FUNCTION (fn);
159   EXIT_BLOCK_PTR_FOR_FUNCTION (fn)->prev_bb
160     = ENTRY_BLOCK_PTR_FOR_FUNCTION (fn);
161 }
162
163 void
164 init_empty_tree_cfg (void)
165 {
166   init_empty_tree_cfg_for_function (cfun);
167 }
168
169 /*---------------------------------------------------------------------------
170                               Create basic blocks
171 ---------------------------------------------------------------------------*/
172
173 /* Entry point to the CFG builder for trees.  SEQ is the sequence of
174    statements to be added to the flowgraph.  */
175
176 static void
177 build_gimple_cfg (gimple_seq seq)
178 {
179   /* Register specific gimple functions.  */
180   gimple_register_cfg_hooks ();
181
182   memset ((void *) &cfg_stats, 0, sizeof (cfg_stats));
183
184   init_empty_tree_cfg ();
185
186   found_computed_goto = 0;
187   make_blocks (seq);
188
189   /* Computed gotos are hell to deal with, especially if there are
190      lots of them with a large number of destinations.  So we factor
191      them to a common computed goto location before we build the
192      edge list.  After we convert back to normal form, we will un-factor
193      the computed gotos since factoring introduces an unwanted jump.  */
194   if (found_computed_goto)
195     factor_computed_gotos ();
196
197   /* Make sure there is always at least one block, even if it's empty.  */
198   if (n_basic_blocks == NUM_FIXED_BLOCKS)
199     create_empty_bb (ENTRY_BLOCK_PTR);
200
201   /* Adjust the size of the array.  */
202   if (VEC_length (basic_block, basic_block_info) < (size_t) n_basic_blocks)
203     VEC_safe_grow_cleared (basic_block, gc, basic_block_info, n_basic_blocks);
204
205   /* To speed up statement iterator walks, we first purge dead labels.  */
206   cleanup_dead_labels ();
207
208   /* Group case nodes to reduce the number of edges.
209      We do this after cleaning up dead labels because otherwise we miss
210      a lot of obvious case merging opportunities.  */
211   group_case_labels ();
212
213   /* Create the edges of the flowgraph.  */
214   discriminator_per_locus = htab_create (13, locus_map_hash, locus_map_eq,
215                                          free);
216   make_edges ();
217   cleanup_dead_labels ();
218   htab_delete (discriminator_per_locus);
219
220   /* Debugging dumps.  */
221
222   /* Write the flowgraph to a VCG file.  */
223   {
224     int local_dump_flags;
225     FILE *vcg_file = dump_begin (TDI_vcg, &local_dump_flags);
226     if (vcg_file)
227       {
228         gimple_cfg2vcg (vcg_file);
229         dump_end (TDI_vcg, vcg_file);
230       }
231   }
232 }
233
234 static unsigned int
235 execute_build_cfg (void)
236 {
237   gimple_seq body = gimple_body (current_function_decl);
238
239   build_gimple_cfg (body);
240   gimple_set_body (current_function_decl, NULL);
241   if (dump_file && (dump_flags & TDF_DETAILS))
242     {
243       fprintf (dump_file, "Scope blocks:\n");
244       dump_scope_blocks (dump_file, dump_flags);
245     }
246   return 0;
247 }
248
249 struct gimple_opt_pass pass_build_cfg =
250 {
251  {
252   GIMPLE_PASS,
253   "cfg",                                /* name */
254   NULL,                                 /* gate */
255   execute_build_cfg,                    /* execute */
256   NULL,                                 /* sub */
257   NULL,                                 /* next */
258   0,                                    /* static_pass_number */
259   TV_TREE_CFG,                          /* tv_id */
260   PROP_gimple_leh,                      /* properties_required */
261   PROP_cfg,                             /* properties_provided */
262   0,                                    /* properties_destroyed */
263   0,                                    /* todo_flags_start */
264   TODO_verify_stmts | TODO_cleanup_cfg  /* todo_flags_finish */
265  }
266 };
267
268
269 /* Return true if T is a computed goto.  */
270
271 static bool
272 computed_goto_p (gimple t)
273 {
274   return (gimple_code (t) == GIMPLE_GOTO
275           && TREE_CODE (gimple_goto_dest (t)) != LABEL_DECL);
276 }
277
278
279 /* Search the CFG for any computed gotos.  If found, factor them to a
280    common computed goto site.  Also record the location of that site so
281    that we can un-factor the gotos after we have converted back to
282    normal form.  */
283
284 static void
285 factor_computed_gotos (void)
286 {
287   basic_block bb;
288   tree factored_label_decl = NULL;
289   tree var = NULL;
290   gimple factored_computed_goto_label = NULL;
291   gimple factored_computed_goto = NULL;
292
293   /* We know there are one or more computed gotos in this function.
294      Examine the last statement in each basic block to see if the block
295      ends with a computed goto.  */
296
297   FOR_EACH_BB (bb)
298     {
299       gimple_stmt_iterator gsi = gsi_last_bb (bb);
300       gimple last;
301
302       if (gsi_end_p (gsi))
303         continue;
304
305       last = gsi_stmt (gsi);
306
307       /* Ignore the computed goto we create when we factor the original
308          computed gotos.  */
309       if (last == factored_computed_goto)
310         continue;
311
312       /* If the last statement is a computed goto, factor it.  */
313       if (computed_goto_p (last))
314         {
315           gimple assignment;
316
317           /* The first time we find a computed goto we need to create
318              the factored goto block and the variable each original
319              computed goto will use for their goto destination.  */
320           if (!factored_computed_goto)
321             {
322               basic_block new_bb = create_empty_bb (bb);
323               gimple_stmt_iterator new_gsi = gsi_start_bb (new_bb);
324
325               /* Create the destination of the factored goto.  Each original
326                  computed goto will put its desired destination into this
327                  variable and jump to the label we create immediately
328                  below.  */
329               var = create_tmp_var (ptr_type_node, "gotovar");
330
331               /* Build a label for the new block which will contain the
332                  factored computed goto.  */
333               factored_label_decl = create_artificial_label (UNKNOWN_LOCATION);
334               factored_computed_goto_label
335                 = gimple_build_label (factored_label_decl);
336               gsi_insert_after (&new_gsi, factored_computed_goto_label,
337                                 GSI_NEW_STMT);
338
339               /* Build our new computed goto.  */
340               factored_computed_goto = gimple_build_goto (var);
341               gsi_insert_after (&new_gsi, factored_computed_goto, GSI_NEW_STMT);
342             }
343
344           /* Copy the original computed goto's destination into VAR.  */
345           assignment = gimple_build_assign (var, gimple_goto_dest (last));
346           gsi_insert_before (&gsi, assignment, GSI_SAME_STMT);
347
348           /* And re-vector the computed goto to the new destination.  */
349           gimple_goto_set_dest (last, factored_label_decl);
350         }
351     }
352 }
353
354
355 /* Build a flowgraph for the sequence of stmts SEQ.  */
356
357 static void
358 make_blocks (gimple_seq seq)
359 {
360   gimple_stmt_iterator i = gsi_start (seq);
361   gimple stmt = NULL;
362   bool start_new_block = true;
363   bool first_stmt_of_seq = true;
364   basic_block bb = ENTRY_BLOCK_PTR;
365
366   while (!gsi_end_p (i))
367     {
368       gimple prev_stmt;
369
370       prev_stmt = stmt;
371       stmt = gsi_stmt (i);
372
373       /* If the statement starts a new basic block or if we have determined
374          in a previous pass that we need to create a new block for STMT, do
375          so now.  */
376       if (start_new_block || stmt_starts_bb_p (stmt, prev_stmt))
377         {
378           if (!first_stmt_of_seq)
379             seq = gsi_split_seq_before (&i);
380           bb = create_basic_block (seq, NULL, bb);
381           start_new_block = false;
382         }
383
384       /* Now add STMT to BB and create the subgraphs for special statement
385          codes.  */
386       gimple_set_bb (stmt, bb);
387
388       if (computed_goto_p (stmt))
389         found_computed_goto = true;
390
391       /* If STMT is a basic block terminator, set START_NEW_BLOCK for the
392          next iteration.  */
393       if (stmt_ends_bb_p (stmt))
394         {
395           /* If the stmt can make abnormal goto use a new temporary
396              for the assignment to the LHS.  This makes sure the old value
397              of the LHS is available on the abnormal edge.  Otherwise
398              we will end up with overlapping life-ranges for abnormal
399              SSA names.  */
400           if (gimple_has_lhs (stmt)
401               && stmt_can_make_abnormal_goto (stmt)
402               && is_gimple_reg_type (TREE_TYPE (gimple_get_lhs (stmt))))
403             {
404               tree lhs = gimple_get_lhs (stmt);
405               tree tmp = create_tmp_var (TREE_TYPE (lhs), NULL);
406               gimple s = gimple_build_assign (lhs, tmp);
407               gimple_set_location (s, gimple_location (stmt));
408               gimple_set_block (s, gimple_block (stmt));
409               gimple_set_lhs (stmt, tmp);
410               if (TREE_CODE (TREE_TYPE (tmp)) == COMPLEX_TYPE
411                   || TREE_CODE (TREE_TYPE (tmp)) == VECTOR_TYPE)
412                 DECL_GIMPLE_REG_P (tmp) = 1;
413               gsi_insert_after (&i, s, GSI_SAME_STMT);
414             }
415           start_new_block = true;
416         }
417
418       gsi_next (&i);
419       first_stmt_of_seq = false;
420     }
421 }
422
423
424 /* Create and return a new empty basic block after bb AFTER.  */
425
426 static basic_block
427 create_bb (void *h, void *e, basic_block after)
428 {
429   basic_block bb;
430
431   gcc_assert (!e);
432
433   /* Create and initialize a new basic block.  Since alloc_block uses
434      GC allocation that clears memory to allocate a basic block, we do
435      not have to clear the newly allocated basic block here.  */
436   bb = alloc_block ();
437
438   bb->index = last_basic_block;
439   bb->flags = BB_NEW;
440   bb->il.gimple = ggc_alloc_cleared_gimple_bb_info ();
441   set_bb_seq (bb, h ? (gimple_seq) h : gimple_seq_alloc ());
442
443   /* Add the new block to the linked list of blocks.  */
444   link_block (bb, after);
445
446   /* Grow the basic block array if needed.  */
447   if ((size_t) last_basic_block == VEC_length (basic_block, basic_block_info))
448     {
449       size_t new_size = last_basic_block + (last_basic_block + 3) / 4;
450       VEC_safe_grow_cleared (basic_block, gc, basic_block_info, new_size);
451     }
452
453   /* Add the newly created block to the array.  */
454   SET_BASIC_BLOCK (last_basic_block, bb);
455
456   n_basic_blocks++;
457   last_basic_block++;
458
459   return bb;
460 }
461
462
463 /*---------------------------------------------------------------------------
464                                  Edge creation
465 ---------------------------------------------------------------------------*/
466
467 /* Fold COND_EXPR_COND of each COND_EXPR.  */
468
469 void
470 fold_cond_expr_cond (void)
471 {
472   basic_block bb;
473
474   FOR_EACH_BB (bb)
475     {
476       gimple stmt = last_stmt (bb);
477
478       if (stmt && gimple_code (stmt) == GIMPLE_COND)
479         {
480           location_t loc = gimple_location (stmt);
481           tree cond;
482           bool zerop, onep;
483
484           fold_defer_overflow_warnings ();
485           cond = fold_binary_loc (loc, gimple_cond_code (stmt), boolean_type_node,
486                               gimple_cond_lhs (stmt), gimple_cond_rhs (stmt));
487           if (cond)
488             {
489               zerop = integer_zerop (cond);
490               onep = integer_onep (cond);
491             }
492           else
493             zerop = onep = false;
494
495           fold_undefer_overflow_warnings (zerop || onep,
496                                           stmt,
497                                           WARN_STRICT_OVERFLOW_CONDITIONAL);
498           if (zerop)
499             gimple_cond_make_false (stmt);
500           else if (onep)
501             gimple_cond_make_true (stmt);
502         }
503     }
504 }
505
506 /* Join all the blocks in the flowgraph.  */
507
508 static void
509 make_edges (void)
510 {
511   basic_block bb;
512   struct omp_region *cur_region = NULL;
513
514   /* Create an edge from entry to the first block with executable
515      statements in it.  */
516   make_edge (ENTRY_BLOCK_PTR, BASIC_BLOCK (NUM_FIXED_BLOCKS), EDGE_FALLTHRU);
517
518   /* Traverse the basic block array placing edges.  */
519   FOR_EACH_BB (bb)
520     {
521       gimple last = last_stmt (bb);
522       bool fallthru;
523
524       if (last)
525         {
526           enum gimple_code code = gimple_code (last);
527           switch (code)
528             {
529             case GIMPLE_GOTO:
530               make_goto_expr_edges (bb);
531               fallthru = false;
532               break;
533             case GIMPLE_RETURN:
534               make_edge (bb, EXIT_BLOCK_PTR, 0);
535               fallthru = false;
536               break;
537             case GIMPLE_COND:
538               make_cond_expr_edges (bb);
539               fallthru = false;
540               break;
541             case GIMPLE_SWITCH:
542               make_gimple_switch_edges (bb);
543               fallthru = false;
544               break;
545             case GIMPLE_RESX:
546               make_eh_edges (last);
547               fallthru = false;
548               break;
549             case GIMPLE_EH_DISPATCH:
550               fallthru = make_eh_dispatch_edges (last);
551               break;
552
553             case GIMPLE_CALL:
554               /* If this function receives a nonlocal goto, then we need to
555                  make edges from this call site to all the nonlocal goto
556                  handlers.  */
557               if (stmt_can_make_abnormal_goto (last))
558                 make_abnormal_goto_edges (bb, true);
559
560               /* If this statement has reachable exception handlers, then
561                  create abnormal edges to them.  */
562               make_eh_edges (last);
563
564               /* BUILTIN_RETURN is really a return statement.  */
565               if (gimple_call_builtin_p (last, BUILT_IN_RETURN))
566                 make_edge (bb, EXIT_BLOCK_PTR, 0), fallthru = false;
567               /* Some calls are known not to return.  */
568               else
569                 fallthru = !(gimple_call_flags (last) & ECF_NORETURN);
570               break;
571
572             case GIMPLE_ASSIGN:
573                /* A GIMPLE_ASSIGN may throw internally and thus be considered
574                   control-altering. */
575               if (is_ctrl_altering_stmt (last))
576                 make_eh_edges (last);
577               fallthru = true;
578               break;
579
580             case GIMPLE_ASM:
581               make_gimple_asm_edges (bb);
582               fallthru = true;
583               break;
584
585             case GIMPLE_OMP_PARALLEL:
586             case GIMPLE_OMP_TASK:
587             case GIMPLE_OMP_FOR:
588             case GIMPLE_OMP_SINGLE:
589             case GIMPLE_OMP_MASTER:
590             case GIMPLE_OMP_ORDERED:
591             case GIMPLE_OMP_CRITICAL:
592             case GIMPLE_OMP_SECTION:
593               cur_region = new_omp_region (bb, code, cur_region);
594               fallthru = true;
595               break;
596
597             case GIMPLE_OMP_SECTIONS:
598               cur_region = new_omp_region (bb, code, cur_region);
599               fallthru = true;
600               break;
601
602             case GIMPLE_OMP_SECTIONS_SWITCH:
603               fallthru = false;
604               break;
605
606             case GIMPLE_OMP_ATOMIC_LOAD:
607             case GIMPLE_OMP_ATOMIC_STORE:
608                fallthru = true;
609                break;
610
611             case GIMPLE_OMP_RETURN:
612               /* In the case of a GIMPLE_OMP_SECTION, the edge will go
613                  somewhere other than the next block.  This will be
614                  created later.  */
615               cur_region->exit = bb;
616               fallthru = cur_region->type != GIMPLE_OMP_SECTION;
617               cur_region = cur_region->outer;
618               break;
619
620             case GIMPLE_OMP_CONTINUE:
621               cur_region->cont = bb;
622               switch (cur_region->type)
623                 {
624                 case GIMPLE_OMP_FOR:
625                   /* Mark all GIMPLE_OMP_FOR and GIMPLE_OMP_CONTINUE
626                      succs edges as abnormal to prevent splitting
627                      them.  */
628                   single_succ_edge (cur_region->entry)->flags |= EDGE_ABNORMAL;
629                   /* Make the loopback edge.  */
630                   make_edge (bb, single_succ (cur_region->entry),
631                              EDGE_ABNORMAL);
632
633                   /* Create an edge from GIMPLE_OMP_FOR to exit, which
634                      corresponds to the case that the body of the loop
635                      is not executed at all.  */
636                   make_edge (cur_region->entry, bb->next_bb, EDGE_ABNORMAL);
637                   make_edge (bb, bb->next_bb, EDGE_FALLTHRU | EDGE_ABNORMAL);
638                   fallthru = false;
639                   break;
640
641                 case GIMPLE_OMP_SECTIONS:
642                   /* Wire up the edges into and out of the nested sections.  */
643                   {
644                     basic_block switch_bb = single_succ (cur_region->entry);
645
646                     struct omp_region *i;
647                     for (i = cur_region->inner; i ; i = i->next)
648                       {
649                         gcc_assert (i->type == GIMPLE_OMP_SECTION);
650                         make_edge (switch_bb, i->entry, 0);
651                         make_edge (i->exit, bb, EDGE_FALLTHRU);
652                       }
653
654                     /* Make the loopback edge to the block with
655                        GIMPLE_OMP_SECTIONS_SWITCH.  */
656                     make_edge (bb, switch_bb, 0);
657
658                     /* Make the edge from the switch to exit.  */
659                     make_edge (switch_bb, bb->next_bb, 0);
660                     fallthru = false;
661                   }
662                   break;
663
664                 default:
665                   gcc_unreachable ();
666                 }
667               break;
668
669             default:
670               gcc_assert (!stmt_ends_bb_p (last));
671               fallthru = true;
672             }
673         }
674       else
675         fallthru = true;
676
677       if (fallthru)
678         {
679           make_edge (bb, bb->next_bb, EDGE_FALLTHRU);
680           if (last)
681             assign_discriminator (gimple_location (last), bb->next_bb);
682         }
683     }
684
685   if (root_omp_region)
686     free_omp_regions ();
687
688   /* Fold COND_EXPR_COND of each COND_EXPR.  */
689   fold_cond_expr_cond ();
690 }
691
692 /* Trivial hash function for a location_t.  ITEM is a pointer to
693    a hash table entry that maps a location_t to a discriminator.  */
694
695 static unsigned int
696 locus_map_hash (const void *item)
697 {
698   return ((const struct locus_discrim_map *) item)->locus;
699 }
700
701 /* Equality function for the locus-to-discriminator map.  VA and VB
702    point to the two hash table entries to compare.  */
703
704 static int
705 locus_map_eq (const void *va, const void *vb)
706 {
707   const struct locus_discrim_map *a = (const struct locus_discrim_map *) va;
708   const struct locus_discrim_map *b = (const struct locus_discrim_map *) vb;
709   return a->locus == b->locus;
710 }
711
712 /* Find the next available discriminator value for LOCUS.  The
713    discriminator distinguishes among several basic blocks that
714    share a common locus, allowing for more accurate sample-based
715    profiling.  */
716
717 static int
718 next_discriminator_for_locus (location_t locus)
719 {
720   struct locus_discrim_map item;
721   struct locus_discrim_map **slot;
722
723   item.locus = locus;
724   item.discriminator = 0;
725   slot = (struct locus_discrim_map **)
726       htab_find_slot_with_hash (discriminator_per_locus, (void *) &item,
727                                 (hashval_t) locus, INSERT);
728   gcc_assert (slot);
729   if (*slot == HTAB_EMPTY_ENTRY)
730     {
731       *slot = XNEW (struct locus_discrim_map);
732       gcc_assert (*slot);
733       (*slot)->locus = locus;
734       (*slot)->discriminator = 0;
735     }
736   (*slot)->discriminator++;
737   return (*slot)->discriminator;
738 }
739
740 /* Return TRUE if LOCUS1 and LOCUS2 refer to the same source line.  */
741
742 static bool
743 same_line_p (location_t locus1, location_t locus2)
744 {
745   expanded_location from, to;
746
747   if (locus1 == locus2)
748     return true;
749
750   from = expand_location (locus1);
751   to = expand_location (locus2);
752
753   if (from.line != to.line)
754     return false;
755   if (from.file == to.file)
756     return true;
757   return (from.file != NULL
758           && to.file != NULL
759           && filename_cmp (from.file, to.file) == 0);
760 }
761
762 /* Assign a unique discriminator value to block BB if it begins at the same
763    LOCUS as its predecessor block.  */
764
765 static void
766 assign_discriminator (location_t locus, basic_block bb)
767 {
768   gimple first_in_to_bb, last_in_to_bb;
769
770   if (locus == 0 || bb->discriminator != 0)
771     return;
772
773   first_in_to_bb = first_non_label_stmt (bb);
774   last_in_to_bb = last_stmt (bb);
775   if ((first_in_to_bb && same_line_p (locus, gimple_location (first_in_to_bb)))
776       || (last_in_to_bb && same_line_p (locus, gimple_location (last_in_to_bb))))
777     bb->discriminator = next_discriminator_for_locus (locus);
778 }
779
780 /* Create the edges for a GIMPLE_COND starting at block BB.  */
781
782 static void
783 make_cond_expr_edges (basic_block bb)
784 {
785   gimple entry = last_stmt (bb);
786   gimple then_stmt, else_stmt;
787   basic_block then_bb, else_bb;
788   tree then_label, else_label;
789   edge e;
790   location_t entry_locus;
791
792   gcc_assert (entry);
793   gcc_assert (gimple_code (entry) == GIMPLE_COND);
794
795   entry_locus = gimple_location (entry);
796
797   /* Entry basic blocks for each component.  */
798   then_label = gimple_cond_true_label (entry);
799   else_label = gimple_cond_false_label (entry);
800   then_bb = label_to_block (then_label);
801   else_bb = label_to_block (else_label);
802   then_stmt = first_stmt (then_bb);
803   else_stmt = first_stmt (else_bb);
804
805   e = make_edge (bb, then_bb, EDGE_TRUE_VALUE);
806   assign_discriminator (entry_locus, then_bb);
807   e->goto_locus = gimple_location (then_stmt);
808   if (e->goto_locus)
809     e->goto_block = gimple_block (then_stmt);
810   e = make_edge (bb, else_bb, EDGE_FALSE_VALUE);
811   if (e)
812     {
813       assign_discriminator (entry_locus, else_bb);
814       e->goto_locus = gimple_location (else_stmt);
815       if (e->goto_locus)
816         e->goto_block = gimple_block (else_stmt);
817     }
818
819   /* We do not need the labels anymore.  */
820   gimple_cond_set_true_label (entry, NULL_TREE);
821   gimple_cond_set_false_label (entry, NULL_TREE);
822 }
823
824
825 /* Called for each element in the hash table (P) as we delete the
826    edge to cases hash table.
827
828    Clear all the TREE_CHAINs to prevent problems with copying of
829    SWITCH_EXPRs and structure sharing rules, then free the hash table
830    element.  */
831
832 static bool
833 edge_to_cases_cleanup (const void *key ATTRIBUTE_UNUSED, void **value,
834                        void *data ATTRIBUTE_UNUSED)
835 {
836   tree t, next;
837
838   for (t = (tree) *value; t; t = next)
839     {
840       next = CASE_CHAIN (t);
841       CASE_CHAIN (t) = NULL;
842     }
843
844   *value = NULL;
845   return true;
846 }
847
848 /* Start recording information mapping edges to case labels.  */
849
850 void
851 start_recording_case_labels (void)
852 {
853   gcc_assert (edge_to_cases == NULL);
854   edge_to_cases = pointer_map_create ();
855   touched_switch_bbs = BITMAP_ALLOC (NULL);
856 }
857
858 /* Return nonzero if we are recording information for case labels.  */
859
860 static bool
861 recording_case_labels_p (void)
862 {
863   return (edge_to_cases != NULL);
864 }
865
866 /* Stop recording information mapping edges to case labels and
867    remove any information we have recorded.  */
868 void
869 end_recording_case_labels (void)
870 {
871   bitmap_iterator bi;
872   unsigned i;
873   pointer_map_traverse (edge_to_cases, edge_to_cases_cleanup, NULL);
874   pointer_map_destroy (edge_to_cases);
875   edge_to_cases = NULL;
876   EXECUTE_IF_SET_IN_BITMAP (touched_switch_bbs, 0, i, bi)
877     {
878       basic_block bb = BASIC_BLOCK (i);
879       if (bb)
880         {
881           gimple stmt = last_stmt (bb);
882           if (stmt && gimple_code (stmt) == GIMPLE_SWITCH)
883             group_case_labels_stmt (stmt);
884         }
885     }
886   BITMAP_FREE (touched_switch_bbs);
887 }
888
889 /* If we are inside a {start,end}_recording_cases block, then return
890    a chain of CASE_LABEL_EXPRs from T which reference E.
891
892    Otherwise return NULL.  */
893
894 static tree
895 get_cases_for_edge (edge e, gimple t)
896 {
897   void **slot;
898   size_t i, n;
899
900   /* If we are not recording cases, then we do not have CASE_LABEL_EXPR
901      chains available.  Return NULL so the caller can detect this case.  */
902   if (!recording_case_labels_p ())
903     return NULL;
904
905   slot = pointer_map_contains (edge_to_cases, e);
906   if (slot)
907     return (tree) *slot;
908
909   /* If we did not find E in the hash table, then this must be the first
910      time we have been queried for information about E & T.  Add all the
911      elements from T to the hash table then perform the query again.  */
912
913   n = gimple_switch_num_labels (t);
914   for (i = 0; i < n; i++)
915     {
916       tree elt = gimple_switch_label (t, i);
917       tree lab = CASE_LABEL (elt);
918       basic_block label_bb = label_to_block (lab);
919       edge this_edge = find_edge (e->src, label_bb);
920
921       /* Add it to the chain of CASE_LABEL_EXPRs referencing E, or create
922          a new chain.  */
923       slot = pointer_map_insert (edge_to_cases, this_edge);
924       CASE_CHAIN (elt) = (tree) *slot;
925       *slot = elt;
926     }
927
928   return (tree) *pointer_map_contains (edge_to_cases, e);
929 }
930
931 /* Create the edges for a GIMPLE_SWITCH starting at block BB.  */
932
933 static void
934 make_gimple_switch_edges (basic_block bb)
935 {
936   gimple entry = last_stmt (bb);
937   location_t entry_locus;
938   size_t i, n;
939
940   entry_locus = gimple_location (entry);
941
942   n = gimple_switch_num_labels (entry);
943
944   for (i = 0; i < n; ++i)
945     {
946       tree lab = CASE_LABEL (gimple_switch_label (entry, i));
947       basic_block label_bb = label_to_block (lab);
948       make_edge (bb, label_bb, 0);
949       assign_discriminator (entry_locus, label_bb);
950     }
951 }
952
953
954 /* Return the basic block holding label DEST.  */
955
956 basic_block
957 label_to_block_fn (struct function *ifun, tree dest)
958 {
959   int uid = LABEL_DECL_UID (dest);
960
961   /* We would die hard when faced by an undefined label.  Emit a label to
962      the very first basic block.  This will hopefully make even the dataflow
963      and undefined variable warnings quite right.  */
964   if (seen_error () && uid < 0)
965     {
966       gimple_stmt_iterator gsi = gsi_start_bb (BASIC_BLOCK (NUM_FIXED_BLOCKS));
967       gimple stmt;
968
969       stmt = gimple_build_label (dest);
970       gsi_insert_before (&gsi, stmt, GSI_NEW_STMT);
971       uid = LABEL_DECL_UID (dest);
972     }
973   if (VEC_length (basic_block, ifun->cfg->x_label_to_block_map)
974       <= (unsigned int) uid)
975     return NULL;
976   return VEC_index (basic_block, ifun->cfg->x_label_to_block_map, uid);
977 }
978
979 /* Create edges for an abnormal goto statement at block BB.  If FOR_CALL
980    is true, the source statement is a CALL_EXPR instead of a GOTO_EXPR.  */
981
982 void
983 make_abnormal_goto_edges (basic_block bb, bool for_call)
984 {
985   basic_block target_bb;
986   gimple_stmt_iterator gsi;
987
988   FOR_EACH_BB (target_bb)
989     for (gsi = gsi_start_bb (target_bb); !gsi_end_p (gsi); gsi_next (&gsi))
990       {
991         gimple label_stmt = gsi_stmt (gsi);
992         tree target;
993
994         if (gimple_code (label_stmt) != GIMPLE_LABEL)
995           break;
996
997         target = gimple_label_label (label_stmt);
998
999         /* Make an edge to every label block that has been marked as a
1000            potential target for a computed goto or a non-local goto.  */
1001         if ((FORCED_LABEL (target) && !for_call)
1002             || (DECL_NONLOCAL (target) && for_call))
1003           {
1004             make_edge (bb, target_bb, EDGE_ABNORMAL);
1005             break;
1006           }
1007       }
1008 }
1009
1010 /* Create edges for a goto statement at block BB.  */
1011
1012 static void
1013 make_goto_expr_edges (basic_block bb)
1014 {
1015   gimple_stmt_iterator last = gsi_last_bb (bb);
1016   gimple goto_t = gsi_stmt (last);
1017
1018   /* A simple GOTO creates normal edges.  */
1019   if (simple_goto_p (goto_t))
1020     {
1021       tree dest = gimple_goto_dest (goto_t);
1022       basic_block label_bb = label_to_block (dest);
1023       edge e = make_edge (bb, label_bb, EDGE_FALLTHRU);
1024       e->goto_locus = gimple_location (goto_t);
1025       assign_discriminator (e->goto_locus, label_bb);
1026       if (e->goto_locus)
1027         e->goto_block = gimple_block (goto_t);
1028       gsi_remove (&last, true);
1029       return;
1030     }
1031
1032   /* A computed GOTO creates abnormal edges.  */
1033   make_abnormal_goto_edges (bb, false);
1034 }
1035
1036 /* Create edges for an asm statement with labels at block BB.  */
1037
1038 static void
1039 make_gimple_asm_edges (basic_block bb)
1040 {
1041   gimple stmt = last_stmt (bb);
1042   location_t stmt_loc = gimple_location (stmt);
1043   int i, n = gimple_asm_nlabels (stmt);
1044
1045   for (i = 0; i < n; ++i)
1046     {
1047       tree label = TREE_VALUE (gimple_asm_label_op (stmt, i));
1048       basic_block label_bb = label_to_block (label);
1049       make_edge (bb, label_bb, 0);
1050       assign_discriminator (stmt_loc, label_bb);
1051     }
1052 }
1053
1054 /*---------------------------------------------------------------------------
1055                                Flowgraph analysis
1056 ---------------------------------------------------------------------------*/
1057
1058 /* Cleanup useless labels in basic blocks.  This is something we wish
1059    to do early because it allows us to group case labels before creating
1060    the edges for the CFG, and it speeds up block statement iterators in
1061    all passes later on.
1062    We rerun this pass after CFG is created, to get rid of the labels that
1063    are no longer referenced.  After then we do not run it any more, since
1064    (almost) no new labels should be created.  */
1065
1066 /* A map from basic block index to the leading label of that block.  */
1067 static struct label_record
1068 {
1069   /* The label.  */
1070   tree label;
1071
1072   /* True if the label is referenced from somewhere.  */
1073   bool used;
1074 } *label_for_bb;
1075
1076 /* Given LABEL return the first label in the same basic block.  */
1077
1078 static tree
1079 main_block_label (tree label)
1080 {
1081   basic_block bb = label_to_block (label);
1082   tree main_label = label_for_bb[bb->index].label;
1083
1084   /* label_to_block possibly inserted undefined label into the chain.  */
1085   if (!main_label)
1086     {
1087       label_for_bb[bb->index].label = label;
1088       main_label = label;
1089     }
1090
1091   label_for_bb[bb->index].used = true;
1092   return main_label;
1093 }
1094
1095 /* Clean up redundant labels within the exception tree.  */
1096
1097 static void
1098 cleanup_dead_labels_eh (void)
1099 {
1100   eh_landing_pad lp;
1101   eh_region r;
1102   tree lab;
1103   int i;
1104
1105   if (cfun->eh == NULL)
1106     return;
1107
1108   for (i = 1; VEC_iterate (eh_landing_pad, cfun->eh->lp_array, i, lp); ++i)
1109     if (lp && lp->post_landing_pad)
1110       {
1111         lab = main_block_label (lp->post_landing_pad);
1112         if (lab != lp->post_landing_pad)
1113           {
1114             EH_LANDING_PAD_NR (lp->post_landing_pad) = 0;
1115             EH_LANDING_PAD_NR (lab) = lp->index;
1116           }
1117       }
1118
1119   FOR_ALL_EH_REGION (r)
1120     switch (r->type)
1121       {
1122       case ERT_CLEANUP:
1123       case ERT_MUST_NOT_THROW:
1124         break;
1125
1126       case ERT_TRY:
1127         {
1128           eh_catch c;
1129           for (c = r->u.eh_try.first_catch; c ; c = c->next_catch)
1130             {
1131               lab = c->label;
1132               if (lab)
1133                 c->label = main_block_label (lab);
1134             }
1135         }
1136         break;
1137
1138       case ERT_ALLOWED_EXCEPTIONS:
1139         lab = r->u.allowed.label;
1140         if (lab)
1141           r->u.allowed.label = main_block_label (lab);
1142         break;
1143       }
1144 }
1145
1146
1147 /* Cleanup redundant labels.  This is a three-step process:
1148      1) Find the leading label for each block.
1149      2) Redirect all references to labels to the leading labels.
1150      3) Cleanup all useless labels.  */
1151
1152 void
1153 cleanup_dead_labels (void)
1154 {
1155   basic_block bb;
1156   label_for_bb = XCNEWVEC (struct label_record, last_basic_block);
1157
1158   /* Find a suitable label for each block.  We use the first user-defined
1159      label if there is one, or otherwise just the first label we see.  */
1160   FOR_EACH_BB (bb)
1161     {
1162       gimple_stmt_iterator i;
1163
1164       for (i = gsi_start_bb (bb); !gsi_end_p (i); gsi_next (&i))
1165         {
1166           tree label;
1167           gimple stmt = gsi_stmt (i);
1168
1169           if (gimple_code (stmt) != GIMPLE_LABEL)
1170             break;
1171
1172           label = gimple_label_label (stmt);
1173
1174           /* If we have not yet seen a label for the current block,
1175              remember this one and see if there are more labels.  */
1176           if (!label_for_bb[bb->index].label)
1177             {
1178               label_for_bb[bb->index].label = label;
1179               continue;
1180             }
1181
1182           /* If we did see a label for the current block already, but it
1183              is an artificially created label, replace it if the current
1184              label is a user defined label.  */
1185           if (!DECL_ARTIFICIAL (label)
1186               && DECL_ARTIFICIAL (label_for_bb[bb->index].label))
1187             {
1188               label_for_bb[bb->index].label = label;
1189               break;
1190             }
1191         }
1192     }
1193
1194   /* Now redirect all jumps/branches to the selected label.
1195      First do so for each block ending in a control statement.  */
1196   FOR_EACH_BB (bb)
1197     {
1198       gimple stmt = last_stmt (bb);
1199       if (!stmt)
1200         continue;
1201
1202       switch (gimple_code (stmt))
1203         {
1204         case GIMPLE_COND:
1205           {
1206             tree true_label = gimple_cond_true_label (stmt);
1207             tree false_label = gimple_cond_false_label (stmt);
1208
1209             if (true_label)
1210               gimple_cond_set_true_label (stmt, main_block_label (true_label));
1211             if (false_label)
1212               gimple_cond_set_false_label (stmt, main_block_label (false_label));
1213             break;
1214           }
1215
1216         case GIMPLE_SWITCH:
1217           {
1218             size_t i, n = gimple_switch_num_labels (stmt);
1219
1220             /* Replace all destination labels.  */
1221             for (i = 0; i < n; ++i)
1222               {
1223                 tree case_label = gimple_switch_label (stmt, i);
1224                 tree label = main_block_label (CASE_LABEL (case_label));
1225                 CASE_LABEL (case_label) = label;
1226               }
1227             break;
1228           }
1229
1230         case GIMPLE_ASM:
1231           {
1232             int i, n = gimple_asm_nlabels (stmt);
1233
1234             for (i = 0; i < n; ++i)
1235               {
1236                 tree cons = gimple_asm_label_op (stmt, i);
1237                 tree label = main_block_label (TREE_VALUE (cons));
1238                 TREE_VALUE (cons) = label;
1239               }
1240             break;
1241           }
1242
1243         /* We have to handle gotos until they're removed, and we don't
1244            remove them until after we've created the CFG edges.  */
1245         case GIMPLE_GOTO:
1246           if (!computed_goto_p (stmt))
1247             {
1248               tree new_dest = main_block_label (gimple_goto_dest (stmt));
1249               gimple_goto_set_dest (stmt, new_dest);
1250             }
1251           break;
1252
1253         default:
1254           break;
1255       }
1256     }
1257
1258   /* Do the same for the exception region tree labels.  */
1259   cleanup_dead_labels_eh ();
1260
1261   /* Finally, purge dead labels.  All user-defined labels and labels that
1262      can be the target of non-local gotos and labels which have their
1263      address taken are preserved.  */
1264   FOR_EACH_BB (bb)
1265     {
1266       gimple_stmt_iterator i;
1267       tree label_for_this_bb = label_for_bb[bb->index].label;
1268
1269       if (!label_for_this_bb)
1270         continue;
1271
1272       /* If the main label of the block is unused, we may still remove it.  */
1273       if (!label_for_bb[bb->index].used)
1274         label_for_this_bb = NULL;
1275
1276       for (i = gsi_start_bb (bb); !gsi_end_p (i); )
1277         {
1278           tree label;
1279           gimple stmt = gsi_stmt (i);
1280
1281           if (gimple_code (stmt) != GIMPLE_LABEL)
1282             break;
1283
1284           label = gimple_label_label (stmt);
1285
1286           if (label == label_for_this_bb
1287               || !DECL_ARTIFICIAL (label)
1288               || DECL_NONLOCAL (label)
1289               || FORCED_LABEL (label))
1290             gsi_next (&i);
1291           else
1292             gsi_remove (&i, true);
1293         }
1294     }
1295
1296   free (label_for_bb);
1297 }
1298
1299 /* Scan the sorted vector of cases in STMT (a GIMPLE_SWITCH) and combine
1300    the ones jumping to the same label.
1301    Eg. three separate entries 1: 2: 3: become one entry 1..3:  */
1302
1303 static void
1304 group_case_labels_stmt (gimple stmt)
1305 {
1306   int old_size = gimple_switch_num_labels (stmt);
1307   int i, j, new_size = old_size;
1308   tree default_case = NULL_TREE;
1309   tree default_label = NULL_TREE;
1310   bool has_default;
1311
1312   /* The default label is always the first case in a switch
1313      statement after gimplification if it was not optimized
1314      away */
1315   if (!CASE_LOW (gimple_switch_default_label (stmt))
1316       && !CASE_HIGH (gimple_switch_default_label (stmt)))
1317     {
1318       default_case = gimple_switch_default_label (stmt);
1319       default_label = CASE_LABEL (default_case);
1320       has_default = true;
1321     }
1322   else
1323     has_default = false;
1324
1325   /* Look for possible opportunities to merge cases.  */
1326   if (has_default)
1327     i = 1;
1328   else
1329     i = 0;
1330   while (i < old_size)
1331     {
1332       tree base_case, base_label, base_high;
1333       base_case = gimple_switch_label (stmt, i);
1334
1335       gcc_assert (base_case);
1336       base_label = CASE_LABEL (base_case);
1337
1338       /* Discard cases that have the same destination as the
1339          default case.  */
1340       if (base_label == default_label)
1341         {
1342           gimple_switch_set_label (stmt, i, NULL_TREE);
1343           i++;
1344           new_size--;
1345           continue;
1346         }
1347
1348       base_high = CASE_HIGH (base_case)
1349           ? CASE_HIGH (base_case)
1350           : CASE_LOW (base_case);
1351       i++;
1352
1353       /* Try to merge case labels.  Break out when we reach the end
1354          of the label vector or when we cannot merge the next case
1355          label with the current one.  */
1356       while (i < old_size)
1357         {
1358           tree merge_case = gimple_switch_label (stmt, i);
1359           tree merge_label = CASE_LABEL (merge_case);
1360           double_int bhp1 = double_int_add (tree_to_double_int (base_high),
1361                                             double_int_one);
1362
1363           /* Merge the cases if they jump to the same place,
1364              and their ranges are consecutive.  */
1365           if (merge_label == base_label
1366               && double_int_equal_p (tree_to_double_int (CASE_LOW (merge_case)),
1367                                      bhp1))
1368             {
1369               base_high = CASE_HIGH (merge_case) ?
1370                   CASE_HIGH (merge_case) : CASE_LOW (merge_case);
1371               CASE_HIGH (base_case) = base_high;
1372               gimple_switch_set_label (stmt, i, NULL_TREE);
1373               new_size--;
1374               i++;
1375             }
1376           else
1377             break;
1378         }
1379     }
1380
1381   /* Compress the case labels in the label vector, and adjust the
1382      length of the vector.  */
1383   for (i = 0, j = 0; i < new_size; i++)
1384     {
1385       while (! gimple_switch_label (stmt, j))
1386         j++;
1387       gimple_switch_set_label (stmt, i,
1388                                gimple_switch_label (stmt, j++));
1389     }
1390
1391   gcc_assert (new_size <= old_size);
1392   gimple_switch_set_num_labels (stmt, new_size);
1393 }
1394
1395 /* Look for blocks ending in a multiway branch (a GIMPLE_SWITCH),
1396    and scan the sorted vector of cases.  Combine the ones jumping to the
1397    same label.  */
1398
1399 void
1400 group_case_labels (void)
1401 {
1402   basic_block bb;
1403
1404   FOR_EACH_BB (bb)
1405     {
1406       gimple stmt = last_stmt (bb);
1407       if (stmt && gimple_code (stmt) == GIMPLE_SWITCH)
1408         group_case_labels_stmt (stmt);
1409     }
1410 }
1411
1412 /* Checks whether we can merge block B into block A.  */
1413
1414 static bool
1415 gimple_can_merge_blocks_p (basic_block a, basic_block b)
1416 {
1417   gimple stmt;
1418   gimple_stmt_iterator gsi;
1419   gimple_seq phis;
1420
1421   if (!single_succ_p (a))
1422     return false;
1423
1424   if (single_succ_edge (a)->flags & (EDGE_ABNORMAL | EDGE_EH | EDGE_PRESERVE))
1425     return false;
1426
1427   if (single_succ (a) != b)
1428     return false;
1429
1430   if (!single_pred_p (b))
1431     return false;
1432
1433   if (b == EXIT_BLOCK_PTR)
1434     return false;
1435
1436   /* If A ends by a statement causing exceptions or something similar, we
1437      cannot merge the blocks.  */
1438   stmt = last_stmt (a);
1439   if (stmt && stmt_ends_bb_p (stmt))
1440     return false;
1441
1442   /* Do not allow a block with only a non-local label to be merged.  */
1443   if (stmt
1444       && gimple_code (stmt) == GIMPLE_LABEL
1445       && DECL_NONLOCAL (gimple_label_label (stmt)))
1446     return false;
1447
1448   /* Examine the labels at the beginning of B.  */
1449   for (gsi = gsi_start_bb (b); !gsi_end_p (gsi); gsi_next (&gsi))
1450     {
1451       tree lab;
1452       stmt = gsi_stmt (gsi);
1453       if (gimple_code (stmt) != GIMPLE_LABEL)
1454         break;
1455       lab = gimple_label_label (stmt);
1456
1457       /* Do not remove user labels.  */
1458       if (!DECL_ARTIFICIAL (lab))
1459         return false;
1460     }
1461
1462   /* Protect the loop latches.  */
1463   if (current_loops && b->loop_father->latch == b)
1464     return false;
1465
1466   /* It must be possible to eliminate all phi nodes in B.  If ssa form
1467      is not up-to-date and a name-mapping is registered, we cannot eliminate
1468      any phis.  Symbols marked for renaming are never a problem though.  */
1469   phis = phi_nodes (b);
1470   if (!gimple_seq_empty_p (phis)
1471       && name_mappings_registered_p ())
1472     return false;
1473
1474   /* When not optimizing, don't merge if we'd lose goto_locus.  */
1475   if (!optimize
1476       && single_succ_edge (a)->goto_locus != UNKNOWN_LOCATION)
1477     {
1478       location_t goto_locus = single_succ_edge (a)->goto_locus;
1479       gimple_stmt_iterator prev, next;
1480       prev = gsi_last_nondebug_bb (a);
1481       next = gsi_after_labels (b);
1482       if (!gsi_end_p (next) && is_gimple_debug (gsi_stmt (next)))
1483         gsi_next_nondebug (&next);
1484       if ((gsi_end_p (prev)
1485            || gimple_location (gsi_stmt (prev)) != goto_locus)
1486           && (gsi_end_p (next)
1487               || gimple_location (gsi_stmt (next)) != goto_locus))
1488         return false;
1489     }
1490
1491   return true;
1492 }
1493
1494 /* Return true if the var whose chain of uses starts at PTR has no
1495    nondebug uses.  */
1496 bool
1497 has_zero_uses_1 (const ssa_use_operand_t *head)
1498 {
1499   const ssa_use_operand_t *ptr;
1500
1501   for (ptr = head->next; ptr != head; ptr = ptr->next)
1502     if (!is_gimple_debug (USE_STMT (ptr)))
1503       return false;
1504
1505   return true;
1506 }
1507
1508 /* Return true if the var whose chain of uses starts at PTR has a
1509    single nondebug use.  Set USE_P and STMT to that single nondebug
1510    use, if so, or to NULL otherwise.  */
1511 bool
1512 single_imm_use_1 (const ssa_use_operand_t *head,
1513                   use_operand_p *use_p, gimple *stmt)
1514 {
1515   ssa_use_operand_t *ptr, *single_use = 0;
1516
1517   for (ptr = head->next; ptr != head; ptr = ptr->next)
1518     if (!is_gimple_debug (USE_STMT (ptr)))
1519       {
1520         if (single_use)
1521           {
1522             single_use = NULL;
1523             break;
1524           }
1525         single_use = ptr;
1526       }
1527
1528   if (use_p)
1529     *use_p = single_use;
1530
1531   if (stmt)
1532     *stmt = single_use ? single_use->loc.stmt : NULL;
1533
1534   return !!single_use;
1535 }
1536
1537 /* Replaces all uses of NAME by VAL.  */
1538
1539 void
1540 replace_uses_by (tree name, tree val)
1541 {
1542   imm_use_iterator imm_iter;
1543   use_operand_p use;
1544   gimple stmt;
1545   edge e;
1546
1547   FOR_EACH_IMM_USE_STMT (stmt, imm_iter, name)
1548     {
1549       FOR_EACH_IMM_USE_ON_STMT (use, imm_iter)
1550         {
1551           replace_exp (use, val);
1552
1553           if (gimple_code (stmt) == GIMPLE_PHI)
1554             {
1555               e = gimple_phi_arg_edge (stmt, PHI_ARG_INDEX_FROM_USE (use));
1556               if (e->flags & EDGE_ABNORMAL)
1557                 {
1558                   /* This can only occur for virtual operands, since
1559                      for the real ones SSA_NAME_OCCURS_IN_ABNORMAL_PHI (name))
1560                      would prevent replacement.  */
1561                   gcc_assert (!is_gimple_reg (name));
1562                   SSA_NAME_OCCURS_IN_ABNORMAL_PHI (val) = 1;
1563                 }
1564             }
1565         }
1566
1567       if (gimple_code (stmt) != GIMPLE_PHI)
1568         {
1569           size_t i;
1570
1571           fold_stmt_inplace (stmt);
1572           if (cfgcleanup_altered_bbs && !is_gimple_debug (stmt))
1573             bitmap_set_bit (cfgcleanup_altered_bbs, gimple_bb (stmt)->index);
1574
1575           /* FIXME.  This should go in update_stmt.  */
1576           for (i = 0; i < gimple_num_ops (stmt); i++)
1577             {
1578               tree op = gimple_op (stmt, i);
1579               /* Operands may be empty here.  For example, the labels
1580                  of a GIMPLE_COND are nulled out following the creation
1581                  of the corresponding CFG edges.  */
1582               if (op && TREE_CODE (op) == ADDR_EXPR)
1583                 recompute_tree_invariant_for_addr_expr (op);
1584             }
1585
1586           maybe_clean_or_replace_eh_stmt (stmt, stmt);
1587           update_stmt (stmt);
1588         }
1589     }
1590
1591   gcc_assert (has_zero_uses (name));
1592
1593   /* Also update the trees stored in loop structures.  */
1594   if (current_loops)
1595     {
1596       struct loop *loop;
1597       loop_iterator li;
1598
1599       FOR_EACH_LOOP (li, loop, 0)
1600         {
1601           substitute_in_loop_info (loop, name, val);
1602         }
1603     }
1604 }
1605
1606 /* Merge block B into block A.  */
1607
1608 static void
1609 gimple_merge_blocks (basic_block a, basic_block b)
1610 {
1611   gimple_stmt_iterator last, gsi, psi;
1612   gimple_seq phis = phi_nodes (b);
1613
1614   if (dump_file)
1615     fprintf (dump_file, "Merging blocks %d and %d\n", a->index, b->index);
1616
1617   /* Remove all single-valued PHI nodes from block B of the form
1618      V_i = PHI <V_j> by propagating V_j to all the uses of V_i.  */
1619   gsi = gsi_last_bb (a);
1620   for (psi = gsi_start (phis); !gsi_end_p (psi); )
1621     {
1622       gimple phi = gsi_stmt (psi);
1623       tree def = gimple_phi_result (phi), use = gimple_phi_arg_def (phi, 0);
1624       gimple copy;
1625       bool may_replace_uses = !is_gimple_reg (def)
1626                               || may_propagate_copy (def, use);
1627
1628       /* In case we maintain loop closed ssa form, do not propagate arguments
1629          of loop exit phi nodes.  */
1630       if (current_loops
1631           && loops_state_satisfies_p (LOOP_CLOSED_SSA)
1632           && is_gimple_reg (def)
1633           && TREE_CODE (use) == SSA_NAME
1634           && a->loop_father != b->loop_father)
1635         may_replace_uses = false;
1636
1637       if (!may_replace_uses)
1638         {
1639           gcc_assert (is_gimple_reg (def));
1640
1641           /* Note that just emitting the copies is fine -- there is no problem
1642              with ordering of phi nodes.  This is because A is the single
1643              predecessor of B, therefore results of the phi nodes cannot
1644              appear as arguments of the phi nodes.  */
1645           copy = gimple_build_assign (def, use);
1646           gsi_insert_after (&gsi, copy, GSI_NEW_STMT);
1647           remove_phi_node (&psi, false);
1648         }
1649       else
1650         {
1651           /* If we deal with a PHI for virtual operands, we can simply
1652              propagate these without fussing with folding or updating
1653              the stmt.  */
1654           if (!is_gimple_reg (def))
1655             {
1656               imm_use_iterator iter;
1657               use_operand_p use_p;
1658               gimple stmt;
1659
1660               FOR_EACH_IMM_USE_STMT (stmt, iter, def)
1661                 FOR_EACH_IMM_USE_ON_STMT (use_p, iter)
1662                   SET_USE (use_p, use);
1663
1664               if (SSA_NAME_OCCURS_IN_ABNORMAL_PHI (def))
1665                 SSA_NAME_OCCURS_IN_ABNORMAL_PHI (use) = 1;
1666             }
1667           else
1668             replace_uses_by (def, use);
1669
1670           remove_phi_node (&psi, true);
1671         }
1672     }
1673
1674   /* Ensure that B follows A.  */
1675   move_block_after (b, a);
1676
1677   gcc_assert (single_succ_edge (a)->flags & EDGE_FALLTHRU);
1678   gcc_assert (!last_stmt (a) || !stmt_ends_bb_p (last_stmt (a)));
1679
1680   /* Remove labels from B and set gimple_bb to A for other statements.  */
1681   for (gsi = gsi_start_bb (b); !gsi_end_p (gsi);)
1682     {
1683       gimple stmt = gsi_stmt (gsi);
1684       if (gimple_code (stmt) == GIMPLE_LABEL)
1685         {
1686           tree label = gimple_label_label (stmt);
1687           int lp_nr;
1688
1689           gsi_remove (&gsi, false);
1690
1691           /* Now that we can thread computed gotos, we might have
1692              a situation where we have a forced label in block B
1693              However, the label at the start of block B might still be
1694              used in other ways (think about the runtime checking for
1695              Fortran assigned gotos).  So we can not just delete the
1696              label.  Instead we move the label to the start of block A.  */
1697           if (FORCED_LABEL (label))
1698             {
1699               gimple_stmt_iterator dest_gsi = gsi_start_bb (a);
1700               gsi_insert_before (&dest_gsi, stmt, GSI_NEW_STMT);
1701             }
1702
1703           lp_nr = EH_LANDING_PAD_NR (label);
1704           if (lp_nr)
1705             {
1706               eh_landing_pad lp = get_eh_landing_pad_from_number (lp_nr);
1707               lp->post_landing_pad = NULL;
1708             }
1709         }
1710       else
1711         {
1712           gimple_set_bb (stmt, a);
1713           gsi_next (&gsi);
1714         }
1715     }
1716
1717   /* Merge the sequences.  */
1718   last = gsi_last_bb (a);
1719   gsi_insert_seq_after (&last, bb_seq (b), GSI_NEW_STMT);
1720   set_bb_seq (b, NULL);
1721
1722   if (cfgcleanup_altered_bbs)
1723     bitmap_set_bit (cfgcleanup_altered_bbs, a->index);
1724 }
1725
1726
1727 /* Return the one of two successors of BB that is not reachable by a
1728    complex edge, if there is one.  Else, return BB.  We use
1729    this in optimizations that use post-dominators for their heuristics,
1730    to catch the cases in C++ where function calls are involved.  */
1731
1732 basic_block
1733 single_noncomplex_succ (basic_block bb)
1734 {
1735   edge e0, e1;
1736   if (EDGE_COUNT (bb->succs) != 2)
1737     return bb;
1738
1739   e0 = EDGE_SUCC (bb, 0);
1740   e1 = EDGE_SUCC (bb, 1);
1741   if (e0->flags & EDGE_COMPLEX)
1742     return e1->dest;
1743   if (e1->flags & EDGE_COMPLEX)
1744     return e0->dest;
1745
1746   return bb;
1747 }
1748
1749 /* T is CALL_EXPR.  Set current_function_calls_* flags.  */
1750
1751 void
1752 notice_special_calls (gimple call)
1753 {
1754   int flags = gimple_call_flags (call);
1755
1756   if (flags & ECF_MAY_BE_ALLOCA)
1757     cfun->calls_alloca = true;
1758   if (flags & ECF_RETURNS_TWICE)
1759     cfun->calls_setjmp = true;
1760 }
1761
1762
1763 /* Clear flags set by notice_special_calls.  Used by dead code removal
1764    to update the flags.  */
1765
1766 void
1767 clear_special_calls (void)
1768 {
1769   cfun->calls_alloca = false;
1770   cfun->calls_setjmp = false;
1771 }
1772
1773 /* Remove PHI nodes associated with basic block BB and all edges out of BB.  */
1774
1775 static void
1776 remove_phi_nodes_and_edges_for_unreachable_block (basic_block bb)
1777 {
1778   /* Since this block is no longer reachable, we can just delete all
1779      of its PHI nodes.  */
1780   remove_phi_nodes (bb);
1781
1782   /* Remove edges to BB's successors.  */
1783   while (EDGE_COUNT (bb->succs) > 0)
1784     remove_edge (EDGE_SUCC (bb, 0));
1785 }
1786
1787
1788 /* Remove statements of basic block BB.  */
1789
1790 static void
1791 remove_bb (basic_block bb)
1792 {
1793   gimple_stmt_iterator i;
1794
1795   if (dump_file)
1796     {
1797       fprintf (dump_file, "Removing basic block %d\n", bb->index);
1798       if (dump_flags & TDF_DETAILS)
1799         {
1800           dump_bb (bb, dump_file, 0);
1801           fprintf (dump_file, "\n");
1802         }
1803     }
1804
1805   if (current_loops)
1806     {
1807       struct loop *loop = bb->loop_father;
1808
1809       /* If a loop gets removed, clean up the information associated
1810          with it.  */
1811       if (loop->latch == bb
1812           || loop->header == bb)
1813         free_numbers_of_iterations_estimates_loop (loop);
1814     }
1815
1816   /* Remove all the instructions in the block.  */
1817   if (bb_seq (bb) != NULL)
1818     {
1819       /* Walk backwards so as to get a chance to substitute all
1820          released DEFs into debug stmts.  See
1821          eliminate_unnecessary_stmts() in tree-ssa-dce.c for more
1822          details.  */
1823       for (i = gsi_last_bb (bb); !gsi_end_p (i);)
1824         {
1825           gimple stmt = gsi_stmt (i);
1826           if (gimple_code (stmt) == GIMPLE_LABEL
1827               && (FORCED_LABEL (gimple_label_label (stmt))
1828                   || DECL_NONLOCAL (gimple_label_label (stmt))))
1829             {
1830               basic_block new_bb;
1831               gimple_stmt_iterator new_gsi;
1832
1833               /* A non-reachable non-local label may still be referenced.
1834                  But it no longer needs to carry the extra semantics of
1835                  non-locality.  */
1836               if (DECL_NONLOCAL (gimple_label_label (stmt)))
1837                 {
1838                   DECL_NONLOCAL (gimple_label_label (stmt)) = 0;
1839                   FORCED_LABEL (gimple_label_label (stmt)) = 1;
1840                 }
1841
1842               new_bb = bb->prev_bb;
1843               new_gsi = gsi_start_bb (new_bb);
1844               gsi_remove (&i, false);
1845               gsi_insert_before (&new_gsi, stmt, GSI_NEW_STMT);
1846             }
1847           else
1848             {
1849               /* Release SSA definitions if we are in SSA.  Note that we
1850                  may be called when not in SSA.  For example,
1851                  final_cleanup calls this function via
1852                  cleanup_tree_cfg.  */
1853               if (gimple_in_ssa_p (cfun))
1854                 release_defs (stmt);
1855
1856               gsi_remove (&i, true);
1857             }
1858
1859           if (gsi_end_p (i))
1860             i = gsi_last_bb (bb);
1861           else
1862             gsi_prev (&i);
1863         }
1864     }
1865
1866   remove_phi_nodes_and_edges_for_unreachable_block (bb);
1867   bb->il.gimple = NULL;
1868 }
1869
1870
1871 /* Given a basic block BB ending with COND_EXPR or SWITCH_EXPR, and a
1872    predicate VAL, return the edge that will be taken out of the block.
1873    If VAL does not match a unique edge, NULL is returned.  */
1874
1875 edge
1876 find_taken_edge (basic_block bb, tree val)
1877 {
1878   gimple stmt;
1879
1880   stmt = last_stmt (bb);
1881
1882   gcc_assert (stmt);
1883   gcc_assert (is_ctrl_stmt (stmt));
1884
1885   if (val == NULL)
1886     return NULL;
1887
1888   if (!is_gimple_min_invariant (val))
1889     return NULL;
1890
1891   if (gimple_code (stmt) == GIMPLE_COND)
1892     return find_taken_edge_cond_expr (bb, val);
1893
1894   if (gimple_code (stmt) == GIMPLE_SWITCH)
1895     return find_taken_edge_switch_expr (bb, val);
1896
1897   if (computed_goto_p (stmt))
1898     {
1899       /* Only optimize if the argument is a label, if the argument is
1900          not a label then we can not construct a proper CFG.
1901
1902          It may be the case that we only need to allow the LABEL_REF to
1903          appear inside an ADDR_EXPR, but we also allow the LABEL_REF to
1904          appear inside a LABEL_EXPR just to be safe.  */
1905       if ((TREE_CODE (val) == ADDR_EXPR || TREE_CODE (val) == LABEL_EXPR)
1906           && TREE_CODE (TREE_OPERAND (val, 0)) == LABEL_DECL)
1907         return find_taken_edge_computed_goto (bb, TREE_OPERAND (val, 0));
1908       return NULL;
1909     }
1910
1911   gcc_unreachable ();
1912 }
1913
1914 /* Given a constant value VAL and the entry block BB to a GOTO_EXPR
1915    statement, determine which of the outgoing edges will be taken out of the
1916    block.  Return NULL if either edge may be taken.  */
1917
1918 static edge
1919 find_taken_edge_computed_goto (basic_block bb, tree val)
1920 {
1921   basic_block dest;
1922   edge e = NULL;
1923
1924   dest = label_to_block (val);
1925   if (dest)
1926     {
1927       e = find_edge (bb, dest);
1928       gcc_assert (e != NULL);
1929     }
1930
1931   return e;
1932 }
1933
1934 /* Given a constant value VAL and the entry block BB to a COND_EXPR
1935    statement, determine which of the two edges will be taken out of the
1936    block.  Return NULL if either edge may be taken.  */
1937
1938 static edge
1939 find_taken_edge_cond_expr (basic_block bb, tree val)
1940 {
1941   edge true_edge, false_edge;
1942
1943   extract_true_false_edges_from_block (bb, &true_edge, &false_edge);
1944
1945   gcc_assert (TREE_CODE (val) == INTEGER_CST);
1946   return (integer_zerop (val) ? false_edge : true_edge);
1947 }
1948
1949 /* Given an INTEGER_CST VAL and the entry block BB to a SWITCH_EXPR
1950    statement, determine which edge will be taken out of the block.  Return
1951    NULL if any edge may be taken.  */
1952
1953 static edge
1954 find_taken_edge_switch_expr (basic_block bb, tree val)
1955 {
1956   basic_block dest_bb;
1957   edge e;
1958   gimple switch_stmt;
1959   tree taken_case;
1960
1961   switch_stmt = last_stmt (bb);
1962   taken_case = find_case_label_for_value (switch_stmt, val);
1963   dest_bb = label_to_block (CASE_LABEL (taken_case));
1964
1965   e = find_edge (bb, dest_bb);
1966   gcc_assert (e);
1967   return e;
1968 }
1969
1970
1971 /* Return the CASE_LABEL_EXPR that SWITCH_STMT will take for VAL.
1972    We can make optimal use here of the fact that the case labels are
1973    sorted: We can do a binary search for a case matching VAL.  */
1974
1975 static tree
1976 find_case_label_for_value (gimple switch_stmt, tree val)
1977 {
1978   size_t low, high, n = gimple_switch_num_labels (switch_stmt);
1979   tree default_case = gimple_switch_default_label (switch_stmt);
1980
1981   for (low = 0, high = n; high - low > 1; )
1982     {
1983       size_t i = (high + low) / 2;
1984       tree t = gimple_switch_label (switch_stmt, i);
1985       int cmp;
1986
1987       /* Cache the result of comparing CASE_LOW and val.  */
1988       cmp = tree_int_cst_compare (CASE_LOW (t), val);
1989
1990       if (cmp > 0)
1991         high = i;
1992       else
1993         low = i;
1994
1995       if (CASE_HIGH (t) == NULL)
1996         {
1997           /* A singe-valued case label.  */
1998           if (cmp == 0)
1999             return t;
2000         }
2001       else
2002         {
2003           /* A case range.  We can only handle integer ranges.  */
2004           if (cmp <= 0 && tree_int_cst_compare (CASE_HIGH (t), val) >= 0)
2005             return t;
2006         }
2007     }
2008
2009   return default_case;
2010 }
2011
2012
2013 /* Dump a basic block on stderr.  */
2014
2015 void
2016 gimple_debug_bb (basic_block bb)
2017 {
2018   gimple_dump_bb (bb, stderr, 0, TDF_VOPS|TDF_MEMSYMS);
2019 }
2020
2021
2022 /* Dump basic block with index N on stderr.  */
2023
2024 basic_block
2025 gimple_debug_bb_n (int n)
2026 {
2027   gimple_debug_bb (BASIC_BLOCK (n));
2028   return BASIC_BLOCK (n);
2029 }
2030
2031
2032 /* Dump the CFG on stderr.
2033
2034    FLAGS are the same used by the tree dumping functions
2035    (see TDF_* in tree-pass.h).  */
2036
2037 void
2038 gimple_debug_cfg (int flags)
2039 {
2040   gimple_dump_cfg (stderr, flags);
2041 }
2042
2043
2044 /* Dump the program showing basic block boundaries on the given FILE.
2045
2046    FLAGS are the same used by the tree dumping functions (see TDF_* in
2047    tree.h).  */
2048
2049 void
2050 gimple_dump_cfg (FILE *file, int flags)
2051 {
2052   if (flags & TDF_DETAILS)
2053     {
2054       dump_function_header (file, current_function_decl, flags);
2055       fprintf (file, ";; \n%d basic blocks, %d edges, last basic block %d.\n\n",
2056                n_basic_blocks, n_edges, last_basic_block);
2057
2058       brief_dump_cfg (file);
2059       fprintf (file, "\n");
2060     }
2061
2062   if (flags & TDF_STATS)
2063     dump_cfg_stats (file);
2064
2065   dump_function_to_file (current_function_decl, file, flags | TDF_BLOCKS);
2066 }
2067
2068
2069 /* Dump CFG statistics on FILE.  */
2070
2071 void
2072 dump_cfg_stats (FILE *file)
2073 {
2074   static long max_num_merged_labels = 0;
2075   unsigned long size, total = 0;
2076   long num_edges;
2077   basic_block bb;
2078   const char * const fmt_str   = "%-30s%-13s%12s\n";
2079   const char * const fmt_str_1 = "%-30s%13d%11lu%c\n";
2080   const char * const fmt_str_2 = "%-30s%13ld%11lu%c\n";
2081   const char * const fmt_str_3 = "%-43s%11lu%c\n";
2082   const char *funcname
2083     = lang_hooks.decl_printable_name (current_function_decl, 2);
2084
2085
2086   fprintf (file, "\nCFG Statistics for %s\n\n", funcname);
2087
2088   fprintf (file, "---------------------------------------------------------\n");
2089   fprintf (file, fmt_str, "", "  Number of  ", "Memory");
2090   fprintf (file, fmt_str, "", "  instances  ", "used ");
2091   fprintf (file, "---------------------------------------------------------\n");
2092
2093   size = n_basic_blocks * sizeof (struct basic_block_def);
2094   total += size;
2095   fprintf (file, fmt_str_1, "Basic blocks", n_basic_blocks,
2096            SCALE (size), LABEL (size));
2097
2098   num_edges = 0;
2099   FOR_EACH_BB (bb)
2100     num_edges += EDGE_COUNT (bb->succs);
2101   size = num_edges * sizeof (struct edge_def);
2102   total += size;
2103   fprintf (file, fmt_str_2, "Edges", num_edges, SCALE (size), LABEL (size));
2104
2105   fprintf (file, "---------------------------------------------------------\n");
2106   fprintf (file, fmt_str_3, "Total memory used by CFG data", SCALE (total),
2107            LABEL (total));
2108   fprintf (file, "---------------------------------------------------------\n");
2109   fprintf (file, "\n");
2110
2111   if (cfg_stats.num_merged_labels > max_num_merged_labels)
2112     max_num_merged_labels = cfg_stats.num_merged_labels;
2113
2114   fprintf (file, "Coalesced label blocks: %ld (Max so far: %ld)\n",
2115            cfg_stats.num_merged_labels, max_num_merged_labels);
2116
2117   fprintf (file, "\n");
2118 }
2119
2120
2121 /* Dump CFG statistics on stderr.  Keep extern so that it's always
2122    linked in the final executable.  */
2123
2124 DEBUG_FUNCTION void
2125 debug_cfg_stats (void)
2126 {
2127   dump_cfg_stats (stderr);
2128 }
2129
2130
2131 /* Dump the flowgraph to a .vcg FILE.  */
2132
2133 static void
2134 gimple_cfg2vcg (FILE *file)
2135 {
2136   edge e;
2137   edge_iterator ei;
2138   basic_block bb;
2139   const char *funcname
2140     = lang_hooks.decl_printable_name (current_function_decl, 2);
2141
2142   /* Write the file header.  */
2143   fprintf (file, "graph: { title: \"%s\"\n", funcname);
2144   fprintf (file, "node: { title: \"ENTRY\" label: \"ENTRY\" }\n");
2145   fprintf (file, "node: { title: \"EXIT\" label: \"EXIT\" }\n");
2146
2147   /* Write blocks and edges.  */
2148   FOR_EACH_EDGE (e, ei, ENTRY_BLOCK_PTR->succs)
2149     {
2150       fprintf (file, "edge: { sourcename: \"ENTRY\" targetname: \"%d\"",
2151                e->dest->index);
2152
2153       if (e->flags & EDGE_FAKE)
2154         fprintf (file, " linestyle: dotted priority: 10");
2155       else
2156         fprintf (file, " linestyle: solid priority: 100");
2157
2158       fprintf (file, " }\n");
2159     }
2160   fputc ('\n', file);
2161
2162   FOR_EACH_BB (bb)
2163     {
2164       enum gimple_code head_code, end_code;
2165       const char *head_name, *end_name;
2166       int head_line = 0;
2167       int end_line = 0;
2168       gimple first = first_stmt (bb);
2169       gimple last = last_stmt (bb);
2170
2171       if (first)
2172         {
2173           head_code = gimple_code (first);
2174           head_name = gimple_code_name[head_code];
2175           head_line = get_lineno (first);
2176         }
2177       else
2178         head_name = "no-statement";
2179
2180       if (last)
2181         {
2182           end_code = gimple_code (last);
2183           end_name = gimple_code_name[end_code];
2184           end_line = get_lineno (last);
2185         }
2186       else
2187         end_name = "no-statement";
2188
2189       fprintf (file, "node: { title: \"%d\" label: \"#%d\\n%s (%d)\\n%s (%d)\"}\n",
2190                bb->index, bb->index, head_name, head_line, end_name,
2191                end_line);
2192
2193       FOR_EACH_EDGE (e, ei, bb->succs)
2194         {
2195           if (e->dest == EXIT_BLOCK_PTR)
2196             fprintf (file, "edge: { sourcename: \"%d\" targetname: \"EXIT\"", bb->index);
2197           else
2198             fprintf (file, "edge: { sourcename: \"%d\" targetname: \"%d\"", bb->index, e->dest->index);
2199
2200           if (e->flags & EDGE_FAKE)
2201             fprintf (file, " priority: 10 linestyle: dotted");
2202           else
2203             fprintf (file, " priority: 100 linestyle: solid");
2204
2205           fprintf (file, " }\n");
2206         }
2207
2208       if (bb->next_bb != EXIT_BLOCK_PTR)
2209         fputc ('\n', file);
2210     }
2211
2212   fputs ("}\n\n", file);
2213 }
2214
2215
2216
2217 /*---------------------------------------------------------------------------
2218                              Miscellaneous helpers
2219 ---------------------------------------------------------------------------*/
2220
2221 /* Return true if T represents a stmt that always transfers control.  */
2222
2223 bool
2224 is_ctrl_stmt (gimple t)
2225 {
2226   switch (gimple_code (t))
2227     {
2228     case GIMPLE_COND:
2229     case GIMPLE_SWITCH:
2230     case GIMPLE_GOTO:
2231     case GIMPLE_RETURN:
2232     case GIMPLE_RESX:
2233       return true;
2234     default:
2235       return false;
2236     }
2237 }
2238
2239
2240 /* Return true if T is a statement that may alter the flow of control
2241    (e.g., a call to a non-returning function).  */
2242
2243 bool
2244 is_ctrl_altering_stmt (gimple t)
2245 {
2246   gcc_assert (t);
2247
2248   switch (gimple_code (t))
2249     {
2250     case GIMPLE_CALL:
2251       {
2252         int flags = gimple_call_flags (t);
2253
2254         /* A non-pure/const call alters flow control if the current
2255            function has nonlocal labels.  */
2256         if (!(flags & (ECF_CONST | ECF_PURE | ECF_LEAF))
2257             && cfun->has_nonlocal_label)
2258           return true;
2259
2260         /* A call also alters control flow if it does not return.  */
2261         if (flags & ECF_NORETURN)
2262           return true;
2263
2264         /* BUILT_IN_RETURN call is same as return statement.  */
2265         if (gimple_call_builtin_p (t, BUILT_IN_RETURN))
2266           return true;
2267       }
2268       break;
2269
2270     case GIMPLE_EH_DISPATCH:
2271       /* EH_DISPATCH branches to the individual catch handlers at
2272          this level of a try or allowed-exceptions region.  It can
2273          fallthru to the next statement as well.  */
2274       return true;
2275
2276     case GIMPLE_ASM:
2277       if (gimple_asm_nlabels (t) > 0)
2278         return true;
2279       break;
2280
2281     CASE_GIMPLE_OMP:
2282       /* OpenMP directives alter control flow.  */
2283       return true;
2284
2285     default:
2286       break;
2287     }
2288
2289   /* If a statement can throw, it alters control flow.  */
2290   return stmt_can_throw_internal (t);
2291 }
2292
2293
2294 /* Return true if T is a simple local goto.  */
2295
2296 bool
2297 simple_goto_p (gimple t)
2298 {
2299   return (gimple_code (t) == GIMPLE_GOTO
2300           && TREE_CODE (gimple_goto_dest (t)) == LABEL_DECL);
2301 }
2302
2303
2304 /* Return true if T can make an abnormal transfer of control flow.
2305    Transfers of control flow associated with EH are excluded.  */
2306
2307 bool
2308 stmt_can_make_abnormal_goto (gimple t)
2309 {
2310   if (computed_goto_p (t))
2311     return true;
2312   if (is_gimple_call (t))
2313     return (gimple_has_side_effects (t) && cfun->has_nonlocal_label
2314             && !(gimple_call_flags (t) & ECF_LEAF));
2315   return false;
2316 }
2317
2318
2319 /* Return true if STMT should start a new basic block.  PREV_STMT is
2320    the statement preceding STMT.  It is used when STMT is a label or a
2321    case label.  Labels should only start a new basic block if their
2322    previous statement wasn't a label.  Otherwise, sequence of labels
2323    would generate unnecessary basic blocks that only contain a single
2324    label.  */
2325
2326 static inline bool
2327 stmt_starts_bb_p (gimple stmt, gimple prev_stmt)
2328 {
2329   if (stmt == NULL)
2330     return false;
2331
2332   /* Labels start a new basic block only if the preceding statement
2333      wasn't a label of the same type.  This prevents the creation of
2334      consecutive blocks that have nothing but a single label.  */
2335   if (gimple_code (stmt) == GIMPLE_LABEL)
2336     {
2337       /* Nonlocal and computed GOTO targets always start a new block.  */
2338       if (DECL_NONLOCAL (gimple_label_label (stmt))
2339           || FORCED_LABEL (gimple_label_label (stmt)))
2340         return true;
2341
2342       if (prev_stmt && gimple_code (prev_stmt) == GIMPLE_LABEL)
2343         {
2344           if (DECL_NONLOCAL (gimple_label_label (prev_stmt)))
2345             return true;
2346
2347           cfg_stats.num_merged_labels++;
2348           return false;
2349         }
2350       else
2351         return true;
2352     }
2353
2354   return false;
2355 }
2356
2357
2358 /* Return true if T should end a basic block.  */
2359
2360 bool
2361 stmt_ends_bb_p (gimple t)
2362 {
2363   return is_ctrl_stmt (t) || is_ctrl_altering_stmt (t);
2364 }
2365
2366 /* Remove block annotations and other data structures.  */
2367
2368 void
2369 delete_tree_cfg_annotations (void)
2370 {
2371   label_to_block_map = NULL;
2372 }
2373
2374
2375 /* Return the first statement in basic block BB.  */
2376
2377 gimple
2378 first_stmt (basic_block bb)
2379 {
2380   gimple_stmt_iterator i = gsi_start_bb (bb);
2381   gimple stmt = NULL;
2382
2383   while (!gsi_end_p (i) && is_gimple_debug ((stmt = gsi_stmt (i))))
2384     {
2385       gsi_next (&i);
2386       stmt = NULL;
2387     }
2388   return stmt;
2389 }
2390
2391 /* Return the first non-label statement in basic block BB.  */
2392
2393 static gimple
2394 first_non_label_stmt (basic_block bb)
2395 {
2396   gimple_stmt_iterator i = gsi_start_bb (bb);
2397   while (!gsi_end_p (i) && gimple_code (gsi_stmt (i)) == GIMPLE_LABEL)
2398     gsi_next (&i);
2399   return !gsi_end_p (i) ? gsi_stmt (i) : NULL;
2400 }
2401
2402 /* Return the last statement in basic block BB.  */
2403
2404 gimple
2405 last_stmt (basic_block bb)
2406 {
2407   gimple_stmt_iterator i = gsi_last_bb (bb);
2408   gimple stmt = NULL;
2409
2410   while (!gsi_end_p (i) && is_gimple_debug ((stmt = gsi_stmt (i))))
2411     {
2412       gsi_prev (&i);
2413       stmt = NULL;
2414     }
2415   return stmt;
2416 }
2417
2418 /* Return the last statement of an otherwise empty block.  Return NULL
2419    if the block is totally empty, or if it contains more than one
2420    statement.  */
2421
2422 gimple
2423 last_and_only_stmt (basic_block bb)
2424 {
2425   gimple_stmt_iterator i = gsi_last_nondebug_bb (bb);
2426   gimple last, prev;
2427
2428   if (gsi_end_p (i))
2429     return NULL;
2430
2431   last = gsi_stmt (i);
2432   gsi_prev_nondebug (&i);
2433   if (gsi_end_p (i))
2434     return last;
2435
2436   /* Empty statements should no longer appear in the instruction stream.
2437      Everything that might have appeared before should be deleted by
2438      remove_useless_stmts, and the optimizers should just gsi_remove
2439      instead of smashing with build_empty_stmt.
2440
2441      Thus the only thing that should appear here in a block containing
2442      one executable statement is a label.  */
2443   prev = gsi_stmt (i);
2444   if (gimple_code (prev) == GIMPLE_LABEL)
2445     return last;
2446   else
2447     return NULL;
2448 }
2449
2450 /* Reinstall those PHI arguments queued in OLD_EDGE to NEW_EDGE.  */
2451
2452 static void
2453 reinstall_phi_args (edge new_edge, edge old_edge)
2454 {
2455   edge_var_map_vector v;
2456   edge_var_map *vm;
2457   int i;
2458   gimple_stmt_iterator phis;
2459
2460   v = redirect_edge_var_map_vector (old_edge);
2461   if (!v)
2462     return;
2463
2464   for (i = 0, phis = gsi_start_phis (new_edge->dest);
2465        VEC_iterate (edge_var_map, v, i, vm) && !gsi_end_p (phis);
2466        i++, gsi_next (&phis))
2467     {
2468       gimple phi = gsi_stmt (phis);
2469       tree result = redirect_edge_var_map_result (vm);
2470       tree arg = redirect_edge_var_map_def (vm);
2471
2472       gcc_assert (result == gimple_phi_result (phi));
2473
2474       add_phi_arg (phi, arg, new_edge, redirect_edge_var_map_location (vm));
2475     }
2476
2477   redirect_edge_var_map_clear (old_edge);
2478 }
2479
2480 /* Returns the basic block after which the new basic block created
2481    by splitting edge EDGE_IN should be placed.  Tries to keep the new block
2482    near its "logical" location.  This is of most help to humans looking
2483    at debugging dumps.  */
2484
2485 static basic_block
2486 split_edge_bb_loc (edge edge_in)
2487 {
2488   basic_block dest = edge_in->dest;
2489   basic_block dest_prev = dest->prev_bb;
2490
2491   if (dest_prev)
2492     {
2493       edge e = find_edge (dest_prev, dest);
2494       if (e && !(e->flags & EDGE_COMPLEX))
2495         return edge_in->src;
2496     }
2497   return dest_prev;
2498 }
2499
2500 /* Split a (typically critical) edge EDGE_IN.  Return the new block.
2501    Abort on abnormal edges.  */
2502
2503 static basic_block
2504 gimple_split_edge (edge edge_in)
2505 {
2506   basic_block new_bb, after_bb, dest;
2507   edge new_edge, e;
2508
2509   /* Abnormal edges cannot be split.  */
2510   gcc_assert (!(edge_in->flags & EDGE_ABNORMAL));
2511
2512   dest = edge_in->dest;
2513
2514   after_bb = split_edge_bb_loc (edge_in);
2515
2516   new_bb = create_empty_bb (after_bb);
2517   new_bb->frequency = EDGE_FREQUENCY (edge_in);
2518   new_bb->count = edge_in->count;
2519   new_edge = make_edge (new_bb, dest, EDGE_FALLTHRU);
2520   new_edge->probability = REG_BR_PROB_BASE;
2521   new_edge->count = edge_in->count;
2522
2523   e = redirect_edge_and_branch (edge_in, new_bb);
2524   gcc_assert (e == edge_in);
2525   reinstall_phi_args (new_edge, e);
2526
2527   return new_bb;
2528 }
2529
2530
2531 /* Verify properties of the address expression T with base object BASE.  */
2532
2533 static tree
2534 verify_address (tree t, tree base)
2535 {
2536   bool old_constant;
2537   bool old_side_effects;
2538   bool new_constant;
2539   bool new_side_effects;
2540
2541   old_constant = TREE_CONSTANT (t);
2542   old_side_effects = TREE_SIDE_EFFECTS (t);
2543
2544   recompute_tree_invariant_for_addr_expr (t);
2545   new_side_effects = TREE_SIDE_EFFECTS (t);
2546   new_constant = TREE_CONSTANT (t);
2547
2548   if (old_constant != new_constant)
2549     {
2550       error ("constant not recomputed when ADDR_EXPR changed");
2551       return t;
2552     }
2553   if (old_side_effects != new_side_effects)
2554     {
2555       error ("side effects not recomputed when ADDR_EXPR changed");
2556       return t;
2557     }
2558
2559   if (!(TREE_CODE (base) == VAR_DECL
2560         || TREE_CODE (base) == PARM_DECL
2561         || TREE_CODE (base) == RESULT_DECL))
2562     return NULL_TREE;
2563
2564   if (DECL_GIMPLE_REG_P (base))
2565     {
2566       error ("DECL_GIMPLE_REG_P set on a variable with address taken");
2567       return base;
2568     }
2569
2570   return NULL_TREE;
2571 }
2572
2573 /* Callback for walk_tree, check that all elements with address taken are
2574    properly noticed as such.  The DATA is an int* that is 1 if TP was seen
2575    inside a PHI node.  */
2576
2577 static tree
2578 verify_expr (tree *tp, int *walk_subtrees, void *data ATTRIBUTE_UNUSED)
2579 {
2580   tree t = *tp, x;
2581
2582   if (TYPE_P (t))
2583     *walk_subtrees = 0;
2584
2585   /* Check operand N for being valid GIMPLE and give error MSG if not.  */
2586 #define CHECK_OP(N, MSG) \
2587   do { if (!is_gimple_val (TREE_OPERAND (t, N)))                \
2588        { error (MSG); return TREE_OPERAND (t, N); }} while (0)
2589
2590   switch (TREE_CODE (t))
2591     {
2592     case SSA_NAME:
2593       if (SSA_NAME_IN_FREE_LIST (t))
2594         {
2595           error ("SSA name in freelist but still referenced");
2596           return *tp;
2597         }
2598       break;
2599
2600     case INDIRECT_REF:
2601       error ("INDIRECT_REF in gimple IL");
2602       return t;
2603
2604     case MEM_REF:
2605       x = TREE_OPERAND (t, 0);
2606       if (!POINTER_TYPE_P (TREE_TYPE (x))
2607           || !is_gimple_mem_ref_addr (x))
2608         {
2609           error ("invalid first operand of MEM_REF");
2610           return x;
2611         }
2612       if (TREE_CODE (TREE_OPERAND (t, 1)) != INTEGER_CST
2613           || !POINTER_TYPE_P (TREE_TYPE (TREE_OPERAND (t, 1))))
2614         {
2615           error ("invalid offset operand of MEM_REF");
2616           return TREE_OPERAND (t, 1);
2617         }
2618       if (TREE_CODE (x) == ADDR_EXPR
2619           && (x = verify_address (x, TREE_OPERAND (x, 0))))
2620         return x;
2621       *walk_subtrees = 0;
2622       break;
2623
2624     case ASSERT_EXPR:
2625       x = fold (ASSERT_EXPR_COND (t));
2626       if (x == boolean_false_node)
2627         {
2628           error ("ASSERT_EXPR with an always-false condition");
2629           return *tp;
2630         }
2631       break;
2632
2633     case MODIFY_EXPR:
2634       error ("MODIFY_EXPR not expected while having tuples");
2635       return *tp;
2636
2637     case ADDR_EXPR:
2638       {
2639         tree tem;
2640
2641         gcc_assert (is_gimple_address (t));
2642
2643         /* Skip any references (they will be checked when we recurse down the
2644            tree) and ensure that any variable used as a prefix is marked
2645            addressable.  */
2646         for (x = TREE_OPERAND (t, 0);
2647              handled_component_p (x);
2648              x = TREE_OPERAND (x, 0))
2649           ;
2650
2651         if ((tem = verify_address (t, x)))
2652           return tem;
2653
2654         if (!(TREE_CODE (x) == VAR_DECL
2655               || TREE_CODE (x) == PARM_DECL
2656               || TREE_CODE (x) == RESULT_DECL))
2657           return NULL;
2658
2659         if (!TREE_ADDRESSABLE (x))
2660           {
2661             error ("address taken, but ADDRESSABLE bit not set");
2662             return x;
2663           }
2664
2665         break;
2666       }
2667
2668     case COND_EXPR:
2669       x = COND_EXPR_COND (t);
2670       if (!INTEGRAL_TYPE_P (TREE_TYPE (x)))
2671         {
2672           error ("non-integral used in condition");
2673           return x;
2674         }
2675       if (!is_gimple_condexpr (x))
2676         {
2677           error ("invalid conditional operand");
2678           return x;
2679         }
2680       break;
2681
2682     case NON_LVALUE_EXPR:
2683     case TRUTH_NOT_EXPR:
2684       gcc_unreachable ();
2685
2686     CASE_CONVERT:
2687     case FIX_TRUNC_EXPR:
2688     case FLOAT_EXPR:
2689     case NEGATE_EXPR:
2690     case ABS_EXPR:
2691     case BIT_NOT_EXPR:
2692       CHECK_OP (0, "invalid operand to unary operator");
2693       break;
2694
2695     case REALPART_EXPR:
2696     case IMAGPART_EXPR:
2697     case COMPONENT_REF:
2698     case ARRAY_REF:
2699     case ARRAY_RANGE_REF:
2700     case BIT_FIELD_REF:
2701     case VIEW_CONVERT_EXPR:
2702       /* We have a nest of references.  Verify that each of the operands
2703          that determine where to reference is either a constant or a variable,
2704          verify that the base is valid, and then show we've already checked
2705          the subtrees.  */
2706       while (handled_component_p (t))
2707         {
2708           if (TREE_CODE (t) == COMPONENT_REF && TREE_OPERAND (t, 2))
2709             CHECK_OP (2, "invalid COMPONENT_REF offset operator");
2710           else if (TREE_CODE (t) == ARRAY_REF
2711                    || TREE_CODE (t) == ARRAY_RANGE_REF)
2712             {
2713               CHECK_OP (1, "invalid array index");
2714               if (TREE_OPERAND (t, 2))
2715                 CHECK_OP (2, "invalid array lower bound");
2716               if (TREE_OPERAND (t, 3))
2717                 CHECK_OP (3, "invalid array stride");
2718             }
2719           else if (TREE_CODE (t) == BIT_FIELD_REF)
2720             {
2721               if (!host_integerp (TREE_OPERAND (t, 1), 1)
2722                   || !host_integerp (TREE_OPERAND (t, 2), 1))
2723                 {
2724                   error ("invalid position or size operand to BIT_FIELD_REF");
2725                   return t;
2726                 }
2727               else if (INTEGRAL_TYPE_P (TREE_TYPE (t))
2728                        && (TYPE_PRECISION (TREE_TYPE (t))
2729                            != TREE_INT_CST_LOW (TREE_OPERAND (t, 1))))
2730                 {
2731                   error ("integral result type precision does not match "
2732                          "field size of BIT_FIELD_REF");
2733                   return t;
2734                 }
2735               if (!INTEGRAL_TYPE_P (TREE_TYPE (t))
2736                   && (GET_MODE_PRECISION (TYPE_MODE (TREE_TYPE (t)))
2737                       != TREE_INT_CST_LOW (TREE_OPERAND (t, 1))))
2738                 {
2739                   error ("mode precision of non-integral result does not "
2740                          "match field size of BIT_FIELD_REF");
2741                   return t;
2742                 }
2743             }
2744
2745           t = TREE_OPERAND (t, 0);
2746         }
2747
2748       if (!is_gimple_min_invariant (t) && !is_gimple_lvalue (t))
2749         {
2750           error ("invalid reference prefix");
2751           return t;
2752         }
2753       *walk_subtrees = 0;
2754       break;
2755     case PLUS_EXPR:
2756     case MINUS_EXPR:
2757       /* PLUS_EXPR and MINUS_EXPR don't work on pointers, they should be done using
2758          POINTER_PLUS_EXPR. */
2759       if (POINTER_TYPE_P (TREE_TYPE (t)))
2760         {
2761           error ("invalid operand to plus/minus, type is a pointer");
2762           return t;
2763         }
2764       CHECK_OP (0, "invalid operand to binary operator");
2765       CHECK_OP (1, "invalid operand to binary operator");
2766       break;
2767
2768     case POINTER_PLUS_EXPR:
2769       /* Check to make sure the first operand is a pointer or reference type. */
2770       if (!POINTER_TYPE_P (TREE_TYPE (TREE_OPERAND (t, 0))))
2771         {
2772           error ("invalid operand to pointer plus, first operand is not a pointer");
2773           return t;
2774         }
2775       /* Check to make sure the second operand is a ptrofftype.  */
2776       if (!ptrofftype_p (TREE_TYPE (TREE_OPERAND (t, 1))))
2777         {
2778           error ("invalid operand to pointer plus, second operand is not an "
2779                  "integer type of appropriate width");
2780           return t;
2781         }
2782       /* FALLTHROUGH */
2783     case LT_EXPR:
2784     case LE_EXPR:
2785     case GT_EXPR:
2786     case GE_EXPR:
2787     case EQ_EXPR:
2788     case NE_EXPR:
2789     case UNORDERED_EXPR:
2790     case ORDERED_EXPR:
2791     case UNLT_EXPR:
2792     case UNLE_EXPR:
2793     case UNGT_EXPR:
2794     case UNGE_EXPR:
2795     case UNEQ_EXPR:
2796     case LTGT_EXPR:
2797     case MULT_EXPR:
2798     case TRUNC_DIV_EXPR:
2799     case CEIL_DIV_EXPR:
2800     case FLOOR_DIV_EXPR:
2801     case ROUND_DIV_EXPR:
2802     case TRUNC_MOD_EXPR:
2803     case CEIL_MOD_EXPR:
2804     case FLOOR_MOD_EXPR:
2805     case ROUND_MOD_EXPR:
2806     case RDIV_EXPR:
2807     case EXACT_DIV_EXPR:
2808     case MIN_EXPR:
2809     case MAX_EXPR:
2810     case LSHIFT_EXPR:
2811     case RSHIFT_EXPR:
2812     case LROTATE_EXPR:
2813     case RROTATE_EXPR:
2814     case BIT_IOR_EXPR:
2815     case BIT_XOR_EXPR:
2816     case BIT_AND_EXPR:
2817       CHECK_OP (0, "invalid operand to binary operator");
2818       CHECK_OP (1, "invalid operand to binary operator");
2819       break;
2820
2821     case CONSTRUCTOR:
2822       if (TREE_CONSTANT (t) && TREE_CODE (TREE_TYPE (t)) == VECTOR_TYPE)
2823         *walk_subtrees = 0;
2824       break;
2825
2826     case CASE_LABEL_EXPR:
2827       if (CASE_CHAIN (t))
2828         {
2829           error ("invalid CASE_CHAIN");
2830           return t;
2831         }
2832       break;
2833
2834     default:
2835       break;
2836     }
2837   return NULL;
2838
2839 #undef CHECK_OP
2840 }
2841
2842
2843 /* Verify if EXPR is either a GIMPLE ID or a GIMPLE indirect reference.
2844    Returns true if there is an error, otherwise false.  */
2845
2846 static bool
2847 verify_types_in_gimple_min_lval (tree expr)
2848 {
2849   tree op;
2850
2851   if (is_gimple_id (expr))
2852     return false;
2853
2854   if (TREE_CODE (expr) != TARGET_MEM_REF
2855       && TREE_CODE (expr) != MEM_REF)
2856     {
2857       error ("invalid expression for min lvalue");
2858       return true;
2859     }
2860
2861   /* TARGET_MEM_REFs are strange beasts.  */
2862   if (TREE_CODE (expr) == TARGET_MEM_REF)
2863     return false;
2864
2865   op = TREE_OPERAND (expr, 0);
2866   if (!is_gimple_val (op))
2867     {
2868       error ("invalid operand in indirect reference");
2869       debug_generic_stmt (op);
2870       return true;
2871     }
2872   /* Memory references now generally can involve a value conversion.  */
2873
2874   return false;
2875 }
2876
2877 /* Verify if EXPR is a valid GIMPLE reference expression.  If
2878    REQUIRE_LVALUE is true verifies it is an lvalue.  Returns true
2879    if there is an error, otherwise false.  */
2880
2881 static bool
2882 verify_types_in_gimple_reference (tree expr, bool require_lvalue)
2883 {
2884   while (handled_component_p (expr))
2885     {
2886       tree op = TREE_OPERAND (expr, 0);
2887
2888       if (TREE_CODE (expr) == ARRAY_REF
2889           || TREE_CODE (expr) == ARRAY_RANGE_REF)
2890         {
2891           if (!is_gimple_val (TREE_OPERAND (expr, 1))
2892               || (TREE_OPERAND (expr, 2)
2893                   && !is_gimple_val (TREE_OPERAND (expr, 2)))
2894               || (TREE_OPERAND (expr, 3)
2895                   && !is_gimple_val (TREE_OPERAND (expr, 3))))
2896             {
2897               error ("invalid operands to array reference");
2898               debug_generic_stmt (expr);
2899               return true;
2900             }
2901         }
2902
2903       /* Verify if the reference array element types are compatible.  */
2904       if (TREE_CODE (expr) == ARRAY_REF
2905           && !useless_type_conversion_p (TREE_TYPE (expr),
2906                                          TREE_TYPE (TREE_TYPE (op))))
2907         {
2908           error ("type mismatch in array reference");
2909           debug_generic_stmt (TREE_TYPE (expr));
2910           debug_generic_stmt (TREE_TYPE (TREE_TYPE (op)));
2911           return true;
2912         }
2913       if (TREE_CODE (expr) == ARRAY_RANGE_REF
2914           && !useless_type_conversion_p (TREE_TYPE (TREE_TYPE (expr)),
2915                                          TREE_TYPE (TREE_TYPE (op))))
2916         {
2917           error ("type mismatch in array range reference");
2918           debug_generic_stmt (TREE_TYPE (TREE_TYPE (expr)));
2919           debug_generic_stmt (TREE_TYPE (TREE_TYPE (op)));
2920           return true;
2921         }
2922
2923       if ((TREE_CODE (expr) == REALPART_EXPR
2924            || TREE_CODE (expr) == IMAGPART_EXPR)
2925           && !useless_type_conversion_p (TREE_TYPE (expr),
2926                                          TREE_TYPE (TREE_TYPE (op))))
2927         {
2928           error ("type mismatch in real/imagpart reference");
2929           debug_generic_stmt (TREE_TYPE (expr));
2930           debug_generic_stmt (TREE_TYPE (TREE_TYPE (op)));
2931           return true;
2932         }
2933
2934       if (TREE_CODE (expr) == COMPONENT_REF
2935           && !useless_type_conversion_p (TREE_TYPE (expr),
2936                                          TREE_TYPE (TREE_OPERAND (expr, 1))))
2937         {
2938           error ("type mismatch in component reference");
2939           debug_generic_stmt (TREE_TYPE (expr));
2940           debug_generic_stmt (TREE_TYPE (TREE_OPERAND (expr, 1)));
2941           return true;
2942         }
2943
2944       if (TREE_CODE (expr) == VIEW_CONVERT_EXPR)
2945         {
2946           /* For VIEW_CONVERT_EXPRs which are allowed here too, we only check
2947              that their operand is not an SSA name or an invariant when
2948              requiring an lvalue (this usually means there is a SRA or IPA-SRA
2949              bug).  Otherwise there is nothing to verify, gross mismatches at
2950              most invoke undefined behavior.  */
2951           if (require_lvalue
2952               && (TREE_CODE (op) == SSA_NAME
2953                   || is_gimple_min_invariant (op)))
2954             {
2955               error ("conversion of an SSA_NAME on the left hand side");
2956               debug_generic_stmt (expr);
2957               return true;
2958             }
2959           else if (TREE_CODE (op) == SSA_NAME
2960                    && TYPE_SIZE (TREE_TYPE (expr)) != TYPE_SIZE (TREE_TYPE (op)))
2961             {
2962               error ("conversion of register to a different size");
2963               debug_generic_stmt (expr);
2964               return true;
2965             }
2966           else if (!handled_component_p (op))
2967             return false;
2968         }
2969
2970       expr = op;
2971     }
2972
2973   if (TREE_CODE (expr) == MEM_REF)
2974     {
2975       if (!is_gimple_mem_ref_addr (TREE_OPERAND (expr, 0)))
2976         {
2977           error ("invalid address operand in MEM_REF");
2978           debug_generic_stmt (expr);
2979           return true;
2980         }
2981       if (TREE_CODE (TREE_OPERAND (expr, 1)) != INTEGER_CST
2982           || !POINTER_TYPE_P (TREE_TYPE (TREE_OPERAND (expr, 1))))
2983         {
2984           error ("invalid offset operand in MEM_REF");
2985           debug_generic_stmt (expr);
2986           return true;
2987         }
2988     }
2989   else if (TREE_CODE (expr) == TARGET_MEM_REF)
2990     {
2991       if (!TMR_BASE (expr)
2992           || !is_gimple_mem_ref_addr (TMR_BASE (expr)))
2993         {
2994           error ("invalid address operand in TARGET_MEM_REF");
2995           return true;
2996         }
2997       if (!TMR_OFFSET (expr)
2998           || TREE_CODE (TMR_OFFSET (expr)) != INTEGER_CST
2999           || !POINTER_TYPE_P (TREE_TYPE (TMR_OFFSET (expr))))
3000         {
3001           error ("invalid offset operand in TARGET_MEM_REF");
3002           debug_generic_stmt (expr);
3003           return true;
3004         }
3005     }
3006
3007   return ((require_lvalue || !is_gimple_min_invariant (expr))
3008           && verify_types_in_gimple_min_lval (expr));
3009 }
3010
3011 /* Returns true if there is one pointer type in TYPE_POINTER_TO (SRC_OBJ)
3012    list of pointer-to types that is trivially convertible to DEST.  */
3013
3014 static bool
3015 one_pointer_to_useless_type_conversion_p (tree dest, tree src_obj)
3016 {
3017   tree src;
3018
3019   if (!TYPE_POINTER_TO (src_obj))
3020     return true;
3021
3022   for (src = TYPE_POINTER_TO (src_obj); src; src = TYPE_NEXT_PTR_TO (src))
3023     if (useless_type_conversion_p (dest, src))
3024       return true;
3025
3026   return false;
3027 }
3028
3029 /* Return true if TYPE1 is a fixed-point type and if conversions to and
3030    from TYPE2 can be handled by FIXED_CONVERT_EXPR.  */
3031
3032 static bool
3033 valid_fixed_convert_types_p (tree type1, tree type2)
3034 {
3035   return (FIXED_POINT_TYPE_P (type1)
3036           && (INTEGRAL_TYPE_P (type2)
3037               || SCALAR_FLOAT_TYPE_P (type2)
3038               || FIXED_POINT_TYPE_P (type2)));
3039 }
3040
3041 /* Verify the contents of a GIMPLE_CALL STMT.  Returns true when there
3042    is a problem, otherwise false.  */
3043
3044 static bool
3045 verify_gimple_call (gimple stmt)
3046 {
3047   tree fn = gimple_call_fn (stmt);
3048   tree fntype, fndecl;
3049   unsigned i;
3050
3051   if (gimple_call_internal_p (stmt))
3052     {
3053       if (fn)
3054         {
3055           error ("gimple call has two targets");
3056           debug_generic_stmt (fn);
3057           return true;
3058         }
3059     }
3060   else
3061     {
3062       if (!fn)
3063         {
3064           error ("gimple call has no target");
3065           return true;
3066         }
3067     }
3068
3069   if (fn && !is_gimple_call_addr (fn))
3070     {
3071       error ("invalid function in gimple call");
3072       debug_generic_stmt (fn);
3073       return true;
3074     }
3075
3076   if (fn
3077       && (!POINTER_TYPE_P (TREE_TYPE (fn))
3078           || (TREE_CODE (TREE_TYPE (TREE_TYPE (fn))) != FUNCTION_TYPE
3079               && TREE_CODE (TREE_TYPE (TREE_TYPE (fn))) != METHOD_TYPE)))
3080     {
3081       error ("non-function in gimple call");
3082       return true;
3083     }
3084
3085    fndecl = gimple_call_fndecl (stmt);
3086    if (fndecl
3087        && TREE_CODE (fndecl) == FUNCTION_DECL
3088        && DECL_LOOPING_CONST_OR_PURE_P (fndecl)
3089        && !DECL_PURE_P (fndecl)
3090        && !TREE_READONLY (fndecl))
3091      {
3092        error ("invalid pure const state for function");
3093        return true;
3094      }
3095
3096   if (gimple_call_lhs (stmt)
3097       && (!is_gimple_lvalue (gimple_call_lhs (stmt))
3098           || verify_types_in_gimple_reference (gimple_call_lhs (stmt), true)))
3099     {
3100       error ("invalid LHS in gimple call");
3101       return true;
3102     }
3103
3104   if (gimple_call_lhs (stmt) && gimple_call_noreturn_p (stmt))
3105     {
3106       error ("LHS in noreturn call");
3107       return true;
3108     }
3109
3110   fntype = gimple_call_fntype (stmt);
3111   if (fntype
3112       && gimple_call_lhs (stmt)
3113       && !useless_type_conversion_p (TREE_TYPE (gimple_call_lhs (stmt)),
3114                                      TREE_TYPE (fntype))
3115       /* ???  At least C++ misses conversions at assignments from
3116          void * call results.
3117          ???  Java is completely off.  Especially with functions
3118          returning java.lang.Object.
3119          For now simply allow arbitrary pointer type conversions.  */
3120       && !(POINTER_TYPE_P (TREE_TYPE (gimple_call_lhs (stmt)))
3121            && POINTER_TYPE_P (TREE_TYPE (fntype))))
3122     {
3123       error ("invalid conversion in gimple call");
3124       debug_generic_stmt (TREE_TYPE (gimple_call_lhs (stmt)));
3125       debug_generic_stmt (TREE_TYPE (fntype));
3126       return true;
3127     }
3128
3129   if (gimple_call_chain (stmt)
3130       && !is_gimple_val (gimple_call_chain (stmt)))
3131     {
3132       error ("invalid static chain in gimple call");
3133       debug_generic_stmt (gimple_call_chain (stmt));
3134       return true;
3135     }
3136
3137   /* If there is a static chain argument, this should not be an indirect
3138      call, and the decl should have DECL_STATIC_CHAIN set.  */
3139   if (gimple_call_chain (stmt))
3140     {
3141       if (!gimple_call_fndecl (stmt))
3142         {
3143           error ("static chain in indirect gimple call");
3144           return true;
3145         }
3146       fn = TREE_OPERAND (fn, 0);
3147
3148       if (!DECL_STATIC_CHAIN (fn))
3149         {
3150           error ("static chain with function that doesn%'t use one");
3151           return true;
3152         }
3153     }
3154
3155   /* ???  The C frontend passes unpromoted arguments in case it
3156      didn't see a function declaration before the call.  So for now
3157      leave the call arguments mostly unverified.  Once we gimplify
3158      unit-at-a-time we have a chance to fix this.  */
3159
3160   for (i = 0; i < gimple_call_num_args (stmt); ++i)
3161     {
3162       tree arg = gimple_call_arg (stmt, i);
3163       if ((is_gimple_reg_type (TREE_TYPE (arg))
3164            && !is_gimple_val (arg))
3165           || (!is_gimple_reg_type (TREE_TYPE (arg))
3166               && !is_gimple_lvalue (arg)))
3167         {
3168           error ("invalid argument to gimple call");
3169           debug_generic_expr (arg);
3170           return true;
3171         }
3172     }
3173
3174   return false;
3175 }
3176
3177 /* Verifies the gimple comparison with the result type TYPE and
3178    the operands OP0 and OP1.  */
3179
3180 static bool
3181 verify_gimple_comparison (tree type, tree op0, tree op1)
3182 {
3183   tree op0_type = TREE_TYPE (op0);
3184   tree op1_type = TREE_TYPE (op1);
3185
3186   if (!is_gimple_val (op0) || !is_gimple_val (op1))
3187     {
3188       error ("invalid operands in gimple comparison");
3189       return true;
3190     }
3191
3192   /* For comparisons we do not have the operations type as the
3193      effective type the comparison is carried out in.  Instead
3194      we require that either the first operand is trivially
3195      convertible into the second, or the other way around.
3196      Because we special-case pointers to void we allow
3197      comparisons of pointers with the same mode as well.  */
3198   if (!useless_type_conversion_p (op0_type, op1_type)
3199       && !useless_type_conversion_p (op1_type, op0_type)
3200       && (!POINTER_TYPE_P (op0_type)
3201           || !POINTER_TYPE_P (op1_type)
3202           || TYPE_MODE (op0_type) != TYPE_MODE (op1_type)))
3203     {
3204       error ("mismatching comparison operand types");
3205       debug_generic_expr (op0_type);
3206       debug_generic_expr (op1_type);
3207       return true;
3208     }
3209
3210   /* The resulting type of a comparison may be an effective boolean type.  */
3211   if (INTEGRAL_TYPE_P (type)
3212       && (TREE_CODE (type) == BOOLEAN_TYPE
3213           || TYPE_PRECISION (type) == 1))
3214     ;
3215   /* Or an integer vector type with the same size and element count
3216      as the comparison operand types.  */
3217   else if (TREE_CODE (type) == VECTOR_TYPE
3218            && TREE_CODE (TREE_TYPE (type)) == INTEGER_TYPE)
3219     {
3220       if (TREE_CODE (op0_type) != VECTOR_TYPE
3221           || TREE_CODE (op1_type) != VECTOR_TYPE)
3222         {
3223           error ("non-vector operands in vector comparison");
3224           debug_generic_expr (op0_type);
3225           debug_generic_expr (op1_type);
3226           return true;
3227         }
3228
3229       if (TYPE_VECTOR_SUBPARTS (type) != TYPE_VECTOR_SUBPARTS (op0_type)
3230           || (GET_MODE_SIZE (TYPE_MODE (type))
3231               != GET_MODE_SIZE (TYPE_MODE (op0_type))))
3232         {
3233           error ("invalid vector comparison resulting type");
3234           debug_generic_expr (type);
3235           return true;
3236         }
3237     }
3238   else
3239     {
3240       error ("bogus comparison result type");
3241       debug_generic_expr (type);
3242       return true;
3243     }
3244
3245   return false;
3246 }
3247
3248 /* Verify a gimple assignment statement STMT with an unary rhs.
3249    Returns true if anything is wrong.  */
3250
3251 static bool
3252 verify_gimple_assign_unary (gimple stmt)
3253 {
3254   enum tree_code rhs_code = gimple_assign_rhs_code (stmt);
3255   tree lhs = gimple_assign_lhs (stmt);
3256   tree lhs_type = TREE_TYPE (lhs);
3257   tree rhs1 = gimple_assign_rhs1 (stmt);
3258   tree rhs1_type = TREE_TYPE (rhs1);
3259
3260   if (!is_gimple_reg (lhs))
3261     {
3262       error ("non-register as LHS of unary operation");
3263       return true;
3264     }
3265
3266   if (!is_gimple_val (rhs1))
3267     {
3268       error ("invalid operand in unary operation");
3269       return true;
3270     }
3271
3272   /* First handle conversions.  */
3273   switch (rhs_code)
3274     {
3275     CASE_CONVERT:
3276       {
3277         /* Allow conversions between integral types and pointers only if
3278            there is no sign or zero extension involved.
3279            For targets were the precision of ptrofftype doesn't match that
3280            of pointers we need to allow arbitrary conversions from and
3281            to ptrofftype.  */
3282         if ((POINTER_TYPE_P (lhs_type)
3283              && INTEGRAL_TYPE_P (rhs1_type)
3284              && (TYPE_PRECISION (lhs_type) >= TYPE_PRECISION (rhs1_type)
3285                  || ptrofftype_p (rhs1_type)))
3286             || (POINTER_TYPE_P (rhs1_type)
3287                 && INTEGRAL_TYPE_P (lhs_type)
3288                 && (TYPE_PRECISION (rhs1_type) >= TYPE_PRECISION (lhs_type)
3289                     || ptrofftype_p (sizetype))))
3290           return false;
3291
3292         /* Allow conversion from integer to offset type and vice versa.  */
3293         if ((TREE_CODE (lhs_type) == OFFSET_TYPE
3294              && TREE_CODE (rhs1_type) == INTEGER_TYPE)
3295             || (TREE_CODE (lhs_type) == INTEGER_TYPE
3296                 && TREE_CODE (rhs1_type) == OFFSET_TYPE))
3297           return false;
3298
3299         /* Otherwise assert we are converting between types of the
3300            same kind.  */
3301         if (INTEGRAL_TYPE_P (lhs_type) != INTEGRAL_TYPE_P (rhs1_type))
3302           {
3303             error ("invalid types in nop conversion");
3304             debug_generic_expr (lhs_type);
3305             debug_generic_expr (rhs1_type);
3306             return true;
3307           }
3308
3309         return false;
3310       }
3311
3312     case ADDR_SPACE_CONVERT_EXPR:
3313       {
3314         if (!POINTER_TYPE_P (rhs1_type) || !POINTER_TYPE_P (lhs_type)
3315             || (TYPE_ADDR_SPACE (TREE_TYPE (rhs1_type))
3316                 == TYPE_ADDR_SPACE (TREE_TYPE (lhs_type))))
3317           {
3318             error ("invalid types in address space conversion");
3319             debug_generic_expr (lhs_type);
3320             debug_generic_expr (rhs1_type);
3321             return true;
3322           }
3323
3324         return false;
3325       }
3326
3327     case FIXED_CONVERT_EXPR:
3328       {
3329         if (!valid_fixed_convert_types_p (lhs_type, rhs1_type)
3330             && !valid_fixed_convert_types_p (rhs1_type, lhs_type))
3331           {
3332             error ("invalid types in fixed-point conversion");
3333             debug_generic_expr (lhs_type);
3334             debug_generic_expr (rhs1_type);
3335             return true;
3336           }
3337
3338         return false;
3339       }
3340
3341     case FLOAT_EXPR:
3342       {
3343         if (!INTEGRAL_TYPE_P (rhs1_type) || !SCALAR_FLOAT_TYPE_P (lhs_type))
3344           {
3345             error ("invalid types in conversion to floating point");
3346             debug_generic_expr (lhs_type);
3347             debug_generic_expr (rhs1_type);
3348             return true;
3349           }
3350
3351         return false;
3352       }
3353
3354     case FIX_TRUNC_EXPR:
3355       {
3356         if (!INTEGRAL_TYPE_P (lhs_type) || !SCALAR_FLOAT_TYPE_P (rhs1_type))
3357           {
3358             error ("invalid types in conversion to integer");
3359             debug_generic_expr (lhs_type);
3360             debug_generic_expr (rhs1_type);
3361             return true;
3362           }
3363
3364         return false;
3365       }
3366
3367     case VEC_UNPACK_HI_EXPR:
3368     case VEC_UNPACK_LO_EXPR:
3369     case REDUC_MAX_EXPR:
3370     case REDUC_MIN_EXPR:
3371     case REDUC_PLUS_EXPR:
3372     case VEC_UNPACK_FLOAT_HI_EXPR:
3373     case VEC_UNPACK_FLOAT_LO_EXPR:
3374       /* FIXME.  */
3375       return false;
3376
3377     case NEGATE_EXPR:
3378     case ABS_EXPR:
3379     case BIT_NOT_EXPR:
3380     case PAREN_EXPR:
3381     case NON_LVALUE_EXPR:
3382     case CONJ_EXPR:
3383       break;
3384
3385     default:
3386       gcc_unreachable ();
3387     }
3388
3389   /* For the remaining codes assert there is no conversion involved.  */
3390   if (!useless_type_conversion_p (lhs_type, rhs1_type))
3391     {
3392       error ("non-trivial conversion in unary operation");
3393       debug_generic_expr (lhs_type);
3394       debug_generic_expr (rhs1_type);
3395       return true;
3396     }
3397
3398   return false;
3399 }
3400
3401 /* Verify a gimple assignment statement STMT with a binary rhs.
3402    Returns true if anything is wrong.  */
3403
3404 static bool
3405 verify_gimple_assign_binary (gimple stmt)
3406 {
3407   enum tree_code rhs_code = gimple_assign_rhs_code (stmt);
3408   tree lhs = gimple_assign_lhs (stmt);
3409   tree lhs_type = TREE_TYPE (lhs);
3410   tree rhs1 = gimple_assign_rhs1 (stmt);
3411   tree rhs1_type = TREE_TYPE (rhs1);
3412   tree rhs2 = gimple_assign_rhs2 (stmt);
3413   tree rhs2_type = TREE_TYPE (rhs2);
3414
3415   if (!is_gimple_reg (lhs))
3416     {
3417       error ("non-register as LHS of binary operation");
3418       return true;
3419     }
3420
3421   if (!is_gimple_val (rhs1)
3422       || !is_gimple_val (rhs2))
3423     {
3424       error ("invalid operands in binary operation");
3425       return true;
3426     }
3427
3428   /* First handle operations that involve different types.  */
3429   switch (rhs_code)
3430     {
3431     case COMPLEX_EXPR:
3432       {
3433         if (TREE_CODE (lhs_type) != COMPLEX_TYPE
3434             || !(INTEGRAL_TYPE_P (rhs1_type)
3435                  || SCALAR_FLOAT_TYPE_P (rhs1_type))
3436             || !(INTEGRAL_TYPE_P (rhs2_type)
3437                  || SCALAR_FLOAT_TYPE_P (rhs2_type)))
3438           {
3439             error ("type mismatch in complex expression");
3440             debug_generic_expr (lhs_type);
3441             debug_generic_expr (rhs1_type);
3442             debug_generic_expr (rhs2_type);
3443             return true;
3444           }
3445
3446         return false;
3447       }
3448
3449     case LSHIFT_EXPR:
3450     case RSHIFT_EXPR:
3451     case LROTATE_EXPR:
3452     case RROTATE_EXPR:
3453       {
3454         /* Shifts and rotates are ok on integral types, fixed point
3455            types and integer vector types.  */
3456         if ((!INTEGRAL_TYPE_P (rhs1_type)
3457              && !FIXED_POINT_TYPE_P (rhs1_type)
3458              && !(TREE_CODE (rhs1_type) == VECTOR_TYPE
3459                   && INTEGRAL_TYPE_P (TREE_TYPE (rhs1_type))))
3460             || (!INTEGRAL_TYPE_P (rhs2_type)
3461                 /* Vector shifts of vectors are also ok.  */
3462                 && !(TREE_CODE (rhs1_type) == VECTOR_TYPE
3463                      && INTEGRAL_TYPE_P (TREE_TYPE (rhs1_type))
3464                      && TREE_CODE (rhs2_type) == VECTOR_TYPE
3465                      && INTEGRAL_TYPE_P (TREE_TYPE (rhs2_type))))
3466             || !useless_type_conversion_p (lhs_type, rhs1_type))
3467           {
3468             error ("type mismatch in shift expression");
3469             debug_generic_expr (lhs_type);
3470             debug_generic_expr (rhs1_type);
3471             debug_generic_expr (rhs2_type);
3472             return true;
3473           }
3474
3475         return false;
3476       }
3477
3478     case VEC_LSHIFT_EXPR:
3479     case VEC_RSHIFT_EXPR:
3480       {
3481         if (TREE_CODE (rhs1_type) != VECTOR_TYPE
3482             || !(INTEGRAL_TYPE_P (TREE_TYPE (rhs1_type))
3483                  || POINTER_TYPE_P (TREE_TYPE (rhs1_type))
3484                  || FIXED_POINT_TYPE_P (TREE_TYPE (rhs1_type))
3485                  || SCALAR_FLOAT_TYPE_P (TREE_TYPE (rhs1_type)))
3486             || (!INTEGRAL_TYPE_P (rhs2_type)
3487                 && (TREE_CODE (rhs2_type) != VECTOR_TYPE
3488                     || !INTEGRAL_TYPE_P (TREE_TYPE (rhs2_type))))
3489             || !useless_type_conversion_p (lhs_type, rhs1_type))
3490           {
3491             error ("type mismatch in vector shift expression");
3492             debug_generic_expr (lhs_type);
3493             debug_generic_expr (rhs1_type);
3494             debug_generic_expr (rhs2_type);
3495             return true;
3496           }
3497         /* For shifting a vector of non-integral components we
3498            only allow shifting by a constant multiple of the element size.  */
3499         if (!INTEGRAL_TYPE_P (TREE_TYPE (rhs1_type))
3500             && (TREE_CODE (rhs2) != INTEGER_CST
3501                 || !div_if_zero_remainder (EXACT_DIV_EXPR, rhs2,
3502                                            TYPE_SIZE (TREE_TYPE (rhs1_type)))))
3503           {
3504             error ("non-element sized vector shift of floating point vector");
3505             return true;
3506           }
3507
3508         return false;
3509       }
3510
3511     case PLUS_EXPR:
3512     case MINUS_EXPR:
3513       {
3514         /* We use regular PLUS_EXPR and MINUS_EXPR for vectors.
3515            ???  This just makes the checker happy and may not be what is
3516            intended.  */
3517         if (TREE_CODE (lhs_type) == VECTOR_TYPE
3518             && POINTER_TYPE_P (TREE_TYPE (lhs_type)))
3519           {
3520             if (TREE_CODE (rhs1_type) != VECTOR_TYPE
3521                 || TREE_CODE (rhs2_type) != VECTOR_TYPE)
3522               {
3523                 error ("invalid non-vector operands to vector valued plus");
3524                 return true;
3525               }
3526             lhs_type = TREE_TYPE (lhs_type);
3527             rhs1_type = TREE_TYPE (rhs1_type);
3528             rhs2_type = TREE_TYPE (rhs2_type);
3529             /* PLUS_EXPR is commutative, so we might end up canonicalizing
3530                the pointer to 2nd place.  */
3531             if (POINTER_TYPE_P (rhs2_type))
3532               {
3533                 tree tem = rhs1_type;
3534                 rhs1_type = rhs2_type;
3535                 rhs2_type = tem;
3536               }
3537             goto do_pointer_plus_expr_check;
3538           }
3539         if (POINTER_TYPE_P (lhs_type)
3540             || POINTER_TYPE_P (rhs1_type)
3541             || POINTER_TYPE_P (rhs2_type))
3542           {
3543             error ("invalid (pointer) operands to plus/minus");
3544             return true;
3545           }
3546
3547         /* Continue with generic binary expression handling.  */
3548         break;
3549       }
3550
3551     case POINTER_PLUS_EXPR:
3552       {
3553 do_pointer_plus_expr_check:
3554         if (!POINTER_TYPE_P (rhs1_type)
3555             || !useless_type_conversion_p (lhs_type, rhs1_type)
3556             || !ptrofftype_p (rhs2_type))
3557           {
3558             error ("type mismatch in pointer plus expression");
3559             debug_generic_stmt (lhs_type);
3560             debug_generic_stmt (rhs1_type);
3561             debug_generic_stmt (rhs2_type);
3562             return true;
3563           }
3564
3565         return false;
3566       }
3567
3568     case TRUTH_ANDIF_EXPR:
3569     case TRUTH_ORIF_EXPR:
3570     case TRUTH_AND_EXPR:
3571     case TRUTH_OR_EXPR:
3572     case TRUTH_XOR_EXPR:
3573
3574       gcc_unreachable ();
3575
3576     case LT_EXPR:
3577     case LE_EXPR:
3578     case GT_EXPR:
3579     case GE_EXPR:
3580     case EQ_EXPR:
3581     case NE_EXPR:
3582     case UNORDERED_EXPR:
3583     case ORDERED_EXPR:
3584     case UNLT_EXPR:
3585     case UNLE_EXPR:
3586     case UNGT_EXPR:
3587     case UNGE_EXPR:
3588     case UNEQ_EXPR:
3589     case LTGT_EXPR:
3590       /* Comparisons are also binary, but the result type is not
3591          connected to the operand types.  */
3592       return verify_gimple_comparison (lhs_type, rhs1, rhs2);
3593
3594     case WIDEN_MULT_EXPR:
3595       if (TREE_CODE (lhs_type) != INTEGER_TYPE)
3596         return true;
3597       return ((2 * TYPE_PRECISION (rhs1_type) > TYPE_PRECISION (lhs_type))
3598               || (TYPE_PRECISION (rhs1_type) != TYPE_PRECISION (rhs2_type)));
3599
3600     case WIDEN_SUM_EXPR:
3601     case VEC_WIDEN_MULT_HI_EXPR:
3602     case VEC_WIDEN_MULT_LO_EXPR:
3603     case VEC_PACK_TRUNC_EXPR:
3604     case VEC_PACK_SAT_EXPR:
3605     case VEC_PACK_FIX_TRUNC_EXPR:
3606     case VEC_EXTRACT_EVEN_EXPR:
3607     case VEC_EXTRACT_ODD_EXPR:
3608     case VEC_INTERLEAVE_HIGH_EXPR:
3609     case VEC_INTERLEAVE_LOW_EXPR:
3610       /* FIXME.  */
3611       return false;
3612
3613     case MULT_EXPR:
3614     case TRUNC_DIV_EXPR:
3615     case CEIL_DIV_EXPR:
3616     case FLOOR_DIV_EXPR:
3617     case ROUND_DIV_EXPR:
3618     case TRUNC_MOD_EXPR:
3619     case CEIL_MOD_EXPR:
3620     case FLOOR_MOD_EXPR:
3621     case ROUND_MOD_EXPR:
3622     case RDIV_EXPR:
3623     case EXACT_DIV_EXPR:
3624     case MIN_EXPR:
3625     case MAX_EXPR:
3626     case BIT_IOR_EXPR:
3627     case BIT_XOR_EXPR:
3628     case BIT_AND_EXPR:
3629       /* Continue with generic binary expression handling.  */
3630       break;
3631
3632     default:
3633       gcc_unreachable ();
3634     }
3635
3636   if (!useless_type_conversion_p (lhs_type, rhs1_type)
3637       || !useless_type_conversion_p (lhs_type, rhs2_type))
3638     {
3639       error ("type mismatch in binary expression");
3640       debug_generic_stmt (lhs_type);
3641       debug_generic_stmt (rhs1_type);
3642       debug_generic_stmt (rhs2_type);
3643       return true;
3644     }
3645
3646   return false;
3647 }
3648
3649 /* Verify a gimple assignment statement STMT with a ternary rhs.
3650    Returns true if anything is wrong.  */
3651
3652 static bool
3653 verify_gimple_assign_ternary (gimple stmt)
3654 {
3655   enum tree_code rhs_code = gimple_assign_rhs_code (stmt);
3656   tree lhs = gimple_assign_lhs (stmt);
3657   tree lhs_type = TREE_TYPE (lhs);
3658   tree rhs1 = gimple_assign_rhs1 (stmt);
3659   tree rhs1_type = TREE_TYPE (rhs1);
3660   tree rhs2 = gimple_assign_rhs2 (stmt);
3661   tree rhs2_type = TREE_TYPE (rhs2);
3662   tree rhs3 = gimple_assign_rhs3 (stmt);
3663   tree rhs3_type = TREE_TYPE (rhs3);
3664
3665   if (!is_gimple_reg (lhs))
3666     {
3667       error ("non-register as LHS of ternary operation");
3668       return true;
3669     }
3670
3671   if (((rhs_code == VEC_COND_EXPR || rhs_code == COND_EXPR)
3672        ? !is_gimple_condexpr (rhs1) : !is_gimple_val (rhs1))
3673       || !is_gimple_val (rhs2)
3674       || !is_gimple_val (rhs3))
3675     {
3676       error ("invalid operands in ternary operation");
3677       return true;
3678     }
3679
3680   /* First handle operations that involve different types.  */
3681   switch (rhs_code)
3682     {
3683     case WIDEN_MULT_PLUS_EXPR:
3684     case WIDEN_MULT_MINUS_EXPR:
3685       if ((!INTEGRAL_TYPE_P (rhs1_type)
3686            && !FIXED_POINT_TYPE_P (rhs1_type))
3687           || !useless_type_conversion_p (rhs1_type, rhs2_type)
3688           || !useless_type_conversion_p (lhs_type, rhs3_type)
3689           || 2 * TYPE_PRECISION (rhs1_type) > TYPE_PRECISION (lhs_type)
3690           || TYPE_PRECISION (rhs1_type) != TYPE_PRECISION (rhs2_type))
3691         {
3692           error ("type mismatch in widening multiply-accumulate expression");
3693           debug_generic_expr (lhs_type);
3694           debug_generic_expr (rhs1_type);
3695           debug_generic_expr (rhs2_type);
3696           debug_generic_expr (rhs3_type);
3697           return true;
3698         }
3699       break;
3700
3701     case FMA_EXPR:
3702       if (!useless_type_conversion_p (lhs_type, rhs1_type)
3703           || !useless_type_conversion_p (lhs_type, rhs2_type)
3704           || !useless_type_conversion_p (lhs_type, rhs3_type))
3705         {
3706           error ("type mismatch in fused multiply-add expression");
3707           debug_generic_expr (lhs_type);
3708           debug_generic_expr (rhs1_type);
3709           debug_generic_expr (rhs2_type);
3710           debug_generic_expr (rhs3_type);
3711           return true;
3712         }
3713       break;
3714
3715     case COND_EXPR:
3716     case VEC_COND_EXPR:
3717       if (!useless_type_conversion_p (lhs_type, rhs2_type)
3718           || !useless_type_conversion_p (lhs_type, rhs3_type))
3719         {
3720           error ("type mismatch in conditional expression");
3721           debug_generic_expr (lhs_type);
3722           debug_generic_expr (rhs2_type);
3723           debug_generic_expr (rhs3_type);
3724           return true;
3725         }
3726       break;
3727
3728     case DOT_PROD_EXPR:
3729     case REALIGN_LOAD_EXPR:
3730       /* FIXME.  */
3731       return false;
3732
3733     default:
3734       gcc_unreachable ();
3735     }
3736   return false;
3737 }
3738
3739 /* Verify a gimple assignment statement STMT with a single rhs.
3740    Returns true if anything is wrong.  */
3741
3742 static bool
3743 verify_gimple_assign_single (gimple stmt)
3744 {
3745   enum tree_code rhs_code = gimple_assign_rhs_code (stmt);
3746   tree lhs = gimple_assign_lhs (stmt);
3747   tree lhs_type = TREE_TYPE (lhs);
3748   tree rhs1 = gimple_assign_rhs1 (stmt);
3749   tree rhs1_type = TREE_TYPE (rhs1);
3750   bool res = false;
3751
3752   if (!useless_type_conversion_p (lhs_type, rhs1_type))
3753     {
3754       error ("non-trivial conversion at assignment");
3755       debug_generic_expr (lhs_type);
3756       debug_generic_expr (rhs1_type);
3757       return true;
3758     }
3759
3760   if (handled_component_p (lhs))
3761     res |= verify_types_in_gimple_reference (lhs, true);
3762
3763   /* Special codes we cannot handle via their class.  */
3764   switch (rhs_code)
3765     {
3766     case ADDR_EXPR:
3767       {
3768         tree op = TREE_OPERAND (rhs1, 0);
3769         if (!is_gimple_addressable (op))
3770           {
3771             error ("invalid operand in unary expression");
3772             return true;
3773           }
3774
3775         /* Technically there is no longer a need for matching types, but
3776            gimple hygiene asks for this check.  In LTO we can end up
3777            combining incompatible units and thus end up with addresses
3778            of globals that change their type to a common one.  */
3779         if (!in_lto_p
3780             && !types_compatible_p (TREE_TYPE (op),
3781                                     TREE_TYPE (TREE_TYPE (rhs1)))
3782             && !one_pointer_to_useless_type_conversion_p (TREE_TYPE (rhs1),
3783                                                           TREE_TYPE (op)))
3784           {
3785             error ("type mismatch in address expression");
3786             debug_generic_stmt (TREE_TYPE (rhs1));
3787             debug_generic_stmt (TREE_TYPE (op));
3788             return true;
3789           }
3790
3791         return verify_types_in_gimple_reference (op, true);
3792       }
3793
3794     /* tcc_reference  */
3795     case INDIRECT_REF:
3796       error ("INDIRECT_REF in gimple IL");
3797       return true;
3798
3799     case COMPONENT_REF:
3800     case BIT_FIELD_REF:
3801     case ARRAY_REF:
3802     case ARRAY_RANGE_REF:
3803     case VIEW_CONVERT_EXPR:
3804     case REALPART_EXPR:
3805     case IMAGPART_EXPR:
3806     case TARGET_MEM_REF:
3807     case MEM_REF:
3808       if (!is_gimple_reg (lhs)
3809           && is_gimple_reg_type (TREE_TYPE (lhs)))
3810         {
3811           error ("invalid rhs for gimple memory store");
3812           debug_generic_stmt (lhs);
3813           debug_generic_stmt (rhs1);
3814           return true;
3815         }
3816       return res || verify_types_in_gimple_reference (rhs1, false);
3817
3818     /* tcc_constant  */
3819     case SSA_NAME:
3820     case INTEGER_CST:
3821     case REAL_CST:
3822     case FIXED_CST:
3823     case COMPLEX_CST:
3824     case VECTOR_CST:
3825     case STRING_CST:
3826       return res;
3827
3828     /* tcc_declaration  */
3829     case CONST_DECL:
3830       return res;
3831     case VAR_DECL:
3832     case PARM_DECL:
3833       if (!is_gimple_reg (lhs)
3834           && !is_gimple_reg (rhs1)
3835           && is_gimple_reg_type (TREE_TYPE (lhs)))
3836         {
3837           error ("invalid rhs for gimple memory store");
3838           debug_generic_stmt (lhs);
3839           debug_generic_stmt (rhs1);
3840           return true;
3841         }
3842       return res;
3843
3844     case CONSTRUCTOR:
3845     case OBJ_TYPE_REF:
3846     case ASSERT_EXPR:
3847     case WITH_SIZE_EXPR:
3848       /* FIXME.  */
3849       return res;
3850
3851     default:;
3852     }
3853
3854   return res;
3855 }
3856
3857 /* Verify the contents of a GIMPLE_ASSIGN STMT.  Returns true when there
3858    is a problem, otherwise false.  */
3859
3860 static bool
3861 verify_gimple_assign (gimple stmt)
3862 {
3863   switch (gimple_assign_rhs_class (stmt))
3864     {
3865     case GIMPLE_SINGLE_RHS:
3866       return verify_gimple_assign_single (stmt);
3867
3868     case GIMPLE_UNARY_RHS:
3869       return verify_gimple_assign_unary (stmt);
3870
3871     case GIMPLE_BINARY_RHS:
3872       return verify_gimple_assign_binary (stmt);
3873
3874     case GIMPLE_TERNARY_RHS:
3875       return verify_gimple_assign_ternary (stmt);
3876
3877     default:
3878       gcc_unreachable ();
3879     }
3880 }
3881
3882 /* Verify the contents of a GIMPLE_RETURN STMT.  Returns true when there
3883    is a problem, otherwise false.  */
3884
3885 static bool
3886 verify_gimple_return (gimple stmt)
3887 {
3888   tree op = gimple_return_retval (stmt);
3889   tree restype = TREE_TYPE (TREE_TYPE (cfun->decl));
3890
3891   /* We cannot test for present return values as we do not fix up missing
3892      return values from the original source.  */
3893   if (op == NULL)
3894     return false;
3895
3896   if (!is_gimple_val (op)
3897       && TREE_CODE (op) != RESULT_DECL)
3898     {
3899       error ("invalid operand in return statement");
3900       debug_generic_stmt (op);
3901       return true;
3902     }
3903
3904   if ((TREE_CODE (op) == RESULT_DECL
3905        && DECL_BY_REFERENCE (op))
3906       || (TREE_CODE (op) == SSA_NAME
3907           && TREE_CODE (SSA_NAME_VAR (op)) == RESULT_DECL
3908           && DECL_BY_REFERENCE (SSA_NAME_VAR (op))))
3909     op = TREE_TYPE (op);
3910
3911   if (!useless_type_conversion_p (restype, TREE_TYPE (op)))
3912     {
3913       error ("invalid conversion in return statement");
3914       debug_generic_stmt (restype);
3915       debug_generic_stmt (TREE_TYPE (op));
3916       return true;
3917     }
3918
3919   return false;
3920 }
3921
3922
3923 /* Verify the contents of a GIMPLE_GOTO STMT.  Returns true when there
3924    is a problem, otherwise false.  */
3925
3926 static bool
3927 verify_gimple_goto (gimple stmt)
3928 {
3929   tree dest = gimple_goto_dest (stmt);
3930
3931   /* ???  We have two canonical forms of direct goto destinations, a
3932      bare LABEL_DECL and an ADDR_EXPR of a LABEL_DECL.  */
3933   if (TREE_CODE (dest) != LABEL_DECL
3934       && (!is_gimple_val (dest)
3935           || !POINTER_TYPE_P (TREE_TYPE (dest))))
3936     {
3937       error ("goto destination is neither a label nor a pointer");
3938       return true;
3939     }
3940
3941   return false;
3942 }
3943
3944 /* Verify the contents of a GIMPLE_SWITCH STMT.  Returns true when there
3945    is a problem, otherwise false.  */
3946
3947 static bool
3948 verify_gimple_switch (gimple stmt)
3949 {
3950   if (!is_gimple_val (gimple_switch_index (stmt)))
3951     {
3952       error ("invalid operand to switch statement");
3953       debug_generic_stmt (gimple_switch_index (stmt));
3954       return true;
3955     }
3956
3957   return false;
3958 }
3959
3960
3961 /* Verify a gimple debug statement STMT.
3962    Returns true if anything is wrong.  */
3963
3964 static bool
3965 verify_gimple_debug (gimple stmt ATTRIBUTE_UNUSED)
3966 {
3967   /* There isn't much that could be wrong in a gimple debug stmt.  A
3968      gimple debug bind stmt, for example, maps a tree, that's usually
3969      a VAR_DECL or a PARM_DECL, but that could also be some scalarized
3970      component or member of an aggregate type, to another tree, that
3971      can be an arbitrary expression.  These stmts expand into debug
3972      insns, and are converted to debug notes by var-tracking.c.  */
3973   return false;
3974 }
3975
3976 /* Verify a gimple label statement STMT.
3977    Returns true if anything is wrong.  */
3978
3979 static bool
3980 verify_gimple_label (gimple stmt)
3981 {
3982   tree decl = gimple_label_label (stmt);
3983   int uid;
3984   bool err = false;
3985
3986   if (TREE_CODE (decl) != LABEL_DECL)
3987     return true;
3988
3989   uid = LABEL_DECL_UID (decl);
3990   if (cfun->cfg
3991       && (uid == -1
3992           || VEC_index (basic_block,
3993                         label_to_block_map, uid) != gimple_bb (stmt)))
3994     {
3995       error ("incorrect entry in label_to_block_map");
3996       err |= true;
3997     }
3998
3999   uid = EH_LANDING_PAD_NR (decl);
4000   if (uid)
4001     {
4002       eh_landing_pad lp = get_eh_landing_pad_from_number (uid);
4003       if (decl != lp->post_landing_pad)
4004         {
4005           error ("incorrect setting of landing pad number");
4006           err |= true;
4007         }
4008     }
4009
4010   return err;
4011 }
4012
4013 /* Verify the GIMPLE statement STMT.  Returns true if there is an
4014    error, otherwise false.  */
4015
4016 static bool
4017 verify_gimple_stmt (gimple stmt)
4018 {
4019   switch (gimple_code (stmt))
4020     {
4021     case GIMPLE_ASSIGN:
4022       return verify_gimple_assign (stmt);
4023
4024     case GIMPLE_LABEL:
4025       return verify_gimple_label (stmt);
4026
4027     case GIMPLE_CALL:
4028       return verify_gimple_call (stmt);
4029
4030     case GIMPLE_COND:
4031       if (TREE_CODE_CLASS (gimple_cond_code (stmt)) != tcc_comparison)
4032         {
4033           error ("invalid comparison code in gimple cond");
4034           return true;
4035         }
4036       if (!(!gimple_cond_true_label (stmt)
4037             || TREE_CODE (gimple_cond_true_label (stmt)) == LABEL_DECL)
4038           || !(!gimple_cond_false_label (stmt)
4039                || TREE_CODE (gimple_cond_false_label (stmt)) == LABEL_DECL))
4040         {
4041           error ("invalid labels in gimple cond");
4042           return true;
4043         }
4044           
4045       return verify_gimple_comparison (boolean_type_node,
4046                                        gimple_cond_lhs (stmt),
4047                                        gimple_cond_rhs (stmt));
4048
4049     case GIMPLE_GOTO:
4050       return verify_gimple_goto (stmt);
4051
4052     case GIMPLE_SWITCH:
4053       return verify_gimple_switch (stmt);
4054
4055     case GIMPLE_RETURN:
4056       return verify_gimple_return (stmt);
4057
4058     case GIMPLE_ASM:
4059       return false;
4060
4061     /* Tuples that do not have tree operands.  */
4062     case GIMPLE_NOP:
4063     case GIMPLE_PREDICT:
4064     case GIMPLE_RESX:
4065     case GIMPLE_EH_DISPATCH:
4066     case GIMPLE_EH_MUST_NOT_THROW:
4067       return false;
4068
4069     CASE_GIMPLE_OMP:
4070       /* OpenMP directives are validated by the FE and never operated
4071          on by the optimizers.  Furthermore, GIMPLE_OMP_FOR may contain
4072          non-gimple expressions when the main index variable has had
4073          its address taken.  This does not affect the loop itself
4074          because the header of an GIMPLE_OMP_FOR is merely used to determine
4075          how to setup the parallel iteration.  */
4076       return false;
4077
4078     case GIMPLE_DEBUG:
4079       return verify_gimple_debug (stmt);
4080
4081     default:
4082       gcc_unreachable ();
4083     }
4084 }
4085
4086 /* Verify the contents of a GIMPLE_PHI.  Returns true if there is a problem,
4087    and false otherwise.  */
4088
4089 static bool
4090 verify_gimple_phi (gimple phi)
4091 {
4092   bool err = false;
4093   unsigned i;
4094   tree phi_result = gimple_phi_result (phi);
4095   bool virtual_p;
4096
4097   if (!phi_result)
4098     {
4099       error ("invalid PHI result");
4100       return true;
4101     }
4102
4103   virtual_p = !is_gimple_reg (phi_result);
4104   if (TREE_CODE (phi_result) != SSA_NAME
4105       || (virtual_p
4106           && SSA_NAME_VAR (phi_result) != gimple_vop (cfun)))
4107     {
4108       error ("invalid PHI result");
4109       err = true;
4110     }
4111
4112   for (i = 0; i < gimple_phi_num_args (phi); i++)
4113     {
4114       tree t = gimple_phi_arg_def (phi, i);
4115
4116       if (!t)
4117         {
4118           error ("missing PHI def");
4119           err |= true;
4120           continue;
4121         }
4122       /* Addressable variables do have SSA_NAMEs but they
4123          are not considered gimple values.  */
4124       else if ((TREE_CODE (t) == SSA_NAME
4125                 && virtual_p != !is_gimple_reg (t))
4126                || (virtual_p
4127                    && (TREE_CODE (t) != SSA_NAME
4128                        || SSA_NAME_VAR (t) != gimple_vop (cfun)))
4129                || (!virtual_p
4130                    && !is_gimple_val (t)))
4131         {
4132           error ("invalid PHI argument");
4133           debug_generic_expr (t);
4134           err |= true;
4135         }
4136 #ifdef ENABLE_TYPES_CHECKING
4137       if (!useless_type_conversion_p (TREE_TYPE (phi_result), TREE_TYPE (t)))
4138         {
4139           error ("incompatible types in PHI argument %u", i);
4140           debug_generic_stmt (TREE_TYPE (phi_result));
4141           debug_generic_stmt (TREE_TYPE (t));
4142           err |= true;
4143         }
4144 #endif
4145     }
4146
4147   return err;
4148 }
4149
4150 /* Verify the GIMPLE statements inside the sequence STMTS.  */
4151
4152 static bool
4153 verify_gimple_in_seq_2 (gimple_seq stmts)
4154 {
4155   gimple_stmt_iterator ittr;
4156   bool err = false;
4157
4158   for (ittr = gsi_start (stmts); !gsi_end_p (ittr); gsi_next (&ittr))
4159     {
4160       gimple stmt = gsi_stmt (ittr);
4161
4162       switch (gimple_code (stmt))
4163         {
4164         case GIMPLE_BIND:
4165           err |= verify_gimple_in_seq_2 (gimple_bind_body (stmt));
4166           break;
4167
4168         case GIMPLE_TRY:
4169           err |= verify_gimple_in_seq_2 (gimple_try_eval (stmt));
4170           err |= verify_gimple_in_seq_2 (gimple_try_cleanup (stmt));
4171           break;
4172
4173         case GIMPLE_EH_FILTER:
4174           err |= verify_gimple_in_seq_2 (gimple_eh_filter_failure (stmt));
4175           break;
4176
4177         case GIMPLE_CATCH:
4178           err |= verify_gimple_in_seq_2 (gimple_catch_handler (stmt));
4179           break;
4180
4181         default:
4182           {
4183             bool err2 = verify_gimple_stmt (stmt);
4184             if (err2)
4185               debug_gimple_stmt (stmt);
4186             err |= err2;
4187           }
4188         }
4189     }
4190
4191   return err;
4192 }
4193
4194
4195 /* Verify the GIMPLE statements inside the statement list STMTS.  */
4196
4197 DEBUG_FUNCTION void
4198 verify_gimple_in_seq (gimple_seq stmts)
4199 {
4200   timevar_push (TV_TREE_STMT_VERIFY);
4201   if (verify_gimple_in_seq_2 (stmts))
4202     internal_error ("verify_gimple failed");
4203   timevar_pop (TV_TREE_STMT_VERIFY);
4204 }
4205
4206 /* Return true when the T can be shared.  */
4207
4208 bool
4209 tree_node_can_be_shared (tree t)
4210 {
4211   if (IS_TYPE_OR_DECL_P (t)
4212       || is_gimple_min_invariant (t)
4213       || TREE_CODE (t) == SSA_NAME
4214       || t == error_mark_node
4215       || TREE_CODE (t) == IDENTIFIER_NODE)
4216     return true;
4217
4218   if (TREE_CODE (t) == CASE_LABEL_EXPR)
4219     return true;
4220
4221   while (((TREE_CODE (t) == ARRAY_REF || TREE_CODE (t) == ARRAY_RANGE_REF)
4222            && is_gimple_min_invariant (TREE_OPERAND (t, 1)))
4223          || TREE_CODE (t) == COMPONENT_REF
4224          || TREE_CODE (t) == REALPART_EXPR
4225          || TREE_CODE (t) == IMAGPART_EXPR)
4226     t = TREE_OPERAND (t, 0);
4227
4228   if (DECL_P (t))
4229     return true;
4230
4231   return false;
4232 }
4233
4234 /* Called via walk_gimple_stmt.  Verify tree sharing.  */
4235
4236 static tree
4237 verify_node_sharing (tree *tp, int *walk_subtrees, void *data)
4238 {
4239   struct walk_stmt_info *wi = (struct walk_stmt_info *) data;
4240   struct pointer_set_t *visited = (struct pointer_set_t *) wi->info;
4241
4242   if (tree_node_can_be_shared (*tp))
4243     {
4244       *walk_subtrees = false;
4245       return NULL;
4246     }
4247
4248   if (pointer_set_insert (visited, *tp))
4249     return *tp;
4250
4251   return NULL;
4252 }
4253
4254 static bool eh_error_found;
4255 static int
4256 verify_eh_throw_stmt_node (void **slot, void *data)
4257 {
4258   struct throw_stmt_node *node = (struct throw_stmt_node *)*slot;
4259   struct pointer_set_t *visited = (struct pointer_set_t *) data;
4260
4261   if (!pointer_set_contains (visited, node->stmt))
4262     {
4263       error ("dead STMT in EH table");
4264       debug_gimple_stmt (node->stmt);
4265       eh_error_found = true;
4266     }
4267   return 1;
4268 }
4269
4270 /* Verify the GIMPLE statements in the CFG of FN.  */
4271
4272 DEBUG_FUNCTION void
4273 verify_gimple_in_cfg (struct function *fn)
4274 {
4275   basic_block bb;
4276   bool err = false;
4277   struct pointer_set_t *visited, *visited_stmts;
4278
4279   timevar_push (TV_TREE_STMT_VERIFY);
4280   visited = pointer_set_create ();
4281   visited_stmts = pointer_set_create ();
4282
4283   FOR_EACH_BB_FN (bb, fn)
4284     {
4285       gimple_stmt_iterator gsi;
4286
4287       for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); gsi_next (&gsi))
4288         {
4289           gimple phi = gsi_stmt (gsi);
4290           bool err2 = false;
4291           unsigned i;
4292
4293           pointer_set_insert (visited_stmts, phi);
4294
4295           if (gimple_bb (phi) != bb)
4296             {
4297               error ("gimple_bb (phi) is set to a wrong basic block");
4298               err2 = true;
4299             }
4300
4301           err2 |= verify_gimple_phi (phi);
4302
4303           for (i = 0; i < gimple_phi_num_args (phi); i++)
4304             {
4305               tree arg = gimple_phi_arg_def (phi, i);
4306               tree addr = walk_tree (&arg, verify_node_sharing, visited, NULL);
4307               if (addr)
4308                 {
4309                   error ("incorrect sharing of tree nodes");
4310                   debug_generic_expr (addr);
4311                   err2 |= true;
4312                 }
4313             }
4314
4315           if (err2)
4316             debug_gimple_stmt (phi);
4317           err |= err2;
4318         }
4319
4320       for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
4321         {
4322           gimple stmt = gsi_stmt (gsi);
4323           bool err2 = false;
4324           struct walk_stmt_info wi;
4325           tree addr;
4326           int lp_nr;
4327
4328           pointer_set_insert (visited_stmts, stmt);
4329
4330           if (gimple_bb (stmt) != bb)
4331             {
4332               error ("gimple_bb (stmt) is set to a wrong basic block");
4333               err2 = true;
4334             }
4335
4336           err2 |= verify_gimple_stmt (stmt);
4337
4338           memset (&wi, 0, sizeof (wi));
4339           wi.info = (void *) visited;
4340           addr = walk_gimple_op (stmt, verify_node_sharing, &wi);
4341           if (addr)
4342             {
4343               error ("incorrect sharing of tree nodes");
4344               debug_generic_expr (addr);
4345               err2 |= true;
4346             }
4347
4348           /* ???  Instead of not checking these stmts at all the walker
4349              should know its context via wi.  */
4350           if (!is_gimple_debug (stmt)
4351               && !is_gimple_omp (stmt))
4352             {
4353               memset (&wi, 0, sizeof (wi));
4354               addr = walk_gimple_op (stmt, verify_expr, &wi);
4355               if (addr)
4356                 {
4357                   debug_generic_expr (addr);
4358                   inform (gimple_location (stmt), "in statement");
4359                   err2 |= true;
4360                 }
4361             }
4362
4363           /* If the statement is marked as part of an EH region, then it is
4364              expected that the statement could throw.  Verify that when we
4365              have optimizations that simplify statements such that we prove
4366              that they cannot throw, that we update other data structures
4367              to match.  */
4368           lp_nr = lookup_stmt_eh_lp (stmt);
4369           if (lp_nr != 0)
4370             {
4371               if (!stmt_could_throw_p (stmt))
4372                 {
4373                   error ("statement marked for throw, but doesn%'t");
4374                   err2 |= true;
4375                 }
4376               else if (lp_nr > 0
4377                        && !gsi_one_before_end_p (gsi)
4378                        && stmt_can_throw_internal (stmt))
4379                 {
4380                   error ("statement marked for throw in middle of block");
4381                   err2 |= true;
4382                 }
4383             }
4384
4385           if (err2)
4386             debug_gimple_stmt (stmt);
4387           err |= err2;
4388         }
4389     }
4390
4391   eh_error_found = false;
4392   if (get_eh_throw_stmt_table (cfun))
4393     htab_traverse (get_eh_throw_stmt_table (cfun),
4394                    verify_eh_throw_stmt_node,
4395                    visited_stmts);
4396
4397   if (err || eh_error_found)
4398     internal_error ("verify_gimple failed");
4399
4400   pointer_set_destroy (visited);
4401   pointer_set_destroy (visited_stmts);
4402   verify_histograms ();
4403   timevar_pop (TV_TREE_STMT_VERIFY);
4404 }
4405
4406
4407 /* Verifies that the flow information is OK.  */
4408
4409 static int
4410 gimple_verify_flow_info (void)
4411 {
4412   int err = 0;
4413   basic_block bb;
4414   gimple_stmt_iterator gsi;
4415   gimple stmt;
4416   edge e;
4417   edge_iterator ei;
4418
4419   if (ENTRY_BLOCK_PTR->il.gimple)
4420     {
4421       error ("ENTRY_BLOCK has IL associated with it");
4422       err = 1;
4423     }
4424
4425   if (EXIT_BLOCK_PTR->il.gimple)
4426     {
4427       error ("EXIT_BLOCK has IL associated with it");
4428       err = 1;
4429     }
4430
4431   FOR_EACH_EDGE (e, ei, EXIT_BLOCK_PTR->preds)
4432     if (e->flags & EDGE_FALLTHRU)
4433       {
4434         error ("fallthru to exit from bb %d", e->src->index);
4435         err = 1;
4436       }
4437
4438   FOR_EACH_BB (bb)
4439     {
4440       bool found_ctrl_stmt = false;
4441
4442       stmt = NULL;
4443
4444       /* Skip labels on the start of basic block.  */
4445       for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
4446         {
4447           tree label;
4448           gimple prev_stmt = stmt;
4449
4450           stmt = gsi_stmt (gsi);
4451
4452           if (gimple_code (stmt) != GIMPLE_LABEL)
4453             break;
4454
4455           label = gimple_label_label (stmt);
4456           if (prev_stmt && DECL_NONLOCAL (label))
4457             {
4458               error ("nonlocal label ");
4459               print_generic_expr (stderr, label, 0);
4460               fprintf (stderr, " is not first in a sequence of labels in bb %d",
4461                        bb->index);
4462               err = 1;
4463             }
4464
4465           if (prev_stmt && EH_LANDING_PAD_NR (label) != 0)
4466             {
4467               error ("EH landing pad label ");
4468               print_generic_expr (stderr, label, 0);
4469               fprintf (stderr, " is not first in a sequence of labels in bb %d",
4470                        bb->index);
4471               err = 1;
4472             }
4473
4474           if (label_to_block (label) != bb)
4475             {
4476               error ("label ");
4477               print_generic_expr (stderr, label, 0);
4478               fprintf (stderr, " to block does not match in bb %d",
4479                        bb->index);
4480               err = 1;
4481             }
4482
4483           if (decl_function_context (label) != current_function_decl)
4484             {
4485               error ("label ");
4486               print_generic_expr (stderr, label, 0);
4487               fprintf (stderr, " has incorrect context in bb %d",
4488                        bb->index);
4489               err = 1;
4490             }
4491         }
4492
4493       /* Verify that body of basic block BB is free of control flow.  */
4494       for (; !gsi_end_p (gsi); gsi_next (&gsi))
4495         {
4496           gimple stmt = gsi_stmt (gsi);
4497
4498           if (found_ctrl_stmt)
4499             {
4500               error ("control flow in the middle of basic block %d",
4501                      bb->index);
4502               err = 1;
4503             }
4504
4505           if (stmt_ends_bb_p (stmt))
4506             found_ctrl_stmt = true;
4507
4508           if (gimple_code (stmt) == GIMPLE_LABEL)
4509             {
4510               error ("label ");
4511               print_generic_expr (stderr, gimple_label_label (stmt), 0);
4512               fprintf (stderr, " in the middle of basic block %d", bb->index);
4513               err = 1;
4514             }
4515         }
4516
4517       gsi = gsi_last_bb (bb);
4518       if (gsi_end_p (gsi))
4519         continue;
4520
4521       stmt = gsi_stmt (gsi);
4522
4523       if (gimple_code (stmt) == GIMPLE_LABEL)
4524         continue;
4525
4526       err |= verify_eh_edges (stmt);
4527
4528       if (is_ctrl_stmt (stmt))
4529         {
4530           FOR_EACH_EDGE (e, ei, bb->succs)
4531             if (e->flags & EDGE_FALLTHRU)
4532               {
4533                 error ("fallthru edge after a control statement in bb %d",
4534                        bb->index);
4535                 err = 1;
4536               }
4537         }
4538
4539       if (gimple_code (stmt) != GIMPLE_COND)
4540         {
4541           /* Verify that there are no edges with EDGE_TRUE/FALSE_FLAG set
4542              after anything else but if statement.  */
4543           FOR_EACH_EDGE (e, ei, bb->succs)
4544             if (e->flags & (EDGE_TRUE_VALUE | EDGE_FALSE_VALUE))
4545               {
4546                 error ("true/false edge after a non-GIMPLE_COND in bb %d",
4547                        bb->index);
4548                 err = 1;
4549               }
4550         }
4551
4552       switch (gimple_code (stmt))
4553         {
4554         case GIMPLE_COND:
4555           {
4556             edge true_edge;
4557             edge false_edge;
4558
4559             extract_true_false_edges_from_block (bb, &true_edge, &false_edge);
4560
4561             if (!true_edge
4562                 || !false_edge
4563                 || !(true_edge->flags & EDGE_TRUE_VALUE)
4564                 || !(false_edge->flags & EDGE_FALSE_VALUE)
4565                 || (true_edge->flags & (EDGE_FALLTHRU | EDGE_ABNORMAL))
4566                 || (false_edge->flags & (EDGE_FALLTHRU | EDGE_ABNORMAL))
4567                 || EDGE_COUNT (bb->succs) >= 3)
4568               {
4569                 error ("wrong outgoing edge flags at end of bb %d",
4570                        bb->index);
4571                 err = 1;
4572               }
4573           }
4574           break;
4575
4576         case GIMPLE_GOTO:
4577           if (simple_goto_p (stmt))
4578             {
4579               error ("explicit goto at end of bb %d", bb->index);
4580               err = 1;
4581             }
4582           else
4583             {
4584               /* FIXME.  We should double check that the labels in the
4585                  destination blocks have their address taken.  */
4586               FOR_EACH_EDGE (e, ei, bb->succs)
4587                 if ((e->flags & (EDGE_FALLTHRU | EDGE_TRUE_VALUE
4588                                  | EDGE_FALSE_VALUE))
4589                     || !(e->flags & EDGE_ABNORMAL))
4590                   {
4591                     error ("wrong outgoing edge flags at end of bb %d",
4592                            bb->index);
4593                     err = 1;
4594                   }
4595             }
4596           break;
4597
4598         case GIMPLE_CALL:
4599           if (!gimple_call_builtin_p (stmt, BUILT_IN_RETURN))
4600             break;
4601           /* ... fallthru ... */
4602         case GIMPLE_RETURN:
4603           if (!single_succ_p (bb)
4604               || (single_succ_edge (bb)->flags
4605                   & (EDGE_FALLTHRU | EDGE_ABNORMAL
4606                      | EDGE_TRUE_VALUE | EDGE_FALSE_VALUE)))
4607             {
4608               error ("wrong outgoing edge flags at end of bb %d", bb->index);
4609               err = 1;
4610             }
4611           if (single_succ (bb) != EXIT_BLOCK_PTR)
4612             {
4613               error ("return edge does not point to exit in bb %d",
4614                      bb->index);
4615               err = 1;
4616             }
4617           break;
4618
4619         case GIMPLE_SWITCH:
4620           {
4621             tree prev;
4622             edge e;
4623             size_t i, n;
4624
4625             n = gimple_switch_num_labels (stmt);
4626
4627             /* Mark all the destination basic blocks.  */
4628             for (i = 0; i < n; ++i)
4629               {
4630                 tree lab = CASE_LABEL (gimple_switch_label (stmt, i));
4631                 basic_block label_bb = label_to_block (lab);
4632                 gcc_assert (!label_bb->aux || label_bb->aux == (void *)1);
4633                 label_bb->aux = (void *)1;
4634               }
4635
4636             /* Verify that the case labels are sorted.  */
4637             prev = gimple_switch_label (stmt, 0);
4638             for (i = 1; i < n; ++i)
4639               {
4640                 tree c = gimple_switch_label (stmt, i);
4641                 if (!CASE_LOW (c))
4642                   {
4643                     error ("found default case not at the start of "
4644                            "case vector");
4645                     err = 1;
4646                     continue;
4647                   }
4648                 if (CASE_LOW (prev)
4649                     && !tree_int_cst_lt (CASE_LOW (prev), CASE_LOW (c)))
4650                   {
4651                     error ("case labels not sorted: ");
4652                     print_generic_expr (stderr, prev, 0);
4653                     fprintf (stderr," is greater than ");
4654                     print_generic_expr (stderr, c, 0);
4655                     fprintf (stderr," but comes before it.\n");
4656                     err = 1;
4657                   }
4658                 prev = c;
4659               }
4660             /* VRP will remove the default case if it can prove it will
4661                never be executed.  So do not verify there always exists
4662                a default case here.  */
4663
4664             FOR_EACH_EDGE (e, ei, bb->succs)
4665               {
4666                 if (!e->dest->aux)
4667                   {
4668                     error ("extra outgoing edge %d->%d",
4669                            bb->index, e->dest->index);
4670                     err = 1;
4671                   }
4672
4673                 e->dest->aux = (void *)2;
4674                 if ((e->flags & (EDGE_FALLTHRU | EDGE_ABNORMAL
4675                                  | EDGE_TRUE_VALUE | EDGE_FALSE_VALUE)))
4676                   {
4677                     error ("wrong outgoing edge flags at end of bb %d",
4678                            bb->index);
4679                     err = 1;
4680                   }
4681               }
4682
4683             /* Check that we have all of them.  */
4684             for (i = 0; i < n; ++i)
4685               {
4686                 tree lab = CASE_LABEL (gimple_switch_label (stmt, i));
4687                 basic_block label_bb = label_to_block (lab);
4688
4689                 if (label_bb->aux != (void *)2)
4690                   {
4691                     error ("missing edge %i->%i", bb->index, label_bb->index);
4692                     err = 1;
4693                   }
4694               }
4695
4696             FOR_EACH_EDGE (e, ei, bb->succs)
4697               e->dest->aux = (void *)0;
4698           }
4699           break;
4700
4701         case GIMPLE_EH_DISPATCH:
4702           err |= verify_eh_dispatch_edge (stmt);
4703           break;
4704
4705         default:
4706           break;
4707         }
4708     }
4709
4710   if (dom_info_state (CDI_DOMINATORS) >= DOM_NO_FAST_QUERY)
4711     verify_dominators (CDI_DOMINATORS);
4712
4713   return err;
4714 }
4715
4716
4717 /* Updates phi nodes after creating a forwarder block joined
4718    by edge FALLTHRU.  */
4719
4720 static void
4721 gimple_make_forwarder_block (edge fallthru)
4722 {
4723   edge e;
4724   edge_iterator ei;
4725   basic_block dummy, bb;
4726   tree var;
4727   gimple_stmt_iterator gsi;
4728
4729   dummy = fallthru->src;
4730   bb = fallthru->dest;
4731
4732   if (single_pred_p (bb))
4733     return;
4734
4735   /* If we redirected a branch we must create new PHI nodes at the
4736      start of BB.  */
4737   for (gsi = gsi_start_phis (dummy); !gsi_end_p (gsi); gsi_next (&gsi))
4738     {
4739       gimple phi, new_phi;
4740
4741       phi = gsi_stmt (gsi);
4742       var = gimple_phi_result (phi);
4743       new_phi = create_phi_node (var, bb);
4744       SSA_NAME_DEF_STMT (var) = new_phi;
4745       gimple_phi_set_result (phi, make_ssa_name (SSA_NAME_VAR (var), phi));
4746       add_phi_arg (new_phi, gimple_phi_result (phi), fallthru,
4747                    UNKNOWN_LOCATION);
4748     }
4749
4750   /* Add the arguments we have stored on edges.  */
4751   FOR_EACH_EDGE (e, ei, bb->preds)
4752     {
4753       if (e == fallthru)
4754         continue;
4755
4756       flush_pending_stmts (e);
4757     }
4758 }
4759
4760
4761 /* Return a non-special label in the head of basic block BLOCK.
4762    Create one if it doesn't exist.  */
4763
4764 tree
4765 gimple_block_label (basic_block bb)
4766 {
4767   gimple_stmt_iterator i, s = gsi_start_bb (bb);
4768   bool first = true;
4769   tree label;
4770   gimple stmt;
4771
4772   for (i = s; !gsi_end_p (i); first = false, gsi_next (&i))
4773     {
4774       stmt = gsi_stmt (i);
4775       if (gimple_code (stmt) != GIMPLE_LABEL)
4776         break;
4777       label = gimple_label_label (stmt);
4778       if (!DECL_NONLOCAL (label))
4779         {
4780           if (!first)
4781             gsi_move_before (&i, &s);
4782           return label;
4783         }
4784     }
4785
4786   label = create_artificial_label (UNKNOWN_LOCATION);
4787   stmt = gimple_build_label (label);
4788   gsi_insert_before (&s, stmt, GSI_NEW_STMT);
4789   return label;
4790 }
4791
4792
4793 /* Attempt to perform edge redirection by replacing a possibly complex
4794    jump instruction by a goto or by removing the jump completely.
4795    This can apply only if all edges now point to the same block.  The
4796    parameters and return values are equivalent to
4797    redirect_edge_and_branch.  */
4798
4799 static edge
4800 gimple_try_redirect_by_replacing_jump (edge e, basic_block target)
4801 {
4802   basic_block src = e->src;
4803   gimple_stmt_iterator i;
4804   gimple stmt;
4805
4806   /* We can replace or remove a complex jump only when we have exactly
4807      two edges.  */
4808   if (EDGE_COUNT (src->succs) != 2
4809       /* Verify that all targets will be TARGET.  Specifically, the
4810          edge that is not E must also go to TARGET.  */
4811       || EDGE_SUCC (src, EDGE_SUCC (src, 0) == e)->dest != target)
4812     return NULL;
4813
4814   i = gsi_last_bb (src);
4815   if (gsi_end_p (i))
4816     return NULL;
4817
4818   stmt = gsi_stmt (i);
4819
4820   if (gimple_code (stmt) == GIMPLE_COND || gimple_code (stmt) == GIMPLE_SWITCH)
4821     {
4822       gsi_remove (&i, true);
4823       e = ssa_redirect_edge (e, target);
4824       e->flags = EDGE_FALLTHRU;
4825       return e;
4826     }
4827
4828   return NULL;
4829 }
4830
4831
4832 /* Redirect E to DEST.  Return NULL on failure.  Otherwise, return the
4833    edge representing the redirected branch.  */
4834
4835 static edge
4836 gimple_redirect_edge_and_branch (edge e, basic_block dest)
4837 {
4838   basic_block bb = e->src;
4839   gimple_stmt_iterator gsi;
4840   edge ret;
4841   gimple stmt;
4842
4843   if (e->flags & EDGE_ABNORMAL)
4844     return NULL;
4845
4846   if (e->dest == dest)
4847     return NULL;
4848
4849   if (e->flags & EDGE_EH)
4850     return redirect_eh_edge (e, dest);
4851
4852   if (e->src != ENTRY_BLOCK_PTR)
4853     {
4854       ret = gimple_try_redirect_by_replacing_jump (e, dest);
4855       if (ret)
4856         return ret;
4857     }
4858
4859   gsi = gsi_last_bb (bb);
4860   stmt = gsi_end_p (gsi) ? NULL : gsi_stmt (gsi);
4861
4862   switch (stmt ? gimple_code (stmt) : GIMPLE_ERROR_MARK)
4863     {
4864     case GIMPLE_COND:
4865       /* For COND_EXPR, we only need to redirect the edge.  */
4866       break;
4867
4868     case GIMPLE_GOTO:
4869       /* No non-abnormal edges should lead from a non-simple goto, and
4870          simple ones should be represented implicitly.  */
4871       gcc_unreachable ();
4872
4873     case GIMPLE_SWITCH:
4874       {
4875         tree label = gimple_block_label (dest);
4876         tree cases = get_cases_for_edge (e, stmt);
4877
4878         /* If we have a list of cases associated with E, then use it
4879            as it's a lot faster than walking the entire case vector.  */
4880         if (cases)
4881           {
4882             edge e2 = find_edge (e->src, dest);
4883             tree last, first;
4884
4885             first = cases;
4886             while (cases)
4887               {
4888                 last = cases;
4889                 CASE_LABEL (cases) = label;
4890                 cases = CASE_CHAIN (cases);
4891               }
4892
4893             /* If there was already an edge in the CFG, then we need
4894                to move all the cases associated with E to E2.  */
4895             if (e2)
4896               {
4897                 tree cases2 = get_cases_for_edge (e2, stmt);
4898
4899                 CASE_CHAIN (last) = CASE_CHAIN (cases2);
4900                 CASE_CHAIN (cases2) = first;
4901               }
4902             bitmap_set_bit (touched_switch_bbs, gimple_bb (stmt)->index);
4903           }
4904         else
4905           {
4906             size_t i, n = gimple_switch_num_labels (stmt);
4907
4908             for (i = 0; i < n; i++)
4909               {
4910                 tree elt = gimple_switch_label (stmt, i);
4911                 if (label_to_block (CASE_LABEL (elt)) == e->dest)
4912                   CASE_LABEL (elt) = label;
4913               }
4914           }
4915       }
4916       break;
4917
4918     case GIMPLE_ASM:
4919       {
4920         int i, n = gimple_asm_nlabels (stmt);
4921         tree label = NULL;
4922
4923         for (i = 0; i < n; ++i)
4924           {
4925             tree cons = gimple_asm_label_op (stmt, i);
4926             if (label_to_block (TREE_VALUE (cons)) == e->dest)
4927               {
4928                 if (!label)
4929                   label = gimple_block_label (dest);
4930                 TREE_VALUE (cons) = label;
4931               }
4932           }
4933
4934         /* If we didn't find any label matching the former edge in the
4935            asm labels, we must be redirecting the fallthrough
4936            edge.  */
4937         gcc_assert (label || (e->flags & EDGE_FALLTHRU));
4938       }
4939       break;
4940
4941     case GIMPLE_RETURN:
4942       gsi_remove (&gsi, true);
4943       e->flags |= EDGE_FALLTHRU;
4944       break;
4945
4946     case GIMPLE_OMP_RETURN:
4947     case GIMPLE_OMP_CONTINUE:
4948     case GIMPLE_OMP_SECTIONS_SWITCH:
4949     case GIMPLE_OMP_FOR:
4950       /* The edges from OMP constructs can be simply redirected.  */
4951       break;
4952
4953     case GIMPLE_EH_DISPATCH:
4954       if (!(e->flags & EDGE_FALLTHRU))
4955         redirect_eh_dispatch_edge (stmt, e, dest);
4956       break;
4957
4958     default:
4959       /* Otherwise it must be a fallthru edge, and we don't need to
4960          do anything besides redirecting it.  */
4961       gcc_assert (e->flags & EDGE_FALLTHRU);
4962       break;
4963     }
4964
4965   /* Update/insert PHI nodes as necessary.  */
4966
4967   /* Now update the edges in the CFG.  */
4968   e = ssa_redirect_edge (e, dest);
4969
4970   return e;
4971 }
4972
4973 /* Returns true if it is possible to remove edge E by redirecting
4974    it to the destination of the other edge from E->src.  */
4975
4976 static bool
4977 gimple_can_remove_branch_p (const_edge e)
4978 {
4979   if (e->flags & (EDGE_ABNORMAL | EDGE_EH))
4980     return false;
4981
4982   return true;
4983 }
4984
4985 /* Simple wrapper, as we can always redirect fallthru edges.  */
4986
4987 static basic_block
4988 gimple_redirect_edge_and_branch_force (edge e, basic_block dest)
4989 {
4990   e = gimple_redirect_edge_and_branch (e, dest);
4991   gcc_assert (e);
4992
4993   return NULL;
4994 }
4995
4996
4997 /* Splits basic block BB after statement STMT (but at least after the
4998    labels).  If STMT is NULL, BB is split just after the labels.  */
4999
5000 static basic_block
5001 gimple_split_block (basic_block bb, void *stmt)
5002 {
5003   gimple_stmt_iterator gsi;
5004   gimple_stmt_iterator gsi_tgt;
5005   gimple act;
5006   gimple_seq list;
5007   basic_block new_bb;
5008   edge e;
5009   edge_iterator ei;
5010
5011   new_bb = create_empty_bb (bb);
5012
5013   /* Redirect the outgoing edges.  */
5014   new_bb->succs = bb->succs;
5015   bb->succs = NULL;
5016   FOR_EACH_EDGE (e, ei, new_bb->succs)
5017     e->src = new_bb;
5018
5019   if (stmt && gimple_code ((gimple) stmt) == GIMPLE_LABEL)
5020     stmt = NULL;
5021
5022   /* Move everything from GSI to the new basic block.  */
5023   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
5024     {
5025       act = gsi_stmt (gsi);
5026       if (gimple_code (act) == GIMPLE_LABEL)
5027         continue;
5028
5029       if (!stmt)
5030         break;
5031
5032       if (stmt == act)
5033         {
5034           gsi_next (&gsi);
5035           break;
5036         }
5037     }
5038
5039   if (gsi_end_p (gsi))
5040     return new_bb;
5041
5042   /* Split the statement list - avoid re-creating new containers as this
5043      brings ugly quadratic memory consumption in the inliner.
5044      (We are still quadratic since we need to update stmt BB pointers,
5045      sadly.)  */
5046   list = gsi_split_seq_before (&gsi);
5047   set_bb_seq (new_bb, list);
5048   for (gsi_tgt = gsi_start (list);
5049        !gsi_end_p (gsi_tgt); gsi_next (&gsi_tgt))
5050     gimple_set_bb (gsi_stmt (gsi_tgt), new_bb);
5051
5052   return new_bb;
5053 }
5054
5055
5056 /* Moves basic block BB after block AFTER.  */
5057
5058 static bool
5059 gimple_move_block_after (basic_block bb, basic_block after)
5060 {
5061   if (bb->prev_bb == after)
5062     return true;
5063
5064   unlink_block (bb);
5065   link_block (bb, after);
5066
5067   return true;
5068 }
5069
5070
5071 /* Return true if basic_block can be duplicated.  */
5072
5073 static bool
5074 gimple_can_duplicate_bb_p (const_basic_block bb ATTRIBUTE_UNUSED)
5075 {
5076   return true;
5077 }
5078
5079 /* Create a duplicate of the basic block BB.  NOTE: This does not
5080    preserve SSA form.  */
5081
5082 static basic_block
5083 gimple_duplicate_bb (basic_block bb)
5084 {
5085   basic_block new_bb;
5086   gimple_stmt_iterator gsi, gsi_tgt;
5087   gimple_seq phis = phi_nodes (bb);
5088   gimple phi, stmt, copy;
5089
5090   new_bb = create_empty_bb (EXIT_BLOCK_PTR->prev_bb);
5091
5092   /* Copy the PHI nodes.  We ignore PHI node arguments here because
5093      the incoming edges have not been setup yet.  */
5094   for (gsi = gsi_start (phis); !gsi_end_p (gsi); gsi_next (&gsi))
5095     {
5096       phi = gsi_stmt (gsi);
5097       copy = create_phi_node (gimple_phi_result (phi), new_bb);
5098       create_new_def_for (gimple_phi_result (copy), copy,
5099                           gimple_phi_result_ptr (copy));
5100     }
5101
5102   gsi_tgt = gsi_start_bb (new_bb);
5103   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
5104     {
5105       def_operand_p def_p;
5106       ssa_op_iter op_iter;
5107       tree lhs;
5108
5109       stmt = gsi_stmt (gsi);
5110       if (gimple_code (stmt) == GIMPLE_LABEL)
5111         continue;
5112
5113       /* Create a new copy of STMT and duplicate STMT's virtual
5114          operands.  */
5115       copy = gimple_copy (stmt);
5116       gsi_insert_after (&gsi_tgt, copy, GSI_NEW_STMT);
5117
5118       maybe_duplicate_eh_stmt (copy, stmt);
5119       gimple_duplicate_stmt_histograms (cfun, copy, cfun, stmt);
5120
5121       /* When copying around a stmt writing into a local non-user
5122          aggregate, make sure it won't share stack slot with other
5123          vars.  */
5124       lhs = gimple_get_lhs (stmt);
5125       if (lhs && TREE_CODE (lhs) != SSA_NAME)
5126         {
5127           tree base = get_base_address (lhs);
5128           if (base
5129               && (TREE_CODE (base) == VAR_DECL
5130                   || TREE_CODE (base) == RESULT_DECL)
5131               && DECL_IGNORED_P (base)
5132               && !TREE_STATIC (base)
5133               && !DECL_EXTERNAL (base)
5134               && (TREE_CODE (base) != VAR_DECL
5135                   || !DECL_HAS_VALUE_EXPR_P (base)))
5136             DECL_NONSHAREABLE (base) = 1;
5137         }
5138
5139       /* Create new names for all the definitions created by COPY and
5140          add replacement mappings for each new name.  */
5141       FOR_EACH_SSA_DEF_OPERAND (def_p, copy, op_iter, SSA_OP_ALL_DEFS)
5142         create_new_def_for (DEF_FROM_PTR (def_p), copy, def_p);
5143     }
5144
5145   return new_bb;
5146 }
5147
5148 /* Adds phi node arguments for edge E_COPY after basic block duplication.  */
5149
5150 static void
5151 add_phi_args_after_copy_edge (edge e_copy)
5152 {
5153   basic_block bb, bb_copy = e_copy->src, dest;
5154   edge e;
5155   edge_iterator ei;
5156   gimple phi, phi_copy;
5157   tree def;
5158   gimple_stmt_iterator psi, psi_copy;
5159
5160   if (gimple_seq_empty_p (phi_nodes (e_copy->dest)))
5161     return;
5162
5163   bb = bb_copy->flags & BB_DUPLICATED ? get_bb_original (bb_copy) : bb_copy;
5164
5165   if (e_copy->dest->flags & BB_DUPLICATED)
5166     dest = get_bb_original (e_copy->dest);
5167   else
5168     dest = e_copy->dest;
5169
5170   e = find_edge (bb, dest);
5171   if (!e)
5172     {
5173       /* During loop unrolling the target of the latch edge is copied.
5174          In this case we are not looking for edge to dest, but to
5175          duplicated block whose original was dest.  */
5176       FOR_EACH_EDGE (e, ei, bb->succs)
5177         {
5178           if ((e->dest->flags & BB_DUPLICATED)
5179               && get_bb_original (e->dest) == dest)
5180             break;
5181         }
5182
5183       gcc_assert (e != NULL);
5184     }
5185
5186   for (psi = gsi_start_phis (e->dest),
5187        psi_copy = gsi_start_phis (e_copy->dest);
5188        !gsi_end_p (psi);
5189        gsi_next (&psi), gsi_next (&psi_copy))
5190     {
5191       phi = gsi_stmt (psi);
5192       phi_copy = gsi_stmt (psi_copy);
5193       def = PHI_ARG_DEF_FROM_EDGE (phi, e);
5194       add_phi_arg (phi_copy, def, e_copy,
5195                    gimple_phi_arg_location_from_edge (phi, e));
5196     }
5197 }
5198
5199
5200 /* Basic block BB_COPY was created by code duplication.  Add phi node
5201    arguments for edges going out of BB_COPY.  The blocks that were
5202    duplicated have BB_DUPLICATED set.  */
5203
5204 void
5205 add_phi_args_after_copy_bb (basic_block bb_copy)
5206 {
5207   edge e_copy;
5208   edge_iterator ei;
5209
5210   FOR_EACH_EDGE (e_copy, ei, bb_copy->succs)
5211     {
5212       add_phi_args_after_copy_edge (e_copy);
5213     }
5214 }
5215
5216 /* Blocks in REGION_COPY array of length N_REGION were created by
5217    duplication of basic blocks.  Add phi node arguments for edges
5218    going from these blocks.  If E_COPY is not NULL, also add
5219    phi node arguments for its destination.*/
5220
5221 void
5222 add_phi_args_after_copy (basic_block *region_copy, unsigned n_region,
5223                          edge e_copy)
5224 {
5225   unsigned i;
5226
5227   for (i = 0; i < n_region; i++)
5228     region_copy[i]->flags |= BB_DUPLICATED;
5229
5230   for (i = 0; i < n_region; i++)
5231     add_phi_args_after_copy_bb (region_copy[i]);
5232   if (e_copy)
5233     add_phi_args_after_copy_edge (e_copy);
5234
5235   for (i = 0; i < n_region; i++)
5236     region_copy[i]->flags &= ~BB_DUPLICATED;
5237 }
5238
5239 /* Duplicates a REGION (set of N_REGION basic blocks) with just a single
5240    important exit edge EXIT.  By important we mean that no SSA name defined
5241    inside region is live over the other exit edges of the region.  All entry
5242    edges to the region must go to ENTRY->dest.  The edge ENTRY is redirected
5243    to the duplicate of the region.  SSA form, dominance and loop information
5244    is updated.  The new basic blocks are stored to REGION_COPY in the same
5245    order as they had in REGION, provided that REGION_COPY is not NULL.
5246    The function returns false if it is unable to copy the region,
5247    true otherwise.  */
5248
5249 bool
5250 gimple_duplicate_sese_region (edge entry, edge exit,
5251                             basic_block *region, unsigned n_region,
5252                             basic_block *region_copy)
5253 {
5254   unsigned i;
5255   bool free_region_copy = false, copying_header = false;
5256   struct loop *loop = entry->dest->loop_father;
5257   edge exit_copy;
5258   VEC (basic_block, heap) *doms;
5259   edge redirected;
5260   int total_freq = 0, entry_freq = 0;
5261   gcov_type total_count = 0, entry_count = 0;
5262
5263   if (!can_copy_bbs_p (region, n_region))
5264     return false;
5265
5266   /* Some sanity checking.  Note that we do not check for all possible
5267      missuses of the functions.  I.e. if you ask to copy something weird,
5268      it will work, but the state of structures probably will not be
5269      correct.  */
5270   for (i = 0; i < n_region; i++)
5271     {
5272       /* We do not handle subloops, i.e. all the blocks must belong to the
5273          same loop.  */
5274       if (region[i]->loop_father != loop)
5275         return false;
5276
5277       if (region[i] != entry->dest
5278           && region[i] == loop->header)
5279         return false;
5280     }
5281
5282   set_loop_copy (loop, loop);
5283
5284   /* In case the function is used for loop header copying (which is the primary
5285      use), ensure that EXIT and its copy will be new latch and entry edges.  */
5286   if (loop->header == entry->dest)
5287     {
5288       copying_header = true;
5289       set_loop_copy (loop, loop_outer (loop));
5290
5291       if (!dominated_by_p (CDI_DOMINATORS, loop->latch, exit->src))
5292         return false;
5293
5294       for (i = 0; i < n_region; i++)
5295         if (region[i] != exit->src
5296             && dominated_by_p (CDI_DOMINATORS, region[i], exit->src))
5297           return false;
5298     }
5299
5300   if (!region_copy)
5301     {
5302       region_copy = XNEWVEC (basic_block, n_region);
5303       free_region_copy = true;
5304     }
5305
5306   gcc_assert (!need_ssa_update_p (cfun));
5307
5308   /* Record blocks outside the region that are dominated by something
5309      inside.  */
5310   doms = NULL;
5311   initialize_original_copy_tables ();
5312
5313   doms = get_dominated_by_region (CDI_DOMINATORS, region, n_region);
5314
5315   if (entry->dest->count)
5316     {
5317       total_count = entry->dest->count;
5318       entry_count = entry->count;
5319       /* Fix up corner cases, to avoid division by zero or creation of negative
5320          frequencies.  */
5321       if (entry_count > total_count)
5322         entry_count = total_count;
5323     }
5324   else
5325     {
5326       total_freq = entry->dest->frequency;
5327       entry_freq = EDGE_FREQUENCY (entry);
5328       /* Fix up corner cases, to avoid division by zero or creation of negative
5329          frequencies.  */
5330       if (total_freq == 0)
5331         total_freq = 1;
5332       else if (entry_freq > total_freq)
5333         entry_freq = total_freq;
5334     }
5335
5336   copy_bbs (region, n_region, region_copy, &exit, 1, &exit_copy, loop,
5337             split_edge_bb_loc (entry));
5338   if (total_count)
5339     {
5340       scale_bbs_frequencies_gcov_type (region, n_region,
5341                                        total_count - entry_count,
5342                                        total_count);
5343       scale_bbs_frequencies_gcov_type (region_copy, n_region, entry_count,
5344                                        total_count);
5345     }
5346   else
5347     {
5348       scale_bbs_frequencies_int (region, n_region, total_freq - entry_freq,
5349                                  total_freq);
5350       scale_bbs_frequencies_int (region_copy, n_region, entry_freq, total_freq);
5351     }
5352
5353   if (copying_header)
5354     {
5355       loop->header = exit->dest;
5356       loop->latch = exit->src;
5357     }
5358
5359   /* Redirect the entry and add the phi node arguments.  */
5360   redirected = redirect_edge_and_branch (entry, get_bb_copy (entry->dest));
5361   gcc_assert (redirected != NULL);
5362   flush_pending_stmts (entry);
5363
5364   /* Concerning updating of dominators:  We must recount dominators
5365      for entry block and its copy.  Anything that is outside of the
5366      region, but was dominated by something inside needs recounting as
5367      well.  */
5368   set_immediate_dominator (CDI_DOMINATORS, entry->dest, entry->src);
5369   VEC_safe_push (basic_block, heap, doms, get_bb_original (entry->dest));
5370   iterate_fix_dominators (CDI_DOMINATORS, doms, false);
5371   VEC_free (basic_block, heap, doms);
5372
5373   /* Add the other PHI node arguments.  */
5374   add_phi_args_after_copy (region_copy, n_region, NULL);
5375
5376   /* Update the SSA web.  */
5377   update_ssa (TODO_update_ssa);
5378
5379   if (free_region_copy)
5380     free (region_copy);
5381
5382   free_original_copy_tables ();
5383   return true;
5384 }
5385
5386 /* Duplicates REGION consisting of N_REGION blocks.  The new blocks
5387    are stored to REGION_COPY in the same order in that they appear
5388    in REGION, if REGION_COPY is not NULL.  ENTRY is the entry to
5389    the region, EXIT an exit from it.  The condition guarding EXIT
5390    is moved to ENTRY.  Returns true if duplication succeeds, false
5391    otherwise.
5392
5393    For example,
5394
5395    some_code;
5396    if (cond)
5397      A;
5398    else
5399      B;
5400
5401    is transformed to
5402
5403    if (cond)
5404      {
5405        some_code;
5406        A;
5407      }
5408    else
5409      {
5410        some_code;
5411        B;
5412      }
5413 */
5414
5415 bool
5416 gimple_duplicate_sese_tail (edge entry ATTRIBUTE_UNUSED, edge exit ATTRIBUTE_UNUSED,
5417                           basic_block *region ATTRIBUTE_UNUSED, unsigned n_region ATTRIBUTE_UNUSED,
5418                           basic_block *region_copy ATTRIBUTE_UNUSED)
5419 {
5420   unsigned i;
5421   bool free_region_copy = false;
5422   struct loop *loop = exit->dest->loop_father;
5423   struct loop *orig_loop = entry->dest->loop_father;
5424   basic_block switch_bb, entry_bb, nentry_bb;
5425   VEC (basic_block, heap) *doms;
5426   int total_freq = 0, exit_freq = 0;
5427   gcov_type total_count = 0, exit_count = 0;
5428   edge exits[2], nexits[2], e;
5429   gimple_stmt_iterator gsi;
5430   gimple cond_stmt;
5431   edge sorig, snew;
5432   basic_block exit_bb;
5433   gimple_stmt_iterator psi;
5434   gimple phi;
5435   tree def;
5436
5437   gcc_assert (EDGE_COUNT (exit->src->succs) == 2);
5438   exits[0] = exit;
5439   exits[1] = EDGE_SUCC (exit->src, EDGE_SUCC (exit->src, 0) == exit);
5440
5441   if (!can_copy_bbs_p (region, n_region))
5442     return false;
5443
5444   initialize_original_copy_tables ();
5445   set_loop_copy (orig_loop, loop);
5446   duplicate_subloops (orig_loop, loop);
5447
5448   if (!region_copy)
5449     {
5450       region_copy = XNEWVEC (basic_block, n_region);
5451       free_region_copy = true;
5452     }
5453
5454   gcc_assert (!need_ssa_update_p (cfun));
5455
5456   /* Record blocks outside the region that are dominated by something
5457      inside.  */
5458   doms = get_dominated_by_region (CDI_DOMINATORS, region, n_region);
5459
5460   if (exit->src->count)
5461     {
5462       total_count = exit->src->count;
5463       exit_count = exit->count;
5464       /* Fix up corner cases, to avoid division by zero or creation of negative
5465          frequencies.  */
5466       if (exit_count > total_count)
5467         exit_count = total_count;
5468     }
5469   else
5470     {
5471       total_freq = exit->src->frequency;
5472       exit_freq = EDGE_FREQUENCY (exit);
5473       /* Fix up corner cases, to avoid division by zero or creation of negative
5474          frequencies.  */
5475       if (total_freq == 0)
5476         total_freq = 1;
5477       if (exit_freq > total_freq)
5478         exit_freq = total_freq;
5479     }
5480
5481   copy_bbs (region, n_region, region_copy, exits, 2, nexits, orig_loop,
5482             split_edge_bb_loc (exit));
5483   if (total_count)
5484     {
5485       scale_bbs_frequencies_gcov_type (region, n_region,
5486                                        total_count - exit_count,
5487                                        total_count);
5488       scale_bbs_frequencies_gcov_type (region_copy, n_region, exit_count,
5489                                        total_count);
5490     }
5491   else
5492     {
5493       scale_bbs_frequencies_int (region, n_region, total_freq - exit_freq,
5494                                  total_freq);
5495       scale_bbs_frequencies_int (region_copy, n_region, exit_freq, total_freq);
5496     }
5497
5498   /* Create the switch block, and put the exit condition to it.  */
5499   entry_bb = entry->dest;
5500   nentry_bb = get_bb_copy (entry_bb);
5501   if (!last_stmt (entry->src)
5502       || !stmt_ends_bb_p (last_stmt (entry->src)))
5503     switch_bb = entry->src;
5504   else
5505     switch_bb = split_edge (entry);
5506   set_immediate_dominator (CDI_DOMINATORS, nentry_bb, switch_bb);
5507
5508   gsi = gsi_last_bb (switch_bb);
5509   cond_stmt = last_stmt (exit->src);
5510   gcc_assert (gimple_code (cond_stmt) == GIMPLE_COND);
5511   cond_stmt = gimple_copy (cond_stmt);
5512
5513   gsi_insert_after (&gsi, cond_stmt, GSI_NEW_STMT);
5514
5515   sorig = single_succ_edge (switch_bb);
5516   sorig->flags = exits[1]->flags;
5517   snew = make_edge (switch_bb, nentry_bb, exits[0]->flags);
5518
5519   /* Register the new edge from SWITCH_BB in loop exit lists.  */
5520   rescan_loop_exit (snew, true, false);
5521
5522   /* Add the PHI node arguments.  */
5523   add_phi_args_after_copy (region_copy, n_region, snew);
5524
5525   /* Get rid of now superfluous conditions and associated edges (and phi node
5526      arguments).  */
5527   exit_bb = exit->dest;
5528
5529   e = redirect_edge_and_branch (exits[0], exits[1]->dest);
5530   PENDING_STMT (e) = NULL;
5531
5532   /* The latch of ORIG_LOOP was copied, and so was the backedge 
5533      to the original header.  We redirect this backedge to EXIT_BB.  */
5534   for (i = 0; i < n_region; i++)
5535     if (get_bb_original (region_copy[i]) == orig_loop->latch)
5536       {
5537         gcc_assert (single_succ_edge (region_copy[i]));
5538         e = redirect_edge_and_branch (single_succ_edge (region_copy[i]), exit_bb);
5539         PENDING_STMT (e) = NULL;
5540         for (psi = gsi_start_phis (exit_bb);
5541              !gsi_end_p (psi);
5542              gsi_next (&psi))
5543           {
5544             phi = gsi_stmt (psi);
5545             def = PHI_ARG_DEF (phi, nexits[0]->dest_idx);
5546             add_phi_arg (phi, def, e, gimple_phi_arg_location_from_edge (phi, e));
5547           }
5548       }
5549   e = redirect_edge_and_branch (nexits[0], nexits[1]->dest);
5550   PENDING_STMT (e) = NULL;
5551   
5552   /* Anything that is outside of the region, but was dominated by something
5553      inside needs to update dominance info.  */
5554   iterate_fix_dominators (CDI_DOMINATORS, doms, false);
5555   VEC_free (basic_block, heap, doms);
5556   /* Update the SSA web.  */
5557   update_ssa (TODO_update_ssa);
5558
5559   if (free_region_copy)
5560     free (region_copy);
5561
5562   free_original_copy_tables ();
5563   return true;
5564 }
5565
5566 /* Add all the blocks dominated by ENTRY to the array BBS_P.  Stop
5567    adding blocks when the dominator traversal reaches EXIT.  This
5568    function silently assumes that ENTRY strictly dominates EXIT.  */
5569
5570 void
5571 gather_blocks_in_sese_region (basic_block entry, basic_block exit,
5572                               VEC(basic_block,heap) **bbs_p)
5573 {
5574   basic_block son;
5575
5576   for (son = first_dom_son (CDI_DOMINATORS, entry);
5577        son;
5578        son = next_dom_son (CDI_DOMINATORS, son))
5579     {
5580       VEC_safe_push (basic_block, heap, *bbs_p, son);
5581       if (son != exit)
5582         gather_blocks_in_sese_region (son, exit, bbs_p);
5583     }
5584 }
5585
5586 /* Replaces *TP with a duplicate (belonging to function TO_CONTEXT).
5587    The duplicates are recorded in VARS_MAP.  */
5588
5589 static void
5590 replace_by_duplicate_decl (tree *tp, struct pointer_map_t *vars_map,
5591                            tree to_context)
5592 {
5593   tree t = *tp, new_t;
5594   struct function *f = DECL_STRUCT_FUNCTION (to_context);
5595   void **loc;
5596
5597   if (DECL_CONTEXT (t) == to_context)
5598     return;
5599
5600   loc = pointer_map_contains (vars_map, t);
5601
5602   if (!loc)
5603     {
5604       loc = pointer_map_insert (vars_map, t);
5605
5606       if (SSA_VAR_P (t))
5607         {
5608           new_t = copy_var_decl (t, DECL_NAME (t), TREE_TYPE (t));
5609           add_local_decl (f, new_t);
5610         }
5611       else
5612         {
5613           gcc_assert (TREE_CODE (t) == CONST_DECL);
5614           new_t = copy_node (t);
5615         }
5616       DECL_CONTEXT (new_t) = to_context;
5617
5618       *loc = new_t;
5619     }
5620   else
5621     new_t = (tree) *loc;
5622
5623   *tp = new_t;
5624 }
5625
5626
5627 /* Creates an ssa name in TO_CONTEXT equivalent to NAME.
5628    VARS_MAP maps old ssa names and var_decls to the new ones.  */
5629
5630 static tree
5631 replace_ssa_name (tree name, struct pointer_map_t *vars_map,
5632                   tree to_context)
5633 {
5634   void **loc;
5635   tree new_name, decl = SSA_NAME_VAR (name);
5636
5637   gcc_assert (is_gimple_reg (name));
5638
5639   loc = pointer_map_contains (vars_map, name);
5640
5641   if (!loc)
5642     {
5643       replace_by_duplicate_decl (&decl, vars_map, to_context);
5644
5645       push_cfun (DECL_STRUCT_FUNCTION (to_context));
5646       if (gimple_in_ssa_p (cfun))
5647         add_referenced_var (decl);
5648
5649       new_name = make_ssa_name (decl, SSA_NAME_DEF_STMT (name));
5650       if (SSA_NAME_IS_DEFAULT_DEF (name))
5651         set_default_def (decl, new_name);
5652       pop_cfun ();
5653
5654       loc = pointer_map_insert (vars_map, name);
5655       *loc = new_name;
5656     }
5657   else
5658     new_name = (tree) *loc;
5659
5660   return new_name;
5661 }
5662
5663 struct move_stmt_d
5664 {
5665   tree orig_block;
5666   tree new_block;
5667   tree from_context;
5668   tree to_context;
5669   struct pointer_map_t *vars_map;
5670   htab_t new_label_map;
5671   struct pointer_map_t *eh_map;
5672   bool remap_decls_p;
5673 };
5674
5675 /* Helper for move_block_to_fn.  Set TREE_BLOCK in every expression
5676    contained in *TP if it has been ORIG_BLOCK previously and change the
5677    DECL_CONTEXT of every local variable referenced in *TP.  */
5678
5679 static tree
5680 move_stmt_op (tree *tp, int *walk_subtrees, void *data)
5681 {
5682   struct walk_stmt_info *wi = (struct walk_stmt_info *) data;
5683   struct move_stmt_d *p = (struct move_stmt_d *) wi->info;
5684   tree t = *tp;
5685
5686   if (EXPR_P (t))
5687     /* We should never have TREE_BLOCK set on non-statements.  */
5688     gcc_assert (!TREE_BLOCK (t));
5689
5690   else if (DECL_P (t) || TREE_CODE (t) == SSA_NAME)
5691     {
5692       if (TREE_CODE (t) == SSA_NAME)
5693         *tp = replace_ssa_name (t, p->vars_map, p->to_context);
5694       else if (TREE_CODE (t) == LABEL_DECL)
5695         {
5696           if (p->new_label_map)
5697             {
5698               struct tree_map in, *out;
5699               in.base.from = t;
5700               out = (struct tree_map *)
5701                 htab_find_with_hash (p->new_label_map, &in, DECL_UID (t));
5702               if (out)
5703                 *tp = t = out->to;
5704             }
5705
5706           DECL_CONTEXT (t) = p->to_context;
5707         }
5708       else if (p->remap_decls_p)
5709         {
5710           /* Replace T with its duplicate.  T should no longer appear in the
5711              parent function, so this looks wasteful; however, it may appear
5712              in referenced_vars, and more importantly, as virtual operands of
5713              statements, and in alias lists of other variables.  It would be
5714              quite difficult to expunge it from all those places.  ??? It might
5715              suffice to do this for addressable variables.  */
5716           if ((TREE_CODE (t) == VAR_DECL
5717                && !is_global_var (t))
5718               || TREE_CODE (t) == CONST_DECL)
5719             replace_by_duplicate_decl (tp, p->vars_map, p->to_context);
5720
5721           if (SSA_VAR_P (t)
5722               && gimple_in_ssa_p (cfun))
5723             {
5724               push_cfun (DECL_STRUCT_FUNCTION (p->to_context));
5725               add_referenced_var (*tp);
5726               pop_cfun ();
5727             }
5728         }
5729       *walk_subtrees = 0;
5730     }
5731   else if (TYPE_P (t))
5732     *walk_subtrees = 0;
5733
5734   return NULL_TREE;
5735 }
5736
5737 /* Helper for move_stmt_r.  Given an EH region number for the source
5738    function, map that to the duplicate EH regio number in the dest.  */
5739
5740 static int
5741 move_stmt_eh_region_nr (int old_nr, struct move_stmt_d *p)
5742 {
5743   eh_region old_r, new_r;
5744   void **slot;
5745
5746   old_r = get_eh_region_from_number (old_nr);
5747   slot = pointer_map_contains (p->eh_map, old_r);
5748   new_r = (eh_region) *slot;
5749
5750   return new_r->index;
5751 }
5752
5753 /* Similar, but operate on INTEGER_CSTs.  */
5754
5755 static tree
5756 move_stmt_eh_region_tree_nr (tree old_t_nr, struct move_stmt_d *p)
5757 {
5758   int old_nr, new_nr;
5759
5760   old_nr = tree_low_cst (old_t_nr, 0);
5761   new_nr = move_stmt_eh_region_nr (old_nr, p);
5762
5763   return build_int_cst (integer_type_node, new_nr);
5764 }
5765
5766 /* Like move_stmt_op, but for gimple statements.
5767
5768    Helper for move_block_to_fn.  Set GIMPLE_BLOCK in every expression
5769    contained in the current statement in *GSI_P and change the
5770    DECL_CONTEXT of every local variable referenced in the current
5771    statement.  */
5772
5773 static tree
5774 move_stmt_r (gimple_stmt_iterator *gsi_p, bool *handled_ops_p,
5775              struct walk_stmt_info *wi)
5776 {
5777   struct move_stmt_d *p = (struct move_stmt_d *) wi->info;
5778   gimple stmt = gsi_stmt (*gsi_p);
5779   tree block = gimple_block (stmt);
5780
5781   if (p->orig_block == NULL_TREE
5782       || block == p->orig_block
5783       || block == NULL_TREE)
5784     gimple_set_block (stmt, p->new_block);
5785 #ifdef ENABLE_CHECKING
5786   else if (block != p->new_block)
5787     {
5788       while (block && block != p->orig_block)
5789         block = BLOCK_SUPERCONTEXT (block);
5790       gcc_assert (block);
5791     }
5792 #endif
5793
5794   switch (gimple_code (stmt))
5795     {
5796     case GIMPLE_CALL:
5797       /* Remap the region numbers for __builtin_eh_{pointer,filter}.  */
5798       {
5799         tree r, fndecl = gimple_call_fndecl (stmt);
5800         if (fndecl && DECL_BUILT_IN_CLASS (fndecl) == BUILT_IN_NORMAL)
5801           switch (DECL_FUNCTION_CODE (fndecl))
5802             {
5803             case BUILT_IN_EH_COPY_VALUES:
5804               r = gimple_call_arg (stmt, 1);
5805               r = move_stmt_eh_region_tree_nr (r, p);
5806               gimple_call_set_arg (stmt, 1, r);
5807               /* FALLTHRU */
5808
5809             case BUILT_IN_EH_POINTER:
5810             case BUILT_IN_EH_FILTER:
5811               r = gimple_call_arg (stmt, 0);
5812               r = move_stmt_eh_region_tree_nr (r, p);
5813               gimple_call_set_arg (stmt, 0, r);
5814               break;
5815
5816             default:
5817               break;
5818             }
5819       }
5820       break;
5821
5822     case GIMPLE_RESX:
5823       {
5824         int r = gimple_resx_region (stmt);
5825         r = move_stmt_eh_region_nr (r, p);
5826         gimple_resx_set_region (stmt, r);
5827       }
5828       break;
5829
5830     case GIMPLE_EH_DISPATCH:
5831       {
5832         int r = gimple_eh_dispatch_region (stmt);
5833         r = move_stmt_eh_region_nr (r, p);
5834         gimple_eh_dispatch_set_region (stmt, r);
5835       }
5836       break;
5837
5838     case GIMPLE_OMP_RETURN:
5839     case GIMPLE_OMP_CONTINUE:
5840       break;
5841     default:
5842       if (is_gimple_omp (stmt))
5843         {
5844           /* Do not remap variables inside OMP directives.  Variables
5845              referenced in clauses and directive header belong to the
5846              parent function and should not be moved into the child
5847              function.  */
5848           bool save_remap_decls_p = p->remap_decls_p;
5849           p->remap_decls_p = false;
5850           *handled_ops_p = true;
5851
5852           walk_gimple_seq (gimple_omp_body (stmt), move_stmt_r,
5853                            move_stmt_op, wi);
5854
5855           p->remap_decls_p = save_remap_decls_p;
5856         }
5857       break;
5858     }
5859
5860   return NULL_TREE;
5861 }
5862
5863 /* Move basic block BB from function CFUN to function DEST_FN.  The
5864    block is moved out of the original linked list and placed after
5865    block AFTER in the new list.  Also, the block is removed from the
5866    original array of blocks and placed in DEST_FN's array of blocks.
5867    If UPDATE_EDGE_COUNT_P is true, the edge counts on both CFGs is
5868    updated to reflect the moved edges.
5869
5870    The local variables are remapped to new instances, VARS_MAP is used
5871    to record the mapping.  */
5872
5873 static void
5874 move_block_to_fn (struct function *dest_cfun, basic_block bb,
5875                   basic_block after, bool update_edge_count_p,
5876                   struct move_stmt_d *d)
5877 {
5878   struct control_flow_graph *cfg;
5879   edge_iterator ei;
5880   edge e;
5881   gimple_stmt_iterator si;
5882   unsigned old_len, new_len;
5883
5884   /* Remove BB from dominance structures.  */
5885   delete_from_dominance_info (CDI_DOMINATORS, bb);
5886   if (current_loops)
5887     remove_bb_from_loops (bb);
5888
5889   /* Link BB to the new linked list.  */
5890   move_block_after (bb, after);
5891
5892   /* Update the edge count in the corresponding flowgraphs.  */
5893   if (update_edge_count_p)
5894     FOR_EACH_EDGE (e, ei, bb->succs)
5895       {
5896         cfun->cfg->x_n_edges--;
5897         dest_cfun->cfg->x_n_edges++;
5898       }
5899
5900   /* Remove BB from the original basic block array.  */
5901   VEC_replace (basic_block, cfun->cfg->x_basic_block_info, bb->index, NULL);
5902   cfun->cfg->x_n_basic_blocks--;
5903
5904   /* Grow DEST_CFUN's basic block array if needed.  */
5905   cfg = dest_cfun->cfg;
5906   cfg->x_n_basic_blocks++;
5907   if (bb->index >= cfg->x_last_basic_block)
5908     cfg->x_last_basic_block = bb->index + 1;
5909
5910   old_len = VEC_length (basic_block, cfg->x_basic_block_info);
5911   if ((unsigned) cfg->x_last_basic_block >= old_len)
5912     {
5913       new_len = cfg->x_last_basic_block + (cfg->x_last_basic_block + 3) / 4;
5914       VEC_safe_grow_cleared (basic_block, gc, cfg->x_basic_block_info,
5915                              new_len);
5916     }
5917
5918   VEC_replace (basic_block, cfg->x_basic_block_info,
5919                bb->index, bb);
5920
5921   /* Remap the variables in phi nodes.  */
5922   for (si = gsi_start_phis (bb); !gsi_end_p (si); )
5923     {
5924       gimple phi = gsi_stmt (si);
5925       use_operand_p use;
5926       tree op = PHI_RESULT (phi);
5927       ssa_op_iter oi;
5928
5929       if (!is_gimple_reg (op))
5930         {
5931           /* Remove the phi nodes for virtual operands (alias analysis will be
5932              run for the new function, anyway).  */
5933           remove_phi_node (&si, true);
5934           continue;
5935         }
5936
5937       SET_PHI_RESULT (phi,
5938                       replace_ssa_name (op, d->vars_map, dest_cfun->decl));
5939       FOR_EACH_PHI_ARG (use, phi, oi, SSA_OP_USE)
5940         {
5941           op = USE_FROM_PTR (use);
5942           if (TREE_CODE (op) == SSA_NAME)
5943             SET_USE (use, replace_ssa_name (op, d->vars_map, dest_cfun->decl));
5944         }
5945
5946       gsi_next (&si);
5947     }
5948
5949   for (si = gsi_start_bb (bb); !gsi_end_p (si); gsi_next (&si))
5950     {
5951       gimple stmt = gsi_stmt (si);
5952       struct walk_stmt_info wi;
5953
5954       memset (&wi, 0, sizeof (wi));
5955       wi.info = d;
5956       walk_gimple_stmt (&si, move_stmt_r, move_stmt_op, &wi);
5957
5958       if (gimple_code (stmt) == GIMPLE_LABEL)
5959         {
5960           tree label = gimple_label_label (stmt);
5961           int uid = LABEL_DECL_UID (label);
5962
5963           gcc_assert (uid > -1);
5964
5965           old_len = VEC_length (basic_block, cfg->x_label_to_block_map);
5966           if (old_len <= (unsigned) uid)
5967             {
5968               new_len = 3 * uid / 2 + 1;
5969               VEC_safe_grow_cleared (basic_block, gc,
5970                                      cfg->x_label_to_block_map, new_len);
5971             }
5972
5973           VEC_replace (basic_block, cfg->x_label_to_block_map, uid, bb);
5974           VEC_replace (basic_block, cfun->cfg->x_label_to_block_map, uid, NULL);
5975
5976           gcc_assert (DECL_CONTEXT (label) == dest_cfun->decl);
5977
5978           if (uid >= dest_cfun->cfg->last_label_uid)
5979             dest_cfun->cfg->last_label_uid = uid + 1;
5980         }
5981
5982       maybe_duplicate_eh_stmt_fn (dest_cfun, stmt, cfun, stmt, d->eh_map, 0);
5983       remove_stmt_from_eh_lp_fn (cfun, stmt);
5984
5985       gimple_duplicate_stmt_histograms (dest_cfun, stmt, cfun, stmt);
5986       gimple_remove_stmt_histograms (cfun, stmt);
5987
5988       /* We cannot leave any operands allocated from the operand caches of
5989          the current function.  */
5990       free_stmt_operands (stmt);
5991       push_cfun (dest_cfun);
5992       update_stmt (stmt);
5993       pop_cfun ();
5994     }
5995
5996   FOR_EACH_EDGE (e, ei, bb->succs)
5997     if (e->goto_locus)
5998       {
5999         tree block = e->goto_block;
6000         if (d->orig_block == NULL_TREE
6001             || block == d->orig_block)
6002           e->goto_block = d->new_block;
6003 #ifdef ENABLE_CHECKING
6004         else if (block != d->new_block)
6005           {
6006             while (block && block != d->orig_block)
6007               block = BLOCK_SUPERCONTEXT (block);
6008             gcc_assert (block);
6009           }
6010 #endif
6011       }
6012 }
6013
6014 /* Examine the statements in BB (which is in SRC_CFUN); find and return
6015    the outermost EH region.  Use REGION as the incoming base EH region.  */
6016
6017 static eh_region
6018 find_outermost_region_in_block (struct function *src_cfun,
6019                                 basic_block bb, eh_region region)
6020 {
6021   gimple_stmt_iterator si;
6022
6023   for (si = gsi_start_bb (bb); !gsi_end_p (si); gsi_next (&si))
6024     {
6025       gimple stmt = gsi_stmt (si);
6026       eh_region stmt_region;
6027       int lp_nr;
6028
6029       lp_nr = lookup_stmt_eh_lp_fn (src_cfun, stmt);
6030       stmt_region = get_eh_region_from_lp_number_fn (src_cfun, lp_nr);
6031       if (stmt_region)
6032         {
6033           if (region == NULL)
6034             region = stmt_region;
6035           else if (stmt_region != region)
6036             {
6037               region = eh_region_outermost (src_cfun, stmt_region, region);
6038               gcc_assert (region != NULL);
6039             }
6040         }
6041     }
6042
6043   return region;
6044 }
6045
6046 static tree
6047 new_label_mapper (tree decl, void *data)
6048 {
6049   htab_t hash = (htab_t) data;
6050   struct tree_map *m;
6051   void **slot;
6052
6053   gcc_assert (TREE_CODE (decl) == LABEL_DECL);
6054
6055   m = XNEW (struct tree_map);
6056   m->hash = DECL_UID (decl);
6057   m->base.from = decl;
6058   m->to = create_artificial_label (UNKNOWN_LOCATION);
6059   LABEL_DECL_UID (m->to) = LABEL_DECL_UID (decl);
6060   if (LABEL_DECL_UID (m->to) >= cfun->cfg->last_label_uid)
6061     cfun->cfg->last_label_uid = LABEL_DECL_UID (m->to) + 1;
6062
6063   slot = htab_find_slot_with_hash (hash, m, m->hash, INSERT);
6064   gcc_assert (*slot == NULL);
6065
6066   *slot = m;
6067
6068   return m->to;
6069 }
6070
6071 /* Change DECL_CONTEXT of all BLOCK_VARS in block, including
6072    subblocks.  */
6073
6074 static void
6075 replace_block_vars_by_duplicates (tree block, struct pointer_map_t *vars_map,
6076                                   tree to_context)
6077 {
6078   tree *tp, t;
6079
6080   for (tp = &BLOCK_VARS (block); *tp; tp = &DECL_CHAIN (*tp))
6081     {
6082       t = *tp;
6083       if (TREE_CODE (t) != VAR_DECL && TREE_CODE (t) != CONST_DECL)
6084         continue;
6085       replace_by_duplicate_decl (&t, vars_map, to_context);
6086       if (t != *tp)
6087         {
6088           if (TREE_CODE (*tp) == VAR_DECL && DECL_HAS_VALUE_EXPR_P (*tp))
6089             {
6090               SET_DECL_VALUE_EXPR (t, DECL_VALUE_EXPR (*tp));
6091               DECL_HAS_VALUE_EXPR_P (t) = 1;
6092             }
6093           DECL_CHAIN (t) = DECL_CHAIN (*tp);
6094           *tp = t;
6095         }
6096     }
6097
6098   for (block = BLOCK_SUBBLOCKS (block); block; block = BLOCK_CHAIN (block))
6099     replace_block_vars_by_duplicates (block, vars_map, to_context);
6100 }
6101
6102 /* Move a single-entry, single-exit region delimited by ENTRY_BB and
6103    EXIT_BB to function DEST_CFUN.  The whole region is replaced by a
6104    single basic block in the original CFG and the new basic block is
6105    returned.  DEST_CFUN must not have a CFG yet.
6106
6107    Note that the region need not be a pure SESE region.  Blocks inside
6108    the region may contain calls to abort/exit.  The only restriction
6109    is that ENTRY_BB should be the only entry point and it must
6110    dominate EXIT_BB.
6111
6112    Change TREE_BLOCK of all statements in ORIG_BLOCK to the new
6113    functions outermost BLOCK, move all subblocks of ORIG_BLOCK
6114    to the new function.
6115
6116    All local variables referenced in the region are assumed to be in
6117    the corresponding BLOCK_VARS and unexpanded variable lists
6118    associated with DEST_CFUN.  */
6119
6120 basic_block
6121 move_sese_region_to_fn (struct function *dest_cfun, basic_block entry_bb,
6122                         basic_block exit_bb, tree orig_block)
6123 {
6124   VEC(basic_block,heap) *bbs, *dom_bbs;
6125   basic_block dom_entry = get_immediate_dominator (CDI_DOMINATORS, entry_bb);
6126   basic_block after, bb, *entry_pred, *exit_succ, abb;
6127   struct function *saved_cfun = cfun;
6128   int *entry_flag, *exit_flag;
6129   unsigned *entry_prob, *exit_prob;
6130   unsigned i, num_entry_edges, num_exit_edges;
6131   edge e;
6132   edge_iterator ei;
6133   htab_t new_label_map;
6134   struct pointer_map_t *vars_map, *eh_map;
6135   struct loop *loop = entry_bb->loop_father;
6136   struct move_stmt_d d;
6137
6138   /* If ENTRY does not strictly dominate EXIT, this cannot be an SESE
6139      region.  */
6140   gcc_assert (entry_bb != exit_bb
6141               && (!exit_bb
6142                   || dominated_by_p (CDI_DOMINATORS, exit_bb, entry_bb)));
6143
6144   /* Collect all the blocks in the region.  Manually add ENTRY_BB
6145      because it won't be added by dfs_enumerate_from.  */
6146   bbs = NULL;
6147   VEC_safe_push (basic_block, heap, bbs, entry_bb);
6148   gather_blocks_in_sese_region (entry_bb, exit_bb, &bbs);
6149
6150   /* The blocks that used to be dominated by something in BBS will now be
6151      dominated by the new block.  */
6152   dom_bbs = get_dominated_by_region (CDI_DOMINATORS,
6153                                      VEC_address (basic_block, bbs),
6154                                      VEC_length (basic_block, bbs));
6155
6156   /* Detach ENTRY_BB and EXIT_BB from CFUN->CFG.  We need to remember
6157      the predecessor edges to ENTRY_BB and the successor edges to
6158      EXIT_BB so that we can re-attach them to the new basic block that
6159      will replace the region.  */
6160   num_entry_edges = EDGE_COUNT (entry_bb->preds);
6161   entry_pred = (basic_block *) xcalloc (num_entry_edges, sizeof (basic_block));
6162   entry_flag = (int *) xcalloc (num_entry_edges, sizeof (int));
6163   entry_prob = XNEWVEC (unsigned, num_entry_edges);
6164   i = 0;
6165   for (ei = ei_start (entry_bb->preds); (e = ei_safe_edge (ei)) != NULL;)
6166     {
6167       entry_prob[i] = e->probability;
6168       entry_flag[i] = e->flags;
6169       entry_pred[i++] = e->src;
6170       remove_edge (e);
6171     }
6172
6173   if (exit_bb)
6174     {
6175       num_exit_edges = EDGE_COUNT (exit_bb->succs);
6176       exit_succ = (basic_block *) xcalloc (num_exit_edges,
6177                                            sizeof (basic_block));
6178       exit_flag = (int *) xcalloc (num_exit_edges, sizeof (int));
6179       exit_prob = XNEWVEC (unsigned, num_exit_edges);
6180       i = 0;
6181       for (ei = ei_start (exit_bb->succs); (e = ei_safe_edge (ei)) != NULL;)
6182         {
6183           exit_prob[i] = e->probability;
6184           exit_flag[i] = e->flags;
6185           exit_succ[i++] = e->dest;
6186           remove_edge (e);
6187         }
6188     }
6189   else
6190     {
6191       num_exit_edges = 0;
6192       exit_succ = NULL;
6193       exit_flag = NULL;
6194       exit_prob = NULL;
6195     }
6196
6197   /* Switch context to the child function to initialize DEST_FN's CFG.  */
6198   gcc_assert (dest_cfun->cfg == NULL);
6199   push_cfun (dest_cfun);
6200
6201   init_empty_tree_cfg ();
6202
6203   /* Initialize EH information for the new function.  */
6204   eh_map = NULL;
6205   new_label_map = NULL;
6206   if (saved_cfun->eh)
6207     {
6208       eh_region region = NULL;
6209
6210       FOR_EACH_VEC_ELT (basic_block, bbs, i, bb)
6211         region = find_outermost_region_in_block (saved_cfun, bb, region);
6212
6213       init_eh_for_function ();
6214       if (region != NULL)
6215         {
6216           new_label_map = htab_create (17, tree_map_hash, tree_map_eq, free);
6217           eh_map = duplicate_eh_regions (saved_cfun, region, 0,
6218                                          new_label_mapper, new_label_map);
6219         }
6220     }
6221
6222   pop_cfun ();
6223
6224   /* Move blocks from BBS into DEST_CFUN.  */
6225   gcc_assert (VEC_length (basic_block, bbs) >= 2);
6226   after = dest_cfun->cfg->x_entry_block_ptr;
6227   vars_map = pointer_map_create ();
6228
6229   memset (&d, 0, sizeof (d));
6230   d.orig_block = orig_block;
6231   d.new_block = DECL_INITIAL (dest_cfun->decl);
6232   d.from_context = cfun->decl;
6233   d.to_context = dest_cfun->decl;
6234   d.vars_map = vars_map;
6235   d.new_label_map = new_label_map;
6236   d.eh_map = eh_map;
6237   d.remap_decls_p = true;
6238
6239   FOR_EACH_VEC_ELT (basic_block, bbs, i, bb)
6240     {
6241       /* No need to update edge counts on the last block.  It has
6242          already been updated earlier when we detached the region from
6243          the original CFG.  */
6244       move_block_to_fn (dest_cfun, bb, after, bb != exit_bb, &d);
6245       after = bb;
6246     }
6247
6248   /* Rewire BLOCK_SUBBLOCKS of orig_block.  */
6249   if (orig_block)
6250     {
6251       tree block;
6252       gcc_assert (BLOCK_SUBBLOCKS (DECL_INITIAL (dest_cfun->decl))
6253                   == NULL_TREE);
6254       BLOCK_SUBBLOCKS (DECL_INITIAL (dest_cfun->decl))
6255         = BLOCK_SUBBLOCKS (orig_block);
6256       for (block = BLOCK_SUBBLOCKS (orig_block);
6257            block; block = BLOCK_CHAIN (block))
6258         BLOCK_SUPERCONTEXT (block) = DECL_INITIAL (dest_cfun->decl);
6259       BLOCK_SUBBLOCKS (orig_block) = NULL_TREE;
6260     }
6261
6262   replace_block_vars_by_duplicates (DECL_INITIAL (dest_cfun->decl),
6263                                     vars_map, dest_cfun->decl);
6264
6265   if (new_label_map)
6266     htab_delete (new_label_map);
6267   if (eh_map)
6268     pointer_map_destroy (eh_map);
6269   pointer_map_destroy (vars_map);
6270
6271   /* Rewire the entry and exit blocks.  The successor to the entry
6272      block turns into the successor of DEST_FN's ENTRY_BLOCK_PTR in
6273      the child function.  Similarly, the predecessor of DEST_FN's
6274      EXIT_BLOCK_PTR turns into the predecessor of EXIT_BLOCK_PTR.  We
6275      need to switch CFUN between DEST_CFUN and SAVED_CFUN so that the
6276      various CFG manipulation function get to the right CFG.
6277
6278      FIXME, this is silly.  The CFG ought to become a parameter to
6279      these helpers.  */
6280   push_cfun (dest_cfun);
6281   make_edge (ENTRY_BLOCK_PTR, entry_bb, EDGE_FALLTHRU);
6282   if (exit_bb)
6283     make_edge (exit_bb,  EXIT_BLOCK_PTR, 0);
6284   pop_cfun ();
6285
6286   /* Back in the original function, the SESE region has disappeared,
6287      create a new basic block in its place.  */
6288   bb = create_empty_bb (entry_pred[0]);
6289   if (current_loops)
6290     add_bb_to_loop (bb, loop);
6291   for (i = 0; i < num_entry_edges; i++)
6292     {
6293       e = make_edge (entry_pred[i], bb, entry_flag[i]);
6294       e->probability = entry_prob[i];
6295     }
6296
6297   for (i = 0; i < num_exit_edges; i++)
6298     {
6299       e = make_edge (bb, exit_succ[i], exit_flag[i]);
6300       e->probability = exit_prob[i];
6301     }
6302
6303   set_immediate_dominator (CDI_DOMINATORS, bb, dom_entry);
6304   FOR_EACH_VEC_ELT (basic_block, dom_bbs, i, abb)
6305     set_immediate_dominator (CDI_DOMINATORS, abb, bb);
6306   VEC_free (basic_block, heap, dom_bbs);
6307
6308   if (exit_bb)
6309     {
6310       free (exit_prob);
6311       free (exit_flag);
6312       free (exit_succ);
6313     }
6314   free (entry_prob);
6315   free (entry_flag);
6316   free (entry_pred);
6317   VEC_free (basic_block, heap, bbs);
6318
6319   return bb;
6320 }
6321
6322
6323 /* Dump FUNCTION_DECL FN to file FILE using FLAGS (see TDF_* in tree-pass.h)
6324    */
6325
6326 void
6327 dump_function_to_file (tree fn, FILE *file, int flags)
6328 {
6329   tree arg, var;
6330   struct function *dsf;
6331   bool ignore_topmost_bind = false, any_var = false;
6332   basic_block bb;
6333   tree chain;
6334
6335   fprintf (file, "%s (", lang_hooks.decl_printable_name (fn, 2));
6336
6337   arg = DECL_ARGUMENTS (fn);
6338   while (arg)
6339     {
6340       print_generic_expr (file, TREE_TYPE (arg), dump_flags);
6341       fprintf (file, " ");
6342       print_generic_expr (file, arg, dump_flags);
6343       if (flags & TDF_VERBOSE)
6344         print_node (file, "", arg, 4);
6345       if (DECL_CHAIN (arg))
6346         fprintf (file, ", ");
6347       arg = DECL_CHAIN (arg);
6348     }
6349   fprintf (file, ")\n");
6350
6351   if (flags & TDF_VERBOSE)
6352     print_node (file, "", fn, 2);
6353
6354   dsf = DECL_STRUCT_FUNCTION (fn);
6355   if (dsf && (flags & TDF_EH))
6356     dump_eh_tree (file, dsf);
6357
6358   if (flags & TDF_RAW && !gimple_has_body_p (fn))
6359     {
6360       dump_node (fn, TDF_SLIM | flags, file);
6361       return;
6362     }
6363
6364   /* Switch CFUN to point to FN.  */
6365   push_cfun (DECL_STRUCT_FUNCTION (fn));
6366
6367   /* When GIMPLE is lowered, the variables are no longer available in
6368      BIND_EXPRs, so display them separately.  */
6369   if (cfun && cfun->decl == fn && !VEC_empty (tree, cfun->local_decls))
6370     {
6371       unsigned ix;
6372       ignore_topmost_bind = true;
6373
6374       fprintf (file, "{\n");
6375       FOR_EACH_LOCAL_DECL (cfun, ix, var)
6376         {
6377           print_generic_decl (file, var, flags);
6378           if (flags & TDF_VERBOSE)
6379             print_node (file, "", var, 4);
6380           fprintf (file, "\n");
6381
6382           any_var = true;
6383         }
6384     }
6385
6386   if (cfun && cfun->decl == fn && cfun->cfg && basic_block_info)
6387     {
6388       /* If the CFG has been built, emit a CFG-based dump.  */
6389       check_bb_profile (ENTRY_BLOCK_PTR, file);
6390       if (!ignore_topmost_bind)
6391         fprintf (file, "{\n");
6392
6393       if (any_var && n_basic_blocks)
6394         fprintf (file, "\n");
6395
6396       FOR_EACH_BB (bb)
6397         gimple_dump_bb (bb, file, 2, flags);
6398
6399       fprintf (file, "}\n");
6400       check_bb_profile (EXIT_BLOCK_PTR, file);
6401     }
6402   else if (DECL_SAVED_TREE (fn) == NULL)
6403     {
6404       /* The function is now in GIMPLE form but the CFG has not been
6405          built yet.  Emit the single sequence of GIMPLE statements
6406          that make up its body.  */
6407       gimple_seq body = gimple_body (fn);
6408
6409       if (gimple_seq_first_stmt (body)
6410           && gimple_seq_first_stmt (body) == gimple_seq_last_stmt (body)
6411           && gimple_code (gimple_seq_first_stmt (body)) == GIMPLE_BIND)
6412         print_gimple_seq (file, body, 0, flags);
6413       else
6414         {
6415           if (!ignore_topmost_bind)
6416             fprintf (file, "{\n");
6417
6418           if (any_var)
6419             fprintf (file, "\n");
6420
6421           print_gimple_seq (file, body, 2, flags);
6422           fprintf (file, "}\n");
6423         }
6424     }
6425   else
6426     {
6427       int indent;
6428
6429       /* Make a tree based dump.  */
6430       chain = DECL_SAVED_TREE (fn);
6431
6432       if (chain && TREE_CODE (chain) == BIND_EXPR)
6433         {
6434           if (ignore_topmost_bind)
6435             {
6436               chain = BIND_EXPR_BODY (chain);
6437               indent = 2;
6438             }
6439           else
6440             indent = 0;
6441         }
6442       else
6443         {
6444           if (!ignore_topmost_bind)
6445             fprintf (file, "{\n");
6446           indent = 2;
6447         }
6448
6449       if (any_var)
6450         fprintf (file, "\n");
6451
6452       print_generic_stmt_indented (file, chain, flags, indent);
6453       if (ignore_topmost_bind)
6454         fprintf (file, "}\n");
6455     }
6456
6457   if (flags & TDF_ENUMERATE_LOCALS)
6458     dump_enumerated_decls (file, flags);
6459   fprintf (file, "\n\n");
6460
6461   /* Restore CFUN.  */
6462   pop_cfun ();
6463 }
6464
6465
6466 /* Dump FUNCTION_DECL FN to stderr using FLAGS (see TDF_* in tree.h)  */
6467
6468 DEBUG_FUNCTION void
6469 debug_function (tree fn, int flags)
6470 {
6471   dump_function_to_file (fn, stderr, flags);
6472 }
6473
6474
6475 /* Print on FILE the indexes for the predecessors of basic_block BB.  */
6476
6477 static void
6478 print_pred_bbs (FILE *file, basic_block bb)
6479 {
6480   edge e;
6481   edge_iterator ei;
6482
6483   FOR_EACH_EDGE (e, ei, bb->preds)
6484     fprintf (file, "bb_%d ", e->src->index);
6485 }
6486
6487
6488 /* Print on FILE the indexes for the successors of basic_block BB.  */
6489
6490 static void
6491 print_succ_bbs (FILE *file, basic_block bb)
6492 {
6493   edge e;
6494   edge_iterator ei;
6495
6496   FOR_EACH_EDGE (e, ei, bb->succs)
6497     fprintf (file, "bb_%d ", e->dest->index);
6498 }
6499
6500 /* Print to FILE the basic block BB following the VERBOSITY level.  */
6501
6502 void
6503 print_loops_bb (FILE *file, basic_block bb, int indent, int verbosity)
6504 {
6505   char *s_indent = (char *) alloca ((size_t) indent + 1);
6506   memset ((void *) s_indent, ' ', (size_t) indent);
6507   s_indent[indent] = '\0';
6508
6509   /* Print basic_block's header.  */
6510   if (verbosity >= 2)
6511     {
6512       fprintf (file, "%s  bb_%d (preds = {", s_indent, bb->index);
6513       print_pred_bbs (file, bb);
6514       fprintf (file, "}, succs = {");
6515       print_succ_bbs (file, bb);
6516       fprintf (file, "})\n");
6517     }
6518
6519   /* Print basic_block's body.  */
6520   if (verbosity >= 3)
6521     {
6522       fprintf (file, "%s  {\n", s_indent);
6523       gimple_dump_bb (bb, file, indent + 4, TDF_VOPS|TDF_MEMSYMS);
6524       fprintf (file, "%s  }\n", s_indent);
6525     }
6526 }
6527
6528 static void print_loop_and_siblings (FILE *, struct loop *, int, int);
6529
6530 /* Pretty print LOOP on FILE, indented INDENT spaces.  Following
6531    VERBOSITY level this outputs the contents of the loop, or just its
6532    structure.  */
6533
6534 static void
6535 print_loop (FILE *file, struct loop *loop, int indent, int verbosity)
6536 {
6537   char *s_indent;
6538   basic_block bb;
6539
6540   if (loop == NULL)
6541     return;
6542
6543   s_indent = (char *) alloca ((size_t) indent + 1);
6544   memset ((void *) s_indent, ' ', (size_t) indent);
6545   s_indent[indent] = '\0';
6546
6547   /* Print loop's header.  */
6548   fprintf (file, "%sloop_%d (header = %d, latch = %d", s_indent,
6549            loop->num, loop->header->index, loop->latch->index);
6550   fprintf (file, ", niter = ");
6551   print_generic_expr (file, loop->nb_iterations, 0);
6552
6553   if (loop->any_upper_bound)
6554     {
6555       fprintf (file, ", upper_bound = ");
6556       dump_double_int (file, loop->nb_iterations_upper_bound, true);
6557     }
6558
6559   if (loop->any_estimate)
6560     {
6561       fprintf (file, ", estimate = ");
6562       dump_double_int (file, loop->nb_iterations_estimate, true);
6563     }
6564   fprintf (file, ")\n");
6565
6566   /* Print loop's body.  */
6567   if (verbosity >= 1)
6568     {
6569       fprintf (file, "%s{\n", s_indent);
6570       FOR_EACH_BB (bb)
6571         if (bb->loop_father == loop)
6572           print_loops_bb (file, bb, indent, verbosity);
6573
6574       print_loop_and_siblings (file, loop->inner, indent + 2, verbosity);
6575       fprintf (file, "%s}\n", s_indent);
6576     }
6577 }
6578
6579 /* Print the LOOP and its sibling loops on FILE, indented INDENT
6580    spaces.  Following VERBOSITY level this outputs the contents of the
6581    loop, or just its structure.  */
6582
6583 static void
6584 print_loop_and_siblings (FILE *file, struct loop *loop, int indent, int verbosity)
6585 {
6586   if (loop == NULL)
6587     return;
6588
6589   print_loop (file, loop, indent, verbosity);
6590   print_loop_and_siblings (file, loop->next, indent, verbosity);
6591 }
6592
6593 /* Follow a CFG edge from the entry point of the program, and on entry
6594    of a loop, pretty print the loop structure on FILE.  */
6595
6596 void
6597 print_loops (FILE *file, int verbosity)
6598 {
6599   basic_block bb;
6600
6601   bb = ENTRY_BLOCK_PTR;
6602   if (bb && bb->loop_father)
6603     print_loop_and_siblings (file, bb->loop_father, 0, verbosity);
6604 }
6605
6606
6607 /* Debugging loops structure at tree level, at some VERBOSITY level.  */
6608
6609 DEBUG_FUNCTION void
6610 debug_loops (int verbosity)
6611 {
6612   print_loops (stderr, verbosity);
6613 }
6614
6615 /* Print on stderr the code of LOOP, at some VERBOSITY level.  */
6616
6617 DEBUG_FUNCTION void
6618 debug_loop (struct loop *loop, int verbosity)
6619 {
6620   print_loop (stderr, loop, 0, verbosity);
6621 }
6622
6623 /* Print on stderr the code of loop number NUM, at some VERBOSITY
6624    level.  */
6625
6626 DEBUG_FUNCTION void
6627 debug_loop_num (unsigned num, int verbosity)
6628 {
6629   debug_loop (get_loop (num), verbosity);
6630 }
6631
6632 /* Return true if BB ends with a call, possibly followed by some
6633    instructions that must stay with the call.  Return false,
6634    otherwise.  */
6635
6636 static bool
6637 gimple_block_ends_with_call_p (basic_block bb)
6638 {
6639   gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
6640   return !gsi_end_p (gsi) && is_gimple_call (gsi_stmt (gsi));
6641 }
6642
6643
6644 /* Return true if BB ends with a conditional branch.  Return false,
6645    otherwise.  */
6646
6647 static bool
6648 gimple_block_ends_with_condjump_p (const_basic_block bb)
6649 {
6650   gimple stmt = last_stmt (CONST_CAST_BB (bb));
6651   return (stmt && gimple_code (stmt) == GIMPLE_COND);
6652 }
6653
6654
6655 /* Return true if we need to add fake edge to exit at statement T.
6656    Helper function for gimple_flow_call_edges_add.  */
6657
6658 static bool
6659 need_fake_edge_p (gimple t)
6660 {
6661   tree fndecl = NULL_TREE;
6662   int call_flags = 0;
6663
6664   /* NORETURN and LONGJMP calls already have an edge to exit.
6665      CONST and PURE calls do not need one.
6666      We don't currently check for CONST and PURE here, although
6667      it would be a good idea, because those attributes are
6668      figured out from the RTL in mark_constant_function, and
6669      the counter incrementation code from -fprofile-arcs
6670      leads to different results from -fbranch-probabilities.  */
6671   if (is_gimple_call (t))
6672     {
6673       fndecl = gimple_call_fndecl (t);
6674       call_flags = gimple_call_flags (t);
6675     }
6676
6677   if (is_gimple_call (t)
6678       && fndecl
6679       && DECL_BUILT_IN (fndecl)
6680       && (call_flags & ECF_NOTHROW)
6681       && !(call_flags & ECF_RETURNS_TWICE)
6682       /* fork() doesn't really return twice, but the effect of
6683          wrapping it in __gcov_fork() which calls __gcov_flush()
6684          and clears the counters before forking has the same
6685          effect as returning twice.  Force a fake edge.  */
6686       && !(DECL_BUILT_IN_CLASS (fndecl) == BUILT_IN_NORMAL
6687            && DECL_FUNCTION_CODE (fndecl) == BUILT_IN_FORK))
6688     return false;
6689
6690   if (is_gimple_call (t)
6691       && !(call_flags & ECF_NORETURN))
6692     return true;
6693
6694   if (gimple_code (t) == GIMPLE_ASM
6695        && (gimple_asm_volatile_p (t) || gimple_asm_input_p (t)))
6696     return true;
6697
6698   return false;
6699 }
6700
6701
6702 /* Add fake edges to the function exit for any non constant and non
6703    noreturn calls, volatile inline assembly in the bitmap of blocks
6704    specified by BLOCKS or to the whole CFG if BLOCKS is zero.  Return
6705    the number of blocks that were split.
6706
6707    The goal is to expose cases in which entering a basic block does
6708    not imply that all subsequent instructions must be executed.  */
6709
6710 static int
6711 gimple_flow_call_edges_add (sbitmap blocks)
6712 {
6713   int i;
6714   int blocks_split = 0;
6715   int last_bb = last_basic_block;
6716   bool check_last_block = false;
6717
6718   if (n_basic_blocks == NUM_FIXED_BLOCKS)
6719     return 0;
6720
6721   if (! blocks)
6722     check_last_block = true;
6723   else
6724     check_last_block = TEST_BIT (blocks, EXIT_BLOCK_PTR->prev_bb->index);
6725
6726   /* In the last basic block, before epilogue generation, there will be
6727      a fallthru edge to EXIT.  Special care is required if the last insn
6728      of the last basic block is a call because make_edge folds duplicate
6729      edges, which would result in the fallthru edge also being marked
6730      fake, which would result in the fallthru edge being removed by
6731      remove_fake_edges, which would result in an invalid CFG.
6732
6733      Moreover, we can't elide the outgoing fake edge, since the block
6734      profiler needs to take this into account in order to solve the minimal
6735      spanning tree in the case that the call doesn't return.
6736
6737      Handle this by adding a dummy instruction in a new last basic block.  */
6738   if (check_last_block)
6739     {
6740       basic_block bb = EXIT_BLOCK_PTR->prev_bb;
6741       gimple_stmt_iterator gsi = gsi_last_nondebug_bb (bb);
6742       gimple t = NULL;
6743
6744       if (!gsi_end_p (gsi))
6745         t = gsi_stmt (gsi);
6746
6747       if (t && need_fake_edge_p (t))
6748         {
6749           edge e;
6750
6751           e = find_edge (bb, EXIT_BLOCK_PTR);
6752           if (e)
6753             {
6754               gsi_insert_on_edge (e, gimple_build_nop ());
6755               gsi_commit_edge_inserts ();
6756             }
6757         }
6758     }
6759
6760   /* Now add fake edges to the function exit for any non constant
6761      calls since there is no way that we can determine if they will
6762      return or not...  */
6763   for (i = 0; i < last_bb; i++)
6764     {
6765       basic_block bb = BASIC_BLOCK (i);
6766       gimple_stmt_iterator gsi;
6767       gimple stmt, last_stmt;
6768
6769       if (!bb)
6770         continue;
6771
6772       if (blocks && !TEST_BIT (blocks, i))
6773         continue;
6774
6775       gsi = gsi_last_nondebug_bb (bb);
6776       if (!gsi_end_p (gsi))
6777         {
6778           last_stmt = gsi_stmt (gsi);
6779           do
6780             {
6781               stmt = gsi_stmt (gsi);
6782               if (need_fake_edge_p (stmt))
6783                 {
6784                   edge e;
6785
6786                   /* The handling above of the final block before the
6787                      epilogue should be enough to verify that there is
6788                      no edge to the exit block in CFG already.
6789                      Calling make_edge in such case would cause us to
6790                      mark that edge as fake and remove it later.  */
6791 #ifdef ENABLE_CHECKING
6792                   if (stmt == last_stmt)
6793                     {
6794                       e = find_edge (bb, EXIT_BLOCK_PTR);
6795                       gcc_assert (e == NULL);
6796                     }
6797 #endif
6798
6799                   /* Note that the following may create a new basic block
6800                      and renumber the existing basic blocks.  */
6801                   if (stmt != last_stmt)
6802                     {
6803                       e = split_block (bb, stmt);
6804                       if (e)
6805                         blocks_split++;
6806                     }
6807                   make_edge (bb, EXIT_BLOCK_PTR, EDGE_FAKE);
6808                 }
6809               gsi_prev (&gsi);
6810             }
6811           while (!gsi_end_p (gsi));
6812         }
6813     }
6814
6815   if (blocks_split)
6816     verify_flow_info ();
6817
6818   return blocks_split;
6819 }
6820
6821 /* Removes edge E and all the blocks dominated by it, and updates dominance
6822    information.  The IL in E->src needs to be updated separately.
6823    If dominance info is not available, only the edge E is removed.*/
6824
6825 void
6826 remove_edge_and_dominated_blocks (edge e)
6827 {
6828   VEC (basic_block, heap) *bbs_to_remove = NULL;
6829   VEC (basic_block, heap) *bbs_to_fix_dom = NULL;
6830   bitmap df, df_idom;
6831   edge f;
6832   edge_iterator ei;
6833   bool none_removed = false;
6834   unsigned i;
6835   basic_block bb, dbb;
6836   bitmap_iterator bi;
6837
6838   if (!dom_info_available_p (CDI_DOMINATORS))
6839     {
6840       remove_edge (e);
6841       return;
6842     }
6843
6844   /* No updating is needed for edges to exit.  */
6845   if (e->dest == EXIT_BLOCK_PTR)
6846     {
6847       if (cfgcleanup_altered_bbs)
6848         bitmap_set_bit (cfgcleanup_altered_bbs, e->src->index);
6849       remove_edge (e);
6850       return;
6851     }
6852
6853   /* First, we find the basic blocks to remove.  If E->dest has a predecessor
6854      that is not dominated by E->dest, then this set is empty.  Otherwise,
6855      all the basic blocks dominated by E->dest are removed.
6856
6857      Also, to DF_IDOM we store the immediate dominators of the blocks in
6858      the dominance frontier of E (i.e., of the successors of the
6859      removed blocks, if there are any, and of E->dest otherwise).  */
6860   FOR_EACH_EDGE (f, ei, e->dest->preds)
6861     {
6862       if (f == e)
6863         continue;
6864
6865       if (!dominated_by_p (CDI_DOMINATORS, f->src, e->dest))
6866         {
6867           none_removed = true;
6868           break;
6869         }
6870     }
6871
6872   df = BITMAP_ALLOC (NULL);
6873   df_idom = BITMAP_ALLOC (NULL);
6874
6875   if (none_removed)
6876     bitmap_set_bit (df_idom,
6877                     get_immediate_dominator (CDI_DOMINATORS, e->dest)->index);
6878   else
6879     {
6880       bbs_to_remove = get_all_dominated_blocks (CDI_DOMINATORS, e->dest);
6881       FOR_EACH_VEC_ELT (basic_block, bbs_to_remove, i, bb)
6882         {
6883           FOR_EACH_EDGE (f, ei, bb->succs)
6884             {
6885               if (f->dest != EXIT_BLOCK_PTR)
6886                 bitmap_set_bit (df, f->dest->index);
6887             }
6888         }
6889       FOR_EACH_VEC_ELT (basic_block, bbs_to_remove, i, bb)
6890         bitmap_clear_bit (df, bb->index);
6891
6892       EXECUTE_IF_SET_IN_BITMAP (df, 0, i, bi)
6893         {
6894           bb = BASIC_BLOCK (i);
6895           bitmap_set_bit (df_idom,
6896                           get_immediate_dominator (CDI_DOMINATORS, bb)->index);
6897         }
6898     }
6899
6900   if (cfgcleanup_altered_bbs)
6901     {
6902       /* Record the set of the altered basic blocks.  */
6903       bitmap_set_bit (cfgcleanup_altered_bbs, e->src->index);
6904       bitmap_ior_into (cfgcleanup_altered_bbs, df);
6905     }
6906
6907   /* Remove E and the cancelled blocks.  */
6908   if (none_removed)
6909     remove_edge (e);
6910   else
6911     {
6912       /* Walk backwards so as to get a chance to substitute all
6913          released DEFs into debug stmts.  See
6914          eliminate_unnecessary_stmts() in tree-ssa-dce.c for more
6915          details.  */
6916       for (i = VEC_length (basic_block, bbs_to_remove); i-- > 0; )
6917         delete_basic_block (VEC_index (basic_block, bbs_to_remove, i));
6918     }
6919
6920   /* Update the dominance information.  The immediate dominator may change only
6921      for blocks whose immediate dominator belongs to DF_IDOM:
6922
6923      Suppose that idom(X) = Y before removal of E and idom(X) != Y after the
6924      removal.  Let Z the arbitrary block such that idom(Z) = Y and
6925      Z dominates X after the removal.  Before removal, there exists a path P
6926      from Y to X that avoids Z.  Let F be the last edge on P that is
6927      removed, and let W = F->dest.  Before removal, idom(W) = Y (since Y
6928      dominates W, and because of P, Z does not dominate W), and W belongs to
6929      the dominance frontier of E.  Therefore, Y belongs to DF_IDOM.  */
6930   EXECUTE_IF_SET_IN_BITMAP (df_idom, 0, i, bi)
6931     {
6932       bb = BASIC_BLOCK (i);
6933       for (dbb = first_dom_son (CDI_DOMINATORS, bb);
6934            dbb;
6935            dbb = next_dom_son (CDI_DOMINATORS, dbb))
6936         VEC_safe_push (basic_block, heap, bbs_to_fix_dom, dbb);
6937     }
6938
6939   iterate_fix_dominators (CDI_DOMINATORS, bbs_to_fix_dom, true);
6940
6941   BITMAP_FREE (df);
6942   BITMAP_FREE (df_idom);
6943   VEC_free (basic_block, heap, bbs_to_remove);
6944   VEC_free (basic_block, heap, bbs_to_fix_dom);
6945 }
6946
6947 /* Purge dead EH edges from basic block BB.  */
6948
6949 bool
6950 gimple_purge_dead_eh_edges (basic_block bb)
6951 {
6952   bool changed = false;
6953   edge e;
6954   edge_iterator ei;
6955   gimple stmt = last_stmt (bb);
6956
6957   if (stmt && stmt_can_throw_internal (stmt))
6958     return false;
6959
6960   for (ei = ei_start (bb->succs); (e = ei_safe_edge (ei)); )
6961     {
6962       if (e->flags & EDGE_EH)
6963         {
6964           remove_edge_and_dominated_blocks (e);
6965           changed = true;
6966         }
6967       else
6968         ei_next (&ei);
6969     }
6970
6971   return changed;
6972 }
6973
6974 /* Purge dead EH edges from basic block listed in BLOCKS.  */
6975
6976 bool
6977 gimple_purge_all_dead_eh_edges (const_bitmap blocks)
6978 {
6979   bool changed = false;
6980   unsigned i;
6981   bitmap_iterator bi;
6982
6983   EXECUTE_IF_SET_IN_BITMAP (blocks, 0, i, bi)
6984     {
6985       basic_block bb = BASIC_BLOCK (i);
6986
6987       /* Earlier gimple_purge_dead_eh_edges could have removed
6988          this basic block already.  */
6989       gcc_assert (bb || changed);
6990       if (bb != NULL)
6991         changed |= gimple_purge_dead_eh_edges (bb);
6992     }
6993
6994   return changed;
6995 }
6996
6997 /* Purge dead abnormal call edges from basic block BB.  */
6998
6999 bool
7000 gimple_purge_dead_abnormal_call_edges (basic_block bb)
7001 {
7002   bool changed = false;
7003   edge e;
7004   edge_iterator ei;
7005   gimple stmt = last_stmt (bb);
7006
7007   if (!cfun->has_nonlocal_label)
7008     return false;
7009
7010   if (stmt && stmt_can_make_abnormal_goto (stmt))
7011     return false;
7012
7013   for (ei = ei_start (bb->succs); (e = ei_safe_edge (ei)); )
7014     {
7015       if (e->flags & EDGE_ABNORMAL)
7016         {
7017           remove_edge_and_dominated_blocks (e);
7018           changed = true;
7019         }
7020       else
7021         ei_next (&ei);
7022     }
7023
7024   return changed;
7025 }
7026
7027 /* Purge dead abnormal call edges from basic block listed in BLOCKS.  */
7028
7029 bool
7030 gimple_purge_all_dead_abnormal_call_edges (const_bitmap blocks)
7031 {
7032   bool changed = false;
7033   unsigned i;
7034   bitmap_iterator bi;
7035
7036   EXECUTE_IF_SET_IN_BITMAP (blocks, 0, i, bi)
7037     {
7038       basic_block bb = BASIC_BLOCK (i);
7039
7040       /* Earlier gimple_purge_dead_abnormal_call_edges could have removed
7041          this basic block already.  */
7042       gcc_assert (bb || changed);
7043       if (bb != NULL)
7044         changed |= gimple_purge_dead_abnormal_call_edges (bb);
7045     }
7046
7047   return changed;
7048 }
7049
7050 /* This function is called whenever a new edge is created or
7051    redirected.  */
7052
7053 static void
7054 gimple_execute_on_growing_pred (edge e)
7055 {
7056   basic_block bb = e->dest;
7057
7058   if (!gimple_seq_empty_p (phi_nodes (bb)))
7059     reserve_phi_args_for_new_edge (bb);
7060 }
7061
7062 /* This function is called immediately before edge E is removed from
7063    the edge vector E->dest->preds.  */
7064
7065 static void
7066 gimple_execute_on_shrinking_pred (edge e)
7067 {
7068   if (!gimple_seq_empty_p (phi_nodes (e->dest)))
7069     remove_phi_args (e);
7070 }
7071
7072 /*---------------------------------------------------------------------------
7073   Helper functions for Loop versioning
7074   ---------------------------------------------------------------------------*/
7075
7076 /* Adjust phi nodes for 'first' basic block.  'second' basic block is a copy
7077    of 'first'. Both of them are dominated by 'new_head' basic block. When
7078    'new_head' was created by 'second's incoming edge it received phi arguments
7079    on the edge by split_edge(). Later, additional edge 'e' was created to
7080    connect 'new_head' and 'first'. Now this routine adds phi args on this
7081    additional edge 'e' that new_head to second edge received as part of edge
7082    splitting.  */
7083
7084 static void
7085 gimple_lv_adjust_loop_header_phi (basic_block first, basic_block second,
7086                                   basic_block new_head, edge e)
7087 {
7088   gimple phi1, phi2;
7089   gimple_stmt_iterator psi1, psi2;
7090   tree def;
7091   edge e2 = find_edge (new_head, second);
7092
7093   /* Because NEW_HEAD has been created by splitting SECOND's incoming
7094      edge, we should always have an edge from NEW_HEAD to SECOND.  */
7095   gcc_assert (e2 != NULL);
7096
7097   /* Browse all 'second' basic block phi nodes and add phi args to
7098      edge 'e' for 'first' head. PHI args are always in correct order.  */
7099
7100   for (psi2 = gsi_start_phis (second),
7101        psi1 = gsi_start_phis (first);
7102        !gsi_end_p (psi2) && !gsi_end_p (psi1);
7103        gsi_next (&psi2),  gsi_next (&psi1))
7104     {
7105       phi1 = gsi_stmt (psi1);
7106       phi2 = gsi_stmt (psi2);
7107       def = PHI_ARG_DEF (phi2, e2->dest_idx);
7108       add_phi_arg (phi1, def, e, gimple_phi_arg_location_from_edge (phi2, e2));
7109     }
7110 }
7111
7112
7113 /* Adds a if else statement to COND_BB with condition COND_EXPR.
7114    SECOND_HEAD is the destination of the THEN and FIRST_HEAD is
7115    the destination of the ELSE part.  */
7116
7117 static void
7118 gimple_lv_add_condition_to_bb (basic_block first_head ATTRIBUTE_UNUSED,
7119                                basic_block second_head ATTRIBUTE_UNUSED,
7120                                basic_block cond_bb, void *cond_e)
7121 {
7122   gimple_stmt_iterator gsi;
7123   gimple new_cond_expr;
7124   tree cond_expr = (tree) cond_e;
7125   edge e0;
7126
7127   /* Build new conditional expr */
7128   new_cond_expr = gimple_build_cond_from_tree (cond_expr,
7129                                                NULL_TREE, NULL_TREE);
7130
7131   /* Add new cond in cond_bb.  */
7132   gsi = gsi_last_bb (cond_bb);
7133   gsi_insert_after (&gsi, new_cond_expr, GSI_NEW_STMT);
7134
7135   /* Adjust edges appropriately to connect new head with first head
7136      as well as second head.  */
7137   e0 = single_succ_edge (cond_bb);
7138   e0->flags &= ~EDGE_FALLTHRU;
7139   e0->flags |= EDGE_FALSE_VALUE;
7140 }
7141
7142 struct cfg_hooks gimple_cfg_hooks = {
7143   "gimple",
7144   gimple_verify_flow_info,
7145   gimple_dump_bb,               /* dump_bb  */
7146   create_bb,                    /* create_basic_block  */
7147   gimple_redirect_edge_and_branch, /* redirect_edge_and_branch  */
7148   gimple_redirect_edge_and_branch_force, /* redirect_edge_and_branch_force  */
7149   gimple_can_remove_branch_p,   /* can_remove_branch_p  */
7150   remove_bb,                    /* delete_basic_block  */
7151   gimple_split_block,           /* split_block  */
7152   gimple_move_block_after,      /* move_block_after  */
7153   gimple_can_merge_blocks_p,    /* can_merge_blocks_p  */
7154   gimple_merge_blocks,          /* merge_blocks  */
7155   gimple_predict_edge,          /* predict_edge  */
7156   gimple_predicted_by_p,        /* predicted_by_p  */
7157   gimple_can_duplicate_bb_p,    /* can_duplicate_block_p  */
7158   gimple_duplicate_bb,          /* duplicate_block  */
7159   gimple_split_edge,            /* split_edge  */
7160   gimple_make_forwarder_block,  /* make_forward_block  */
7161   NULL,                         /* tidy_fallthru_edge  */
7162   NULL,                         /* force_nonfallthru */
7163   gimple_block_ends_with_call_p,/* block_ends_with_call_p */
7164   gimple_block_ends_with_condjump_p, /* block_ends_with_condjump_p */
7165   gimple_flow_call_edges_add,   /* flow_call_edges_add */
7166   gimple_execute_on_growing_pred,       /* execute_on_growing_pred */
7167   gimple_execute_on_shrinking_pred, /* execute_on_shrinking_pred */
7168   gimple_duplicate_loop_to_header_edge, /* duplicate loop for trees */
7169   gimple_lv_add_condition_to_bb, /* lv_add_condition_to_bb */
7170   gimple_lv_adjust_loop_header_phi, /* lv_adjust_loop_header_phi*/
7171   extract_true_false_edges_from_block, /* extract_cond_bb_edges */
7172   flush_pending_stmts           /* flush_pending_stmts */
7173 };
7174
7175
7176 /* Split all critical edges.  */
7177
7178 static unsigned int
7179 split_critical_edges (void)
7180 {
7181   basic_block bb;
7182   edge e;
7183   edge_iterator ei;
7184
7185   /* split_edge can redirect edges out of SWITCH_EXPRs, which can get
7186      expensive.  So we want to enable recording of edge to CASE_LABEL_EXPR
7187      mappings around the calls to split_edge.  */
7188   start_recording_case_labels ();
7189   FOR_ALL_BB (bb)
7190     {
7191       FOR_EACH_EDGE (e, ei, bb->succs)
7192         {
7193           if (EDGE_CRITICAL_P (e) && !(e->flags & EDGE_ABNORMAL))
7194             split_edge (e);
7195           /* PRE inserts statements to edges and expects that
7196              since split_critical_edges was done beforehand, committing edge
7197              insertions will not split more edges.  In addition to critical
7198              edges we must split edges that have multiple successors and
7199              end by control flow statements, such as RESX.
7200              Go ahead and split them too.  This matches the logic in
7201              gimple_find_edge_insert_loc.  */
7202           else if ((!single_pred_p (e->dest)
7203                     || !gimple_seq_empty_p (phi_nodes (e->dest))
7204                     || e->dest == EXIT_BLOCK_PTR)
7205                    && e->src != ENTRY_BLOCK_PTR
7206                    && !(e->flags & EDGE_ABNORMAL))
7207             {
7208               gimple_stmt_iterator gsi;
7209
7210               gsi = gsi_last_bb (e->src);
7211               if (!gsi_end_p (gsi)
7212                   && stmt_ends_bb_p (gsi_stmt (gsi))
7213                   && (gimple_code (gsi_stmt (gsi)) != GIMPLE_RETURN
7214                       && !gimple_call_builtin_p (gsi_stmt (gsi),
7215                                                  BUILT_IN_RETURN)))
7216                 split_edge (e);
7217             }
7218         }
7219     }
7220   end_recording_case_labels ();
7221   return 0;
7222 }
7223
7224 struct gimple_opt_pass pass_split_crit_edges =
7225 {
7226  {
7227   GIMPLE_PASS,
7228   "crited",                          /* name */
7229   NULL,                          /* gate */
7230   split_critical_edges,          /* execute */
7231   NULL,                          /* sub */
7232   NULL,                          /* next */
7233   0,                             /* static_pass_number */
7234   TV_TREE_SPLIT_EDGES,           /* tv_id */
7235   PROP_cfg,                      /* properties required */
7236   PROP_no_crit_edges,            /* properties_provided */
7237   0,                             /* properties_destroyed */
7238   0,                             /* todo_flags_start */
7239   TODO_verify_flow               /* todo_flags_finish */
7240  }
7241 };
7242
7243
7244 /* Build a ternary operation and gimplify it.  Emit code before GSI.
7245    Return the gimple_val holding the result.  */
7246
7247 tree
7248 gimplify_build3 (gimple_stmt_iterator *gsi, enum tree_code code,
7249                  tree type, tree a, tree b, tree c)
7250 {
7251   tree ret;
7252   location_t loc = gimple_location (gsi_stmt (*gsi));
7253
7254   ret = fold_build3_loc (loc, code, type, a, b, c);
7255   STRIP_NOPS (ret);
7256
7257   return force_gimple_operand_gsi (gsi, ret, true, NULL, true,
7258                                    GSI_SAME_STMT);
7259 }
7260
7261 /* Build a binary operation and gimplify it.  Emit code before GSI.
7262    Return the gimple_val holding the result.  */
7263
7264 tree
7265 gimplify_build2 (gimple_stmt_iterator *gsi, enum tree_code code,
7266                  tree type, tree a, tree b)
7267 {
7268   tree ret;
7269
7270   ret = fold_build2_loc (gimple_location (gsi_stmt (*gsi)), code, type, a, b);
7271   STRIP_NOPS (ret);
7272
7273   return force_gimple_operand_gsi (gsi, ret, true, NULL, true,
7274                                    GSI_SAME_STMT);
7275 }
7276
7277 /* Build a unary operation and gimplify it.  Emit code before GSI.
7278    Return the gimple_val holding the result.  */
7279
7280 tree
7281 gimplify_build1 (gimple_stmt_iterator *gsi, enum tree_code code, tree type,
7282                  tree a)
7283 {
7284   tree ret;
7285
7286   ret = fold_build1_loc (gimple_location (gsi_stmt (*gsi)), code, type, a);
7287   STRIP_NOPS (ret);
7288
7289   return force_gimple_operand_gsi (gsi, ret, true, NULL, true,
7290                                    GSI_SAME_STMT);
7291 }
7292
7293
7294 \f
7295 /* Emit return warnings.  */
7296
7297 static unsigned int
7298 execute_warn_function_return (void)
7299 {
7300   source_location location;
7301   gimple last;
7302   edge e;
7303   edge_iterator ei;
7304
7305   /* If we have a path to EXIT, then we do return.  */
7306   if (TREE_THIS_VOLATILE (cfun->decl)
7307       && EDGE_COUNT (EXIT_BLOCK_PTR->preds) > 0)
7308     {
7309       location = UNKNOWN_LOCATION;
7310       FOR_EACH_EDGE (e, ei, EXIT_BLOCK_PTR->preds)
7311         {
7312           last = last_stmt (e->src);
7313           if ((gimple_code (last) == GIMPLE_RETURN
7314                || gimple_call_builtin_p (last, BUILT_IN_RETURN))
7315               && (location = gimple_location (last)) != UNKNOWN_LOCATION)
7316             break;
7317         }
7318       if (location == UNKNOWN_LOCATION)
7319         location = cfun->function_end_locus;
7320       warning_at (location, 0, "%<noreturn%> function does return");
7321     }
7322
7323   /* If we see "return;" in some basic block, then we do reach the end
7324      without returning a value.  */
7325   else if (warn_return_type
7326            && !TREE_NO_WARNING (cfun->decl)
7327            && EDGE_COUNT (EXIT_BLOCK_PTR->preds) > 0
7328            && !VOID_TYPE_P (TREE_TYPE (TREE_TYPE (cfun->decl))))
7329     {
7330       FOR_EACH_EDGE (e, ei, EXIT_BLOCK_PTR->preds)
7331         {
7332           gimple last = last_stmt (e->src);
7333           if (gimple_code (last) == GIMPLE_RETURN
7334               && gimple_return_retval (last) == NULL
7335               && !gimple_no_warning_p (last))
7336             {
7337               location = gimple_location (last);
7338               if (location == UNKNOWN_LOCATION)
7339                   location = cfun->function_end_locus;
7340               warning_at (location, OPT_Wreturn_type, "control reaches end of non-void function");
7341               TREE_NO_WARNING (cfun->decl) = 1;
7342               break;
7343             }
7344         }
7345     }
7346   return 0;
7347 }
7348
7349
7350 /* Given a basic block B which ends with a conditional and has
7351    precisely two successors, determine which of the edges is taken if
7352    the conditional is true and which is taken if the conditional is
7353    false.  Set TRUE_EDGE and FALSE_EDGE appropriately.  */
7354
7355 void
7356 extract_true_false_edges_from_block (basic_block b,
7357                                      edge *true_edge,
7358                                      edge *false_edge)
7359 {
7360   edge e = EDGE_SUCC (b, 0);
7361
7362   if (e->flags & EDGE_TRUE_VALUE)
7363     {
7364       *true_edge = e;
7365       *false_edge = EDGE_SUCC (b, 1);
7366     }
7367   else
7368     {
7369       *false_edge = e;
7370       *true_edge = EDGE_SUCC (b, 1);
7371     }
7372 }
7373
7374 struct gimple_opt_pass pass_warn_function_return =
7375 {
7376  {
7377   GIMPLE_PASS,
7378   "*warn_function_return",              /* name */
7379   NULL,                                 /* gate */
7380   execute_warn_function_return,         /* execute */
7381   NULL,                                 /* sub */
7382   NULL,                                 /* next */
7383   0,                                    /* static_pass_number */
7384   TV_NONE,                              /* tv_id */
7385   PROP_cfg,                             /* properties_required */
7386   0,                                    /* properties_provided */
7387   0,                                    /* properties_destroyed */
7388   0,                                    /* todo_flags_start */
7389   0                                     /* todo_flags_finish */
7390  }
7391 };
7392
7393 /* Emit noreturn warnings.  */
7394
7395 static unsigned int
7396 execute_warn_function_noreturn (void)
7397 {
7398   if (!TREE_THIS_VOLATILE (current_function_decl)
7399       && EDGE_COUNT (EXIT_BLOCK_PTR->preds) == 0)
7400     warn_function_noreturn (current_function_decl);
7401   return 0;
7402 }
7403
7404 static bool
7405 gate_warn_function_noreturn (void)
7406 {
7407   return warn_suggest_attribute_noreturn;
7408 }
7409
7410 struct gimple_opt_pass pass_warn_function_noreturn =
7411 {
7412  {
7413   GIMPLE_PASS,
7414   "*warn_function_noreturn",            /* name */
7415   gate_warn_function_noreturn,          /* gate */
7416   execute_warn_function_noreturn,       /* execute */
7417   NULL,                                 /* sub */
7418   NULL,                                 /* next */
7419   0,                                    /* static_pass_number */
7420   TV_NONE,                              /* tv_id */
7421   PROP_cfg,                             /* properties_required */
7422   0,                                    /* properties_provided */
7423   0,                                    /* properties_destroyed */
7424   0,                                    /* todo_flags_start */
7425   0                                     /* todo_flags_finish */
7426  }
7427 };
7428
7429
7430 /* Walk a gimplified function and warn for functions whose return value is
7431    ignored and attribute((warn_unused_result)) is set.  This is done before
7432    inlining, so we don't have to worry about that.  */
7433
7434 static void
7435 do_warn_unused_result (gimple_seq seq)
7436 {
7437   tree fdecl, ftype;
7438   gimple_stmt_iterator i;
7439
7440   for (i = gsi_start (seq); !gsi_end_p (i); gsi_next (&i))
7441     {
7442       gimple g = gsi_stmt (i);
7443
7444       switch (gimple_code (g))
7445         {
7446         case GIMPLE_BIND:
7447           do_warn_unused_result (gimple_bind_body (g));
7448           break;
7449         case GIMPLE_TRY:
7450           do_warn_unused_result (gimple_try_eval (g));
7451           do_warn_unused_result (gimple_try_cleanup (g));
7452           break;
7453         case GIMPLE_CATCH:
7454           do_warn_unused_result (gimple_catch_handler (g));
7455           break;
7456         case GIMPLE_EH_FILTER:
7457           do_warn_unused_result (gimple_eh_filter_failure (g));
7458           break;
7459
7460         case GIMPLE_CALL:
7461           if (gimple_call_lhs (g))
7462             break;
7463           if (gimple_call_internal_p (g))
7464             break;
7465
7466           /* This is a naked call, as opposed to a GIMPLE_CALL with an
7467              LHS.  All calls whose value is ignored should be
7468              represented like this.  Look for the attribute.  */
7469           fdecl = gimple_call_fndecl (g);
7470           ftype = gimple_call_fntype (g);
7471
7472           if (lookup_attribute ("warn_unused_result", TYPE_ATTRIBUTES (ftype)))
7473             {
7474               location_t loc = gimple_location (g);
7475
7476               if (fdecl)
7477                 warning_at (loc, OPT_Wunused_result,
7478                             "ignoring return value of %qD, "
7479                             "declared with attribute warn_unused_result",
7480                             fdecl);
7481               else
7482                 warning_at (loc, OPT_Wunused_result,
7483                             "ignoring return value of function "
7484                             "declared with attribute warn_unused_result");
7485             }
7486           break;
7487
7488         default:
7489           /* Not a container, not a call, or a call whose value is used.  */
7490           break;
7491         }
7492     }
7493 }
7494
7495 static unsigned int
7496 run_warn_unused_result (void)
7497 {
7498   do_warn_unused_result (gimple_body (current_function_decl));
7499   return 0;
7500 }
7501
7502 static bool
7503 gate_warn_unused_result (void)
7504 {
7505   return flag_warn_unused_result;
7506 }
7507
7508 struct gimple_opt_pass pass_warn_unused_result =
7509 {
7510   {
7511     GIMPLE_PASS,
7512     "*warn_unused_result",              /* name */
7513     gate_warn_unused_result,            /* gate */
7514     run_warn_unused_result,             /* execute */
7515     NULL,                               /* sub */
7516     NULL,                               /* next */
7517     0,                                  /* static_pass_number */
7518     TV_NONE,                            /* tv_id */
7519     PROP_gimple_any,                    /* properties_required */
7520     0,                                  /* properties_provided */
7521     0,                                  /* properties_destroyed */
7522     0,                                  /* todo_flags_start */
7523     0,                                  /* todo_flags_finish */
7524   }
7525 };