OSDN Git Service

PR testsuite/40532
[pf3gnuchains/gcc-fork.git] / gcc / tree-ssa-pre.c
1 /* SSA-PRE for trees.
2    Copyright (C) 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009
3    Free Software Foundation, Inc.
4    Contributed by Daniel Berlin <dan@dberlin.org> and Steven Bosscher
5    <stevenb@suse.de>
6
7 This file is part of GCC.
8
9 GCC is free software; you can redistribute it and/or modify
10 it under the terms of the GNU General Public License as published by
11 the Free Software Foundation; either version 3, or (at your option)
12 any later version.
13
14 GCC is distributed in the hope that it will be useful,
15 but WITHOUT ANY WARRANTY; without even the implied warranty of
16 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17 GNU General Public License for more details.
18
19 You should have received a copy of the GNU General Public License
20 along with GCC; see the file COPYING3.  If not see
21 <http://www.gnu.org/licenses/>.  */
22
23 #include "config.h"
24 #include "system.h"
25 #include "coretypes.h"
26 #include "tm.h"
27 #include "ggc.h"
28 #include "tree.h"
29 #include "basic-block.h"
30 #include "diagnostic.h"
31 #include "tree-inline.h"
32 #include "tree-flow.h"
33 #include "gimple.h"
34 #include "tree-dump.h"
35 #include "timevar.h"
36 #include "fibheap.h"
37 #include "hashtab.h"
38 #include "tree-iterator.h"
39 #include "real.h"
40 #include "alloc-pool.h"
41 #include "obstack.h"
42 #include "tree-pass.h"
43 #include "flags.h"
44 #include "bitmap.h"
45 #include "langhooks.h"
46 #include "cfgloop.h"
47 #include "tree-ssa-sccvn.h"
48 #include "params.h"
49 #include "dbgcnt.h"
50
51 /* TODO:
52
53    1. Avail sets can be shared by making an avail_find_leader that
54       walks up the dominator tree and looks in those avail sets.
55       This might affect code optimality, it's unclear right now.
56    2. Strength reduction can be performed by anticipating expressions
57       we can repair later on.
58    3. We can do back-substitution or smarter value numbering to catch
59       commutative expressions split up over multiple statements.
60 */
61
62 /* For ease of terminology, "expression node" in the below refers to
63    every expression node but GIMPLE_ASSIGN, because GIMPLE_ASSIGNs
64    represent the actual statement containing the expressions we care about,
65    and we cache the value number by putting it in the expression.  */
66
67 /* Basic algorithm
68
69    First we walk the statements to generate the AVAIL sets, the
70    EXP_GEN sets, and the tmp_gen sets.  EXP_GEN sets represent the
71    generation of values/expressions by a given block.  We use them
72    when computing the ANTIC sets.  The AVAIL sets consist of
73    SSA_NAME's that represent values, so we know what values are
74    available in what blocks.  AVAIL is a forward dataflow problem.  In
75    SSA, values are never killed, so we don't need a kill set, or a
76    fixpoint iteration, in order to calculate the AVAIL sets.  In
77    traditional parlance, AVAIL sets tell us the downsafety of the
78    expressions/values.
79
80    Next, we generate the ANTIC sets.  These sets represent the
81    anticipatable expressions.  ANTIC is a backwards dataflow
82    problem.  An expression is anticipatable in a given block if it could
83    be generated in that block.  This means that if we had to perform
84    an insertion in that block, of the value of that expression, we
85    could.  Calculating the ANTIC sets requires phi translation of
86    expressions, because the flow goes backwards through phis.  We must
87    iterate to a fixpoint of the ANTIC sets, because we have a kill
88    set.  Even in SSA form, values are not live over the entire
89    function, only from their definition point onwards.  So we have to
90    remove values from the ANTIC set once we go past the definition
91    point of the leaders that make them up.
92    compute_antic/compute_antic_aux performs this computation.
93
94    Third, we perform insertions to make partially redundant
95    expressions fully redundant.
96
97    An expression is partially redundant (excluding partial
98    anticipation) if:
99
100    1. It is AVAIL in some, but not all, of the predecessors of a
101       given block.
102    2. It is ANTIC in all the predecessors.
103
104    In order to make it fully redundant, we insert the expression into
105    the predecessors where it is not available, but is ANTIC.
106
107    For the partial anticipation case, we only perform insertion if it
108    is partially anticipated in some block, and fully available in all
109    of the predecessors.
110
111    insert/insert_aux/do_regular_insertion/do_partial_partial_insertion
112    performs these steps.
113
114    Fourth, we eliminate fully redundant expressions.
115    This is a simple statement walk that replaces redundant
116    calculations with the now available values.  */
117
118 /* Representations of value numbers:
119
120    Value numbers are represented by a representative SSA_NAME.  We
121    will create fake SSA_NAME's in situations where we need a
122    representative but do not have one (because it is a complex
123    expression).  In order to facilitate storing the value numbers in
124    bitmaps, and keep the number of wasted SSA_NAME's down, we also
125    associate a value_id with each value number, and create full blown
126    ssa_name's only where we actually need them (IE in operands of
127    existing expressions).
128
129    Theoretically you could replace all the value_id's with
130    SSA_NAME_VERSION, but this would allocate a large number of
131    SSA_NAME's (which are each > 30 bytes) just to get a 4 byte number.
132    It would also require an additional indirection at each point we
133    use the value id.  */
134
135 /* Representation of expressions on value numbers:
136
137    Expressions consisting of value numbers are represented the same
138    way as our VN internally represents them, with an additional
139    "pre_expr" wrapping around them in order to facilitate storing all
140    of the expressions in the same sets.  */
141
142 /* Representation of sets:
143
144    The dataflow sets do not need to be sorted in any particular order
145    for the majority of their lifetime, are simply represented as two
146    bitmaps, one that keeps track of values present in the set, and one
147    that keeps track of expressions present in the set.
148
149    When we need them in topological order, we produce it on demand by
150    transforming the bitmap into an array and sorting it into topo
151    order.  */
152
153 /* Type of expression, used to know which member of the PRE_EXPR union
154    is valid.  */
155
156 enum pre_expr_kind
157 {
158     NAME,
159     NARY,
160     REFERENCE,
161     CONSTANT
162 };
163
164 typedef union pre_expr_union_d
165 {
166   tree name;
167   tree constant;
168   vn_nary_op_t nary;
169   vn_reference_t reference;
170 } pre_expr_union;
171
172 typedef struct pre_expr_d
173 {
174   enum pre_expr_kind kind;
175   unsigned int id;
176   pre_expr_union u;
177 } *pre_expr;
178
179 #define PRE_EXPR_NAME(e) (e)->u.name
180 #define PRE_EXPR_NARY(e) (e)->u.nary
181 #define PRE_EXPR_REFERENCE(e) (e)->u.reference
182 #define PRE_EXPR_CONSTANT(e) (e)->u.constant
183
184 static int
185 pre_expr_eq (const void *p1, const void *p2)
186 {
187   const struct pre_expr_d *e1 = (const struct pre_expr_d *) p1;
188   const struct pre_expr_d *e2 = (const struct pre_expr_d *) p2;
189
190   if (e1->kind != e2->kind)
191     return false;
192
193   switch (e1->kind)
194     {
195     case CONSTANT:
196       return vn_constant_eq_with_type (PRE_EXPR_CONSTANT (e1),
197                                        PRE_EXPR_CONSTANT (e2));
198     case NAME:
199       return PRE_EXPR_NAME (e1) == PRE_EXPR_NAME (e2);
200     case NARY:
201       return vn_nary_op_eq (PRE_EXPR_NARY (e1), PRE_EXPR_NARY (e2));
202     case REFERENCE:
203       return vn_reference_eq (PRE_EXPR_REFERENCE (e1),
204                               PRE_EXPR_REFERENCE (e2));
205     default:
206       abort();
207     }
208 }
209
210 static hashval_t
211 pre_expr_hash (const void *p1)
212 {
213   const struct pre_expr_d *e = (const struct pre_expr_d *) p1;
214   switch (e->kind)
215     {
216     case CONSTANT:
217       return vn_hash_constant_with_type (PRE_EXPR_CONSTANT (e));
218     case NAME:
219       return iterative_hash_hashval_t (SSA_NAME_VERSION (PRE_EXPR_NAME (e)), 0);
220     case NARY:
221       return PRE_EXPR_NARY (e)->hashcode;
222     case REFERENCE:
223       return PRE_EXPR_REFERENCE (e)->hashcode;
224     default:
225       abort ();
226     }
227 }
228
229
230 /* Next global expression id number.  */
231 static unsigned int next_expression_id;
232
233 /* Mapping from expression to id number we can use in bitmap sets.  */
234 DEF_VEC_P (pre_expr);
235 DEF_VEC_ALLOC_P (pre_expr, heap);
236 static VEC(pre_expr, heap) *expressions;
237 static htab_t expression_to_id;
238
239 /* Allocate an expression id for EXPR.  */
240
241 static inline unsigned int
242 alloc_expression_id (pre_expr expr)
243 {
244   void **slot;
245   /* Make sure we won't overflow. */
246   gcc_assert (next_expression_id + 1 > next_expression_id);
247   expr->id = next_expression_id++;
248   VEC_safe_push (pre_expr, heap, expressions, expr);
249   slot = htab_find_slot (expression_to_id, expr, INSERT);
250   gcc_assert (!*slot);
251   *slot = expr;
252   return next_expression_id - 1;
253 }
254
255 /* Return the expression id for tree EXPR.  */
256
257 static inline unsigned int
258 get_expression_id (const pre_expr expr)
259 {
260   return expr->id;
261 }
262
263 static inline unsigned int
264 lookup_expression_id (const pre_expr expr)
265 {
266   void **slot;
267
268   slot = htab_find_slot (expression_to_id, expr, NO_INSERT);
269   if (!slot)
270     return 0;
271   return ((pre_expr)*slot)->id;
272 }
273
274 /* Return the existing expression id for EXPR, or create one if one
275    does not exist yet.  */
276
277 static inline unsigned int
278 get_or_alloc_expression_id (pre_expr expr)
279 {
280   unsigned int id = lookup_expression_id (expr);
281   if (id == 0)
282     return alloc_expression_id (expr);
283   return expr->id = id;
284 }
285
286 /* Return the expression that has expression id ID */
287
288 static inline pre_expr
289 expression_for_id (unsigned int id)
290 {
291   return VEC_index (pre_expr, expressions, id);
292 }
293
294 /* Free the expression id field in all of our expressions,
295    and then destroy the expressions array.  */
296
297 static void
298 clear_expression_ids (void)
299 {
300   VEC_free (pre_expr, heap, expressions);
301 }
302
303 static alloc_pool pre_expr_pool;
304
305 /* Given an SSA_NAME NAME, get or create a pre_expr to represent it.  */
306
307 static pre_expr
308 get_or_alloc_expr_for_name (tree name)
309 {
310   pre_expr result = (pre_expr) pool_alloc (pre_expr_pool);
311   unsigned int result_id;
312
313   result->kind = NAME;
314   result->id = 0;
315   PRE_EXPR_NAME (result) = name;
316   result_id = lookup_expression_id (result);
317   if (result_id != 0)
318     {
319       pool_free (pre_expr_pool, result);
320       result = expression_for_id (result_id);
321       return result;
322     }
323   get_or_alloc_expression_id (result);
324   return result;
325 }
326
327 static bool in_fre = false;
328
329 /* An unordered bitmap set.  One bitmap tracks values, the other,
330    expressions.  */
331 typedef struct bitmap_set
332 {
333   bitmap expressions;
334   bitmap values;
335 } *bitmap_set_t;
336
337 #define FOR_EACH_EXPR_ID_IN_SET(set, id, bi)            \
338   EXECUTE_IF_SET_IN_BITMAP((set)->expressions, 0, (id), (bi))
339
340 #define FOR_EACH_VALUE_ID_IN_SET(set, id, bi)           \
341   EXECUTE_IF_SET_IN_BITMAP((set)->values, 0, (id), (bi))
342
343 /* Mapping from value id to expressions with that value_id.  */
344 DEF_VEC_P (bitmap_set_t);
345 DEF_VEC_ALLOC_P (bitmap_set_t, heap);
346 static VEC(bitmap_set_t, heap) *value_expressions;
347
348 /* Sets that we need to keep track of.  */
349 typedef struct bb_bitmap_sets
350 {
351   /* The EXP_GEN set, which represents expressions/values generated in
352      a basic block.  */
353   bitmap_set_t exp_gen;
354
355   /* The PHI_GEN set, which represents PHI results generated in a
356      basic block.  */
357   bitmap_set_t phi_gen;
358
359   /* The TMP_GEN set, which represents results/temporaries generated
360      in a basic block. IE the LHS of an expression.  */
361   bitmap_set_t tmp_gen;
362
363   /* The AVAIL_OUT set, which represents which values are available in
364      a given basic block.  */
365   bitmap_set_t avail_out;
366
367   /* The ANTIC_IN set, which represents which values are anticipatable
368      in a given basic block.  */
369   bitmap_set_t antic_in;
370
371   /* The PA_IN set, which represents which values are
372      partially anticipatable in a given basic block.  */
373   bitmap_set_t pa_in;
374
375   /* The NEW_SETS set, which is used during insertion to augment the
376      AVAIL_OUT set of blocks with the new insertions performed during
377      the current iteration.  */
378   bitmap_set_t new_sets;
379
380   /* A cache for value_dies_in_block_x.  */
381   bitmap expr_dies;
382
383   /* True if we have visited this block during ANTIC calculation.  */
384   unsigned int visited:1;
385
386   /* True we have deferred processing this block during ANTIC
387      calculation until its successor is processed.  */
388   unsigned int deferred : 1;
389 } *bb_value_sets_t;
390
391 #define EXP_GEN(BB)     ((bb_value_sets_t) ((BB)->aux))->exp_gen
392 #define PHI_GEN(BB)     ((bb_value_sets_t) ((BB)->aux))->phi_gen
393 #define TMP_GEN(BB)     ((bb_value_sets_t) ((BB)->aux))->tmp_gen
394 #define AVAIL_OUT(BB)   ((bb_value_sets_t) ((BB)->aux))->avail_out
395 #define ANTIC_IN(BB)    ((bb_value_sets_t) ((BB)->aux))->antic_in
396 #define PA_IN(BB)       ((bb_value_sets_t) ((BB)->aux))->pa_in
397 #define NEW_SETS(BB)    ((bb_value_sets_t) ((BB)->aux))->new_sets
398 #define EXPR_DIES(BB)   ((bb_value_sets_t) ((BB)->aux))->expr_dies
399 #define BB_VISITED(BB)  ((bb_value_sets_t) ((BB)->aux))->visited
400 #define BB_DEFERRED(BB) ((bb_value_sets_t) ((BB)->aux))->deferred
401
402
403 /* Maximal set of values, used to initialize the ANTIC problem, which
404    is an intersection problem.  */
405 static bitmap_set_t maximal_set;
406
407 /* Basic block list in postorder.  */
408 static int *postorder;
409
410 /* This structure is used to keep track of statistics on what
411    optimization PRE was able to perform.  */
412 static struct
413 {
414   /* The number of RHS computations eliminated by PRE.  */
415   int eliminations;
416
417   /* The number of new expressions/temporaries generated by PRE.  */
418   int insertions;
419
420   /* The number of inserts found due to partial anticipation  */
421   int pa_insert;
422
423   /* The number of new PHI nodes added by PRE.  */
424   int phis;
425
426   /* The number of values found constant.  */
427   int constified;
428
429 } pre_stats;
430
431 static bool do_partial_partial;
432 static pre_expr bitmap_find_leader (bitmap_set_t, unsigned int, gimple);
433 static void bitmap_value_insert_into_set (bitmap_set_t, pre_expr);
434 static void bitmap_value_replace_in_set (bitmap_set_t, pre_expr);
435 static void bitmap_set_copy (bitmap_set_t, bitmap_set_t);
436 static bool bitmap_set_contains_value (bitmap_set_t, unsigned int);
437 static void bitmap_insert_into_set (bitmap_set_t, pre_expr);
438 static void bitmap_insert_into_set_1 (bitmap_set_t, pre_expr, bool);
439 static bitmap_set_t bitmap_set_new (void);
440 static tree create_expression_by_pieces (basic_block, pre_expr, gimple_seq *,
441                                          gimple, tree);
442 static tree find_or_generate_expression (basic_block, pre_expr, gimple_seq *,
443                                          gimple);
444 static unsigned int get_expr_value_id (pre_expr);
445
446 /* We can add and remove elements and entries to and from sets
447    and hash tables, so we use alloc pools for them.  */
448
449 static alloc_pool bitmap_set_pool;
450 static bitmap_obstack grand_bitmap_obstack;
451
452 /* To avoid adding 300 temporary variables when we only need one, we
453    only create one temporary variable, on demand, and build ssa names
454    off that.  We do have to change the variable if the types don't
455    match the current variable's type.  */
456 static tree pretemp;
457 static tree storetemp;
458 static tree prephitemp;
459
460 /* Set of blocks with statements that have had its EH information
461    cleaned up.  */
462 static bitmap need_eh_cleanup;
463
464 /* Which expressions have been seen during a given phi translation.  */
465 static bitmap seen_during_translate;
466
467 /* The phi_translate_table caches phi translations for a given
468    expression and predecessor.  */
469
470 static htab_t phi_translate_table;
471
472 /* A three tuple {e, pred, v} used to cache phi translations in the
473    phi_translate_table.  */
474
475 typedef struct expr_pred_trans_d
476 {
477   /* The expression.  */
478   pre_expr e;
479
480   /* The predecessor block along which we translated the expression.  */
481   basic_block pred;
482
483   /* The value that resulted from the translation.  */
484   pre_expr v;
485
486   /* The hashcode for the expression, pred pair. This is cached for
487      speed reasons.  */
488   hashval_t hashcode;
489 } *expr_pred_trans_t;
490 typedef const struct expr_pred_trans_d *const_expr_pred_trans_t;
491
492 /* Return the hash value for a phi translation table entry.  */
493
494 static hashval_t
495 expr_pred_trans_hash (const void *p)
496 {
497   const_expr_pred_trans_t const ve = (const_expr_pred_trans_t) p;
498   return ve->hashcode;
499 }
500
501 /* Return true if two phi translation table entries are the same.
502    P1 and P2 should point to the expr_pred_trans_t's to be compared.*/
503
504 static int
505 expr_pred_trans_eq (const void *p1, const void *p2)
506 {
507   const_expr_pred_trans_t const ve1 = (const_expr_pred_trans_t) p1;
508   const_expr_pred_trans_t const ve2 = (const_expr_pred_trans_t) p2;
509   basic_block b1 = ve1->pred;
510   basic_block b2 = ve2->pred;
511
512   /* If they are not translations for the same basic block, they can't
513      be equal.  */
514   if (b1 != b2)
515     return false;
516   return pre_expr_eq (ve1->e, ve2->e);
517 }
518
519 /* Search in the phi translation table for the translation of
520    expression E in basic block PRED.
521    Return the translated value, if found, NULL otherwise.  */
522
523 static inline pre_expr
524 phi_trans_lookup (pre_expr e, basic_block pred)
525 {
526   void **slot;
527   struct expr_pred_trans_d ept;
528
529   ept.e = e;
530   ept.pred = pred;
531   ept.hashcode = iterative_hash_hashval_t (pre_expr_hash (e), pred->index);
532   slot = htab_find_slot_with_hash (phi_translate_table, &ept, ept.hashcode,
533                                    NO_INSERT);
534   if (!slot)
535     return NULL;
536   else
537     return ((expr_pred_trans_t) *slot)->v;
538 }
539
540
541 /* Add the tuple mapping from {expression E, basic block PRED} to
542    value V, to the phi translation table.  */
543
544 static inline void
545 phi_trans_add (pre_expr e, pre_expr v, basic_block pred)
546 {
547   void **slot;
548   expr_pred_trans_t new_pair = XNEW (struct expr_pred_trans_d);
549   new_pair->e = e;
550   new_pair->pred = pred;
551   new_pair->v = v;
552   new_pair->hashcode = iterative_hash_hashval_t (pre_expr_hash (e),
553                                                  pred->index);
554
555   slot = htab_find_slot_with_hash (phi_translate_table, new_pair,
556                                    new_pair->hashcode, INSERT);
557   if (*slot)
558     free (*slot);
559   *slot = (void *) new_pair;
560 }
561
562
563 /* Add expression E to the expression set of value id V.  */
564
565 void
566 add_to_value (unsigned int v, pre_expr e)
567 {
568   bitmap_set_t set;
569
570   gcc_assert (get_expr_value_id (e) == v);
571
572   if (v >= VEC_length (bitmap_set_t, value_expressions))
573     {
574       VEC_safe_grow_cleared (bitmap_set_t, heap, value_expressions,
575                              v + 1);
576     }
577
578   set = VEC_index (bitmap_set_t, value_expressions, v);
579   if (!set)
580     {
581       set = bitmap_set_new ();
582       VEC_replace (bitmap_set_t, value_expressions, v, set);
583     }
584
585   bitmap_insert_into_set_1 (set, e, true);
586 }
587
588 /* Create a new bitmap set and return it.  */
589
590 static bitmap_set_t
591 bitmap_set_new (void)
592 {
593   bitmap_set_t ret = (bitmap_set_t) pool_alloc (bitmap_set_pool);
594   ret->expressions = BITMAP_ALLOC (&grand_bitmap_obstack);
595   ret->values = BITMAP_ALLOC (&grand_bitmap_obstack);
596   return ret;
597 }
598
599 /* Return the value id for a PRE expression EXPR.  */
600
601 static unsigned int
602 get_expr_value_id (pre_expr expr)
603 {
604   switch (expr->kind)
605     {
606     case CONSTANT:
607       {
608         unsigned int id;
609         id = get_constant_value_id (PRE_EXPR_CONSTANT (expr));
610         if (id == 0)
611           {
612             id = get_or_alloc_constant_value_id (PRE_EXPR_CONSTANT (expr));
613             add_to_value (id, expr);
614           }
615         return id;
616       }
617     case NAME:
618       return VN_INFO (PRE_EXPR_NAME (expr))->value_id;
619     case NARY:
620       return PRE_EXPR_NARY (expr)->value_id;
621     case REFERENCE:
622       return PRE_EXPR_REFERENCE (expr)->value_id;
623     default:
624       gcc_unreachable ();
625     }
626 }
627
628 /* Remove an expression EXPR from a bitmapped set.  */
629
630 static void
631 bitmap_remove_from_set (bitmap_set_t set, pre_expr expr)
632 {
633   unsigned int val  = get_expr_value_id (expr);
634   if (!value_id_constant_p (val))
635     {
636       bitmap_clear_bit (set->values, val);
637       bitmap_clear_bit (set->expressions, get_expression_id (expr));
638     }
639 }
640
641 static void
642 bitmap_insert_into_set_1 (bitmap_set_t set, pre_expr expr,
643                           bool allow_constants)
644 {
645   unsigned int val  = get_expr_value_id (expr);
646   if (allow_constants || !value_id_constant_p (val))
647     {
648       /* We specifically expect this and only this function to be able to
649          insert constants into a set.  */
650       bitmap_set_bit (set->values, val);
651       bitmap_set_bit (set->expressions, get_or_alloc_expression_id (expr));
652     }
653 }
654
655 /* Insert an expression EXPR into a bitmapped set.  */
656
657 static void
658 bitmap_insert_into_set (bitmap_set_t set, pre_expr expr)
659 {
660   bitmap_insert_into_set_1 (set, expr, false);
661 }
662
663 /* Copy a bitmapped set ORIG, into bitmapped set DEST.  */
664
665 static void
666 bitmap_set_copy (bitmap_set_t dest, bitmap_set_t orig)
667 {
668   bitmap_copy (dest->expressions, orig->expressions);
669   bitmap_copy (dest->values, orig->values);
670 }
671
672
673 /* Free memory used up by SET.  */
674 static void
675 bitmap_set_free (bitmap_set_t set)
676 {
677   BITMAP_FREE (set->expressions);
678   BITMAP_FREE (set->values);
679 }
680
681
682 /* Generate an topological-ordered array of bitmap set SET.  */
683
684 static VEC(pre_expr, heap) *
685 sorted_array_from_bitmap_set (bitmap_set_t set)
686 {
687   unsigned int i, j;
688   bitmap_iterator bi, bj;
689   VEC(pre_expr, heap) *result = NULL;
690
691   FOR_EACH_VALUE_ID_IN_SET (set, i, bi)
692     {
693       /* The number of expressions having a given value is usually
694          relatively small.  Thus, rather than making a vector of all
695          the expressions and sorting it by value-id, we walk the values
696          and check in the reverse mapping that tells us what expressions
697          have a given value, to filter those in our set.  As a result,
698          the expressions are inserted in value-id order, which means
699          topological order.
700
701          If this is somehow a significant lose for some cases, we can
702          choose which set to walk based on the set size.  */
703       bitmap_set_t exprset = VEC_index (bitmap_set_t, value_expressions, i);
704       FOR_EACH_EXPR_ID_IN_SET (exprset, j, bj)
705         {
706           if (bitmap_bit_p (set->expressions, j))
707             VEC_safe_push (pre_expr, heap, result, expression_for_id (j));
708         }
709     }
710
711   return result;
712 }
713
714 /* Perform bitmapped set operation DEST &= ORIG.  */
715
716 static void
717 bitmap_set_and (bitmap_set_t dest, bitmap_set_t orig)
718 {
719   bitmap_iterator bi;
720   unsigned int i;
721
722   if (dest != orig)
723     {
724       bitmap temp = BITMAP_ALLOC (&grand_bitmap_obstack);
725
726       bitmap_and_into (dest->values, orig->values);
727       bitmap_copy (temp, dest->expressions);
728       EXECUTE_IF_SET_IN_BITMAP (temp, 0, i, bi)
729         {
730           pre_expr expr = expression_for_id (i);
731           unsigned int value_id = get_expr_value_id (expr);
732           if (!bitmap_bit_p (dest->values, value_id))
733             bitmap_clear_bit (dest->expressions, i);
734         }
735       BITMAP_FREE (temp);
736     }
737 }
738
739 /* Subtract all values and expressions contained in ORIG from DEST.  */
740
741 static bitmap_set_t
742 bitmap_set_subtract (bitmap_set_t dest, bitmap_set_t orig)
743 {
744   bitmap_set_t result = bitmap_set_new ();
745   bitmap_iterator bi;
746   unsigned int i;
747
748   bitmap_and_compl (result->expressions, dest->expressions,
749                     orig->expressions);
750
751   FOR_EACH_EXPR_ID_IN_SET (result, i, bi)
752     {
753       pre_expr expr = expression_for_id (i);
754       unsigned int value_id = get_expr_value_id (expr);
755       bitmap_set_bit (result->values, value_id);
756     }
757
758   return result;
759 }
760
761 /* Subtract all the values in bitmap set B from bitmap set A.  */
762
763 static void
764 bitmap_set_subtract_values (bitmap_set_t a, bitmap_set_t b)
765 {
766   unsigned int i;
767   bitmap_iterator bi;
768   bitmap temp = BITMAP_ALLOC (&grand_bitmap_obstack);
769
770   bitmap_copy (temp, a->expressions);
771   EXECUTE_IF_SET_IN_BITMAP (temp, 0, i, bi)
772     {
773       pre_expr expr = expression_for_id (i);
774       if (bitmap_set_contains_value (b, get_expr_value_id (expr)))
775         bitmap_remove_from_set (a, expr);
776     }
777   BITMAP_FREE (temp);
778 }
779
780
781 /* Return true if bitmapped set SET contains the value VALUE_ID.  */
782
783 static bool
784 bitmap_set_contains_value (bitmap_set_t set, unsigned int value_id)
785 {
786   if (value_id_constant_p (value_id))
787     return true;
788
789   if (!set || bitmap_empty_p (set->expressions))
790     return false;
791
792   return bitmap_bit_p (set->values, value_id);
793 }
794
795 static inline bool
796 bitmap_set_contains_expr (bitmap_set_t set, const pre_expr expr)
797 {
798   return bitmap_bit_p (set->expressions, get_expression_id (expr));
799 }
800
801 /* Replace an instance of value LOOKFOR with expression EXPR in SET.  */
802
803 static void
804 bitmap_set_replace_value (bitmap_set_t set, unsigned int lookfor,
805                           const pre_expr expr)
806 {
807   bitmap_set_t exprset;
808   unsigned int i;
809   bitmap_iterator bi;
810
811   if (value_id_constant_p (lookfor))
812     return;
813
814   if (!bitmap_set_contains_value (set, lookfor))
815     return;
816
817   /* The number of expressions having a given value is usually
818      significantly less than the total number of expressions in SET.
819      Thus, rather than check, for each expression in SET, whether it
820      has the value LOOKFOR, we walk the reverse mapping that tells us
821      what expressions have a given value, and see if any of those
822      expressions are in our set.  For large testcases, this is about
823      5-10x faster than walking the bitmap.  If this is somehow a
824      significant lose for some cases, we can choose which set to walk
825      based on the set size.  */
826   exprset = VEC_index (bitmap_set_t, value_expressions, lookfor);
827   FOR_EACH_EXPR_ID_IN_SET (exprset, i, bi)
828     {
829       if (bitmap_bit_p (set->expressions, i))
830         {
831           bitmap_clear_bit (set->expressions, i);
832           bitmap_set_bit (set->expressions, get_expression_id (expr));
833           return;
834         }
835     }
836 }
837
838 /* Return true if two bitmap sets are equal.  */
839
840 static bool
841 bitmap_set_equal (bitmap_set_t a, bitmap_set_t b)
842 {
843   return bitmap_equal_p (a->values, b->values);
844 }
845
846 /* Replace an instance of EXPR's VALUE with EXPR in SET if it exists,
847    and add it otherwise.  */
848
849 static void
850 bitmap_value_replace_in_set (bitmap_set_t set, pre_expr expr)
851 {
852   unsigned int val = get_expr_value_id (expr);
853
854   if (bitmap_set_contains_value (set, val))
855     bitmap_set_replace_value (set, val, expr);
856   else
857     bitmap_insert_into_set (set, expr);
858 }
859
860 /* Insert EXPR into SET if EXPR's value is not already present in
861    SET.  */
862
863 static void
864 bitmap_value_insert_into_set (bitmap_set_t set, pre_expr expr)
865 {
866   unsigned int val = get_expr_value_id (expr);
867
868   if (value_id_constant_p (val))
869     return;
870
871   if (!bitmap_set_contains_value (set, val))
872     bitmap_insert_into_set (set, expr);
873 }
874
875 /* Print out EXPR to outfile.  */
876
877 static void
878 print_pre_expr (FILE *outfile, const pre_expr expr)
879 {
880   switch (expr->kind)
881     {
882     case CONSTANT:
883       print_generic_expr (outfile, PRE_EXPR_CONSTANT (expr), 0);
884       break;
885     case NAME:
886       print_generic_expr (outfile, PRE_EXPR_NAME (expr), 0);
887       break;
888     case NARY:
889       {
890         unsigned int i;
891         vn_nary_op_t nary = PRE_EXPR_NARY (expr);
892         fprintf (outfile, "{%s,", tree_code_name [nary->opcode]);
893         for (i = 0; i < nary->length; i++)
894           {
895             print_generic_expr (outfile, nary->op[i], 0);
896             if (i != (unsigned) nary->length - 1)
897               fprintf (outfile, ",");
898           }
899         fprintf (outfile, "}");
900       }
901       break;
902
903     case REFERENCE:
904       {
905         vn_reference_op_t vro;
906         unsigned int i;
907         vn_reference_t ref = PRE_EXPR_REFERENCE (expr);
908         fprintf (outfile, "{");
909         for (i = 0;
910              VEC_iterate (vn_reference_op_s, ref->operands, i, vro);
911              i++)
912           {
913             bool closebrace = false;
914             if (vro->opcode != SSA_NAME
915                 && TREE_CODE_CLASS (vro->opcode) != tcc_declaration)
916               {
917                 fprintf (outfile, "%s", tree_code_name [vro->opcode]);
918                 if (vro->op0)
919                   {
920                     fprintf (outfile, "<");
921                     closebrace = true;
922                   }
923               }
924             if (vro->op0)
925               {
926                 print_generic_expr (outfile, vro->op0, 0);
927                 if (vro->op1)
928                   {
929                     fprintf (outfile, ",");
930                     print_generic_expr (outfile, vro->op1, 0);
931                   }
932                 if (vro->op2)
933                   {
934                     fprintf (outfile, ",");
935                     print_generic_expr (outfile, vro->op2, 0);
936                   }
937               }
938             if (closebrace)
939                 fprintf (outfile, ">");
940             if (i != VEC_length (vn_reference_op_s, ref->operands) - 1)
941               fprintf (outfile, ",");
942           }
943         fprintf (outfile, "}");
944         if (ref->vuse)
945           {
946             fprintf (outfile, "@");
947             print_generic_expr (outfile, ref->vuse, 0);
948           }
949       }
950       break;
951     }
952 }
953 void debug_pre_expr (pre_expr);
954
955 /* Like print_pre_expr but always prints to stderr.  */
956 void
957 debug_pre_expr (pre_expr e)
958 {
959   print_pre_expr (stderr, e);
960   fprintf (stderr, "\n");
961 }
962
963 /* Print out SET to OUTFILE.  */
964
965 static void
966 print_bitmap_set (FILE *outfile, bitmap_set_t set,
967                   const char *setname, int blockindex)
968 {
969   fprintf (outfile, "%s[%d] := { ", setname, blockindex);
970   if (set)
971     {
972       bool first = true;
973       unsigned i;
974       bitmap_iterator bi;
975
976       FOR_EACH_EXPR_ID_IN_SET (set, i, bi)
977         {
978           const pre_expr expr = expression_for_id (i);
979
980           if (!first)
981             fprintf (outfile, ", ");
982           first = false;
983           print_pre_expr (outfile, expr);
984
985           fprintf (outfile, " (%04d)", get_expr_value_id (expr));
986         }
987     }
988   fprintf (outfile, " }\n");
989 }
990
991 void debug_bitmap_set (bitmap_set_t);
992
993 void
994 debug_bitmap_set (bitmap_set_t set)
995 {
996   print_bitmap_set (stderr, set, "debug", 0);
997 }
998
999 /* Print out the expressions that have VAL to OUTFILE.  */
1000
1001 void
1002 print_value_expressions (FILE *outfile, unsigned int val)
1003 {
1004   bitmap_set_t set = VEC_index (bitmap_set_t, value_expressions, val);
1005   if (set)
1006     {
1007       char s[10];
1008       sprintf (s, "%04d", val);
1009       print_bitmap_set (outfile, set, s, 0);
1010     }
1011 }
1012
1013
1014 void
1015 debug_value_expressions (unsigned int val)
1016 {
1017   print_value_expressions (stderr, val);
1018 }
1019
1020 /* Given a CONSTANT, allocate a new CONSTANT type PRE_EXPR to
1021    represent it.  */
1022
1023 static pre_expr
1024 get_or_alloc_expr_for_constant (tree constant)
1025 {
1026   unsigned int result_id;
1027   unsigned int value_id;
1028   pre_expr newexpr = (pre_expr) pool_alloc (pre_expr_pool);
1029   newexpr->kind = CONSTANT;
1030   PRE_EXPR_CONSTANT (newexpr) = constant;
1031   result_id = lookup_expression_id (newexpr);
1032   if (result_id != 0)
1033     {
1034       pool_free (pre_expr_pool, newexpr);
1035       newexpr = expression_for_id (result_id);
1036       return newexpr;
1037     }
1038   value_id = get_or_alloc_constant_value_id (constant);
1039   get_or_alloc_expression_id (newexpr);
1040   add_to_value (value_id, newexpr);
1041   return newexpr;
1042 }
1043
1044 /* Given a value id V, find the actual tree representing the constant
1045    value if there is one, and return it. Return NULL if we can't find
1046    a constant.  */
1047
1048 static tree
1049 get_constant_for_value_id (unsigned int v)
1050 {
1051   if (value_id_constant_p (v))
1052     {
1053       unsigned int i;
1054       bitmap_iterator bi;
1055       bitmap_set_t exprset = VEC_index (bitmap_set_t, value_expressions, v);
1056
1057       FOR_EACH_EXPR_ID_IN_SET (exprset, i, bi)
1058         {
1059           pre_expr expr = expression_for_id (i);
1060           if (expr->kind == CONSTANT)
1061             return PRE_EXPR_CONSTANT (expr);
1062         }
1063     }
1064   return NULL;
1065 }
1066
1067 /* Get or allocate a pre_expr for a piece of GIMPLE, and return it.
1068    Currently only supports constants and SSA_NAMES.  */
1069 static pre_expr
1070 get_or_alloc_expr_for (tree t)
1071 {
1072   if (TREE_CODE (t) == SSA_NAME)
1073     return get_or_alloc_expr_for_name (t);
1074   else if (is_gimple_min_invariant (t)
1075            || TREE_CODE (t) == EXC_PTR_EXPR
1076            || TREE_CODE (t) == FILTER_EXPR)
1077     return get_or_alloc_expr_for_constant (t);
1078   else
1079     {
1080       /* More complex expressions can result from SCCVN expression
1081          simplification that inserts values for them.  As they all
1082          do not have VOPs the get handled by the nary ops struct.  */
1083       vn_nary_op_t result;
1084       unsigned int result_id;
1085       vn_nary_op_lookup (t, &result);
1086       if (result != NULL)
1087         {
1088           pre_expr e = (pre_expr) pool_alloc (pre_expr_pool);
1089           e->kind = NARY;
1090           PRE_EXPR_NARY (e) = result;
1091           result_id = lookup_expression_id (e);
1092           if (result_id != 0)
1093             {
1094               pool_free (pre_expr_pool, e);
1095               e = expression_for_id (result_id);
1096               return e;
1097             }
1098           alloc_expression_id (e);
1099           return e;
1100         }
1101     }
1102   return NULL;
1103 }
1104
1105 /* Return the folded version of T if T, when folded, is a gimple
1106    min_invariant.  Otherwise, return T.  */
1107
1108 static pre_expr
1109 fully_constant_expression (pre_expr e)
1110 {
1111   switch (e->kind)
1112     {
1113     case CONSTANT:
1114       return e;
1115     case NARY:
1116       {
1117         vn_nary_op_t nary = PRE_EXPR_NARY (e);
1118         switch (TREE_CODE_CLASS (nary->opcode))
1119           {
1120           case tcc_expression:
1121             if (nary->opcode == TRUTH_NOT_EXPR)
1122               goto do_unary;
1123             if (nary->opcode != TRUTH_AND_EXPR
1124                 && nary->opcode != TRUTH_OR_EXPR
1125                 && nary->opcode != TRUTH_XOR_EXPR)
1126               return e;
1127             /* Fallthrough.  */
1128           case tcc_binary:
1129           case tcc_comparison:
1130             {
1131               /* We have to go from trees to pre exprs to value ids to
1132                  constants.  */
1133               tree naryop0 = nary->op[0];
1134               tree naryop1 = nary->op[1];
1135               tree result;
1136               if (!is_gimple_min_invariant (naryop0))
1137                 {
1138                   pre_expr rep0 = get_or_alloc_expr_for (naryop0);
1139                   unsigned int vrep0 = get_expr_value_id (rep0);
1140                   tree const0 = get_constant_for_value_id (vrep0);
1141                   if (const0)
1142                     naryop0 = fold_convert (TREE_TYPE (naryop0), const0);
1143                 }
1144               if (!is_gimple_min_invariant (naryop1))
1145                 {
1146                   pre_expr rep1 = get_or_alloc_expr_for (naryop1);
1147                   unsigned int vrep1 = get_expr_value_id (rep1);
1148                   tree const1 = get_constant_for_value_id (vrep1);
1149                   if (const1)
1150                     naryop1 = fold_convert (TREE_TYPE (naryop1), const1);
1151                 }
1152               result = fold_binary (nary->opcode, nary->type,
1153                                     naryop0, naryop1);
1154               if (result && is_gimple_min_invariant (result))
1155                 return get_or_alloc_expr_for_constant (result);
1156               /* We might have simplified the expression to a
1157                  SSA_NAME for example from x_1 * 1.  But we cannot
1158                  insert a PHI for x_1 unconditionally as x_1 might
1159                  not be available readily.  */
1160               return e;
1161             }
1162           case tcc_reference:
1163             if (nary->opcode != REALPART_EXPR
1164                 && nary->opcode != IMAGPART_EXPR 
1165                 && nary->opcode != VIEW_CONVERT_EXPR)
1166               return e;
1167             /* Fallthrough.  */
1168           case tcc_unary:
1169 do_unary:
1170             {
1171               /* We have to go from trees to pre exprs to value ids to
1172                  constants.  */
1173               tree naryop0 = nary->op[0];
1174               tree const0, result;
1175               if (is_gimple_min_invariant (naryop0))
1176                 const0 = naryop0;
1177               else
1178                 {
1179                   pre_expr rep0 = get_or_alloc_expr_for (naryop0);
1180                   unsigned int vrep0 = get_expr_value_id (rep0);
1181                   const0 = get_constant_for_value_id (vrep0);
1182                 }
1183               result = NULL;
1184               if (const0)
1185                 {
1186                   tree type1 = TREE_TYPE (nary->op[0]);
1187                   const0 = fold_convert (type1, const0);
1188                   result = fold_unary (nary->opcode, nary->type, const0);
1189                 }
1190               if (result && is_gimple_min_invariant (result))
1191                 return get_or_alloc_expr_for_constant (result);
1192               return e;
1193             }
1194           default:
1195             return e;
1196           }
1197       }
1198     case REFERENCE:
1199       {
1200         vn_reference_t ref = PRE_EXPR_REFERENCE (e);
1201         VEC (vn_reference_op_s, heap) *operands = ref->operands;
1202         vn_reference_op_t op;
1203
1204         /* Try to simplify the translated expression if it is
1205            a call to a builtin function with at most two arguments.  */
1206         op = VEC_index (vn_reference_op_s, operands, 0);
1207         if (op->opcode == CALL_EXPR
1208             && TREE_CODE (op->op0) == ADDR_EXPR
1209             && TREE_CODE (TREE_OPERAND (op->op0, 0)) == FUNCTION_DECL
1210             && DECL_BUILT_IN (TREE_OPERAND (op->op0, 0))
1211             && VEC_length (vn_reference_op_s, operands) >= 2
1212             && VEC_length (vn_reference_op_s, operands) <= 3)
1213           {
1214             vn_reference_op_t arg0, arg1 = NULL;
1215             bool anyconst = false;
1216             arg0 = VEC_index (vn_reference_op_s, operands, 1);
1217             if (VEC_length (vn_reference_op_s, operands) > 2)
1218               arg1 = VEC_index (vn_reference_op_s, operands, 2);
1219             if (TREE_CODE_CLASS (arg0->opcode) == tcc_constant
1220                 || (arg0->opcode == ADDR_EXPR
1221                     && is_gimple_min_invariant (arg0->op0)))
1222               anyconst = true;
1223             if (arg1
1224                 && (TREE_CODE_CLASS (arg1->opcode) == tcc_constant
1225                     || (arg1->opcode == ADDR_EXPR
1226                         && is_gimple_min_invariant (arg1->op0))))
1227               anyconst = true;
1228             if (anyconst)
1229               {
1230                 tree folded = build_call_expr (TREE_OPERAND (op->op0, 0),
1231                                                arg1 ? 2 : 1,
1232                                                arg0->op0,
1233                                                arg1 ? arg1->op0 : NULL);
1234                 if (folded
1235                     && TREE_CODE (folded) == NOP_EXPR)
1236                   folded = TREE_OPERAND (folded, 0);
1237                 if (folded
1238                     && is_gimple_min_invariant (folded))
1239                   return get_or_alloc_expr_for_constant (folded);
1240               }
1241           }
1242           return e;
1243         }
1244     default:
1245       return e;
1246     }
1247   return e;
1248 }
1249
1250 /* Translate the VUSE backwards through phi nodes in PHIBLOCK, so that
1251    it has the value it would have in BLOCK.  */
1252
1253 static tree
1254 translate_vuse_through_block (VEC (vn_reference_op_s, heap) *operands,
1255                               alias_set_type set, tree type, tree vuse,
1256                               basic_block phiblock,
1257                               basic_block block)
1258 {
1259   gimple phi = SSA_NAME_DEF_STMT (vuse);
1260   ao_ref ref;
1261
1262   if (gimple_bb (phi) != phiblock)
1263     return vuse;
1264
1265   if (gimple_code (phi) == GIMPLE_PHI)
1266     {
1267       edge e = find_edge (block, phiblock);
1268       return PHI_ARG_DEF (phi, e->dest_idx);
1269     }
1270
1271   if (!ao_ref_init_from_vn_reference (&ref, set, type, operands))
1272     return NULL_TREE;
1273
1274   /* Use the alias-oracle to find either the PHI node in this block,
1275      the first VUSE used in this block that is equivalent to vuse or
1276      the first VUSE which definition in this block kills the value.  */
1277   while (!stmt_may_clobber_ref_p_1 (phi, &ref))
1278     {
1279       vuse = gimple_vuse (phi);
1280       phi = SSA_NAME_DEF_STMT (vuse);
1281       if (gimple_bb (phi) != phiblock)
1282         return vuse;
1283       if (gimple_code (phi) == GIMPLE_PHI)
1284         {
1285           edge e = find_edge (block, phiblock);
1286           return PHI_ARG_DEF (phi, e->dest_idx);
1287         }
1288     }
1289
1290   return NULL_TREE;
1291 }
1292
1293 /* Like bitmap_find_leader, but checks for the value existing in SET1 *or*
1294    SET2.  This is used to avoid making a set consisting of the union
1295    of PA_IN and ANTIC_IN during insert.  */
1296
1297 static inline pre_expr
1298 find_leader_in_sets (unsigned int val, bitmap_set_t set1, bitmap_set_t set2)
1299 {
1300   pre_expr result;
1301
1302   result = bitmap_find_leader (set1, val, NULL);
1303   if (!result && set2)
1304     result = bitmap_find_leader (set2, val, NULL);
1305   return result;
1306 }
1307
1308 /* Get the tree type for our PRE expression e.  */
1309
1310 static tree
1311 get_expr_type (const pre_expr e)
1312 {
1313   switch (e->kind)
1314     {
1315     case NAME:
1316       return TREE_TYPE (PRE_EXPR_NAME (e));
1317     case CONSTANT:
1318       return TREE_TYPE (PRE_EXPR_CONSTANT (e));
1319     case REFERENCE:
1320       return PRE_EXPR_REFERENCE (e)->type;
1321     case NARY:
1322       return PRE_EXPR_NARY (e)->type;
1323     }
1324   gcc_unreachable();
1325 }
1326
1327 /* Get a representative SSA_NAME for a given expression.
1328    Since all of our sub-expressions are treated as values, we require
1329    them to be SSA_NAME's for simplicity.
1330    Prior versions of GVNPRE used to use "value handles" here, so that
1331    an expression would be VH.11 + VH.10 instead of d_3 + e_6.  In
1332    either case, the operands are really values (IE we do not expect
1333    them to be usable without finding leaders).  */
1334
1335 static tree
1336 get_representative_for (const pre_expr e)
1337 {
1338   tree exprtype;
1339   tree name;
1340   unsigned int value_id = get_expr_value_id (e);
1341
1342   switch (e->kind)
1343     {
1344     case NAME:
1345       return PRE_EXPR_NAME (e);
1346     case CONSTANT:
1347       return PRE_EXPR_CONSTANT (e);
1348     case NARY:
1349     case REFERENCE:
1350       {
1351         /* Go through all of the expressions representing this value
1352            and pick out an SSA_NAME.  */
1353         unsigned int i;
1354         bitmap_iterator bi;
1355         bitmap_set_t exprs = VEC_index (bitmap_set_t, value_expressions,
1356                                         value_id);
1357         FOR_EACH_EXPR_ID_IN_SET (exprs, i, bi)
1358           {
1359             pre_expr rep = expression_for_id (i);
1360             if (rep->kind == NAME)
1361               return PRE_EXPR_NAME (rep);
1362           }
1363       }
1364       break;
1365     }
1366   /* If we reached here we couldn't find an SSA_NAME.  This can
1367      happen when we've discovered a value that has never appeared in
1368      the program as set to an SSA_NAME, most likely as the result of
1369      phi translation.  */
1370   if (dump_file)
1371     {
1372       fprintf (dump_file,
1373                "Could not find SSA_NAME representative for expression:");
1374       print_pre_expr (dump_file, e);
1375       fprintf (dump_file, "\n");
1376     }
1377
1378   exprtype = get_expr_type (e);
1379
1380   /* Build and insert the assignment of the end result to the temporary
1381      that we will return.  */
1382   if (!pretemp || exprtype != TREE_TYPE (pretemp))
1383     {
1384       pretemp = create_tmp_var (exprtype, "pretmp");
1385       get_var_ann (pretemp);
1386     }
1387
1388   name = make_ssa_name (pretemp, gimple_build_nop ());
1389   VN_INFO_GET (name)->value_id = value_id;
1390   if (e->kind == CONSTANT)
1391     VN_INFO (name)->valnum = PRE_EXPR_CONSTANT (e);
1392   else
1393     VN_INFO (name)->valnum = name;
1394
1395   add_to_value (value_id, get_or_alloc_expr_for_name (name));
1396   if (dump_file)
1397     {
1398       fprintf (dump_file, "Created SSA_NAME representative ");
1399       print_generic_expr (dump_file, name, 0);
1400       fprintf (dump_file, " for expression:");
1401       print_pre_expr (dump_file, e);
1402       fprintf (dump_file, "\n");
1403     }
1404
1405   return name;
1406 }
1407
1408
1409
1410
1411 /* Translate EXPR using phis in PHIBLOCK, so that it has the values of
1412    the phis in PRED.  SEEN is a bitmap saying which expression we have
1413    translated since we started translation of the toplevel expression.
1414    Return NULL if we can't find a leader for each part of the
1415    translated expression.  */
1416
1417 static pre_expr
1418 phi_translate_1 (pre_expr expr, bitmap_set_t set1, bitmap_set_t set2,
1419                  basic_block pred, basic_block phiblock, bitmap seen)
1420 {
1421   pre_expr oldexpr = expr;
1422   pre_expr phitrans;
1423
1424   if (!expr)
1425     return NULL;
1426
1427   if (value_id_constant_p (get_expr_value_id (expr)))
1428     return expr;
1429
1430   phitrans = phi_trans_lookup (expr, pred);
1431   if (phitrans)
1432     return phitrans;
1433
1434   /* Prevent cycles when we have recursively dependent leaders.  This
1435      can only happen when phi translating the maximal set.  */
1436   if (seen)
1437     {
1438       unsigned int expr_id = get_expression_id (expr);
1439       if (bitmap_bit_p (seen, expr_id))
1440         return NULL;
1441       bitmap_set_bit (seen, expr_id);
1442     }
1443
1444   switch (expr->kind)
1445     {
1446       /* Constants contain no values that need translation.  */
1447     case CONSTANT:
1448       return expr;
1449
1450     case NARY:
1451       {
1452         unsigned int i;
1453         bool changed = false;
1454         vn_nary_op_t nary = PRE_EXPR_NARY (expr);
1455         struct vn_nary_op_s newnary;
1456         /* The NARY structure is only guaranteed to have been
1457            allocated to the nary->length operands.  */
1458         memcpy (&newnary, nary, (sizeof (struct vn_nary_op_s)
1459                                  - sizeof (tree) * (4 - nary->length)));
1460
1461         for (i = 0; i < newnary.length; i++)
1462           {
1463             if (TREE_CODE (newnary.op[i]) != SSA_NAME)
1464               continue;
1465             else
1466               {
1467                 unsigned int op_val_id = VN_INFO (newnary.op[i])->value_id;
1468                 pre_expr leader = find_leader_in_sets (op_val_id, set1, set2);
1469                 pre_expr result = phi_translate_1 (leader, set1, set2,
1470                                                    pred, phiblock, seen);
1471                 if (result && result != leader)
1472                   {
1473                     tree name = get_representative_for (result);
1474                     if (!name)
1475                       return NULL;
1476                     newnary.op[i] = name;
1477                   }
1478                 else if (!result)
1479                   return NULL;
1480
1481                 changed |= newnary.op[i] != nary->op[i];
1482               }
1483           }
1484         if (changed)
1485           {
1486             pre_expr constant;
1487
1488             tree result = vn_nary_op_lookup_pieces (newnary.length,
1489                                                     newnary.opcode,
1490                                                     newnary.type,
1491                                                     newnary.op[0],
1492                                                     newnary.op[1],
1493                                                     newnary.op[2],
1494                                                     newnary.op[3],
1495                                                     &nary);
1496             unsigned int new_val_id;
1497
1498             expr = (pre_expr) pool_alloc (pre_expr_pool);
1499             expr->kind = NARY;
1500             expr->id = 0;
1501             if (result && is_gimple_min_invariant (result))
1502               return get_or_alloc_expr_for_constant (result);
1503
1504
1505             if (nary)
1506               {
1507                 PRE_EXPR_NARY (expr) = nary;
1508                 constant = fully_constant_expression (expr);
1509                 if (constant != expr)
1510                   return constant;
1511
1512                 new_val_id = nary->value_id;
1513                 get_or_alloc_expression_id (expr);
1514               }
1515             else
1516               {
1517                 new_val_id = get_next_value_id ();
1518                 VEC_safe_grow_cleared (bitmap_set_t, heap,
1519                                        value_expressions,
1520                                        get_max_value_id() + 1);
1521                 nary = vn_nary_op_insert_pieces (newnary.length,
1522                                                  newnary.opcode,
1523                                                  newnary.type,
1524                                                  newnary.op[0],
1525                                                  newnary.op[1],
1526                                                  newnary.op[2],
1527                                                  newnary.op[3],
1528                                                  result, new_val_id);
1529                 PRE_EXPR_NARY (expr) = nary;
1530                 constant = fully_constant_expression (expr);
1531                 if (constant != expr)
1532                   return constant;
1533                 get_or_alloc_expression_id (expr);
1534               }
1535             add_to_value (new_val_id, expr);
1536           }
1537         phi_trans_add (oldexpr, expr, pred);
1538         return expr;
1539       }
1540       break;
1541
1542     case REFERENCE:
1543       {
1544         vn_reference_t ref = PRE_EXPR_REFERENCE (expr);
1545         VEC (vn_reference_op_s, heap) *operands = ref->operands;
1546         tree vuse = ref->vuse;
1547         tree newvuse = vuse;
1548         VEC (vn_reference_op_s, heap) *newoperands = NULL;
1549         bool changed = false;
1550         unsigned int i, j;
1551         vn_reference_op_t operand;
1552         vn_reference_t newref;
1553
1554         for (i = 0, j = 0;
1555              VEC_iterate (vn_reference_op_s, operands, i, operand); i++, j++)
1556           {
1557             pre_expr opresult;
1558             pre_expr leader;
1559             tree oldop0 = operand->op0;
1560             tree oldop1 = operand->op1;
1561             tree oldop2 = operand->op2;
1562             tree op0 = oldop0;
1563             tree op1 = oldop1;
1564             tree op2 = oldop2;
1565             tree type = operand->type;
1566             vn_reference_op_s newop = *operand;
1567
1568             if (op0 && TREE_CODE (op0) == SSA_NAME)
1569               {
1570                 unsigned int op_val_id = VN_INFO (op0)->value_id;
1571                 leader = find_leader_in_sets (op_val_id, set1, set2);
1572                 opresult = phi_translate_1 (leader, set1, set2,
1573                                             pred, phiblock, seen);
1574                 if (opresult && opresult != leader)
1575                   {
1576                     tree name = get_representative_for (opresult);
1577                     if (!name)
1578                       break;
1579                     op0 = name;
1580                   }
1581                 else if (!opresult)
1582                   break;
1583               }
1584             changed |= op0 != oldop0;
1585
1586             if (op1 && TREE_CODE (op1) == SSA_NAME)
1587               {
1588                 unsigned int op_val_id = VN_INFO (op1)->value_id;
1589                 leader = find_leader_in_sets (op_val_id, set1, set2);
1590                 opresult = phi_translate_1 (leader, set1, set2,
1591                                             pred, phiblock, seen);
1592                 if (opresult && opresult != leader)
1593                   {
1594                     tree name = get_representative_for (opresult);
1595                     if (!name)
1596                       break;
1597                     op1 = name;
1598                   }
1599                 else if (!opresult)
1600                   break;
1601               }
1602             changed |= op1 != oldop1;
1603             if (op2 && TREE_CODE (op2) == SSA_NAME)
1604               {
1605                 unsigned int op_val_id = VN_INFO (op2)->value_id;
1606                 leader = find_leader_in_sets (op_val_id, set1, set2);
1607                 opresult = phi_translate_1 (leader, set1, set2,
1608                                             pred, phiblock, seen);
1609                 if (opresult && opresult != leader)
1610                   {
1611                     tree name = get_representative_for (opresult);
1612                     if (!name)
1613                       break;
1614                     op2 = name;
1615                   }
1616                 else if (!opresult)
1617                   break;
1618               }
1619             changed |= op2 != oldop2;
1620
1621             if (!newoperands)
1622               newoperands = VEC_copy (vn_reference_op_s, heap, operands);
1623             /* We may have changed from an SSA_NAME to a constant */
1624             if (newop.opcode == SSA_NAME && TREE_CODE (op0) != SSA_NAME)
1625               newop.opcode = TREE_CODE (op0);
1626             newop.type = type;
1627             newop.op0 = op0;
1628             newop.op1 = op1;
1629             newop.op2 = op2;
1630             VEC_replace (vn_reference_op_s, newoperands, j, &newop);
1631             /* If it transforms from an SSA_NAME to an address, fold with
1632                a preceding indirect reference.  */
1633             if (j > 0 && op0 && TREE_CODE (op0) == ADDR_EXPR
1634                 && VEC_index (vn_reference_op_s,
1635                               newoperands, j - 1)->opcode == INDIRECT_REF)
1636               vn_reference_fold_indirect (&newoperands, &j);
1637           }
1638         if (i != VEC_length (vn_reference_op_s, operands))
1639           {
1640             if (newoperands)
1641               VEC_free (vn_reference_op_s, heap, newoperands);
1642             return NULL;
1643           }
1644
1645         if (vuse)
1646           {
1647             newvuse = translate_vuse_through_block (newoperands,
1648                                                     ref->set, ref->type,
1649                                                     vuse, phiblock, pred);
1650             if (newvuse == NULL_TREE)
1651               {
1652                 VEC_free (vn_reference_op_s, heap, newoperands);
1653                 return NULL;
1654               }
1655           }
1656         changed |= newvuse != vuse;
1657
1658         if (changed)
1659           {
1660             unsigned int new_val_id;
1661             pre_expr constant;
1662
1663             tree result = vn_reference_lookup_pieces (newvuse, ref->set,
1664                                                       ref->type,
1665                                                       newoperands,
1666                                                       &newref, true);
1667             if (newref)
1668               VEC_free (vn_reference_op_s, heap, newoperands);
1669
1670             if (result && is_gimple_min_invariant (result))
1671               {
1672                 gcc_assert (!newoperands);
1673                 return get_or_alloc_expr_for_constant (result);
1674               }
1675
1676             expr = (pre_expr) pool_alloc (pre_expr_pool);
1677             expr->kind = REFERENCE;
1678             expr->id = 0;
1679
1680             if (newref)
1681               {
1682                 PRE_EXPR_REFERENCE (expr) = newref;
1683                 constant = fully_constant_expression (expr);
1684                 if (constant != expr)
1685                   return constant;
1686
1687                 new_val_id = newref->value_id;
1688                 get_or_alloc_expression_id (expr);
1689               }
1690             else
1691               {
1692                 new_val_id = get_next_value_id ();
1693                 VEC_safe_grow_cleared (bitmap_set_t, heap, value_expressions,
1694                                        get_max_value_id() + 1);
1695                 newref = vn_reference_insert_pieces (newvuse, ref->set,
1696                                                      ref->type,
1697                                                      newoperands,
1698                                                      result, new_val_id);
1699                 newoperands = NULL;
1700                 PRE_EXPR_REFERENCE (expr) = newref;
1701                 constant = fully_constant_expression (expr);
1702                 if (constant != expr)
1703                   return constant;
1704                 get_or_alloc_expression_id (expr);
1705               }
1706             add_to_value (new_val_id, expr);
1707           }
1708         VEC_free (vn_reference_op_s, heap, newoperands);
1709         phi_trans_add (oldexpr, expr, pred);
1710         return expr;
1711       }
1712       break;
1713
1714     case NAME:
1715       {
1716         gimple phi = NULL;
1717         edge e;
1718         gimple def_stmt;
1719         tree name = PRE_EXPR_NAME (expr);
1720
1721         def_stmt = SSA_NAME_DEF_STMT (name);
1722         if (gimple_code (def_stmt) == GIMPLE_PHI
1723             && gimple_bb (def_stmt) == phiblock)
1724           phi = def_stmt;
1725         else
1726           return expr;
1727
1728         e = find_edge (pred, gimple_bb (phi));
1729         if (e)
1730           {
1731             tree def = PHI_ARG_DEF (phi, e->dest_idx);
1732             pre_expr newexpr;
1733
1734             if (TREE_CODE (def) == SSA_NAME)
1735               def = VN_INFO (def)->valnum;
1736
1737             /* Handle constant. */
1738             if (is_gimple_min_invariant (def))
1739               return get_or_alloc_expr_for_constant (def);
1740
1741             if (TREE_CODE (def) == SSA_NAME && ssa_undefined_value_p (def))
1742               return NULL;
1743
1744             newexpr = get_or_alloc_expr_for_name (def);
1745             return newexpr;
1746           }
1747       }
1748       return expr;
1749
1750     default:
1751       gcc_unreachable ();
1752     }
1753 }
1754
1755 /* Translate EXPR using phis in PHIBLOCK, so that it has the values of
1756    the phis in PRED.
1757    Return NULL if we can't find a leader for each part of the
1758    translated expression.  */
1759
1760 static pre_expr
1761 phi_translate (pre_expr expr, bitmap_set_t set1, bitmap_set_t set2,
1762                basic_block pred, basic_block phiblock)
1763 {
1764   bitmap_clear (seen_during_translate);
1765   return phi_translate_1 (expr, set1, set2, pred, phiblock,
1766                           seen_during_translate);
1767 }
1768
1769 /* For each expression in SET, translate the values through phi nodes
1770    in PHIBLOCK using edge PHIBLOCK->PRED, and store the resulting
1771    expressions in DEST.  */
1772
1773 static void
1774 phi_translate_set (bitmap_set_t dest, bitmap_set_t set, basic_block pred,
1775                    basic_block phiblock)
1776 {
1777   VEC (pre_expr, heap) *exprs;
1778   pre_expr expr;
1779   int i;
1780
1781   if (!phi_nodes (phiblock))
1782     {
1783       bitmap_set_copy (dest, set);
1784       return;
1785     }
1786
1787   exprs = sorted_array_from_bitmap_set (set);
1788   for (i = 0; VEC_iterate (pre_expr, exprs, i, expr); i++)
1789     {
1790       pre_expr translated;
1791       translated = phi_translate (expr, set, NULL, pred, phiblock);
1792
1793       /* Don't add empty translations to the cache  */
1794       if (translated)
1795         phi_trans_add (expr, translated, pred);
1796
1797       if (translated != NULL)
1798         bitmap_value_insert_into_set (dest, translated);
1799     }
1800   VEC_free (pre_expr, heap, exprs);
1801 }
1802
1803 /* Find the leader for a value (i.e., the name representing that
1804    value) in a given set, and return it.  If STMT is non-NULL it
1805    makes sure the defining statement for the leader dominates it.
1806    Return NULL if no leader is found.  */
1807
1808 static pre_expr
1809 bitmap_find_leader (bitmap_set_t set, unsigned int val, gimple stmt)
1810 {
1811   if (value_id_constant_p (val))
1812     {
1813       unsigned int i;
1814       bitmap_iterator bi;
1815       bitmap_set_t exprset = VEC_index (bitmap_set_t, value_expressions, val);
1816
1817       FOR_EACH_EXPR_ID_IN_SET (exprset, i, bi)
1818         {
1819           pre_expr expr = expression_for_id (i);
1820           if (expr->kind == CONSTANT)
1821             return expr;
1822         }
1823     }
1824   if (bitmap_set_contains_value (set, val))
1825     {
1826       /* Rather than walk the entire bitmap of expressions, and see
1827          whether any of them has the value we are looking for, we look
1828          at the reverse mapping, which tells us the set of expressions
1829          that have a given value (IE value->expressions with that
1830          value) and see if any of those expressions are in our set.
1831          The number of expressions per value is usually significantly
1832          less than the number of expressions in the set.  In fact, for
1833          large testcases, doing it this way is roughly 5-10x faster
1834          than walking the bitmap.
1835          If this is somehow a significant lose for some cases, we can
1836          choose which set to walk based on which set is smaller.  */
1837       unsigned int i;
1838       bitmap_iterator bi;
1839       bitmap_set_t exprset = VEC_index (bitmap_set_t, value_expressions, val);
1840
1841       EXECUTE_IF_AND_IN_BITMAP (exprset->expressions,
1842                                 set->expressions, 0, i, bi)
1843         {
1844           pre_expr val = expression_for_id (i);
1845           /* At the point where stmt is not null, there should always
1846              be an SSA_NAME first in the list of expressions.  */
1847           if (stmt)
1848             {
1849               gimple def_stmt = SSA_NAME_DEF_STMT (PRE_EXPR_NAME (val));
1850               if (gimple_code (def_stmt) != GIMPLE_PHI
1851                   && gimple_bb (def_stmt) == gimple_bb (stmt)
1852                   && gimple_uid (def_stmt) >= gimple_uid (stmt))
1853                 continue;
1854             }
1855           return val;
1856         }
1857     }
1858   return NULL;
1859 }
1860
1861 /* Determine if EXPR, a memory expression, is ANTIC_IN at the top of
1862    BLOCK by seeing if it is not killed in the block.  Note that we are
1863    only determining whether there is a store that kills it.  Because
1864    of the order in which clean iterates over values, we are guaranteed
1865    that altered operands will have caused us to be eliminated from the
1866    ANTIC_IN set already.  */
1867
1868 static bool
1869 value_dies_in_block_x (pre_expr expr, basic_block block)
1870 {
1871   tree vuse = PRE_EXPR_REFERENCE (expr)->vuse;
1872   vn_reference_t refx = PRE_EXPR_REFERENCE (expr);
1873   gimple def;
1874   gimple_stmt_iterator gsi;
1875   unsigned id = get_expression_id (expr);
1876   bool res = false;
1877   ao_ref ref;
1878
1879   if (!vuse)
1880     return false;
1881
1882   /* Lookup a previously calculated result.  */
1883   if (EXPR_DIES (block)
1884       && bitmap_bit_p (EXPR_DIES (block), id * 2))
1885     return bitmap_bit_p (EXPR_DIES (block), id * 2 + 1);
1886
1887   /* A memory expression {e, VUSE} dies in the block if there is a
1888      statement that may clobber e.  If, starting statement walk from the
1889      top of the basic block, a statement uses VUSE there can be no kill
1890      inbetween that use and the original statement that loaded {e, VUSE},
1891      so we can stop walking.  */
1892   ref.base = NULL_TREE;
1893   for (gsi = gsi_start_bb (block); !gsi_end_p (gsi); gsi_next (&gsi))
1894     {
1895       tree def_vuse, def_vdef;
1896       def = gsi_stmt (gsi);
1897       def_vuse = gimple_vuse (def);
1898       def_vdef = gimple_vdef (def);
1899
1900       /* Not a memory statement.  */
1901       if (!def_vuse)
1902         continue;
1903
1904       /* Not a may-def.  */
1905       if (!def_vdef)
1906         {
1907           /* A load with the same VUSE, we're done.  */
1908           if (def_vuse == vuse)
1909             break;
1910
1911           continue;
1912         }
1913
1914       /* Init ref only if we really need it.  */
1915       if (ref.base == NULL_TREE
1916           && !ao_ref_init_from_vn_reference (&ref, refx->set, refx->type,
1917                                              refx->operands))
1918         {
1919           res = true;
1920           break;
1921         }
1922       /* If the statement may clobber expr, it dies.  */
1923       if (stmt_may_clobber_ref_p_1 (def, &ref))
1924         {
1925           res = true;
1926           break;
1927         }
1928     }
1929
1930   /* Remember the result.  */
1931   if (!EXPR_DIES (block))
1932     EXPR_DIES (block) = BITMAP_ALLOC (&grand_bitmap_obstack);
1933   bitmap_set_bit (EXPR_DIES (block), id * 2);
1934   if (res)
1935     bitmap_set_bit (EXPR_DIES (block), id * 2 + 1);
1936
1937   return res;
1938 }
1939
1940
1941 #define union_contains_value(SET1, SET2, VAL)                   \
1942   (bitmap_set_contains_value ((SET1), (VAL))                    \
1943    || ((SET2) && bitmap_set_contains_value ((SET2), (VAL))))
1944
1945 /* Determine if vn_reference_op_t VRO is legal in SET1 U SET2.
1946  */
1947 static bool
1948 vro_valid_in_sets (bitmap_set_t set1, bitmap_set_t set2,
1949                    vn_reference_op_t vro)
1950 {
1951   if (vro->op0 && TREE_CODE (vro->op0) == SSA_NAME)
1952     {
1953       struct pre_expr_d temp;
1954       temp.kind = NAME;
1955       temp.id = 0;
1956       PRE_EXPR_NAME (&temp) = vro->op0;
1957       temp.id = lookup_expression_id (&temp);
1958       if (temp.id == 0)
1959         return false;
1960       if (!union_contains_value (set1, set2,
1961                                  get_expr_value_id (&temp)))
1962         return false;
1963     }
1964   if (vro->op1 && TREE_CODE (vro->op1) == SSA_NAME)
1965     {
1966       struct pre_expr_d temp;
1967       temp.kind = NAME;
1968       temp.id = 0;
1969       PRE_EXPR_NAME (&temp) = vro->op1;
1970       temp.id = lookup_expression_id (&temp);
1971       if (temp.id == 0)
1972         return false;
1973       if (!union_contains_value (set1, set2,
1974                                  get_expr_value_id (&temp)))
1975         return false;
1976     }
1977
1978   if (vro->op2 && TREE_CODE (vro->op2) == SSA_NAME)
1979     {
1980       struct pre_expr_d temp;
1981       temp.kind = NAME;
1982       temp.id = 0;
1983       PRE_EXPR_NAME (&temp) = vro->op2;
1984       temp.id = lookup_expression_id (&temp);
1985       if (temp.id == 0)
1986         return false;
1987       if (!union_contains_value (set1, set2,
1988                                  get_expr_value_id (&temp)))
1989         return false;
1990     }
1991
1992   return true;
1993 }
1994
1995 /* Determine if the expression EXPR is valid in SET1 U SET2.
1996    ONLY SET2 CAN BE NULL.
1997    This means that we have a leader for each part of the expression
1998    (if it consists of values), or the expression is an SSA_NAME.
1999    For loads/calls, we also see if the vuse is killed in this block.
2000 */
2001
2002 static bool
2003 valid_in_sets (bitmap_set_t set1, bitmap_set_t set2, pre_expr expr,
2004                basic_block block)
2005 {
2006   switch (expr->kind)
2007     {
2008     case NAME:
2009       return bitmap_set_contains_expr (AVAIL_OUT (block), expr);
2010     case NARY:
2011       {
2012         unsigned int i;
2013         vn_nary_op_t nary = PRE_EXPR_NARY (expr);
2014         for (i = 0; i < nary->length; i++)
2015           {
2016             if (TREE_CODE (nary->op[i]) == SSA_NAME)
2017               {
2018                 struct pre_expr_d temp;
2019                 temp.kind = NAME;
2020                 temp.id = 0;
2021                 PRE_EXPR_NAME (&temp) = nary->op[i];
2022                 temp.id = lookup_expression_id (&temp);
2023                 if (temp.id == 0)
2024                   return false;
2025                 if (!union_contains_value (set1, set2,
2026                                            get_expr_value_id (&temp)))
2027                   return false;
2028               }
2029           }
2030         return true;
2031       }
2032       break;
2033     case REFERENCE:
2034       {
2035         vn_reference_t ref = PRE_EXPR_REFERENCE (expr);
2036         vn_reference_op_t vro;
2037         unsigned int i;
2038
2039         for (i = 0; VEC_iterate (vn_reference_op_s, ref->operands, i, vro); i++)
2040           {
2041             if (!vro_valid_in_sets (set1, set2, vro))
2042               return false;
2043           }
2044         if (ref->vuse)
2045           {
2046             gimple def_stmt = SSA_NAME_DEF_STMT (ref->vuse);
2047             if (!gimple_nop_p (def_stmt)
2048                 && gimple_bb (def_stmt) != block
2049                 && !dominated_by_p (CDI_DOMINATORS,
2050                                     block, gimple_bb (def_stmt)))
2051               return false;
2052           }
2053         return !value_dies_in_block_x (expr, block);
2054       }
2055     default:
2056       gcc_unreachable ();
2057     }
2058 }
2059
2060 /* Clean the set of expressions that are no longer valid in SET1 or
2061    SET2.  This means expressions that are made up of values we have no
2062    leaders for in SET1 or SET2.  This version is used for partial
2063    anticipation, which means it is not valid in either ANTIC_IN or
2064    PA_IN.  */
2065
2066 static void
2067 dependent_clean (bitmap_set_t set1, bitmap_set_t set2, basic_block block)
2068 {
2069   VEC (pre_expr, heap) *exprs = sorted_array_from_bitmap_set (set1);
2070   pre_expr expr;
2071   int i;
2072
2073   for (i = 0; VEC_iterate (pre_expr, exprs, i, expr); i++)
2074     {
2075       if (!valid_in_sets (set1, set2, expr, block))
2076         bitmap_remove_from_set (set1, expr);
2077     }
2078   VEC_free (pre_expr, heap, exprs);
2079 }
2080
2081 /* Clean the set of expressions that are no longer valid in SET.  This
2082    means expressions that are made up of values we have no leaders for
2083    in SET.  */
2084
2085 static void
2086 clean (bitmap_set_t set, basic_block block)
2087 {
2088   VEC (pre_expr, heap) *exprs = sorted_array_from_bitmap_set (set);
2089   pre_expr expr;
2090   int i;
2091
2092   for (i = 0; VEC_iterate (pre_expr, exprs, i, expr); i++)
2093     {
2094       if (!valid_in_sets (set, NULL, expr, block))
2095         bitmap_remove_from_set (set, expr);
2096     }
2097   VEC_free (pre_expr, heap, exprs);
2098 }
2099
2100 static sbitmap has_abnormal_preds;
2101
2102 /* List of blocks that may have changed during ANTIC computation and
2103    thus need to be iterated over.  */
2104
2105 static sbitmap changed_blocks;
2106
2107 /* Decide whether to defer a block for a later iteration, or PHI
2108    translate SOURCE to DEST using phis in PHIBLOCK.  Return false if we
2109    should defer the block, and true if we processed it.  */
2110
2111 static bool
2112 defer_or_phi_translate_block (bitmap_set_t dest, bitmap_set_t source,
2113                               basic_block block, basic_block phiblock)
2114 {
2115   if (!BB_VISITED (phiblock))
2116     {
2117       SET_BIT (changed_blocks, block->index);
2118       BB_VISITED (block) = 0;
2119       BB_DEFERRED (block) = 1;
2120       return false;
2121     }
2122   else
2123     phi_translate_set (dest, source, block, phiblock);
2124   return true;
2125 }
2126
2127 /* Compute the ANTIC set for BLOCK.
2128
2129    If succs(BLOCK) > 1 then
2130      ANTIC_OUT[BLOCK] = intersection of ANTIC_IN[b] for all succ(BLOCK)
2131    else if succs(BLOCK) == 1 then
2132      ANTIC_OUT[BLOCK] = phi_translate (ANTIC_IN[succ(BLOCK)])
2133
2134    ANTIC_IN[BLOCK] = clean(ANTIC_OUT[BLOCK] U EXP_GEN[BLOCK] - TMP_GEN[BLOCK])
2135 */
2136
2137 static bool
2138 compute_antic_aux (basic_block block, bool block_has_abnormal_pred_edge)
2139 {
2140   bool changed = false;
2141   bitmap_set_t S, old, ANTIC_OUT;
2142   bitmap_iterator bi;
2143   unsigned int bii;
2144   edge e;
2145   edge_iterator ei;
2146
2147   old = ANTIC_OUT = S = NULL;
2148   BB_VISITED (block) = 1;
2149
2150   /* If any edges from predecessors are abnormal, antic_in is empty,
2151      so do nothing.  */
2152   if (block_has_abnormal_pred_edge)
2153     goto maybe_dump_sets;
2154
2155   old = ANTIC_IN (block);
2156   ANTIC_OUT = bitmap_set_new ();
2157
2158   /* If the block has no successors, ANTIC_OUT is empty.  */
2159   if (EDGE_COUNT (block->succs) == 0)
2160     ;
2161   /* If we have one successor, we could have some phi nodes to
2162      translate through.  */
2163   else if (single_succ_p (block))
2164     {
2165       basic_block succ_bb = single_succ (block);
2166
2167       /* We trade iterations of the dataflow equations for having to
2168          phi translate the maximal set, which is incredibly slow
2169          (since the maximal set often has 300+ members, even when you
2170          have a small number of blocks).
2171          Basically, we defer the computation of ANTIC for this block
2172          until we have processed it's successor, which will inevitably
2173          have a *much* smaller set of values to phi translate once
2174          clean has been run on it.
2175          The cost of doing this is that we technically perform more
2176          iterations, however, they are lower cost iterations.
2177
2178          Timings for PRE on tramp3d-v4:
2179          without maximal set fix: 11 seconds
2180          with maximal set fix/without deferring: 26 seconds
2181          with maximal set fix/with deferring: 11 seconds
2182      */
2183
2184       if (!defer_or_phi_translate_block (ANTIC_OUT, ANTIC_IN (succ_bb),
2185                                         block, succ_bb))
2186         {
2187           changed = true;
2188           goto maybe_dump_sets;
2189         }
2190     }
2191   /* If we have multiple successors, we take the intersection of all of
2192      them.  Note that in the case of loop exit phi nodes, we may have
2193      phis to translate through.  */
2194   else
2195     {
2196       VEC(basic_block, heap) * worklist;
2197       size_t i;
2198       basic_block bprime, first;
2199
2200       worklist = VEC_alloc (basic_block, heap, EDGE_COUNT (block->succs));
2201       FOR_EACH_EDGE (e, ei, block->succs)
2202         VEC_quick_push (basic_block, worklist, e->dest);
2203       first = VEC_index (basic_block, worklist, 0);
2204
2205       if (phi_nodes (first))
2206         {
2207           bitmap_set_t from = ANTIC_IN (first);
2208
2209           if (!BB_VISITED (first))
2210             from = maximal_set;
2211           phi_translate_set (ANTIC_OUT, from, block, first);
2212         }
2213       else
2214         {
2215           if (!BB_VISITED (first))
2216             bitmap_set_copy (ANTIC_OUT, maximal_set);
2217           else
2218             bitmap_set_copy (ANTIC_OUT, ANTIC_IN (first));
2219         }
2220
2221       for (i = 1; VEC_iterate (basic_block, worklist, i, bprime); i++)
2222         {
2223           if (phi_nodes (bprime))
2224             {
2225               bitmap_set_t tmp = bitmap_set_new ();
2226               bitmap_set_t from = ANTIC_IN (bprime);
2227
2228               if (!BB_VISITED (bprime))
2229                 from = maximal_set;
2230               phi_translate_set (tmp, from, block, bprime);
2231               bitmap_set_and (ANTIC_OUT, tmp);
2232               bitmap_set_free (tmp);
2233             }
2234           else
2235             {
2236               if (!BB_VISITED (bprime))
2237                 bitmap_set_and (ANTIC_OUT, maximal_set);
2238               else
2239                 bitmap_set_and (ANTIC_OUT, ANTIC_IN (bprime));
2240             }
2241         }
2242       VEC_free (basic_block, heap, worklist);
2243     }
2244
2245   /* Generate ANTIC_OUT - TMP_GEN.  */
2246   S = bitmap_set_subtract (ANTIC_OUT, TMP_GEN (block));
2247
2248   /* Start ANTIC_IN with EXP_GEN - TMP_GEN.  */
2249   ANTIC_IN (block) = bitmap_set_subtract (EXP_GEN (block),
2250                                           TMP_GEN (block));
2251
2252   /* Then union in the ANTIC_OUT - TMP_GEN values,
2253      to get ANTIC_OUT U EXP_GEN - TMP_GEN */
2254   FOR_EACH_EXPR_ID_IN_SET (S, bii, bi)
2255     bitmap_value_insert_into_set (ANTIC_IN (block),
2256                                   expression_for_id (bii));
2257
2258   clean (ANTIC_IN (block), block);
2259
2260   /* !old->expressions can happen when we deferred a block.  */
2261   if (!old->expressions || !bitmap_set_equal (old, ANTIC_IN (block)))
2262     {
2263       changed = true;
2264       SET_BIT (changed_blocks, block->index);
2265       FOR_EACH_EDGE (e, ei, block->preds)
2266         SET_BIT (changed_blocks, e->src->index);
2267     }
2268   else
2269     RESET_BIT (changed_blocks, block->index);
2270
2271  maybe_dump_sets:
2272   if (dump_file && (dump_flags & TDF_DETAILS))
2273     {
2274       if (!BB_DEFERRED (block) || BB_VISITED (block))
2275         {
2276           if (ANTIC_OUT)
2277             print_bitmap_set (dump_file, ANTIC_OUT, "ANTIC_OUT", block->index);
2278
2279           print_bitmap_set (dump_file, ANTIC_IN (block), "ANTIC_IN",
2280                             block->index);
2281
2282           if (S)
2283             print_bitmap_set (dump_file, S, "S", block->index);
2284         }
2285       else
2286         {
2287           fprintf (dump_file,
2288                    "Block %d was deferred for a future iteration.\n",
2289                    block->index);
2290         }
2291     }
2292   if (old)
2293     bitmap_set_free (old);
2294   if (S)
2295     bitmap_set_free (S);
2296   if (ANTIC_OUT)
2297     bitmap_set_free (ANTIC_OUT);
2298   return changed;
2299 }
2300
2301 /* Compute PARTIAL_ANTIC for BLOCK.
2302
2303    If succs(BLOCK) > 1 then
2304      PA_OUT[BLOCK] = value wise union of PA_IN[b] + all ANTIC_IN not
2305      in ANTIC_OUT for all succ(BLOCK)
2306    else if succs(BLOCK) == 1 then
2307      PA_OUT[BLOCK] = phi_translate (PA_IN[succ(BLOCK)])
2308
2309    PA_IN[BLOCK] = dependent_clean(PA_OUT[BLOCK] - TMP_GEN[BLOCK]
2310                                   - ANTIC_IN[BLOCK])
2311
2312 */
2313 static bool
2314 compute_partial_antic_aux (basic_block block,
2315                            bool block_has_abnormal_pred_edge)
2316 {
2317   bool changed = false;
2318   bitmap_set_t old_PA_IN;
2319   bitmap_set_t PA_OUT;
2320   edge e;
2321   edge_iterator ei;
2322   unsigned long max_pa = PARAM_VALUE (PARAM_MAX_PARTIAL_ANTIC_LENGTH);
2323
2324   old_PA_IN = PA_OUT = NULL;
2325
2326   /* If any edges from predecessors are abnormal, antic_in is empty,
2327      so do nothing.  */
2328   if (block_has_abnormal_pred_edge)
2329     goto maybe_dump_sets;
2330
2331   /* If there are too many partially anticipatable values in the
2332      block, phi_translate_set can take an exponential time: stop
2333      before the translation starts.  */
2334   if (max_pa
2335       && single_succ_p (block)
2336       && bitmap_count_bits (PA_IN (single_succ (block))->values) > max_pa)
2337     goto maybe_dump_sets;
2338
2339   old_PA_IN = PA_IN (block);
2340   PA_OUT = bitmap_set_new ();
2341
2342   /* If the block has no successors, ANTIC_OUT is empty.  */
2343   if (EDGE_COUNT (block->succs) == 0)
2344     ;
2345   /* If we have one successor, we could have some phi nodes to
2346      translate through.  Note that we can't phi translate across DFS
2347      back edges in partial antic, because it uses a union operation on
2348      the successors.  For recurrences like IV's, we will end up
2349      generating a new value in the set on each go around (i + 3 (VH.1)
2350      VH.1 + 1 (VH.2), VH.2 + 1 (VH.3), etc), forever.  */
2351   else if (single_succ_p (block))
2352     {
2353       basic_block succ = single_succ (block);
2354       if (!(single_succ_edge (block)->flags & EDGE_DFS_BACK))
2355         phi_translate_set (PA_OUT, PA_IN (succ), block, succ);
2356     }
2357   /* If we have multiple successors, we take the union of all of
2358      them.  */
2359   else
2360     {
2361       VEC(basic_block, heap) * worklist;
2362       size_t i;
2363       basic_block bprime;
2364
2365       worklist = VEC_alloc (basic_block, heap, EDGE_COUNT (block->succs));
2366       FOR_EACH_EDGE (e, ei, block->succs)
2367         {
2368           if (e->flags & EDGE_DFS_BACK)
2369             continue;
2370           VEC_quick_push (basic_block, worklist, e->dest);
2371         }
2372       if (VEC_length (basic_block, worklist) > 0)
2373         {
2374           for (i = 0; VEC_iterate (basic_block, worklist, i, bprime); i++)
2375             {
2376               unsigned int i;
2377               bitmap_iterator bi;
2378
2379               FOR_EACH_EXPR_ID_IN_SET (ANTIC_IN (bprime), i, bi)
2380                 bitmap_value_insert_into_set (PA_OUT,
2381                                               expression_for_id (i));
2382               if (phi_nodes (bprime))
2383                 {
2384                   bitmap_set_t pa_in = bitmap_set_new ();
2385                   phi_translate_set (pa_in, PA_IN (bprime), block, bprime);
2386                   FOR_EACH_EXPR_ID_IN_SET (pa_in, i, bi)
2387                     bitmap_value_insert_into_set (PA_OUT,
2388                                                   expression_for_id (i));
2389                   bitmap_set_free (pa_in);
2390                 }
2391               else
2392                 FOR_EACH_EXPR_ID_IN_SET (PA_IN (bprime), i, bi)
2393                   bitmap_value_insert_into_set (PA_OUT,
2394                                                 expression_for_id (i));
2395             }
2396         }
2397       VEC_free (basic_block, heap, worklist);
2398     }
2399
2400   /* PA_IN starts with PA_OUT - TMP_GEN.
2401      Then we subtract things from ANTIC_IN.  */
2402   PA_IN (block) = bitmap_set_subtract (PA_OUT, TMP_GEN (block));
2403
2404   /* For partial antic, we want to put back in the phi results, since
2405      we will properly avoid making them partially antic over backedges.  */
2406   bitmap_ior_into (PA_IN (block)->values, PHI_GEN (block)->values);
2407   bitmap_ior_into (PA_IN (block)->expressions, PHI_GEN (block)->expressions);
2408
2409   /* PA_IN[block] = PA_IN[block] - ANTIC_IN[block] */
2410   bitmap_set_subtract_values (PA_IN (block), ANTIC_IN (block));
2411
2412   dependent_clean (PA_IN (block), ANTIC_IN (block), block);
2413
2414   if (!bitmap_set_equal (old_PA_IN, PA_IN (block)))
2415     {
2416       changed = true;
2417       SET_BIT (changed_blocks, block->index);
2418       FOR_EACH_EDGE (e, ei, block->preds)
2419         SET_BIT (changed_blocks, e->src->index);
2420     }
2421   else
2422     RESET_BIT (changed_blocks, block->index);
2423
2424  maybe_dump_sets:
2425   if (dump_file && (dump_flags & TDF_DETAILS))
2426     {
2427       if (PA_OUT)
2428         print_bitmap_set (dump_file, PA_OUT, "PA_OUT", block->index);
2429
2430       print_bitmap_set (dump_file, PA_IN (block), "PA_IN", block->index);
2431     }
2432   if (old_PA_IN)
2433     bitmap_set_free (old_PA_IN);
2434   if (PA_OUT)
2435     bitmap_set_free (PA_OUT);
2436   return changed;
2437 }
2438
2439 /* Compute ANTIC and partial ANTIC sets.  */
2440
2441 static void
2442 compute_antic (void)
2443 {
2444   bool changed = true;
2445   int num_iterations = 0;
2446   basic_block block;
2447   int i;
2448
2449   /* If any predecessor edges are abnormal, we punt, so antic_in is empty.
2450      We pre-build the map of blocks with incoming abnormal edges here.  */
2451   has_abnormal_preds = sbitmap_alloc (last_basic_block);
2452   sbitmap_zero (has_abnormal_preds);
2453
2454   FOR_EACH_BB (block)
2455     {
2456       edge_iterator ei;
2457       edge e;
2458
2459       FOR_EACH_EDGE (e, ei, block->preds)
2460         {
2461           e->flags &= ~EDGE_DFS_BACK;
2462           if (e->flags & EDGE_ABNORMAL)
2463             {
2464               SET_BIT (has_abnormal_preds, block->index);
2465               break;
2466             }
2467         }
2468
2469       BB_VISITED (block) = 0;
2470       BB_DEFERRED (block) = 0;
2471       /* While we are here, give empty ANTIC_IN sets to each block.  */
2472       ANTIC_IN (block) = bitmap_set_new ();
2473       PA_IN (block) = bitmap_set_new ();
2474     }
2475
2476   /* At the exit block we anticipate nothing.  */
2477   ANTIC_IN (EXIT_BLOCK_PTR) = bitmap_set_new ();
2478   BB_VISITED (EXIT_BLOCK_PTR) = 1;
2479   PA_IN (EXIT_BLOCK_PTR) = bitmap_set_new ();
2480
2481   changed_blocks = sbitmap_alloc (last_basic_block + 1);
2482   sbitmap_ones (changed_blocks);
2483   while (changed)
2484     {
2485       if (dump_file && (dump_flags & TDF_DETAILS))
2486         fprintf (dump_file, "Starting iteration %d\n", num_iterations);
2487       num_iterations++;
2488       changed = false;
2489       for (i = 0; i < n_basic_blocks - NUM_FIXED_BLOCKS; i++)
2490         {
2491           if (TEST_BIT (changed_blocks, postorder[i]))
2492             {
2493               basic_block block = BASIC_BLOCK (postorder[i]);
2494               changed |= compute_antic_aux (block,
2495                                             TEST_BIT (has_abnormal_preds,
2496                                                       block->index));
2497             }
2498         }
2499 #ifdef ENABLE_CHECKING
2500       /* Theoretically possible, but *highly* unlikely.  */
2501       gcc_assert (num_iterations < 500);
2502 #endif
2503     }
2504
2505   statistics_histogram_event (cfun, "compute_antic iterations",
2506                               num_iterations);
2507
2508   if (do_partial_partial)
2509     {
2510       sbitmap_ones (changed_blocks);
2511       mark_dfs_back_edges ();
2512       num_iterations = 0;
2513       changed = true;
2514       while (changed)
2515         {
2516           if (dump_file && (dump_flags & TDF_DETAILS))
2517             fprintf (dump_file, "Starting iteration %d\n", num_iterations);
2518           num_iterations++;
2519           changed = false;
2520           for (i = 0; i < n_basic_blocks - NUM_FIXED_BLOCKS; i++)
2521             {
2522               if (TEST_BIT (changed_blocks, postorder[i]))
2523                 {
2524                   basic_block block = BASIC_BLOCK (postorder[i]);
2525                   changed
2526                     |= compute_partial_antic_aux (block,
2527                                                   TEST_BIT (has_abnormal_preds,
2528                                                             block->index));
2529                 }
2530             }
2531 #ifdef ENABLE_CHECKING
2532           /* Theoretically possible, but *highly* unlikely.  */
2533           gcc_assert (num_iterations < 500);
2534 #endif
2535         }
2536       statistics_histogram_event (cfun, "compute_partial_antic iterations",
2537                                   num_iterations);
2538     }
2539   sbitmap_free (has_abnormal_preds);
2540   sbitmap_free (changed_blocks);
2541 }
2542
2543 /* Return true if we can value number the call in STMT.  This is true
2544    if we have a pure or constant call.  */
2545
2546 static bool
2547 can_value_number_call (gimple stmt)
2548 {
2549   if (gimple_call_flags (stmt) & (ECF_PURE | ECF_CONST))
2550     return true;
2551   return false;
2552 }
2553
2554 /* Return true if OP is an exception handler related operation, such as
2555    FILTER_EXPR or EXC_PTR_EXPR.  */
2556
2557 static bool
2558 is_exception_related (gimple stmt)
2559 {
2560   return (is_gimple_assign (stmt)
2561           && (gimple_assign_rhs_code (stmt) == FILTER_EXPR
2562               || gimple_assign_rhs_code (stmt) == EXC_PTR_EXPR));
2563 }
2564
2565 /* Return true if OP is a tree which we can perform PRE on.
2566    This may not match the operations we can value number, but in
2567    a perfect world would.  */
2568
2569 static bool
2570 can_PRE_operation (tree op)
2571 {
2572   return UNARY_CLASS_P (op)
2573     || BINARY_CLASS_P (op)
2574     || COMPARISON_CLASS_P (op)
2575     || TREE_CODE (op) == INDIRECT_REF
2576     || TREE_CODE (op) == COMPONENT_REF
2577     || TREE_CODE (op) == VIEW_CONVERT_EXPR
2578     || TREE_CODE (op) == CALL_EXPR
2579     || TREE_CODE (op) == ARRAY_REF;
2580 }
2581
2582
2583 /* Inserted expressions are placed onto this worklist, which is used
2584    for performing quick dead code elimination of insertions we made
2585    that didn't turn out to be necessary.   */
2586 static VEC(gimple,heap) *inserted_exprs;
2587 static bitmap inserted_phi_names;
2588
2589 /* Pool allocated fake store expressions are placed onto this
2590    worklist, which, after performing dead code elimination, is walked
2591    to see which expressions need to be put into GC'able memory  */
2592 static VEC(gimple, heap) *need_creation;
2593
2594 /* The actual worker for create_component_ref_by_pieces.  */
2595
2596 static tree
2597 create_component_ref_by_pieces_1 (basic_block block, vn_reference_t ref,
2598                                   unsigned int *operand, gimple_seq *stmts,
2599                                   gimple domstmt)
2600 {
2601   vn_reference_op_t currop = VEC_index (vn_reference_op_s, ref->operands,
2602                                         *operand);
2603   tree genop;
2604   ++*operand;
2605   switch (currop->opcode)
2606     {
2607     case CALL_EXPR:
2608       {
2609         tree folded, sc = currop->op1;
2610         unsigned int nargs = 0;
2611         tree *args = XNEWVEC (tree, VEC_length (vn_reference_op_s,
2612                                                 ref->operands) - 1);
2613         while (*operand < VEC_length (vn_reference_op_s, ref->operands))
2614           {
2615             args[nargs] = create_component_ref_by_pieces_1 (block, ref,
2616                                                             operand, stmts,
2617                                                             domstmt);
2618             nargs++;
2619           }
2620         folded = build_call_array (currop->type,
2621                                    TREE_CODE (currop->op0) == FUNCTION_DECL
2622                                    ? build_fold_addr_expr (currop->op0)
2623                                    : currop->op0,
2624                                    nargs, args);
2625         free (args);
2626         if (sc)
2627           {
2628             pre_expr scexpr = get_or_alloc_expr_for (sc);
2629             sc = find_or_generate_expression (block, scexpr, stmts, domstmt);
2630             if (!sc)
2631               return NULL_TREE;
2632             CALL_EXPR_STATIC_CHAIN (folded) = sc;
2633           }
2634         return folded;
2635       }
2636       break;
2637     case TARGET_MEM_REF:
2638       {
2639         vn_reference_op_t nextop = VEC_index (vn_reference_op_s, ref->operands,
2640                                               *operand);
2641         pre_expr op0expr;
2642         tree genop0 = NULL_TREE;
2643         tree baseop = create_component_ref_by_pieces_1 (block, ref, operand,
2644                                                         stmts, domstmt);
2645         if (!baseop)
2646           return NULL_TREE;
2647         if (currop->op0)
2648           {
2649             op0expr = get_or_alloc_expr_for (currop->op0);
2650             genop0 = find_or_generate_expression (block, op0expr,
2651                                                   stmts, domstmt);
2652             if (!genop0)
2653               return NULL_TREE;
2654           }
2655         if (DECL_P (baseop))
2656           return build6 (TARGET_MEM_REF, currop->type,
2657                          baseop, NULL_TREE,
2658                          genop0, currop->op1, currop->op2,
2659                          unshare_expr (nextop->op1));
2660         else
2661           return build6 (TARGET_MEM_REF, currop->type,
2662                          NULL_TREE, baseop,
2663                          genop0, currop->op1, currop->op2,
2664                          unshare_expr (nextop->op1));
2665       }
2666       break;
2667     case ADDR_EXPR:
2668       if (currop->op0)
2669         {
2670           gcc_assert (is_gimple_min_invariant (currop->op0));
2671           return currop->op0;
2672         }
2673       /* Fallthrough.  */
2674     case REALPART_EXPR:
2675     case IMAGPART_EXPR:
2676     case VIEW_CONVERT_EXPR:
2677       {
2678         tree folded;
2679         tree genop0 = create_component_ref_by_pieces_1 (block, ref,
2680                                                         operand,
2681                                                         stmts, domstmt);
2682         if (!genop0)
2683           return NULL_TREE;
2684         folded = fold_build1 (currop->opcode, currop->type,
2685                               genop0);
2686         return folded;
2687       }
2688       break;
2689     case ALIGN_INDIRECT_REF:
2690     case MISALIGNED_INDIRECT_REF:
2691     case INDIRECT_REF:
2692       {
2693         tree folded;
2694         tree genop1 = create_component_ref_by_pieces_1 (block, ref,
2695                                                         operand,
2696                                                         stmts, domstmt);
2697         if (!genop1)
2698           return NULL_TREE;
2699         genop1 = fold_convert (build_pointer_type (currop->type),
2700                                genop1);
2701
2702         if (currop->opcode == MISALIGNED_INDIRECT_REF)
2703           folded = fold_build2 (currop->opcode, currop->type,
2704                                 genop1, currop->op1);
2705         else
2706           folded = fold_build1 (currop->opcode, currop->type,
2707                                 genop1);
2708         return folded;
2709       }
2710       break;
2711     case BIT_FIELD_REF:
2712       {
2713         tree folded;
2714         tree genop0 = create_component_ref_by_pieces_1 (block, ref, operand,
2715                                                         stmts, domstmt);
2716         pre_expr op1expr = get_or_alloc_expr_for (currop->op0);
2717         pre_expr op2expr = get_or_alloc_expr_for (currop->op1);
2718         tree genop1;
2719         tree genop2;
2720
2721         if (!genop0)
2722           return NULL_TREE;
2723         genop1 = find_or_generate_expression (block, op1expr, stmts, domstmt);
2724         if (!genop1)
2725           return NULL_TREE;
2726         genop2 = find_or_generate_expression (block, op2expr, stmts, domstmt);
2727         if (!genop2)
2728           return NULL_TREE;
2729         folded = fold_build3 (BIT_FIELD_REF, currop->type, genop0, genop1,
2730                               genop2);
2731         return folded;
2732       }
2733
2734       /* For array ref vn_reference_op's, operand 1 of the array ref
2735          is op0 of the reference op and operand 3 of the array ref is
2736          op1.  */
2737     case ARRAY_RANGE_REF:
2738     case ARRAY_REF:
2739       {
2740         tree genop0;
2741         tree genop1 = currop->op0;
2742         pre_expr op1expr;
2743         tree genop2 = currop->op1;
2744         pre_expr op2expr;
2745         tree genop3;
2746         genop0 = create_component_ref_by_pieces_1 (block, ref, operand,
2747                                                    stmts, domstmt);
2748         if (!genop0)
2749           return NULL_TREE;
2750         op1expr = get_or_alloc_expr_for (genop1);
2751         genop1 = find_or_generate_expression (block, op1expr, stmts, domstmt);
2752         if (!genop1)
2753           return NULL_TREE;
2754         if (genop2)
2755           {
2756             op2expr = get_or_alloc_expr_for (genop2);
2757             genop2 = find_or_generate_expression (block, op2expr, stmts,
2758                                                   domstmt);
2759             if (!genop2)
2760               return NULL_TREE;
2761           }
2762
2763         genop3 = currop->op2;
2764         return build4 (currop->opcode, currop->type, genop0, genop1,
2765                        genop2, genop3);
2766       }
2767     case COMPONENT_REF:
2768       {
2769         tree op0;
2770         tree op1;
2771         tree genop2 = currop->op1;
2772         pre_expr op2expr;
2773         op0 = create_component_ref_by_pieces_1 (block, ref, operand,
2774                                                 stmts, domstmt);
2775         if (!op0)
2776           return NULL_TREE;
2777         /* op1 should be a FIELD_DECL, which are represented by
2778            themselves.  */
2779         op1 = currop->op0;
2780         if (genop2)
2781           {
2782             op2expr = get_or_alloc_expr_for (genop2);
2783             genop2 = find_or_generate_expression (block, op2expr, stmts,
2784                                                   domstmt);
2785             if (!genop2)
2786               return NULL_TREE;
2787           }
2788
2789         return fold_build3 (COMPONENT_REF, TREE_TYPE (op1), op0, op1,
2790                             genop2);
2791       }
2792       break;
2793     case SSA_NAME:
2794       {
2795         pre_expr op0expr = get_or_alloc_expr_for (currop->op0);
2796         genop = find_or_generate_expression (block, op0expr, stmts, domstmt);
2797         return genop;
2798       }
2799     case STRING_CST:
2800     case INTEGER_CST:
2801     case COMPLEX_CST:
2802     case VECTOR_CST:
2803     case REAL_CST:
2804     case CONSTRUCTOR:
2805     case VAR_DECL:
2806     case PARM_DECL:
2807     case CONST_DECL:
2808     case RESULT_DECL:
2809     case FUNCTION_DECL:
2810       return currop->op0;
2811
2812     default:
2813       gcc_unreachable ();
2814     }
2815 }
2816
2817 /* For COMPONENT_REF's and ARRAY_REF's, we can't have any intermediates for the
2818    COMPONENT_REF or INDIRECT_REF or ARRAY_REF portion, because we'd end up with
2819    trying to rename aggregates into ssa form directly, which is a no no.
2820
2821    Thus, this routine doesn't create temporaries, it just builds a
2822    single access expression for the array, calling
2823    find_or_generate_expression to build the innermost pieces.
2824
2825    This function is a subroutine of create_expression_by_pieces, and
2826    should not be called on it's own unless you really know what you
2827    are doing.  */
2828
2829 static tree
2830 create_component_ref_by_pieces (basic_block block, vn_reference_t ref,
2831                                 gimple_seq *stmts, gimple domstmt)
2832 {
2833   unsigned int op = 0;
2834   return create_component_ref_by_pieces_1 (block, ref, &op, stmts, domstmt);
2835 }
2836
2837 /* Find a leader for an expression, or generate one using
2838    create_expression_by_pieces if it's ANTIC but
2839    complex.
2840    BLOCK is the basic_block we are looking for leaders in.
2841    EXPR is the expression to find a leader or generate for.
2842    STMTS is the statement list to put the inserted expressions on.
2843    Returns the SSA_NAME of the LHS of the generated expression or the
2844    leader.
2845    DOMSTMT if non-NULL is a statement that should be dominated by
2846    all uses in the generated expression.  If DOMSTMT is non-NULL this
2847    routine can fail and return NULL_TREE.  Otherwise it will assert
2848    on failure.  */
2849
2850 static tree
2851 find_or_generate_expression (basic_block block, pre_expr expr,
2852                              gimple_seq *stmts, gimple domstmt)
2853 {
2854   pre_expr leader = bitmap_find_leader (AVAIL_OUT (block),
2855                                         get_expr_value_id (expr), domstmt);
2856   tree genop = NULL;
2857   if (leader)
2858     {
2859       if (leader->kind == NAME)
2860         genop = PRE_EXPR_NAME (leader);
2861       else if (leader->kind == CONSTANT)
2862         genop = PRE_EXPR_CONSTANT (leader);
2863     }
2864
2865   /* If it's still NULL, it must be a complex expression, so generate
2866      it recursively.  Not so for FRE though.  */
2867   if (genop == NULL
2868       && !in_fre)
2869     {
2870       bitmap_set_t exprset;
2871       unsigned int lookfor = get_expr_value_id (expr);
2872       bool handled = false;
2873       bitmap_iterator bi;
2874       unsigned int i;
2875
2876       exprset = VEC_index (bitmap_set_t, value_expressions, lookfor);
2877       FOR_EACH_EXPR_ID_IN_SET (exprset, i, bi)
2878         {
2879           pre_expr temp = expression_for_id (i);
2880           if (temp->kind != NAME)
2881             {
2882               handled = true;
2883               genop = create_expression_by_pieces (block, temp, stmts,
2884                                                    domstmt,
2885                                                    get_expr_type (expr));
2886               break;
2887             }
2888         }
2889       if (!handled && domstmt)
2890         return NULL_TREE;
2891
2892       gcc_assert (handled);
2893     }
2894   return genop;
2895 }
2896
2897 #define NECESSARY GF_PLF_1
2898
2899 /* Create an expression in pieces, so that we can handle very complex
2900    expressions that may be ANTIC, but not necessary GIMPLE.
2901    BLOCK is the basic block the expression will be inserted into,
2902    EXPR is the expression to insert (in value form)
2903    STMTS is a statement list to append the necessary insertions into.
2904
2905    This function will die if we hit some value that shouldn't be
2906    ANTIC but is (IE there is no leader for it, or its components).
2907    This function may also generate expressions that are themselves
2908    partially or fully redundant.  Those that are will be either made
2909    fully redundant during the next iteration of insert (for partially
2910    redundant ones), or eliminated by eliminate (for fully redundant
2911    ones).
2912
2913    If DOMSTMT is non-NULL then we make sure that all uses in the
2914    expressions dominate that statement.  In this case the function
2915    can return NULL_TREE to signal failure.  */
2916
2917 static tree
2918 create_expression_by_pieces (basic_block block, pre_expr expr,
2919                              gimple_seq *stmts, gimple domstmt, tree type)
2920 {
2921   tree temp, name;
2922   tree folded;
2923   gimple_seq forced_stmts = NULL;
2924   unsigned int value_id;
2925   gimple_stmt_iterator gsi;
2926   tree exprtype = type ? type : get_expr_type (expr);
2927   pre_expr nameexpr;
2928   gimple newstmt;
2929
2930   switch (expr->kind)
2931     {
2932       /* We may hit the NAME/CONSTANT case if we have to convert types
2933          that value numbering saw through.  */
2934     case NAME:
2935       folded = PRE_EXPR_NAME (expr);
2936       break;
2937     case CONSTANT:
2938       folded = PRE_EXPR_CONSTANT (expr);
2939       break;
2940     case REFERENCE:
2941       {
2942         vn_reference_t ref = PRE_EXPR_REFERENCE (expr);
2943         folded = create_component_ref_by_pieces (block, ref, stmts, domstmt);
2944       }
2945       break;
2946     case NARY:
2947       {
2948         vn_nary_op_t nary = PRE_EXPR_NARY (expr);
2949         switch (nary->length)
2950           {
2951           case 2:
2952             {
2953               pre_expr op1 = get_or_alloc_expr_for (nary->op[0]);
2954               pre_expr op2 = get_or_alloc_expr_for (nary->op[1]);
2955               tree genop1 = find_or_generate_expression (block, op1,
2956                                                          stmts, domstmt);
2957               tree genop2 = find_or_generate_expression (block, op2,
2958                                                          stmts, domstmt);
2959               if (!genop1 || !genop2)
2960                 return NULL_TREE;
2961               genop1 = fold_convert (TREE_TYPE (nary->op[0]),
2962                                      genop1);
2963               /* Ensure op2 is a sizetype for POINTER_PLUS_EXPR.  It
2964                  may be a constant with the wrong type.  */
2965               if (nary->opcode == POINTER_PLUS_EXPR)
2966                 genop2 = fold_convert (sizetype, genop2);
2967               else
2968                 genop2 = fold_convert (TREE_TYPE (nary->op[1]), genop2);
2969               
2970               folded = fold_build2 (nary->opcode, nary->type,
2971                                     genop1, genop2);
2972             }
2973             break;
2974           case 1:
2975             {
2976               pre_expr op1 = get_or_alloc_expr_for (nary->op[0]);
2977               tree genop1 = find_or_generate_expression (block, op1,
2978                                                          stmts, domstmt);
2979               if (!genop1)
2980                 return NULL_TREE;
2981               genop1 = fold_convert (TREE_TYPE (nary->op[0]), genop1);
2982
2983               folded = fold_build1 (nary->opcode, nary->type,
2984                                     genop1);
2985             }
2986             break;
2987           default:
2988             return NULL_TREE;
2989           }
2990       }
2991       break;
2992     default:
2993       return NULL_TREE;
2994     }
2995
2996   if (!useless_type_conversion_p (exprtype, TREE_TYPE (folded)))
2997     folded = fold_convert (exprtype, folded);
2998
2999   /* Force the generated expression to be a sequence of GIMPLE
3000      statements.
3001      We have to call unshare_expr because force_gimple_operand may
3002      modify the tree we pass to it.  */
3003   folded = force_gimple_operand (unshare_expr (folded), &forced_stmts,
3004                                  false, NULL);
3005
3006   /* If we have any intermediate expressions to the value sets, add them
3007      to the value sets and chain them in the instruction stream.  */
3008   if (forced_stmts)
3009     {
3010       gsi = gsi_start (forced_stmts);
3011       for (; !gsi_end_p (gsi); gsi_next (&gsi))
3012         {
3013           gimple stmt = gsi_stmt (gsi);
3014           tree forcedname = gimple_get_lhs (stmt);
3015           pre_expr nameexpr;
3016
3017           VEC_safe_push (gimple, heap, inserted_exprs, stmt);
3018           if (TREE_CODE (forcedname) == SSA_NAME)
3019             {
3020               VN_INFO_GET (forcedname)->valnum = forcedname;
3021               VN_INFO (forcedname)->value_id = get_next_value_id ();
3022               nameexpr = get_or_alloc_expr_for_name (forcedname);
3023               add_to_value (VN_INFO (forcedname)->value_id, nameexpr);
3024               if (!in_fre)
3025                 bitmap_value_replace_in_set (NEW_SETS (block), nameexpr);
3026               bitmap_value_replace_in_set (AVAIL_OUT (block), nameexpr);
3027             }
3028           mark_symbols_for_renaming (stmt);
3029         }
3030       gimple_seq_add_seq (stmts, forced_stmts);
3031     }
3032
3033   /* Build and insert the assignment of the end result to the temporary
3034      that we will return.  */
3035   if (!pretemp || exprtype != TREE_TYPE (pretemp))
3036     {
3037       pretemp = create_tmp_var (exprtype, "pretmp");
3038       get_var_ann (pretemp);
3039     }
3040
3041   temp = pretemp;
3042   add_referenced_var (temp);
3043
3044   if (TREE_CODE (exprtype) == COMPLEX_TYPE
3045       || TREE_CODE (exprtype) == VECTOR_TYPE)
3046     DECL_GIMPLE_REG_P (temp) = 1;
3047
3048   newstmt = gimple_build_assign (temp, folded);
3049   name = make_ssa_name (temp, newstmt);
3050   gimple_assign_set_lhs (newstmt, name);
3051   gimple_set_plf (newstmt, NECESSARY, false);
3052
3053   gimple_seq_add_stmt (stmts, newstmt);
3054   VEC_safe_push (gimple, heap, inserted_exprs, newstmt);
3055
3056   /* All the symbols in NEWEXPR should be put into SSA form.  */
3057   mark_symbols_for_renaming (newstmt);
3058
3059   /* Add a value number to the temporary.
3060      The value may already exist in either NEW_SETS, or AVAIL_OUT, because
3061      we are creating the expression by pieces, and this particular piece of
3062      the expression may have been represented.  There is no harm in replacing
3063      here.  */
3064   VN_INFO_GET (name)->valnum = name;
3065   value_id = get_expr_value_id (expr);
3066   VN_INFO (name)->value_id = value_id;
3067   nameexpr = get_or_alloc_expr_for_name (name);
3068   add_to_value (value_id, nameexpr);
3069   if (!in_fre)
3070     bitmap_value_replace_in_set (NEW_SETS (block), nameexpr);
3071   bitmap_value_replace_in_set (AVAIL_OUT (block), nameexpr);
3072
3073   pre_stats.insertions++;
3074   if (dump_file && (dump_flags & TDF_DETAILS))
3075     {
3076       fprintf (dump_file, "Inserted ");
3077       print_gimple_stmt (dump_file, newstmt, 0, 0);
3078       fprintf (dump_file, " in predecessor %d\n", block->index);
3079     }
3080
3081   return name;
3082 }
3083
3084
3085 /* Insert the to-be-made-available values of expression EXPRNUM for each
3086    predecessor, stored in AVAIL, into the predecessors of BLOCK, and
3087    merge the result with a phi node, given the same value number as
3088    NODE.  Return true if we have inserted new stuff.  */
3089
3090 static bool
3091 insert_into_preds_of_block (basic_block block, unsigned int exprnum,
3092                             pre_expr *avail)
3093 {
3094   pre_expr expr = expression_for_id (exprnum);
3095   pre_expr newphi;
3096   unsigned int val = get_expr_value_id (expr);
3097   edge pred;
3098   bool insertions = false;
3099   bool nophi = false;
3100   basic_block bprime;
3101   pre_expr eprime;
3102   edge_iterator ei;
3103   tree type = get_expr_type (expr);
3104   tree temp;
3105   gimple phi;
3106
3107   if (dump_file && (dump_flags & TDF_DETAILS))
3108     {
3109       fprintf (dump_file, "Found partial redundancy for expression ");
3110       print_pre_expr (dump_file, expr);
3111       fprintf (dump_file, " (%04d)\n", val);
3112     }
3113
3114   /* Make sure we aren't creating an induction variable.  */
3115   if (block->loop_depth > 0 && EDGE_COUNT (block->preds) == 2
3116       && expr->kind != REFERENCE)
3117     {
3118       bool firstinsideloop = false;
3119       bool secondinsideloop = false;
3120       firstinsideloop = flow_bb_inside_loop_p (block->loop_father,
3121                                                EDGE_PRED (block, 0)->src);
3122       secondinsideloop = flow_bb_inside_loop_p (block->loop_father,
3123                                                 EDGE_PRED (block, 1)->src);
3124       /* Induction variables only have one edge inside the loop.  */
3125       if (firstinsideloop ^ secondinsideloop)
3126         {
3127           if (dump_file && (dump_flags & TDF_DETAILS))
3128             fprintf (dump_file, "Skipping insertion of phi for partial redundancy: Looks like an induction variable\n");
3129           nophi = true;
3130         }
3131     }
3132
3133   /* Make sure we are not inserting trapping expressions.  */
3134   FOR_EACH_EDGE (pred, ei, block->preds)
3135     {
3136       bprime = pred->src;
3137       eprime = avail[bprime->index];
3138       if (eprime->kind == NARY
3139           && vn_nary_may_trap (PRE_EXPR_NARY (eprime)))
3140         return false;
3141     }
3142
3143   /* Make the necessary insertions.  */
3144   FOR_EACH_EDGE (pred, ei, block->preds)
3145     {
3146       gimple_seq stmts = NULL;
3147       tree builtexpr;
3148       bprime = pred->src;
3149       eprime = avail[bprime->index];
3150
3151       if (eprime->kind != NAME && eprime->kind != CONSTANT)
3152         {
3153           builtexpr = create_expression_by_pieces (bprime,
3154                                                    eprime,
3155                                                    &stmts, NULL,
3156                                                    type);
3157           gcc_assert (!(pred->flags & EDGE_ABNORMAL));
3158           gsi_insert_seq_on_edge (pred, stmts);
3159           avail[bprime->index] = get_or_alloc_expr_for_name (builtexpr);
3160           insertions = true;
3161         }
3162       else if (eprime->kind == CONSTANT)
3163         {
3164           /* Constants may not have the right type, fold_convert
3165              should give us back a constant with the right type.
3166           */
3167           tree constant = PRE_EXPR_CONSTANT (eprime);
3168           if (!useless_type_conversion_p (type, TREE_TYPE (constant)))
3169             {
3170               tree builtexpr = fold_convert (type, constant);
3171               if (!is_gimple_min_invariant (builtexpr)) 
3172                 {
3173                   tree forcedexpr = force_gimple_operand (builtexpr,
3174                                                           &stmts, true,
3175                                                           NULL);
3176                   if (!is_gimple_min_invariant (forcedexpr))
3177                     {
3178                       if (forcedexpr != builtexpr)
3179                         {
3180                           VN_INFO_GET (forcedexpr)->valnum = PRE_EXPR_CONSTANT (eprime);
3181                           VN_INFO (forcedexpr)->value_id = get_expr_value_id (eprime);
3182                         }
3183                       if (stmts)
3184                         {
3185                           gimple_stmt_iterator gsi;
3186                           gsi = gsi_start (stmts);
3187                           for (; !gsi_end_p (gsi); gsi_next (&gsi))
3188                             {
3189                               gimple stmt = gsi_stmt (gsi);
3190                               VEC_safe_push (gimple, heap, inserted_exprs, stmt);
3191                               gimple_set_plf (stmt, NECESSARY, false);
3192                             }
3193                           gsi_insert_seq_on_edge (pred, stmts);
3194                         }
3195                       avail[bprime->index] = get_or_alloc_expr_for_name (forcedexpr);
3196                     }
3197                 }
3198             }
3199         }
3200       else if (eprime->kind == NAME)
3201         {
3202           /* We may have to do a conversion because our value
3203              numbering can look through types in certain cases, but
3204              our IL requires all operands of a phi node have the same
3205              type.  */
3206           tree name = PRE_EXPR_NAME (eprime);
3207           if (!useless_type_conversion_p (type, TREE_TYPE (name)))
3208             {
3209               tree builtexpr;
3210               tree forcedexpr;
3211               builtexpr = fold_convert (type, name);
3212               forcedexpr = force_gimple_operand (builtexpr,
3213                                                  &stmts, true,
3214                                                  NULL);
3215
3216               if (forcedexpr != name)
3217                 {
3218                   VN_INFO_GET (forcedexpr)->valnum = VN_INFO (name)->valnum;
3219                   VN_INFO (forcedexpr)->value_id = VN_INFO (name)->value_id;
3220                 }
3221
3222               if (stmts)
3223                 {
3224                   gimple_stmt_iterator gsi;
3225                   gsi = gsi_start (stmts);
3226                   for (; !gsi_end_p (gsi); gsi_next (&gsi))
3227                     {
3228                       gimple stmt = gsi_stmt (gsi);
3229                       VEC_safe_push (gimple, heap, inserted_exprs, stmt);
3230                       gimple_set_plf (stmt, NECESSARY, false);
3231                     }
3232                   gsi_insert_seq_on_edge (pred, stmts);
3233                 }
3234               avail[bprime->index] = get_or_alloc_expr_for_name (forcedexpr);
3235             }
3236         }
3237     }
3238   /* If we didn't want a phi node, and we made insertions, we still have
3239      inserted new stuff, and thus return true.  If we didn't want a phi node,
3240      and didn't make insertions, we haven't added anything new, so return
3241      false.  */
3242   if (nophi && insertions)
3243     return true;
3244   else if (nophi && !insertions)
3245     return false;
3246
3247   /* Now build a phi for the new variable.  */
3248   if (!prephitemp || TREE_TYPE (prephitemp) != type)
3249     {
3250       prephitemp = create_tmp_var (type, "prephitmp");
3251       get_var_ann (prephitemp);
3252     }
3253
3254   temp = prephitemp;
3255   add_referenced_var (temp);
3256
3257   if (TREE_CODE (type) == COMPLEX_TYPE
3258       || TREE_CODE (type) == VECTOR_TYPE)
3259     DECL_GIMPLE_REG_P (temp) = 1;
3260   phi = create_phi_node (temp, block);
3261
3262   gimple_set_plf (phi, NECESSARY, false);
3263   VN_INFO_GET (gimple_phi_result (phi))->valnum = gimple_phi_result (phi);
3264   VN_INFO (gimple_phi_result (phi))->value_id = val;
3265   VEC_safe_push (gimple, heap, inserted_exprs, phi);
3266   bitmap_set_bit (inserted_phi_names,
3267                   SSA_NAME_VERSION (gimple_phi_result (phi)));
3268   FOR_EACH_EDGE (pred, ei, block->preds)
3269     {
3270       pre_expr ae = avail[pred->src->index];
3271       gcc_assert (get_expr_type (ae) == type
3272                   || useless_type_conversion_p (type, get_expr_type (ae)));
3273       if (ae->kind == CONSTANT)
3274         add_phi_arg (phi, PRE_EXPR_CONSTANT (ae), pred);
3275       else
3276         add_phi_arg (phi, PRE_EXPR_NAME (avail[pred->src->index]), pred);
3277     }
3278
3279   newphi = get_or_alloc_expr_for_name (gimple_phi_result (phi));
3280   add_to_value (val, newphi);
3281
3282   /* The value should *not* exist in PHI_GEN, or else we wouldn't be doing
3283      this insertion, since we test for the existence of this value in PHI_GEN
3284      before proceeding with the partial redundancy checks in insert_aux.
3285
3286      The value may exist in AVAIL_OUT, in particular, it could be represented
3287      by the expression we are trying to eliminate, in which case we want the
3288      replacement to occur.  If it's not existing in AVAIL_OUT, we want it
3289      inserted there.
3290
3291      Similarly, to the PHI_GEN case, the value should not exist in NEW_SETS of
3292      this block, because if it did, it would have existed in our dominator's
3293      AVAIL_OUT, and would have been skipped due to the full redundancy check.
3294   */
3295
3296   bitmap_insert_into_set (PHI_GEN (block), newphi);
3297   bitmap_value_replace_in_set (AVAIL_OUT (block),
3298                                newphi);
3299   bitmap_insert_into_set (NEW_SETS (block),
3300                           newphi);
3301
3302   if (dump_file && (dump_flags & TDF_DETAILS))
3303     {
3304       fprintf (dump_file, "Created phi ");
3305       print_gimple_stmt (dump_file, phi, 0, 0);
3306       fprintf (dump_file, " in block %d\n", block->index);
3307     }
3308   pre_stats.phis++;
3309   return true;
3310 }
3311
3312
3313
3314 /* Perform insertion of partially redundant values.
3315    For BLOCK, do the following:
3316    1.  Propagate the NEW_SETS of the dominator into the current block.
3317    If the block has multiple predecessors,
3318        2a. Iterate over the ANTIC expressions for the block to see if
3319            any of them are partially redundant.
3320        2b. If so, insert them into the necessary predecessors to make
3321            the expression fully redundant.
3322        2c. Insert a new PHI merging the values of the predecessors.
3323        2d. Insert the new PHI, and the new expressions, into the
3324            NEW_SETS set.
3325    3. Recursively call ourselves on the dominator children of BLOCK.
3326
3327    Steps 1, 2a, and 3 are done by insert_aux. 2b, 2c and 2d are done by
3328    do_regular_insertion and do_partial_insertion.
3329
3330 */
3331
3332 static bool
3333 do_regular_insertion (basic_block block, basic_block dom)
3334 {
3335   bool new_stuff = false;
3336   VEC (pre_expr, heap) *exprs = sorted_array_from_bitmap_set (ANTIC_IN (block));
3337   pre_expr expr;
3338   int i;
3339
3340   for (i = 0; VEC_iterate (pre_expr, exprs, i, expr); i++)
3341     {
3342       if (expr->kind != NAME)
3343         {
3344           pre_expr *avail;
3345           unsigned int val;
3346           bool by_some = false;
3347           bool cant_insert = false;
3348           bool all_same = true;
3349           pre_expr first_s = NULL;
3350           edge pred;
3351           basic_block bprime;
3352           pre_expr eprime = NULL;
3353           edge_iterator ei;
3354           pre_expr edoubleprime = NULL;
3355
3356           val = get_expr_value_id (expr);
3357           if (bitmap_set_contains_value (PHI_GEN (block), val))
3358             continue;
3359           if (bitmap_set_contains_value (AVAIL_OUT (dom), val))
3360             {
3361               if (dump_file && (dump_flags & TDF_DETAILS))
3362                 fprintf (dump_file, "Found fully redundant value\n");
3363               continue;
3364             }
3365
3366           avail = XCNEWVEC (pre_expr, last_basic_block);
3367           FOR_EACH_EDGE (pred, ei, block->preds)
3368             {
3369               unsigned int vprime;
3370
3371               /* We should never run insertion for the exit block
3372                  and so not come across fake pred edges.  */
3373               gcc_assert (!(pred->flags & EDGE_FAKE));
3374               bprime = pred->src;
3375               eprime = phi_translate (expr, ANTIC_IN (block), NULL,
3376                                       bprime, block);
3377
3378               /* eprime will generally only be NULL if the
3379                  value of the expression, translated
3380                  through the PHI for this predecessor, is
3381                  undefined.  If that is the case, we can't
3382                  make the expression fully redundant,
3383                  because its value is undefined along a
3384                  predecessor path.  We can thus break out
3385                  early because it doesn't matter what the
3386                  rest of the results are.  */
3387               if (eprime == NULL)
3388                 {
3389                   cant_insert = true;
3390                   break;
3391                 }
3392
3393               eprime = fully_constant_expression (eprime);
3394               vprime = get_expr_value_id (eprime);
3395               edoubleprime = bitmap_find_leader (AVAIL_OUT (bprime),
3396                                                  vprime, NULL);
3397               if (edoubleprime == NULL)
3398                 {
3399                   avail[bprime->index] = eprime;
3400                   all_same = false;
3401                 }
3402               else
3403                 {
3404                   avail[bprime->index] = edoubleprime;
3405                   by_some = true;
3406                   if (first_s == NULL)
3407                     first_s = edoubleprime;
3408                   else if (!pre_expr_eq (first_s, edoubleprime))
3409                     all_same = false;
3410                 }
3411             }
3412           /* If we can insert it, it's not the same value
3413              already existing along every predecessor, and
3414              it's defined by some predecessor, it is
3415              partially redundant.  */
3416           if (!cant_insert && !all_same && by_some && dbg_cnt (treepre_insert))
3417             {
3418               if (insert_into_preds_of_block (block, get_expression_id (expr),
3419                                               avail))
3420                 new_stuff = true;
3421             }
3422           /* If all edges produce the same value and that value is
3423              an invariant, then the PHI has the same value on all
3424              edges.  Note this.  */
3425           else if (!cant_insert && all_same && eprime
3426                    && (edoubleprime->kind == CONSTANT
3427                        || edoubleprime->kind == NAME)
3428                    && !value_id_constant_p (val))
3429             {
3430               unsigned int j;
3431               bitmap_iterator bi;
3432               bitmap_set_t exprset = VEC_index (bitmap_set_t,
3433                                                 value_expressions, val);
3434
3435               unsigned int new_val = get_expr_value_id (edoubleprime);
3436               FOR_EACH_EXPR_ID_IN_SET (exprset, j, bi)
3437                 {
3438                   pre_expr expr = expression_for_id (j);
3439
3440                   if (expr->kind == NAME)
3441                     {
3442                       vn_ssa_aux_t info = VN_INFO (PRE_EXPR_NAME (expr));
3443                       /* Just reset the value id and valnum so it is
3444                          the same as the constant we have discovered.  */
3445                       if (edoubleprime->kind == CONSTANT)
3446                         {
3447                           info->valnum = PRE_EXPR_CONSTANT (edoubleprime);
3448                           pre_stats.constified++;
3449                         }
3450                       else
3451                         info->valnum = VN_INFO (PRE_EXPR_NAME (edoubleprime))->valnum;
3452                       info->value_id = new_val;
3453                     }
3454                 }
3455             }
3456           free (avail);
3457         }
3458     }
3459
3460   VEC_free (pre_expr, heap, exprs);
3461   return new_stuff;
3462 }
3463
3464
3465 /* Perform insertion for partially anticipatable expressions.  There
3466    is only one case we will perform insertion for these.  This case is
3467    if the expression is partially anticipatable, and fully available.
3468    In this case, we know that putting it earlier will enable us to
3469    remove the later computation.  */
3470
3471
3472 static bool
3473 do_partial_partial_insertion (basic_block block, basic_block dom)
3474 {
3475   bool new_stuff = false;
3476   VEC (pre_expr, heap) *exprs = sorted_array_from_bitmap_set (PA_IN (block));
3477   pre_expr expr;
3478   int i;
3479
3480   for (i = 0; VEC_iterate (pre_expr, exprs, i, expr); i++)
3481     {
3482       if (expr->kind != NAME)
3483         {
3484           pre_expr *avail;
3485           unsigned int val;
3486           bool by_all = true;
3487           bool cant_insert = false;
3488           edge pred;
3489           basic_block bprime;
3490           pre_expr eprime = NULL;
3491           edge_iterator ei;
3492
3493           val = get_expr_value_id (expr);
3494           if (bitmap_set_contains_value (PHI_GEN (block), val))
3495             continue;
3496           if (bitmap_set_contains_value (AVAIL_OUT (dom), val))
3497             continue;
3498
3499           avail = XCNEWVEC (pre_expr, last_basic_block);
3500           FOR_EACH_EDGE (pred, ei, block->preds)
3501             {
3502               unsigned int vprime;
3503               pre_expr edoubleprime;
3504
3505               /* We should never run insertion for the exit block
3506                  and so not come across fake pred edges.  */
3507               gcc_assert (!(pred->flags & EDGE_FAKE));
3508               bprime = pred->src;
3509               eprime = phi_translate (expr, ANTIC_IN (block),
3510                                       PA_IN (block),
3511                                       bprime, block);
3512
3513               /* eprime will generally only be NULL if the
3514                  value of the expression, translated
3515                  through the PHI for this predecessor, is
3516                  undefined.  If that is the case, we can't
3517                  make the expression fully redundant,
3518                  because its value is undefined along a
3519                  predecessor path.  We can thus break out
3520                  early because it doesn't matter what the
3521                  rest of the results are.  */
3522               if (eprime == NULL)
3523                 {
3524                   cant_insert = true;
3525                   break;
3526                 }
3527
3528               eprime = fully_constant_expression (eprime);
3529               vprime = get_expr_value_id (eprime);
3530               edoubleprime = bitmap_find_leader (AVAIL_OUT (bprime),
3531                                                  vprime, NULL);
3532               if (edoubleprime == NULL)
3533                 {
3534                   by_all = false;
3535                   break;
3536                 }
3537               else
3538                 avail[bprime->index] = edoubleprime;
3539
3540             }
3541
3542           /* If we can insert it, it's not the same value
3543              already existing along every predecessor, and
3544              it's defined by some predecessor, it is
3545              partially redundant.  */
3546           if (!cant_insert && by_all && dbg_cnt (treepre_insert))
3547             {
3548               pre_stats.pa_insert++;
3549               if (insert_into_preds_of_block (block, get_expression_id (expr),
3550                                               avail))
3551                 new_stuff = true;
3552             }
3553           free (avail);
3554         }
3555     }
3556
3557   VEC_free (pre_expr, heap, exprs);
3558   return new_stuff;
3559 }
3560
3561 static bool
3562 insert_aux (basic_block block)
3563 {
3564   basic_block son;
3565   bool new_stuff = false;
3566
3567   if (block)
3568     {
3569       basic_block dom;
3570       dom = get_immediate_dominator (CDI_DOMINATORS, block);
3571       if (dom)
3572         {
3573           unsigned i;
3574           bitmap_iterator bi;
3575           bitmap_set_t newset = NEW_SETS (dom);
3576           if (newset)
3577             {
3578               /* Note that we need to value_replace both NEW_SETS, and
3579                  AVAIL_OUT. For both the case of NEW_SETS, the value may be
3580                  represented by some non-simple expression here that we want
3581                  to replace it with.  */
3582               FOR_EACH_EXPR_ID_IN_SET (newset, i, bi)
3583                 {
3584                   pre_expr expr = expression_for_id (i);
3585                   bitmap_value_replace_in_set (NEW_SETS (block), expr);
3586                   bitmap_value_replace_in_set (AVAIL_OUT (block), expr);
3587                 }
3588             }
3589           if (!single_pred_p (block))
3590             {
3591               new_stuff |= do_regular_insertion (block, dom);
3592               if (do_partial_partial)
3593                 new_stuff |= do_partial_partial_insertion (block, dom);
3594             }
3595         }
3596     }
3597   for (son = first_dom_son (CDI_DOMINATORS, block);
3598        son;
3599        son = next_dom_son (CDI_DOMINATORS, son))
3600     {
3601       new_stuff |= insert_aux (son);
3602     }
3603
3604   return new_stuff;
3605 }
3606
3607 /* Perform insertion of partially redundant values.  */
3608
3609 static void
3610 insert (void)
3611 {
3612   bool new_stuff = true;
3613   basic_block bb;
3614   int num_iterations = 0;
3615
3616   FOR_ALL_BB (bb)
3617     NEW_SETS (bb) = bitmap_set_new ();
3618
3619   while (new_stuff)
3620     {
3621       num_iterations++;
3622       new_stuff = insert_aux (ENTRY_BLOCK_PTR);
3623     }
3624   statistics_histogram_event (cfun, "insert iterations", num_iterations);
3625 }
3626
3627
3628 /* Add OP to EXP_GEN (block), and possibly to the maximal set if it is
3629    not defined by a phi node.
3630    PHI nodes can't go in the maximal sets because they are not in
3631    TMP_GEN, so it is possible to get into non-monotonic situations
3632    during ANTIC calculation, because it will *add* bits.  */
3633
3634 static void
3635 add_to_exp_gen (basic_block block, tree op)
3636 {
3637   if (!in_fre)
3638     {
3639       pre_expr result;
3640       if (TREE_CODE (op) == SSA_NAME && ssa_undefined_value_p (op))
3641         return;
3642       result = get_or_alloc_expr_for_name (op);
3643       bitmap_value_insert_into_set (EXP_GEN (block), result);
3644       if (TREE_CODE (op) != SSA_NAME
3645           || gimple_code (SSA_NAME_DEF_STMT (op)) != GIMPLE_PHI)
3646         bitmap_value_insert_into_set (maximal_set, result);
3647     }
3648 }
3649
3650 /* Create value ids for PHI in BLOCK.  */
3651
3652 static void
3653 make_values_for_phi (gimple phi, basic_block block)
3654 {
3655   tree result = gimple_phi_result (phi);
3656
3657   /* We have no need for virtual phis, as they don't represent
3658      actual computations.  */
3659   if (is_gimple_reg (result))
3660     {
3661       pre_expr e = get_or_alloc_expr_for_name (result);
3662       add_to_value (get_expr_value_id (e), e);
3663       bitmap_insert_into_set (PHI_GEN (block), e);
3664       bitmap_value_insert_into_set (AVAIL_OUT (block), e);
3665     }
3666 }
3667
3668 /* Compute the AVAIL set for all basic blocks.
3669
3670    This function performs value numbering of the statements in each basic
3671    block.  The AVAIL sets are built from information we glean while doing
3672    this value numbering, since the AVAIL sets contain only one entry per
3673    value.
3674
3675    AVAIL_IN[BLOCK] = AVAIL_OUT[dom(BLOCK)].
3676    AVAIL_OUT[BLOCK] = AVAIL_IN[BLOCK] U PHI_GEN[BLOCK] U TMP_GEN[BLOCK].  */
3677
3678 static void
3679 compute_avail (void)
3680 {
3681
3682   basic_block block, son;
3683   basic_block *worklist;
3684   size_t sp = 0;
3685   unsigned i;
3686
3687   /* We pretend that default definitions are defined in the entry block.
3688      This includes function arguments and the static chain decl.  */
3689   for (i = 1; i < num_ssa_names; ++i)
3690     {
3691       tree name = ssa_name (i);
3692       pre_expr e;
3693       if (!name
3694           || !SSA_NAME_IS_DEFAULT_DEF (name)
3695           || has_zero_uses (name)
3696           || !is_gimple_reg (name))
3697         continue;
3698
3699       e = get_or_alloc_expr_for_name (name);
3700       add_to_value (get_expr_value_id (e), e);
3701       if (!in_fre)
3702         {
3703           bitmap_insert_into_set (TMP_GEN (ENTRY_BLOCK_PTR), e);
3704           bitmap_value_insert_into_set (maximal_set, e);
3705         }
3706       bitmap_value_insert_into_set (AVAIL_OUT (ENTRY_BLOCK_PTR), e);
3707     }
3708
3709   /* Allocate the worklist.  */
3710   worklist = XNEWVEC (basic_block, n_basic_blocks);
3711
3712   /* Seed the algorithm by putting the dominator children of the entry
3713      block on the worklist.  */
3714   for (son = first_dom_son (CDI_DOMINATORS, ENTRY_BLOCK_PTR);
3715        son;
3716        son = next_dom_son (CDI_DOMINATORS, son))
3717     worklist[sp++] = son;
3718
3719   /* Loop until the worklist is empty.  */
3720   while (sp)
3721     {
3722       gimple_stmt_iterator gsi;
3723       gimple stmt;
3724       basic_block dom;
3725       unsigned int stmt_uid = 1;
3726
3727       /* Pick a block from the worklist.  */
3728       block = worklist[--sp];
3729
3730       /* Initially, the set of available values in BLOCK is that of
3731          its immediate dominator.  */
3732       dom = get_immediate_dominator (CDI_DOMINATORS, block);
3733       if (dom)
3734         bitmap_set_copy (AVAIL_OUT (block), AVAIL_OUT (dom));
3735
3736       /* Generate values for PHI nodes.  */
3737       for (gsi = gsi_start_phis (block); !gsi_end_p (gsi); gsi_next (&gsi))
3738         make_values_for_phi (gsi_stmt (gsi), block);
3739
3740       /* Now compute value numbers and populate value sets with all
3741          the expressions computed in BLOCK.  */
3742       for (gsi = gsi_start_bb (block); !gsi_end_p (gsi); gsi_next (&gsi))
3743         {
3744           ssa_op_iter iter;
3745           tree op;
3746
3747           stmt = gsi_stmt (gsi);
3748           gimple_set_uid (stmt, stmt_uid++);
3749
3750           FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_DEF)
3751             {
3752               pre_expr e = get_or_alloc_expr_for_name (op);
3753
3754               add_to_value (get_expr_value_id (e), e);
3755               if (!in_fre)
3756                 bitmap_insert_into_set (TMP_GEN (block), e);
3757               bitmap_value_insert_into_set (AVAIL_OUT (block), e);
3758             }
3759
3760           if (gimple_has_volatile_ops (stmt)
3761               || stmt_could_throw_p (stmt))
3762             continue;
3763
3764           switch (gimple_code (stmt))
3765             {
3766             case GIMPLE_RETURN:
3767               FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_USE)
3768                 add_to_exp_gen (block, op);
3769               continue;
3770
3771             case GIMPLE_CALL:
3772               {
3773                 vn_reference_t ref;
3774                 unsigned int i;
3775                 vn_reference_op_t vro;
3776                 pre_expr result = NULL;
3777                 VEC(vn_reference_op_s, heap) *ops = NULL;
3778
3779                 if (!can_value_number_call (stmt))
3780                   continue;
3781
3782                 copy_reference_ops_from_call (stmt, &ops);
3783                 vn_reference_lookup_pieces (gimple_vuse (stmt), 0,
3784                                             gimple_expr_type (stmt),
3785                                             ops, &ref, false);
3786                 VEC_free (vn_reference_op_s, heap, ops);
3787                 if (!ref)
3788                   continue;
3789
3790                 for (i = 0; VEC_iterate (vn_reference_op_s,
3791                                          ref->operands, i,
3792                                          vro); i++)
3793                   {
3794                     if (vro->op0 && TREE_CODE (vro->op0) == SSA_NAME)
3795                       add_to_exp_gen (block, vro->op0);
3796                     if (vro->op1 && TREE_CODE (vro->op1) == SSA_NAME)
3797                       add_to_exp_gen (block, vro->op1);
3798                     if (vro->op2 && TREE_CODE (vro->op2) == SSA_NAME)
3799                       add_to_exp_gen (block, vro->op2);
3800                   }
3801                 result = (pre_expr) pool_alloc (pre_expr_pool);
3802                 result->kind = REFERENCE;
3803                 result->id = 0;
3804                 PRE_EXPR_REFERENCE (result) = ref;
3805
3806                 get_or_alloc_expression_id (result);
3807                 add_to_value (get_expr_value_id (result), result);
3808                 if (!in_fre)
3809                   {
3810                     bitmap_value_insert_into_set (EXP_GEN (block),
3811                                                   result);
3812                     bitmap_value_insert_into_set (maximal_set, result);
3813                   }
3814                 continue;
3815               }
3816
3817             case GIMPLE_ASSIGN:
3818               {
3819                 pre_expr result = NULL;
3820                 switch (TREE_CODE_CLASS (gimple_assign_rhs_code (stmt)))
3821                   {
3822                   case tcc_unary:
3823                     if (is_exception_related (stmt))
3824                       continue;
3825                   case tcc_binary:
3826                   case tcc_comparison:
3827                     {
3828                       vn_nary_op_t nary;
3829                       unsigned int i;
3830
3831                       vn_nary_op_lookup_pieces (gimple_num_ops (stmt) - 1,
3832                                                 gimple_assign_rhs_code (stmt),
3833                                                 gimple_expr_type (stmt),
3834                                                 gimple_assign_rhs1 (stmt),
3835                                                 gimple_assign_rhs2 (stmt),
3836                                                 NULL_TREE, NULL_TREE, &nary);
3837
3838                       if (!nary)
3839                         continue;
3840
3841                       for (i = 0; i < nary->length; i++)
3842                         if (TREE_CODE (nary->op[i]) == SSA_NAME)
3843                           add_to_exp_gen (block, nary->op[i]);
3844
3845                       result = (pre_expr) pool_alloc (pre_expr_pool);
3846                       result->kind = NARY;
3847                       result->id = 0;
3848                       PRE_EXPR_NARY (result) = nary;
3849                       break;
3850                     }
3851
3852                   case tcc_declaration:
3853                   case tcc_reference:
3854                     {
3855                       vn_reference_t ref;
3856                       unsigned int i;
3857                       vn_reference_op_t vro;
3858
3859                       vn_reference_lookup (gimple_assign_rhs1 (stmt),
3860                                            gimple_vuse (stmt),
3861                                            false, &ref);
3862                       if (!ref)
3863                         continue;
3864
3865                       for (i = 0; VEC_iterate (vn_reference_op_s,
3866                                                ref->operands, i,
3867                                                vro); i++)
3868                         {
3869                           if (vro->op0 && TREE_CODE (vro->op0) == SSA_NAME)
3870                             add_to_exp_gen (block, vro->op0);
3871                           if (vro->op1 && TREE_CODE (vro->op1) == SSA_NAME)
3872                             add_to_exp_gen (block, vro->op1);
3873                           if (vro->op2 && TREE_CODE (vro->op2) == SSA_NAME)
3874                             add_to_exp_gen (block, vro->op2);
3875                         }
3876                       result = (pre_expr) pool_alloc (pre_expr_pool);
3877                       result->kind = REFERENCE;
3878                       result->id = 0;
3879                       PRE_EXPR_REFERENCE (result) = ref;
3880                       break;
3881                     }
3882
3883                   default:
3884                     /* For any other statement that we don't
3885                        recognize, simply add all referenced
3886                        SSA_NAMEs to EXP_GEN.  */
3887                     FOR_EACH_SSA_TREE_OPERAND (op, stmt, iter, SSA_OP_USE)
3888                       add_to_exp_gen (block, op);
3889                     continue;
3890                   }
3891
3892                 get_or_alloc_expression_id (result);
3893                 add_to_value (get_expr_value_id (result), result);
3894                 if (!in_fre)
3895                   {
3896                     bitmap_value_insert_into_set (EXP_GEN (block), result);
3897                     bitmap_value_insert_into_set (maximal_set, result);
3898                   }
3899
3900                 continue;
3901               }
3902             default:
3903               break;
3904             }
3905         }
3906
3907       /* Put the dominator children of BLOCK on the worklist of blocks
3908          to compute available sets for.  */
3909       for (son = first_dom_son (CDI_DOMINATORS, block);
3910            son;
3911            son = next_dom_son (CDI_DOMINATORS, son))
3912         worklist[sp++] = son;
3913     }
3914
3915   free (worklist);
3916 }
3917
3918 /* Insert the expression for SSA_VN that SCCVN thought would be simpler
3919    than the available expressions for it.  The insertion point is
3920    right before the first use in STMT.  Returns the SSA_NAME that should
3921    be used for replacement.  */
3922
3923 static tree
3924 do_SCCVN_insertion (gimple stmt, tree ssa_vn)
3925 {
3926   basic_block bb = gimple_bb (stmt);
3927   gimple_stmt_iterator gsi;
3928   gimple_seq stmts = NULL;
3929   tree expr;
3930   pre_expr e;
3931
3932   /* First create a value expression from the expression we want
3933      to insert and associate it with the value handle for SSA_VN.  */
3934   e = get_or_alloc_expr_for (vn_get_expr_for (ssa_vn));
3935   if (e == NULL)
3936     return NULL_TREE;
3937
3938   /* Then use create_expression_by_pieces to generate a valid
3939      expression to insert at this point of the IL stream.  */
3940   expr = create_expression_by_pieces (bb, e, &stmts, stmt, NULL);
3941   if (expr == NULL_TREE)
3942     return NULL_TREE;
3943   gsi = gsi_for_stmt (stmt);
3944   gsi_insert_seq_before (&gsi, stmts, GSI_SAME_STMT);
3945
3946   return expr;
3947 }
3948
3949 /* Eliminate fully redundant computations.  */
3950
3951 static unsigned int
3952 eliminate (void)
3953 {
3954   VEC (gimple, heap) *to_remove = NULL;
3955   basic_block b;
3956   unsigned int todo = 0;
3957   gimple_stmt_iterator gsi;
3958   gimple stmt;
3959   unsigned i;
3960
3961   FOR_EACH_BB (b)
3962     {
3963       for (gsi = gsi_start_bb (b); !gsi_end_p (gsi); gsi_next (&gsi))
3964         {
3965           stmt = gsi_stmt (gsi);
3966
3967           /* Lookup the RHS of the expression, see if we have an
3968              available computation for it.  If so, replace the RHS with
3969              the available computation.  */
3970           if (gimple_has_lhs (stmt)
3971               && TREE_CODE (gimple_get_lhs (stmt)) == SSA_NAME
3972               && !gimple_assign_ssa_name_copy_p (stmt)
3973               && (!gimple_assign_single_p (stmt)
3974                   || !is_gimple_min_invariant (gimple_assign_rhs1 (stmt)))
3975               && !gimple_has_volatile_ops  (stmt)
3976               && !has_zero_uses (gimple_get_lhs (stmt)))
3977             {
3978               tree lhs = gimple_get_lhs (stmt);
3979               tree rhs = NULL_TREE;
3980               tree sprime = NULL;
3981               pre_expr lhsexpr = get_or_alloc_expr_for_name (lhs);
3982               pre_expr sprimeexpr;
3983
3984               if (gimple_assign_single_p (stmt))
3985                 rhs = gimple_assign_rhs1 (stmt);
3986
3987               sprimeexpr = bitmap_find_leader (AVAIL_OUT (b),
3988                                                get_expr_value_id (lhsexpr),
3989                                                NULL);
3990
3991               if (sprimeexpr)
3992                 {
3993                   if (sprimeexpr->kind == CONSTANT)
3994                     sprime = PRE_EXPR_CONSTANT (sprimeexpr);
3995                   else if (sprimeexpr->kind == NAME)
3996                     sprime = PRE_EXPR_NAME (sprimeexpr);
3997                   else
3998                     gcc_unreachable ();
3999                 }
4000
4001               /* If there is no existing leader but SCCVN knows this
4002                  value is constant, use that constant.  */
4003               if (!sprime && is_gimple_min_invariant (VN_INFO (lhs)->valnum))
4004                 {
4005                   sprime = VN_INFO (lhs)->valnum;
4006                   if (!useless_type_conversion_p (TREE_TYPE (lhs),
4007                                                   TREE_TYPE (sprime)))
4008                     sprime = fold_convert (TREE_TYPE (lhs), sprime);
4009
4010                   if (dump_file && (dump_flags & TDF_DETAILS))
4011                     {
4012                       fprintf (dump_file, "Replaced ");
4013                       print_gimple_expr (dump_file, stmt, 0, 0);
4014                       fprintf (dump_file, " with ");
4015                       print_generic_expr (dump_file, sprime, 0);
4016                       fprintf (dump_file, " in ");
4017                       print_gimple_stmt (dump_file, stmt, 0, 0);
4018                     }
4019                   pre_stats.eliminations++;
4020                   propagate_tree_value_into_stmt (&gsi, sprime);
4021                   stmt = gsi_stmt (gsi);
4022                   update_stmt (stmt);
4023                   continue;
4024                 }
4025
4026               /* If there is no existing usable leader but SCCVN thinks
4027                  it has an expression it wants to use as replacement,
4028                  insert that.  */
4029               if (!sprime || sprime == lhs)
4030                 {
4031                   tree val = VN_INFO (lhs)->valnum;
4032                   if (val != VN_TOP
4033                       && TREE_CODE (val) == SSA_NAME
4034                       && VN_INFO (val)->needs_insertion
4035                       && can_PRE_operation (vn_get_expr_for (val)))
4036                     sprime = do_SCCVN_insertion (stmt, val);
4037                 }
4038               if (sprime
4039                   && sprime != lhs
4040                   && (rhs == NULL_TREE
4041                       || TREE_CODE (rhs) != SSA_NAME
4042                       || may_propagate_copy (rhs, sprime)))
4043                 {
4044                   gcc_assert (sprime != rhs);
4045
4046                   if (dump_file && (dump_flags & TDF_DETAILS))
4047                     {
4048                       fprintf (dump_file, "Replaced ");
4049                       print_gimple_expr (dump_file, stmt, 0, 0);
4050                       fprintf (dump_file, " with ");
4051                       print_generic_expr (dump_file, sprime, 0);
4052                       fprintf (dump_file, " in ");
4053                       print_gimple_stmt (dump_file, stmt, 0, 0);
4054                     }
4055
4056                   if (TREE_CODE (sprime) == SSA_NAME)
4057                     gimple_set_plf (SSA_NAME_DEF_STMT (sprime),
4058                                     NECESSARY, true);
4059                   /* We need to make sure the new and old types actually match,
4060                      which may require adding a simple cast, which fold_convert
4061                      will do for us.  */
4062                   if ((!rhs || TREE_CODE (rhs) != SSA_NAME)
4063                       && !useless_type_conversion_p (gimple_expr_type (stmt),
4064                                                      TREE_TYPE (sprime)))
4065                     sprime = fold_convert (gimple_expr_type (stmt), sprime);
4066
4067                   pre_stats.eliminations++;
4068                   propagate_tree_value_into_stmt (&gsi, sprime);
4069                   stmt = gsi_stmt (gsi);
4070                   update_stmt (stmt);
4071
4072                   /* If we removed EH side effects from the statement, clean
4073                      its EH information.  */
4074                   if (maybe_clean_or_replace_eh_stmt (stmt, stmt))
4075                     {
4076                       bitmap_set_bit (need_eh_cleanup,
4077                                       gimple_bb (stmt)->index);
4078                       if (dump_file && (dump_flags & TDF_DETAILS))
4079                         fprintf (dump_file, "  Removed EH side effects.\n");
4080                     }
4081                 }
4082             }
4083           /* If the statement is a scalar store, see if the expression
4084              has the same value number as its rhs.  If so, the store is
4085              dead.  */
4086           else if (gimple_assign_single_p (stmt)
4087                    && !is_gimple_reg (gimple_assign_lhs (stmt))
4088                    && (TREE_CODE (gimple_assign_rhs1 (stmt)) == SSA_NAME
4089                        || is_gimple_min_invariant (gimple_assign_rhs1 (stmt))))
4090             {
4091               tree rhs = gimple_assign_rhs1 (stmt);
4092               tree val;
4093               val = vn_reference_lookup (gimple_assign_lhs (stmt),
4094                                          gimple_vuse (stmt), true, NULL);
4095               if (TREE_CODE (rhs) == SSA_NAME)
4096                 rhs = VN_INFO (rhs)->valnum;
4097               if (val
4098                   && operand_equal_p (val, rhs, 0))
4099                 {
4100                   if (dump_file && (dump_flags & TDF_DETAILS))
4101                     {
4102                       fprintf (dump_file, "Deleted redundant store ");
4103                       print_gimple_stmt (dump_file, stmt, 0, 0);
4104                     }
4105
4106                   /* Queue stmt for removal.  */
4107                   VEC_safe_push (gimple, heap, to_remove, stmt);
4108                 }
4109             }
4110           /* Visit COND_EXPRs and fold the comparison with the
4111              available value-numbers.  */
4112           else if (gimple_code (stmt) == GIMPLE_COND)
4113             {
4114               tree op0 = gimple_cond_lhs (stmt);
4115               tree op1 = gimple_cond_rhs (stmt);
4116               tree result;
4117
4118               if (TREE_CODE (op0) == SSA_NAME)
4119                 op0 = VN_INFO (op0)->valnum;
4120               if (TREE_CODE (op1) == SSA_NAME)
4121                 op1 = VN_INFO (op1)->valnum;
4122               result = fold_binary (gimple_cond_code (stmt), boolean_type_node,
4123                                     op0, op1);
4124               if (result && TREE_CODE (result) == INTEGER_CST)
4125                 {
4126                   if (integer_zerop (result))
4127                     gimple_cond_make_false (stmt);
4128                   else
4129                     gimple_cond_make_true (stmt);
4130                   update_stmt (stmt);
4131                   todo = TODO_cleanup_cfg;
4132                 }
4133             }
4134           /* Visit indirect calls and turn them into direct calls if
4135              possible.  */
4136           if (gimple_code (stmt) == GIMPLE_CALL
4137               && TREE_CODE (gimple_call_fn (stmt)) == SSA_NAME)
4138             {
4139               tree fn = VN_INFO (gimple_call_fn (stmt))->valnum;
4140               if (TREE_CODE (fn) == ADDR_EXPR
4141                   && TREE_CODE (TREE_OPERAND (fn, 0)) == FUNCTION_DECL)
4142                 {
4143                   if (dump_file && (dump_flags & TDF_DETAILS))
4144                     {
4145                       fprintf (dump_file, "Replacing call target with ");
4146                       print_generic_expr (dump_file, fn, 0);
4147                       fprintf (dump_file, " in ");
4148                       print_gimple_stmt (dump_file, stmt, 0, 0);
4149                     }
4150
4151                   gimple_call_set_fn (stmt, fn);
4152                   update_stmt (stmt);
4153                   if (maybe_clean_or_replace_eh_stmt (stmt, stmt))
4154                     gimple_purge_dead_eh_edges (b);
4155
4156                   /* Changing an indirect call to a direct call may
4157                      have exposed different semantics.  This may
4158                      require an SSA update.  */
4159                   todo |= TODO_update_ssa_only_virtuals;
4160                 }
4161             }
4162         }
4163
4164       for (gsi = gsi_start_phis (b); !gsi_end_p (gsi);)
4165         {
4166           gimple stmt, phi = gsi_stmt (gsi);
4167           tree sprime = NULL_TREE, res = PHI_RESULT (phi);
4168           pre_expr sprimeexpr, resexpr;
4169           gimple_stmt_iterator gsi2;
4170
4171           /* We want to perform redundant PHI elimination.  Do so by
4172              replacing the PHI with a single copy if possible.
4173              Do not touch inserted, single-argument or virtual PHIs.  */
4174           if (gimple_phi_num_args (phi) == 1
4175               || !is_gimple_reg (res)
4176               || bitmap_bit_p (inserted_phi_names, SSA_NAME_VERSION (res)))
4177             {
4178               gsi_next (&gsi);
4179               continue;
4180             }
4181
4182           resexpr = get_or_alloc_expr_for_name (res);
4183           sprimeexpr = bitmap_find_leader (AVAIL_OUT (b),
4184                                            get_expr_value_id (resexpr), NULL);
4185           if (sprimeexpr)
4186             {
4187               if (sprimeexpr->kind == CONSTANT)
4188                 sprime = PRE_EXPR_CONSTANT (sprimeexpr);
4189               else if (sprimeexpr->kind == NAME)
4190                 sprime = PRE_EXPR_NAME (sprimeexpr);
4191               else
4192                 gcc_unreachable ();
4193             }
4194           if (!sprimeexpr
4195               || sprime == res)
4196             {
4197               gsi_next (&gsi);
4198               continue;
4199             }
4200
4201           if (dump_file && (dump_flags & TDF_DETAILS))
4202             {
4203               fprintf (dump_file, "Replaced redundant PHI node defining ");
4204               print_generic_expr (dump_file, res, 0);
4205               fprintf (dump_file, " with ");
4206               print_generic_expr (dump_file, sprime, 0);
4207               fprintf (dump_file, "\n");
4208             }
4209
4210           remove_phi_node (&gsi, false);
4211
4212           if (!useless_type_conversion_p (TREE_TYPE (res), TREE_TYPE (sprime)))
4213             sprime = fold_convert (TREE_TYPE (res), sprime);
4214           stmt = gimple_build_assign (res, sprime);
4215           SSA_NAME_DEF_STMT (res) = stmt;
4216           if (TREE_CODE (sprime) == SSA_NAME)
4217             gimple_set_plf (SSA_NAME_DEF_STMT (sprime),
4218                             NECESSARY, true);
4219           gsi2 = gsi_after_labels (b);
4220           gsi_insert_before (&gsi2, stmt, GSI_NEW_STMT);
4221           /* Queue the copy for eventual removal.  */
4222           VEC_safe_push (gimple, heap, to_remove, stmt);
4223           pre_stats.eliminations++;
4224         }
4225     }
4226
4227   /* We cannot remove stmts during BB walk, especially not release SSA
4228      names there as this confuses the VN machinery.  The stmts ending
4229      up in to_remove are either stores or simple copies.  */
4230   for (i = 0; VEC_iterate (gimple, to_remove, i, stmt); ++i)
4231     {
4232       tree lhs = gimple_assign_lhs (stmt);
4233       use_operand_p use_p;
4234       gimple use_stmt;
4235
4236       /* If there is a single use only, propagate the equivalency
4237          instead of keeping the copy.  */
4238       if (TREE_CODE (lhs) == SSA_NAME
4239           && single_imm_use (lhs, &use_p, &use_stmt)
4240           && may_propagate_copy (USE_FROM_PTR (use_p),
4241                                  gimple_assign_rhs1 (stmt)))
4242         {
4243           SET_USE (use_p, gimple_assign_rhs1 (stmt));
4244           update_stmt (use_stmt);
4245         }
4246
4247       /* If this is a store or a now unused copy, remove it.  */
4248       if (TREE_CODE (lhs) != SSA_NAME
4249           || has_zero_uses (lhs))
4250         {
4251           gsi = gsi_for_stmt (stmt);
4252           unlink_stmt_vdef (stmt);
4253           gsi_remove (&gsi, true);
4254           release_defs (stmt);
4255         }
4256     }
4257   VEC_free (gimple, heap, to_remove);
4258
4259   return todo;
4260 }
4261
4262 /* Borrow a bit of tree-ssa-dce.c for the moment.
4263    XXX: In 4.1, we should be able to just run a DCE pass after PRE, though
4264    this may be a bit faster, and we may want critical edges kept split.  */
4265
4266 /* If OP's defining statement has not already been determined to be necessary,
4267    mark that statement necessary. Return the stmt, if it is newly
4268    necessary.  */
4269
4270 static inline gimple
4271 mark_operand_necessary (tree op)
4272 {
4273   gimple stmt;
4274
4275   gcc_assert (op);
4276
4277   if (TREE_CODE (op) != SSA_NAME)
4278     return NULL;
4279
4280   stmt = SSA_NAME_DEF_STMT (op);
4281   gcc_assert (stmt);
4282
4283   if (gimple_plf (stmt, NECESSARY)
4284       || gimple_nop_p (stmt))
4285     return NULL;
4286
4287   gimple_set_plf (stmt, NECESSARY, true);
4288   return stmt;
4289 }
4290
4291 /* Because we don't follow exactly the standard PRE algorithm, and decide not
4292    to insert PHI nodes sometimes, and because value numbering of casts isn't
4293    perfect, we sometimes end up inserting dead code.   This simple DCE-like
4294    pass removes any insertions we made that weren't actually used.  */
4295
4296 static void
4297 remove_dead_inserted_code (void)
4298 {
4299   VEC(gimple,heap) *worklist = NULL;
4300   int i;
4301   gimple t;
4302
4303   worklist = VEC_alloc (gimple, heap, VEC_length (gimple, inserted_exprs));
4304   for (i = 0; VEC_iterate (gimple, inserted_exprs, i, t); i++)
4305     {
4306       if (gimple_plf (t, NECESSARY))
4307         VEC_quick_push (gimple, worklist, t);
4308     }
4309   while (VEC_length (gimple, worklist) > 0)
4310     {
4311       t = VEC_pop (gimple, worklist);
4312
4313       /* PHI nodes are somewhat special in that each PHI alternative has
4314          data and control dependencies.  All the statements feeding the
4315          PHI node's arguments are always necessary. */
4316       if (gimple_code (t) == GIMPLE_PHI)
4317         {
4318           unsigned k;
4319
4320           VEC_reserve (gimple, heap, worklist, gimple_phi_num_args (t));
4321           for (k = 0; k < gimple_phi_num_args (t); k++)
4322             {
4323               tree arg = PHI_ARG_DEF (t, k);
4324               if (TREE_CODE (arg) == SSA_NAME)
4325                 {
4326                   gimple n = mark_operand_necessary (arg);
4327                   if (n)
4328                     VEC_quick_push (gimple, worklist, n);
4329                 }
4330             }
4331         }
4332       else
4333         {
4334           /* Propagate through the operands.  Examine all the USE, VUSE and
4335              VDEF operands in this statement.  Mark all the statements
4336              which feed this statement's uses as necessary.  */
4337           ssa_op_iter iter;
4338           tree use;
4339
4340           /* The operands of VDEF expressions are also needed as they
4341              represent potential definitions that may reach this
4342              statement (VDEF operands allow us to follow def-def
4343              links).  */
4344
4345           FOR_EACH_SSA_TREE_OPERAND (use, t, iter, SSA_OP_ALL_USES)
4346             {
4347               gimple n = mark_operand_necessary (use);
4348               if (n)
4349                 VEC_safe_push (gimple, heap, worklist, n);
4350             }
4351         }
4352     }
4353
4354   for (i = 0; VEC_iterate (gimple, inserted_exprs, i, t); i++)
4355     {
4356       if (!gimple_plf (t, NECESSARY))
4357         {
4358           gimple_stmt_iterator gsi;
4359
4360           if (dump_file && (dump_flags & TDF_DETAILS))
4361             {
4362               fprintf (dump_file, "Removing unnecessary insertion:");
4363               print_gimple_stmt (dump_file, t, 0, 0);
4364             }
4365
4366           gsi = gsi_for_stmt (t);
4367           if (gimple_code (t) == GIMPLE_PHI)
4368             remove_phi_node (&gsi, true);
4369           else
4370             gsi_remove (&gsi, true);
4371           release_defs (t);
4372         }
4373     }
4374   VEC_free (gimple, heap, worklist);
4375 }
4376
4377 /* Initialize data structures used by PRE.  */
4378
4379 static void
4380 init_pre (bool do_fre)
4381 {
4382   basic_block bb;
4383
4384   next_expression_id = 1;
4385   expressions = NULL;
4386   VEC_safe_push (pre_expr, heap, expressions, NULL);
4387   value_expressions = VEC_alloc (bitmap_set_t, heap, get_max_value_id () + 1);
4388   VEC_safe_grow_cleared (bitmap_set_t, heap, value_expressions,
4389                          get_max_value_id() + 1);
4390
4391   in_fre = do_fre;
4392
4393   inserted_exprs = NULL;
4394   need_creation = NULL;
4395   pretemp = NULL_TREE;
4396   storetemp = NULL_TREE;
4397   prephitemp = NULL_TREE;
4398
4399   connect_infinite_loops_to_exit ();
4400   memset (&pre_stats, 0, sizeof (pre_stats));
4401
4402
4403   postorder = XNEWVEC (int, n_basic_blocks - NUM_FIXED_BLOCKS);
4404   post_order_compute (postorder, false, false);
4405
4406   FOR_ALL_BB (bb)
4407     bb->aux = XCNEWVEC (struct bb_bitmap_sets, 1);
4408
4409   calculate_dominance_info (CDI_POST_DOMINATORS);
4410   calculate_dominance_info (CDI_DOMINATORS);
4411
4412   bitmap_obstack_initialize (&grand_bitmap_obstack);
4413   inserted_phi_names = BITMAP_ALLOC (&grand_bitmap_obstack);
4414   phi_translate_table = htab_create (5110, expr_pred_trans_hash,
4415                                      expr_pred_trans_eq, free);
4416   expression_to_id = htab_create (num_ssa_names * 3,
4417                                   pre_expr_hash,
4418                                   pre_expr_eq, NULL);
4419   seen_during_translate = BITMAP_ALLOC (&grand_bitmap_obstack);
4420   bitmap_set_pool = create_alloc_pool ("Bitmap sets",
4421                                        sizeof (struct bitmap_set), 30);
4422   pre_expr_pool = create_alloc_pool ("pre_expr nodes",
4423                                      sizeof (struct pre_expr_d), 30);
4424   FOR_ALL_BB (bb)
4425     {
4426       EXP_GEN (bb) = bitmap_set_new ();
4427       PHI_GEN (bb) = bitmap_set_new ();
4428       TMP_GEN (bb) = bitmap_set_new ();
4429       AVAIL_OUT (bb) = bitmap_set_new ();
4430     }
4431   maximal_set = in_fre ? NULL : bitmap_set_new ();
4432
4433   need_eh_cleanup = BITMAP_ALLOC (NULL);
4434 }
4435
4436
4437 /* Deallocate data structures used by PRE.  */
4438
4439 static void
4440 fini_pre (bool do_fre)
4441 {
4442   basic_block bb;
4443
4444   free (postorder);
4445   VEC_free (bitmap_set_t, heap, value_expressions);
4446   VEC_free (gimple, heap, inserted_exprs);
4447   VEC_free (gimple, heap, need_creation);
4448   bitmap_obstack_release (&grand_bitmap_obstack);
4449   free_alloc_pool (bitmap_set_pool);
4450   free_alloc_pool (pre_expr_pool);
4451   htab_delete (phi_translate_table);
4452   htab_delete (expression_to_id);
4453
4454   FOR_ALL_BB (bb)
4455     {
4456       free (bb->aux);
4457       bb->aux = NULL;
4458     }
4459
4460   free_dominance_info (CDI_POST_DOMINATORS);
4461
4462   if (!bitmap_empty_p (need_eh_cleanup))
4463     {
4464       gimple_purge_all_dead_eh_edges (need_eh_cleanup);
4465       cleanup_tree_cfg ();
4466     }
4467
4468   BITMAP_FREE (need_eh_cleanup);
4469
4470   if (!do_fre)
4471     loop_optimizer_finalize ();
4472 }
4473
4474 /* Main entry point to the SSA-PRE pass.  DO_FRE is true if the caller
4475    only wants to do full redundancy elimination.  */
4476
4477 static unsigned int
4478 execute_pre (bool do_fre ATTRIBUTE_UNUSED)
4479 {
4480   unsigned int todo = 0;
4481
4482   do_partial_partial = optimize > 2;
4483
4484   /* This has to happen before SCCVN runs because
4485      loop_optimizer_init may create new phis, etc.  */
4486   if (!do_fre)
4487     loop_optimizer_init (LOOPS_NORMAL);
4488
4489   if (!run_scc_vn (do_fre))
4490     {
4491       if (!do_fre)
4492         {
4493           remove_dead_inserted_code ();
4494           loop_optimizer_finalize ();
4495         }
4496       
4497       return 0;
4498     }
4499   init_pre (do_fre);
4500
4501
4502   /* Collect and value number expressions computed in each basic block.  */
4503   compute_avail ();
4504
4505   if (dump_file && (dump_flags & TDF_DETAILS))
4506     {
4507       basic_block bb;
4508
4509       FOR_ALL_BB (bb)
4510         {
4511           print_bitmap_set (dump_file, EXP_GEN (bb), "exp_gen", bb->index);
4512           print_bitmap_set (dump_file, TMP_GEN (bb), "tmp_gen",
4513                                   bb->index);
4514           print_bitmap_set (dump_file, AVAIL_OUT (bb), "avail_out",
4515                                   bb->index);
4516         }
4517     }
4518
4519   /* Insert can get quite slow on an incredibly large number of basic
4520      blocks due to some quadratic behavior.  Until this behavior is
4521      fixed, don't run it when he have an incredibly large number of
4522      bb's.  If we aren't going to run insert, there is no point in
4523      computing ANTIC, either, even though it's plenty fast.  */
4524   if (!do_fre && n_basic_blocks < 4000)
4525     {
4526       compute_antic ();
4527       insert ();
4528     }
4529
4530   /* Remove all the redundant expressions.  */
4531   todo |= eliminate ();
4532
4533   statistics_counter_event (cfun, "Insertions", pre_stats.insertions);
4534   statistics_counter_event (cfun, "PA inserted", pre_stats.pa_insert);
4535   statistics_counter_event (cfun, "New PHIs", pre_stats.phis);
4536   statistics_counter_event (cfun, "Eliminated", pre_stats.eliminations);
4537   statistics_counter_event (cfun, "Constified", pre_stats.constified);
4538
4539   /* Make sure to remove fake edges before committing our inserts.
4540      This makes sure we don't end up with extra critical edges that
4541      we would need to split.  */
4542   remove_fake_exit_edges ();
4543   gsi_commit_edge_inserts ();
4544
4545   clear_expression_ids ();
4546   free_scc_vn ();
4547   if (!do_fre)
4548     remove_dead_inserted_code ();
4549
4550   fini_pre (do_fre);
4551
4552   return todo;
4553 }
4554
4555 /* Gate and execute functions for PRE.  */
4556
4557 static unsigned int
4558 do_pre (void)
4559 {
4560   return execute_pre (false);
4561 }
4562
4563 static bool
4564 gate_pre (void)
4565 {
4566   /* PRE tends to generate bigger code.  */
4567   return flag_tree_pre != 0 && optimize_function_for_speed_p (cfun);
4568 }
4569
4570 struct gimple_opt_pass pass_pre =
4571 {
4572  {
4573   GIMPLE_PASS,
4574   "pre",                                /* name */
4575   gate_pre,                             /* gate */
4576   do_pre,                               /* execute */
4577   NULL,                                 /* sub */
4578   NULL,                                 /* next */
4579   0,                                    /* static_pass_number */
4580   TV_TREE_PRE,                          /* tv_id */
4581   PROP_no_crit_edges | PROP_cfg
4582     | PROP_ssa,                         /* properties_required */
4583   0,                                    /* properties_provided */
4584   0,                                    /* properties_destroyed */
4585   TODO_rebuild_alias,                   /* todo_flags_start */
4586   TODO_update_ssa_only_virtuals | TODO_dump_func | TODO_ggc_collect
4587   | TODO_verify_ssa /* todo_flags_finish */
4588  }
4589 };
4590
4591
4592 /* Gate and execute functions for FRE.  */
4593
4594 static unsigned int
4595 execute_fre (void)
4596 {
4597   return execute_pre (true);
4598 }
4599
4600 static bool
4601 gate_fre (void)
4602 {
4603   return flag_tree_fre != 0;
4604 }
4605
4606 struct gimple_opt_pass pass_fre =
4607 {
4608  {
4609   GIMPLE_PASS,
4610   "fre",                                /* name */
4611   gate_fre,                             /* gate */
4612   execute_fre,                          /* execute */
4613   NULL,                                 /* sub */
4614   NULL,                                 /* next */
4615   0,                                    /* static_pass_number */
4616   TV_TREE_FRE,                          /* tv_id */
4617   PROP_cfg | PROP_ssa,                  /* properties_required */
4618   0,                                    /* properties_provided */
4619   0,                                    /* properties_destroyed */
4620   0,                                    /* todo_flags_start */
4621   TODO_dump_func | TODO_ggc_collect | TODO_verify_ssa /* todo_flags_finish */
4622  }
4623 };