OSDN Git Service

* os_dep.c: Use the POSIX signal API in preference to the BSD API.
[pf3gnuchains/gcc-fork.git] / gcc / graphite-sese-to-poly.c
1 /* Conversion of SESE regions to Polyhedra.
2    Copyright (C) 2009 Free Software Foundation, Inc.
3    Contributed by Sebastian Pop <sebastian.pop@amd.com>.
4
5 This file is part of GCC.
6
7 GCC is free software; you can redistribute it and/or modify
8 it under the terms of the GNU General Public License as published by
9 the Free Software Foundation; either version 3, or (at your option)
10 any later version.
11
12 GCC is distributed in the hope that it will be useful,
13 but WITHOUT ANY WARRANTY; without even the implied warranty of
14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 GNU General Public License for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with GCC; see the file COPYING3.  If not see
19 <http://www.gnu.org/licenses/>.  */
20
21 #include "config.h"
22 #include "system.h"
23 #include "coretypes.h"
24 #include "tm.h"
25 #include "ggc.h"
26 #include "tree.h"
27 #include "rtl.h"
28 #include "basic-block.h"
29 #include "diagnostic.h"
30 #include "tree-flow.h"
31 #include "toplev.h"
32 #include "tree-dump.h"
33 #include "timevar.h"
34 #include "cfgloop.h"
35 #include "tree-chrec.h"
36 #include "tree-data-ref.h"
37 #include "tree-scalar-evolution.h"
38 #include "tree-pass.h"
39 #include "domwalk.h"
40 #include "value-prof.h"
41 #include "pointer-set.h"
42 #include "gimple.h"
43 #include "sese.h"
44
45 #ifdef HAVE_cloog
46 #include "cloog/cloog.h"
47 #include "ppl_c.h"
48 #include "graphite-ppl.h"
49 #include "graphite.h"
50 #include "graphite-poly.h"
51 #include "graphite-scop-detection.h"
52 #include "graphite-clast-to-gimple.h"
53 #include "graphite-sese-to-poly.h"
54
55 /* Check if VAR is used in a phi node, that is no loop header.  */
56
57 static bool
58 var_used_in_not_loop_header_phi_node (tree var)
59 {
60   imm_use_iterator imm_iter;
61   gimple stmt;
62   bool result = false;
63
64   FOR_EACH_IMM_USE_STMT (stmt, imm_iter, var)
65     {
66       basic_block bb = gimple_bb (stmt);
67
68       if (gimple_code (stmt) == GIMPLE_PHI
69           && bb->loop_father->header != bb)
70         result = true;
71     }
72
73   return result;
74 }
75
76 /* Returns the index of the phi argument corresponding to the initial
77    value in the loop.  */
78
79 static size_t
80 loop_entry_phi_arg (gimple phi)
81 {
82   loop_p loop = gimple_bb (phi)->loop_father;
83   size_t i;
84
85   for (i = 0; i < gimple_phi_num_args (phi); i++)
86     if (!flow_bb_inside_loop_p (loop, gimple_phi_arg_edge (phi, i)->src))
87       return i;
88
89   gcc_unreachable ();
90   return 0;
91 }
92
93 /* Removes a simple copy phi node "RES = phi (INIT, RES)" at position
94    PSI by inserting on the loop ENTRY edge assignment "RES = INIT".  */
95
96 static void
97 remove_simple_copy_phi (gimple_stmt_iterator *psi)
98 {
99   gimple phi = gsi_stmt (*psi);
100   tree res = gimple_phi_result (phi);
101   size_t entry = loop_entry_phi_arg (phi);
102   tree init = gimple_phi_arg_def (phi, entry);
103   gimple stmt = gimple_build_assign (res, init);
104   edge e = gimple_phi_arg_edge (phi, entry);
105
106   remove_phi_node (psi, false);
107   gsi_insert_on_edge_immediate (e, stmt);
108   SSA_NAME_DEF_STMT (res) = stmt;
109 }
110
111 /* Removes an invariant phi node at position PSI by inserting on the
112    loop ENTRY edge the assignment RES = INIT.  */
113
114 static void
115 remove_invariant_phi (sese region, gimple_stmt_iterator *psi)
116 {
117   gimple phi = gsi_stmt (*psi);
118   loop_p loop = loop_containing_stmt (phi);
119   tree res = gimple_phi_result (phi);
120   tree scev = scalar_evolution_in_region (region, loop, res);
121   size_t entry = loop_entry_phi_arg (phi);
122   edge e = gimple_phi_arg_edge (phi, entry);
123   tree var;
124   gimple stmt;
125   gimple_seq stmts;
126   gimple_stmt_iterator gsi;
127
128   if (tree_contains_chrecs (scev, NULL))
129     scev = gimple_phi_arg_def (phi, entry);
130
131   var = force_gimple_operand (scev, &stmts, true, NULL_TREE);
132   stmt = gimple_build_assign (res, var);
133   remove_phi_node (psi, false);
134
135   if (!stmts)
136     stmts = gimple_seq_alloc ();
137
138   gsi = gsi_last (stmts);
139   gsi_insert_after (&gsi, stmt, GSI_NEW_STMT);
140   gsi_insert_seq_on_edge (e, stmts);
141   gsi_commit_edge_inserts ();
142   SSA_NAME_DEF_STMT (res) = stmt;
143 }
144
145 /* Returns true when the phi node at PSI is of the form "a = phi (a, x)".  */
146
147 static inline bool
148 simple_copy_phi_p (gimple phi)
149 {
150   tree res;
151
152   if (gimple_phi_num_args (phi) != 2)
153     return false;
154
155   res = gimple_phi_result (phi);
156   return (res == gimple_phi_arg_def (phi, 0)
157           || res == gimple_phi_arg_def (phi, 1));
158 }
159
160 /* Returns true when the phi node at position PSI is a reduction phi
161    node in REGION.  Otherwise moves the pointer PSI to the next phi to
162    be considered.  */
163
164 static bool
165 reduction_phi_p (sese region, gimple_stmt_iterator *psi)
166 {
167   loop_p loop;
168   tree scev;
169   affine_iv iv;
170   gimple phi = gsi_stmt (*psi);
171   tree res = gimple_phi_result (phi);
172
173   if (!is_gimple_reg (res))
174     {
175       gsi_next (psi);
176       return false;
177     }
178
179   loop = loop_containing_stmt (phi);
180
181   if (simple_copy_phi_p (phi))
182     {
183       /* FIXME: PRE introduces phi nodes like these, for an example,
184          see id-5.f in the fortran graphite testsuite:
185
186          # prephitmp.85_265 = PHI <prephitmp.85_258(33), prephitmp.85_265(18)>
187       */
188       remove_simple_copy_phi (psi);
189       return false;
190     }
191
192   /* Main induction variables with constant strides in LOOP are not
193      reductions.  */
194   if (simple_iv (loop, loop, res, &iv, true))
195     {
196       if (integer_zerop (iv.step))
197         remove_invariant_phi (region, psi);
198       else
199         gsi_next (psi);
200
201       return false;
202     }
203
204   scev = scalar_evolution_in_region (region, loop, res);
205   if (chrec_contains_undetermined (scev))
206     return true;
207
208   if (evolution_function_is_invariant_p (scev, loop->num))
209     {
210       remove_invariant_phi (region, psi);
211       return false;
212     }
213
214   /* All the other cases are considered reductions.  */
215   return true;
216 }
217
218 /* Returns true when BB will be represented in graphite.  Return false
219    for the basic blocks that contain code eliminated in the code
220    generation pass: i.e. induction variables and exit conditions.  */
221
222 static bool
223 graphite_stmt_p (sese region, basic_block bb,
224                  VEC (data_reference_p, heap) *drs)
225 {
226   gimple_stmt_iterator gsi;
227   loop_p loop = bb->loop_father;
228
229   if (VEC_length (data_reference_p, drs) > 0)
230     return true;
231
232   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
233     {
234       gimple stmt = gsi_stmt (gsi);
235
236       switch (gimple_code (stmt))
237         {
238         case GIMPLE_DEBUG:
239           /* Control flow expressions can be ignored, as they are
240              represented in the iteration domains and will be
241              regenerated by graphite.  */
242         case GIMPLE_COND:
243         case GIMPLE_GOTO:
244         case GIMPLE_SWITCH:
245           break;
246
247         case GIMPLE_ASSIGN:
248           {
249             tree var = gimple_assign_lhs (stmt);
250
251             /* We need these bbs to be able to construct the phi nodes.  */
252             if (var_used_in_not_loop_header_phi_node (var))
253               return true;
254
255             var = scalar_evolution_in_region (region, loop, var);
256             if (chrec_contains_undetermined (var))
257               return true;
258
259             break;
260           }
261
262         default:
263           return true;
264         }
265     }
266
267   return false;
268 }
269
270 /* Store the GRAPHITE representation of BB.  */
271
272 static gimple_bb_p
273 new_gimple_bb (basic_block bb, VEC (data_reference_p, heap) *drs)
274 {
275   struct gimple_bb *gbb;
276
277   gbb = XNEW (struct gimple_bb);
278   bb->aux = gbb;
279   GBB_BB (gbb) = bb;
280   GBB_DATA_REFS (gbb) = drs;
281   GBB_CONDITIONS (gbb) = NULL;
282   GBB_CONDITION_CASES (gbb) = NULL;
283   GBB_CLOOG_IV_TYPES (gbb) = NULL;
284
285   return gbb;
286 }
287
288 static void
289 free_data_refs_aux (VEC (data_reference_p, heap) *datarefs)
290 {
291   unsigned int i;
292   struct data_reference *dr;
293
294   for (i = 0; VEC_iterate (data_reference_p, datarefs, i, dr); i++)
295     if (dr->aux)
296       {
297         base_alias_pair *bap = (base_alias_pair *)(dr->aux);
298
299         if (bap->alias_set)
300           free (bap->alias_set);
301
302         free (bap);
303         dr->aux = NULL;
304       }
305 }
306 /* Frees GBB.  */
307
308 static void
309 free_gimple_bb (struct gimple_bb *gbb)
310 {
311   if (GBB_CLOOG_IV_TYPES (gbb))
312     htab_delete (GBB_CLOOG_IV_TYPES (gbb));
313
314   free_data_refs_aux (GBB_DATA_REFS (gbb));
315   free_data_refs (GBB_DATA_REFS (gbb));
316
317   VEC_free (gimple, heap, GBB_CONDITIONS (gbb));
318   VEC_free (gimple, heap, GBB_CONDITION_CASES (gbb));
319   GBB_BB (gbb)->aux = 0;
320   XDELETE (gbb);
321 }
322
323 /* Deletes all gimple bbs in SCOP.  */
324
325 static void
326 remove_gbbs_in_scop (scop_p scop)
327 {
328   int i;
329   poly_bb_p pbb;
330
331   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
332     free_gimple_bb (PBB_BLACK_BOX (pbb));
333 }
334
335 /* Deletes all scops in SCOPS.  */
336
337 void
338 free_scops (VEC (scop_p, heap) *scops)
339 {
340   int i;
341   scop_p scop;
342
343   for (i = 0; VEC_iterate (scop_p, scops, i, scop); i++)
344     {
345       remove_gbbs_in_scop (scop);
346       free_sese (SCOP_REGION (scop));
347       free_scop (scop);
348     }
349
350   VEC_free (scop_p, heap, scops);
351 }
352
353 /* Generates a polyhedral black box only if the bb contains interesting
354    information.  */
355
356 static void
357 try_generate_gimple_bb (scop_p scop, basic_block bb, sbitmap reductions)
358 {
359   VEC (data_reference_p, heap) *drs = VEC_alloc (data_reference_p, heap, 5);
360   loop_p nest = outermost_loop_in_sese (SCOP_REGION (scop), bb);
361   gimple_stmt_iterator gsi;
362
363   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
364     {
365       gimple stmt = gsi_stmt (gsi);
366       if (!is_gimple_debug (stmt))
367         graphite_find_data_references_in_stmt (nest, stmt, &drs);
368     }
369
370   if (!graphite_stmt_p (SCOP_REGION (scop), bb, drs))
371     free_data_refs (drs);
372   else
373     new_poly_bb (scop, new_gimple_bb (bb, drs), TEST_BIT (reductions,
374                                                           bb->index));
375 }
376
377 /* Returns true if all predecessors of BB, that are not dominated by BB, are
378    marked in MAP.  The predecessors dominated by BB are loop latches and will
379    be handled after BB.  */
380
381 static bool
382 all_non_dominated_preds_marked_p (basic_block bb, sbitmap map)
383 {
384   edge e;
385   edge_iterator ei;
386
387   FOR_EACH_EDGE (e, ei, bb->preds)
388     if (!TEST_BIT (map, e->src->index)
389         && !dominated_by_p (CDI_DOMINATORS, e->src, bb))
390         return false;
391
392   return true;
393 }
394
395 /* Compare the depth of two basic_block's P1 and P2.  */
396
397 static int
398 compare_bb_depths (const void *p1, const void *p2)
399 {
400   const_basic_block const bb1 = *(const_basic_block const*)p1;
401   const_basic_block const bb2 = *(const_basic_block const*)p2;
402   int d1 = loop_depth (bb1->loop_father);
403   int d2 = loop_depth (bb2->loop_father);
404
405   if (d1 < d2)
406     return 1;
407
408   if (d1 > d2)
409     return -1;
410
411   return 0;
412 }
413
414 /* Sort the basic blocks from DOM such that the first are the ones at
415    a deepest loop level.  */
416
417 static void
418 graphite_sort_dominated_info (VEC (basic_block, heap) *dom)
419 {
420   size_t len = VEC_length (basic_block, dom);
421
422   qsort (VEC_address (basic_block, dom), len, sizeof (basic_block),
423          compare_bb_depths);
424 }
425
426 /* Recursive helper function for build_scops_bbs.  */
427
428 static void
429 build_scop_bbs_1 (scop_p scop, sbitmap visited, basic_block bb, sbitmap reductions)
430 {
431   sese region = SCOP_REGION (scop);
432   VEC (basic_block, heap) *dom;
433
434   if (TEST_BIT (visited, bb->index)
435       || !bb_in_sese_p (bb, region))
436     return;
437
438   try_generate_gimple_bb (scop, bb, reductions);
439   SET_BIT (visited, bb->index);
440
441   dom = get_dominated_by (CDI_DOMINATORS, bb);
442
443   if (dom == NULL)
444     return;
445
446   graphite_sort_dominated_info (dom);
447
448   while (!VEC_empty (basic_block, dom))
449     {
450       int i;
451       basic_block dom_bb;
452
453       for (i = 0; VEC_iterate (basic_block, dom, i, dom_bb); i++)
454         if (all_non_dominated_preds_marked_p (dom_bb, visited))
455           {
456             build_scop_bbs_1 (scop, visited, dom_bb, reductions);
457             VEC_unordered_remove (basic_block, dom, i);
458             break;
459           }
460     }
461
462   VEC_free (basic_block, heap, dom);
463 }
464
465 /* Gather the basic blocks belonging to the SCOP.  */
466
467 static void
468 build_scop_bbs (scop_p scop, sbitmap reductions)
469 {
470   sbitmap visited = sbitmap_alloc (last_basic_block);
471   sese region = SCOP_REGION (scop);
472
473   sbitmap_zero (visited);
474   build_scop_bbs_1 (scop, visited, SESE_ENTRY_BB (region), reductions);
475   sbitmap_free (visited);
476 }
477
478 /* Converts the STATIC_SCHEDULE of PBB into a scattering polyhedron.
479    We generate SCATTERING_DIMENSIONS scattering dimensions.
480
481    CLooG 0.15.0 and previous versions require, that all
482    scattering functions of one CloogProgram have the same number of
483    scattering dimensions, therefore we allow to specify it.  This
484    should be removed in future versions of CLooG.
485
486    The scattering polyhedron consists of these dimensions: scattering,
487    loop_iterators, parameters.
488
489    Example:
490
491    | scattering_dimensions = 5
492    | used_scattering_dimensions = 3
493    | nb_iterators = 1
494    | scop_nb_params = 2
495    |
496    | Schedule:
497    |   i
498    | 4 5
499    |
500    | Scattering polyhedron:
501    |
502    | scattering: {s1, s2, s3, s4, s5}
503    | loop_iterators: {i}
504    | parameters: {p1, p2}
505    |
506    | s1  s2  s3  s4  s5  i   p1  p2  1
507    | 1   0   0   0   0   0   0   0  -4  = 0
508    | 0   1   0   0   0  -1   0   0   0  = 0
509    | 0   0   1   0   0   0   0   0  -5  = 0  */
510
511 static void
512 build_pbb_scattering_polyhedrons (ppl_Linear_Expression_t static_schedule,
513                                   poly_bb_p pbb, int scattering_dimensions)
514 {
515   int i;
516   scop_p scop = PBB_SCOP (pbb);
517   int nb_iterators = pbb_dim_iter_domain (pbb);
518   int used_scattering_dimensions = nb_iterators * 2 + 1;
519   int nb_params = scop_nb_params (scop);
520   ppl_Coefficient_t c;
521   ppl_dimension_type dim = scattering_dimensions + nb_iterators + nb_params;
522   Value v;
523
524   gcc_assert (scattering_dimensions >= used_scattering_dimensions);
525
526   value_init (v);
527   ppl_new_Coefficient (&c);
528   PBB_TRANSFORMED (pbb) = poly_scattering_new ();
529   ppl_new_C_Polyhedron_from_space_dimension
530     (&PBB_TRANSFORMED_SCATTERING (pbb), dim, 0);
531
532   PBB_NB_SCATTERING_TRANSFORM (pbb) = scattering_dimensions;
533
534   for (i = 0; i < scattering_dimensions; i++)
535     {
536       ppl_Constraint_t cstr;
537       ppl_Linear_Expression_t expr;
538
539       ppl_new_Linear_Expression_with_dimension (&expr, dim);
540       value_set_si (v, 1);
541       ppl_assign_Coefficient_from_mpz_t (c, v);
542       ppl_Linear_Expression_add_to_coefficient (expr, i, c);
543
544       /* Textual order inside this loop.  */
545       if ((i % 2) == 0)
546         {
547           ppl_Linear_Expression_coefficient (static_schedule, i / 2, c);
548           ppl_Coefficient_to_mpz_t (c, v);
549           value_oppose (v, v);
550           ppl_assign_Coefficient_from_mpz_t (c, v);
551           ppl_Linear_Expression_add_to_inhomogeneous (expr, c);
552         }
553
554       /* Iterations of this loop.  */
555       else /* if ((i % 2) == 1) */
556         {
557           int loop = (i - 1) / 2;
558
559           value_set_si (v, -1);
560           ppl_assign_Coefficient_from_mpz_t (c, v);
561           ppl_Linear_Expression_add_to_coefficient
562             (expr, scattering_dimensions + loop, c);
563         }
564
565       ppl_new_Constraint (&cstr, expr, PPL_CONSTRAINT_TYPE_EQUAL);
566       ppl_Polyhedron_add_constraint (PBB_TRANSFORMED_SCATTERING (pbb), cstr);
567       ppl_delete_Linear_Expression (expr);
568       ppl_delete_Constraint (cstr);
569     }
570
571   value_clear (v);
572   ppl_delete_Coefficient (c);
573
574   PBB_ORIGINAL (pbb) = poly_scattering_copy (PBB_TRANSFORMED (pbb));
575 }
576
577 /* Build for BB the static schedule.
578
579    The static schedule is a Dewey numbering of the abstract syntax
580    tree: http://en.wikipedia.org/wiki/Dewey_Decimal_Classification
581
582    The following example informally defines the static schedule:
583
584    A
585    for (i: ...)
586      {
587        for (j: ...)
588          {
589            B
590            C
591          }
592
593        for (k: ...)
594          {
595            D
596            E
597          }
598      }
599    F
600
601    Static schedules for A to F:
602
603      DEPTH
604      0 1 2
605    A 0
606    B 1 0 0
607    C 1 0 1
608    D 1 1 0
609    E 1 1 1
610    F 2
611 */
612
613 static void
614 build_scop_scattering (scop_p scop)
615 {
616   int i;
617   poly_bb_p pbb;
618   gimple_bb_p previous_gbb = NULL;
619   ppl_Linear_Expression_t static_schedule;
620   ppl_Coefficient_t c;
621   Value v;
622
623   value_init (v);
624   ppl_new_Coefficient (&c);
625   ppl_new_Linear_Expression (&static_schedule);
626
627   /* We have to start schedules at 0 on the first component and
628      because we cannot compare_prefix_loops against a previous loop,
629      prefix will be equal to zero, and that index will be
630      incremented before copying.  */
631   value_set_si (v, -1);
632   ppl_assign_Coefficient_from_mpz_t (c, v);
633   ppl_Linear_Expression_add_to_coefficient (static_schedule, 0, c);
634
635   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
636     {
637       gimple_bb_p gbb = PBB_BLACK_BOX (pbb);
638       ppl_Linear_Expression_t common;
639       int prefix;
640       int nb_scat_dims = pbb_dim_iter_domain (pbb) * 2 + 1;
641
642       if (previous_gbb)
643         prefix = nb_common_loops (SCOP_REGION (scop), previous_gbb, gbb);
644       else
645         prefix = 0;
646
647       previous_gbb = gbb;
648       ppl_new_Linear_Expression_with_dimension (&common, prefix + 1);
649       ppl_assign_Linear_Expression_from_Linear_Expression (common,
650                                                            static_schedule);
651
652       value_set_si (v, 1);
653       ppl_assign_Coefficient_from_mpz_t (c, v);
654       ppl_Linear_Expression_add_to_coefficient (common, prefix, c);
655       ppl_assign_Linear_Expression_from_Linear_Expression (static_schedule,
656                                                            common);
657
658       build_pbb_scattering_polyhedrons (common, pbb, nb_scat_dims);
659
660       ppl_delete_Linear_Expression (common);
661     }
662
663   value_clear (v);
664   ppl_delete_Coefficient (c);
665   ppl_delete_Linear_Expression (static_schedule);
666 }
667
668 /* Add the value K to the dimension D of the linear expression EXPR.  */
669
670 static void
671 add_value_to_dim (ppl_dimension_type d, ppl_Linear_Expression_t expr,
672                   Value k)
673 {
674   Value val;
675   ppl_Coefficient_t coef;
676
677   ppl_new_Coefficient (&coef);
678   ppl_Linear_Expression_coefficient (expr, d, coef);
679   value_init (val);
680   ppl_Coefficient_to_mpz_t (coef, val);
681
682   value_addto (val, val, k);
683
684   ppl_assign_Coefficient_from_mpz_t (coef, val);
685   ppl_Linear_Expression_add_to_coefficient (expr, d, coef);
686   value_clear (val);
687   ppl_delete_Coefficient (coef);
688 }
689
690 /* In the context of scop S, scan E, the right hand side of a scalar
691    evolution function in loop VAR, and translate it to a linear
692    expression EXPR.  */
693
694 static void
695 scan_tree_for_params_right_scev (sese s, tree e, int var,
696                                  ppl_Linear_Expression_t expr)
697 {
698   if (expr)
699     {
700       loop_p loop = get_loop (var);
701       ppl_dimension_type l = sese_loop_depth (s, loop) - 1;
702       Value val;
703
704       /* Scalar evolutions should happen in the sese region.  */
705       gcc_assert (sese_loop_depth (s, loop) > 0);
706
707       /* We can not deal with parametric strides like:
708
709       | p = parameter;
710       |
711       | for i:
712       |   a [i * p] = ...   */
713       gcc_assert (TREE_CODE (e) == INTEGER_CST);
714
715       value_init (val);
716       value_set_si (val, int_cst_value (e));
717       add_value_to_dim (l, expr, val);
718       value_clear (val);
719     }
720 }
721
722 /* Scan the integer constant CST, and add it to the inhomogeneous part of the
723    linear expression EXPR.  K is the multiplier of the constant.  */
724
725 static void
726 scan_tree_for_params_int (tree cst, ppl_Linear_Expression_t expr, Value k)
727 {
728   Value val;
729   ppl_Coefficient_t coef;
730   int v = int_cst_value (cst);
731
732   value_init (val);
733   value_set_si (val, 0);
734
735   /* Necessary to not get "-1 = 2^n - 1". */
736   if (v < 0)
737     value_sub_int (val, val, -v);
738   else
739     value_add_int (val, val, v);
740
741   value_multiply (val, val, k);
742   ppl_new_Coefficient (&coef);
743   ppl_assign_Coefficient_from_mpz_t (coef, val);
744   ppl_Linear_Expression_add_to_inhomogeneous (expr, coef);
745   value_clear (val);
746   ppl_delete_Coefficient (coef);
747 }
748
749 /* Saves in NV at index I a new name for variable P.  */
750
751 static void
752 save_var_name (char **nv, int i, tree p)
753 {
754   const char *name = get_name (SSA_NAME_VAR (p));
755
756   if (name)
757     {
758       int len = strlen (name) + 16;
759       nv[i] = XNEWVEC (char, len);
760       snprintf (nv[i], len, "%s_%d", name, SSA_NAME_VERSION (p));
761     }
762   else
763     {
764       nv[i] = XNEWVEC (char, 16);
765       snprintf (nv[i], 2 + 16, "T_%d", SSA_NAME_VERSION (p));
766     }
767 }
768
769 /* When parameter NAME is in REGION, returns its index in SESE_PARAMS.
770    Otherwise returns -1.  */
771
772 static inline int
773 parameter_index_in_region_1 (tree name, sese region)
774 {
775   int i;
776   tree p;
777
778   gcc_assert (TREE_CODE (name) == SSA_NAME);
779
780   for (i = 0; VEC_iterate (tree, SESE_PARAMS (region), i, p); i++)
781     if (p == name)
782       return i;
783
784   return -1;
785 }
786
787 /* When the parameter NAME is in REGION, returns its index in
788    SESE_PARAMS.  Otherwise this function inserts NAME in SESE_PARAMS
789    and returns the index of NAME.  */
790
791 static int
792 parameter_index_in_region (tree name, sese region)
793 {
794   int i;
795
796   gcc_assert (TREE_CODE (name) == SSA_NAME);
797
798   i = parameter_index_in_region_1 (name, region);
799   if (i != -1)
800     return i;
801
802   gcc_assert (SESE_ADD_PARAMS (region));
803
804   i = VEC_length (tree, SESE_PARAMS (region));
805   save_var_name (SESE_PARAMS_NAMES (region), i, name);
806   save_clast_name_index (SESE_PARAMS_INDEX (region),
807                          SESE_PARAMS_NAMES (region)[i], i);
808   VEC_safe_push (tree, heap, SESE_PARAMS (region), name);
809   return i;
810 }
811
812 /* In the context of sese S, scan the expression E and translate it to
813    a linear expression C.  When parsing a symbolic multiplication, K
814    represents the constant multiplier of an expression containing
815    parameters.  */
816
817 static void
818 scan_tree_for_params (sese s, tree e, ppl_Linear_Expression_t c,
819                       Value k)
820 {
821   if (e == chrec_dont_know)
822     return;
823
824   switch (TREE_CODE (e))
825     {
826     case POLYNOMIAL_CHREC:
827       scan_tree_for_params_right_scev (s, CHREC_RIGHT (e),
828                                        CHREC_VARIABLE (e), c);
829       scan_tree_for_params (s, CHREC_LEFT (e), c, k);
830       break;
831
832     case MULT_EXPR:
833       if (chrec_contains_symbols (TREE_OPERAND (e, 0)))
834         {
835           if (c)
836             {
837               Value val;
838               gcc_assert (host_integerp (TREE_OPERAND (e, 1), 0));
839               value_init (val);
840               value_set_si (val, int_cst_value (TREE_OPERAND (e, 1)));
841               value_multiply (val, val, k);
842               scan_tree_for_params (s, TREE_OPERAND (e, 0), c, val);
843               value_clear (val);
844             }
845           else
846             scan_tree_for_params (s, TREE_OPERAND (e, 0), c, k);
847         }
848       else
849         {
850           if (c)
851             {
852               Value val;
853               gcc_assert (host_integerp (TREE_OPERAND (e, 0), 0));
854               value_init (val);
855               value_set_si (val, int_cst_value (TREE_OPERAND (e, 0)));
856               value_multiply (val, val, k);
857               scan_tree_for_params (s, TREE_OPERAND (e, 1), c, val);
858               value_clear (val);
859             }
860           else
861             scan_tree_for_params (s, TREE_OPERAND (e, 1), c, k);
862         }
863       break;
864
865     case PLUS_EXPR:
866     case POINTER_PLUS_EXPR:
867       scan_tree_for_params (s, TREE_OPERAND (e, 0), c, k);
868       scan_tree_for_params (s, TREE_OPERAND (e, 1), c, k);
869       break;
870
871     case MINUS_EXPR:
872       {
873         ppl_Linear_Expression_t tmp_expr = NULL;
874
875         if (c)
876           {
877             ppl_dimension_type dim;
878             ppl_Linear_Expression_space_dimension (c, &dim);
879             ppl_new_Linear_Expression_with_dimension (&tmp_expr, dim);
880           }
881
882         scan_tree_for_params (s, TREE_OPERAND (e, 0), c, k);
883         scan_tree_for_params (s, TREE_OPERAND (e, 1), tmp_expr, k);
884
885         if (c)
886           {
887             ppl_subtract_Linear_Expression_from_Linear_Expression (c,
888                                                                    tmp_expr);
889             ppl_delete_Linear_Expression (tmp_expr);
890           }
891
892         break;
893       }
894
895     case NEGATE_EXPR:
896       {
897         ppl_Linear_Expression_t tmp_expr = NULL;
898
899         if (c)
900           {
901             ppl_dimension_type dim;
902             ppl_Linear_Expression_space_dimension (c, &dim);
903             ppl_new_Linear_Expression_with_dimension (&tmp_expr, dim);
904           }
905
906         scan_tree_for_params (s, TREE_OPERAND (e, 0), tmp_expr, k);
907
908         if (c)
909           {
910             ppl_subtract_Linear_Expression_from_Linear_Expression (c,
911                                                                    tmp_expr);
912             ppl_delete_Linear_Expression (tmp_expr);
913           }
914
915         break;
916       }
917
918     case BIT_NOT_EXPR:
919       {
920         ppl_Linear_Expression_t tmp_expr = NULL;
921
922         if (c)
923           {
924             ppl_dimension_type dim;
925             ppl_Linear_Expression_space_dimension (c, &dim);
926             ppl_new_Linear_Expression_with_dimension (&tmp_expr, dim);
927           }
928
929         scan_tree_for_params (s, TREE_OPERAND (e, 0), tmp_expr, k);
930
931         if (c)
932           {
933             ppl_Coefficient_t coef;
934             Value minus_one;
935
936             ppl_subtract_Linear_Expression_from_Linear_Expression (c,
937                                                                    tmp_expr);
938             ppl_delete_Linear_Expression (tmp_expr);
939             value_init (minus_one);
940             value_set_si (minus_one, -1);
941             ppl_new_Coefficient_from_mpz_t (&coef, minus_one);
942             ppl_Linear_Expression_add_to_inhomogeneous (c, coef);
943             value_clear (minus_one);
944             ppl_delete_Coefficient (coef);
945           }
946
947         break;
948       }
949
950     case SSA_NAME:
951       {
952         ppl_dimension_type p = parameter_index_in_region (e, s);
953
954         if (c)
955           {
956             ppl_dimension_type dim;
957             ppl_Linear_Expression_space_dimension (c, &dim);
958             p += dim - sese_nb_params (s);
959             add_value_to_dim (p, c, k);
960           }
961         break;
962       }
963
964     case INTEGER_CST:
965       if (c)
966         scan_tree_for_params_int (e, c, k);
967       break;
968
969     CASE_CONVERT:
970     case NON_LVALUE_EXPR:
971       scan_tree_for_params (s, TREE_OPERAND (e, 0), c, k);
972       break;
973
974    default:
975       gcc_unreachable ();
976       break;
977     }
978 }
979
980 /* Find parameters with respect to REGION in BB. We are looking in memory
981    access functions, conditions and loop bounds.  */
982
983 static void
984 find_params_in_bb (sese region, gimple_bb_p gbb)
985 {
986   int i;
987   unsigned j;
988   data_reference_p dr;
989   gimple stmt;
990   loop_p loop = GBB_BB (gbb)->loop_father;
991   Value one;
992
993   value_init (one);
994   value_set_si (one, 1);
995
996   /* Find parameters in the access functions of data references.  */
997   for (i = 0; VEC_iterate (data_reference_p, GBB_DATA_REFS (gbb), i, dr); i++)
998     for (j = 0; j < DR_NUM_DIMENSIONS (dr); j++)
999       scan_tree_for_params (region, DR_ACCESS_FN (dr, j), NULL, one);
1000
1001   /* Find parameters in conditional statements.  */
1002   for (i = 0; VEC_iterate (gimple, GBB_CONDITIONS (gbb), i, stmt); i++)
1003     {
1004       tree lhs = scalar_evolution_in_region (region, loop,
1005                                              gimple_cond_lhs (stmt));
1006       tree rhs = scalar_evolution_in_region (region, loop,
1007                                              gimple_cond_rhs (stmt));
1008
1009       scan_tree_for_params (region, lhs, NULL, one);
1010       scan_tree_for_params (region, rhs, NULL, one);
1011     }
1012
1013   value_clear (one);
1014 }
1015
1016 /* Record the parameters used in the SCOP.  A variable is a parameter
1017    in a scop if it does not vary during the execution of that scop.  */
1018
1019 static void
1020 find_scop_parameters (scop_p scop)
1021 {
1022   poly_bb_p pbb;
1023   unsigned i;
1024   sese region = SCOP_REGION (scop);
1025   struct loop *loop;
1026   Value one;
1027
1028   value_init (one);
1029   value_set_si (one, 1);
1030
1031   /* Find the parameters used in the loop bounds.  */
1032   for (i = 0; VEC_iterate (loop_p, SESE_LOOP_NEST (region), i, loop); i++)
1033     {
1034       tree nb_iters = number_of_latch_executions (loop);
1035
1036       if (!chrec_contains_symbols (nb_iters))
1037         continue;
1038
1039       nb_iters = scalar_evolution_in_region (region, loop, nb_iters);
1040       scan_tree_for_params (region, nb_iters, NULL, one);
1041     }
1042
1043   value_clear (one);
1044
1045   /* Find the parameters used in data accesses.  */
1046   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
1047     find_params_in_bb (region, PBB_BLACK_BOX (pbb));
1048
1049   scop_set_nb_params (scop, sese_nb_params (region));
1050   SESE_ADD_PARAMS (region) = false;
1051
1052   ppl_new_Pointset_Powerset_C_Polyhedron_from_space_dimension
1053     (&SCOP_CONTEXT (scop), scop_nb_params (scop), 0);
1054 }
1055
1056 /* Returns a gimple_bb from BB.  */
1057
1058 static inline gimple_bb_p
1059 gbb_from_bb (basic_block bb)
1060 {
1061   return (gimple_bb_p) bb->aux;
1062 }
1063
1064 /* Builds the constraint polyhedra for LOOP in SCOP.  OUTER_PH gives
1065    the constraints for the surrounding loops.  */
1066
1067 static void
1068 build_loop_iteration_domains (scop_p scop, struct loop *loop,
1069                               ppl_Polyhedron_t outer_ph, int nb,
1070                               ppl_Pointset_Powerset_C_Polyhedron_t *domains)
1071 {
1072   int i;
1073   ppl_Polyhedron_t ph;
1074   tree nb_iters = number_of_latch_executions (loop);
1075   ppl_dimension_type dim = nb + 1 + scop_nb_params (scop);
1076   sese region = SCOP_REGION (scop);
1077
1078   {
1079     ppl_const_Constraint_System_t pcs;
1080     ppl_dimension_type *map
1081       = (ppl_dimension_type *) XNEWVEC (ppl_dimension_type, dim);
1082
1083     ppl_new_C_Polyhedron_from_space_dimension (&ph, dim, 0);
1084     ppl_Polyhedron_get_constraints (outer_ph, &pcs);
1085     ppl_Polyhedron_add_constraints (ph, pcs);
1086
1087     for (i = 0; i < (int) nb; i++)
1088       map[i] = i;
1089     for (i = (int) nb; i < (int) dim - 1; i++)
1090       map[i] = i + 1;
1091     map[dim - 1] = nb;
1092
1093     ppl_Polyhedron_map_space_dimensions (ph, map, dim);
1094     free (map);
1095   }
1096
1097   /* 0 <= loop_i */
1098   {
1099     ppl_Constraint_t lb;
1100     ppl_Linear_Expression_t lb_expr;
1101
1102     ppl_new_Linear_Expression_with_dimension (&lb_expr, dim);
1103     ppl_set_coef (lb_expr, nb, 1);
1104     ppl_new_Constraint (&lb, lb_expr, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1105     ppl_delete_Linear_Expression (lb_expr);
1106     ppl_Polyhedron_add_constraint (ph, lb);
1107     ppl_delete_Constraint (lb);
1108   }
1109
1110   if (TREE_CODE (nb_iters) == INTEGER_CST)
1111     {
1112       ppl_Constraint_t ub;
1113       ppl_Linear_Expression_t ub_expr;
1114
1115       ppl_new_Linear_Expression_with_dimension (&ub_expr, dim);
1116
1117       /* loop_i <= cst_nb_iters */
1118       ppl_set_coef (ub_expr, nb, -1);
1119       ppl_set_inhomogeneous_tree (ub_expr, nb_iters);
1120       ppl_new_Constraint (&ub, ub_expr, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1121       ppl_Polyhedron_add_constraint (ph, ub);
1122       ppl_delete_Linear_Expression (ub_expr);
1123       ppl_delete_Constraint (ub);
1124     }
1125   else if (!chrec_contains_undetermined (nb_iters))
1126     {
1127       Value one;
1128       ppl_Constraint_t ub;
1129       ppl_Linear_Expression_t ub_expr;
1130       double_int nit;
1131
1132       value_init (one);
1133       value_set_si (one, 1);
1134       ppl_new_Linear_Expression_with_dimension (&ub_expr, dim);
1135       nb_iters = scalar_evolution_in_region (region, loop, nb_iters);
1136       scan_tree_for_params (SCOP_REGION (scop), nb_iters, ub_expr, one);
1137       value_clear (one);
1138
1139       /* N <= estimated_nb_iters
1140
1141          FIXME: This is a workaround that should go away once we will
1142          have the PIP algorithm.  */
1143       if (estimated_loop_iterations (loop, true, &nit))
1144         {
1145           Value val;
1146           ppl_Linear_Expression_t nb_iters_le;
1147           ppl_Polyhedron_t pol;
1148           graphite_dim_t n = scop_nb_params (scop);
1149           ppl_Coefficient_t coef;
1150
1151           ppl_new_C_Polyhedron_from_space_dimension (&pol, dim, 0);
1152           ppl_new_Linear_Expression_from_Linear_Expression (&nb_iters_le,
1153                                                             ub_expr);
1154
1155           /* Construct the negated number of last iteration in VAL.  */
1156           value_init (val);
1157           mpz_set_double_int (val, nit, false);
1158           value_sub_int (val, val, 1);
1159           value_oppose (val, val);
1160
1161           /* NB_ITERS_LE holds number of last iteration in parametrical form.
1162           Subtract estimated number of last iteration and assert that result
1163           is not positive.  */
1164           ppl_new_Coefficient_from_mpz_t (&coef, val);
1165           ppl_Linear_Expression_add_to_inhomogeneous (nb_iters_le, coef);
1166           ppl_delete_Coefficient (coef);
1167           ppl_new_Constraint (&ub, nb_iters_le,
1168                               PPL_CONSTRAINT_TYPE_LESS_OR_EQUAL);
1169           ppl_Polyhedron_add_constraint (pol, ub);
1170
1171           /* Remove all but last N dimensions from POL to obtain constraints
1172              on parameters.  */
1173             {
1174               ppl_dimension_type *dims = XNEWVEC (ppl_dimension_type, dim - n);
1175               graphite_dim_t i;
1176               for (i = 0; i < dim - n; i++)
1177                 dims[i] = i;
1178               ppl_Polyhedron_remove_space_dimensions (pol, dims, dim - n);
1179               XDELETEVEC (dims);
1180             }
1181
1182           /* Add constraints on parameters to SCoP context.  */
1183             {
1184               ppl_Pointset_Powerset_C_Polyhedron_t constraints_ps;
1185               ppl_new_Pointset_Powerset_C_Polyhedron_from_C_Polyhedron
1186                (&constraints_ps, pol);
1187               ppl_Pointset_Powerset_C_Polyhedron_intersection_assign
1188                (SCOP_CONTEXT (scop), constraints_ps);
1189               ppl_delete_Pointset_Powerset_C_Polyhedron (constraints_ps);
1190             }
1191
1192           ppl_delete_Polyhedron (pol);
1193           ppl_delete_Linear_Expression (nb_iters_le);
1194           ppl_delete_Constraint (ub);
1195           value_clear (val);
1196         }
1197
1198       /* loop_i <= expr_nb_iters */
1199       ppl_set_coef (ub_expr, nb, -1);
1200       ppl_new_Constraint (&ub, ub_expr, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1201       ppl_Polyhedron_add_constraint (ph, ub);
1202       ppl_delete_Linear_Expression (ub_expr);
1203       ppl_delete_Constraint (ub);
1204     }
1205   else
1206     gcc_unreachable ();
1207
1208   if (loop->inner && loop_in_sese_p (loop->inner, region))
1209     build_loop_iteration_domains (scop, loop->inner, ph, nb + 1, domains);
1210
1211   if (nb != 0
1212       && loop->next
1213       && loop_in_sese_p (loop->next, region))
1214     build_loop_iteration_domains (scop, loop->next, outer_ph, nb, domains);
1215
1216   ppl_new_Pointset_Powerset_C_Polyhedron_from_C_Polyhedron
1217     (&domains[loop->num], ph);
1218
1219   ppl_delete_Polyhedron (ph);
1220 }
1221
1222 /* Returns a linear expression for tree T evaluated in PBB.  */
1223
1224 static ppl_Linear_Expression_t
1225 create_linear_expr_from_tree (poly_bb_p pbb, tree t)
1226 {
1227   Value one;
1228   ppl_Linear_Expression_t res;
1229   ppl_dimension_type dim;
1230   sese region = SCOP_REGION (PBB_SCOP (pbb));
1231   loop_p loop = pbb_loop (pbb);
1232
1233   dim = pbb_dim_iter_domain (pbb) + pbb_nb_params (pbb);
1234   ppl_new_Linear_Expression_with_dimension (&res, dim);
1235
1236   t = scalar_evolution_in_region (region, loop, t);
1237   gcc_assert (!automatically_generated_chrec_p (t));
1238
1239   value_init (one);
1240   value_set_si (one, 1);
1241   scan_tree_for_params (region, t, res, one);
1242   value_clear (one);
1243
1244   return res;
1245 }
1246
1247 /* Returns the ppl constraint type from the gimple tree code CODE.  */
1248
1249 static enum ppl_enum_Constraint_Type
1250 ppl_constraint_type_from_tree_code (enum tree_code code)
1251 {
1252   switch (code)
1253     {
1254     /* We do not support LT and GT to be able to work with C_Polyhedron.
1255        As we work on integer polyhedron "a < b" can be expressed by
1256        "a + 1 <= b".  */
1257     case LT_EXPR:
1258     case GT_EXPR:
1259       gcc_unreachable ();
1260
1261     case LE_EXPR:
1262       return PPL_CONSTRAINT_TYPE_LESS_OR_EQUAL;
1263
1264     case GE_EXPR:
1265       return PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL;
1266
1267     case EQ_EXPR:
1268       return PPL_CONSTRAINT_TYPE_EQUAL;
1269
1270     default:
1271       gcc_unreachable ();
1272     }
1273 }
1274
1275 /* Add conditional statement STMT to PS.  It is evaluated in PBB and
1276    CODE is used as the comparison operator.  This allows us to invert the
1277    condition or to handle inequalities.  */
1278
1279 static void
1280 add_condition_to_domain (ppl_Pointset_Powerset_C_Polyhedron_t ps, gimple stmt,
1281                          poly_bb_p pbb, enum tree_code code)
1282 {
1283   Value v;
1284   ppl_Coefficient_t c;
1285   ppl_Linear_Expression_t left, right;
1286   ppl_Constraint_t cstr;
1287   enum ppl_enum_Constraint_Type type;
1288
1289   left = create_linear_expr_from_tree (pbb, gimple_cond_lhs (stmt));
1290   right = create_linear_expr_from_tree (pbb, gimple_cond_rhs (stmt));
1291
1292   /* If we have < or > expressions convert them to <= or >= by adding 1 to
1293      the left or the right side of the expression. */
1294   if (code == LT_EXPR)
1295     {
1296       value_init (v);
1297       value_set_si (v, 1);
1298       ppl_new_Coefficient (&c);
1299       ppl_assign_Coefficient_from_mpz_t (c, v);
1300       ppl_Linear_Expression_add_to_inhomogeneous (left, c);
1301       ppl_delete_Coefficient (c);
1302       value_clear (v);
1303
1304       code = LE_EXPR;
1305     }
1306   else if (code == GT_EXPR)
1307     {
1308       value_init (v);
1309       value_set_si (v, 1);
1310       ppl_new_Coefficient (&c);
1311       ppl_assign_Coefficient_from_mpz_t (c, v);
1312       ppl_Linear_Expression_add_to_inhomogeneous (right, c);
1313       ppl_delete_Coefficient (c);
1314       value_clear (v);
1315
1316       code = GE_EXPR;
1317     }
1318
1319   type = ppl_constraint_type_from_tree_code (code);
1320
1321   ppl_subtract_Linear_Expression_from_Linear_Expression (left, right);
1322
1323   ppl_new_Constraint (&cstr, left, type);
1324   ppl_Pointset_Powerset_C_Polyhedron_add_constraint (ps, cstr);
1325
1326   ppl_delete_Constraint (cstr);
1327   ppl_delete_Linear_Expression (left);
1328   ppl_delete_Linear_Expression (right);
1329 }
1330
1331 /* Add conditional statement STMT to pbb.  CODE is used as the comparision
1332    operator.  This allows us to invert the condition or to handle
1333    inequalities.  */
1334
1335 static void
1336 add_condition_to_pbb (poly_bb_p pbb, gimple stmt, enum tree_code code)
1337 {
1338   if (code == NE_EXPR)
1339     {
1340       ppl_Pointset_Powerset_C_Polyhedron_t left = PBB_DOMAIN (pbb);
1341       ppl_Pointset_Powerset_C_Polyhedron_t right;
1342       ppl_new_Pointset_Powerset_C_Polyhedron_from_Pointset_Powerset_C_Polyhedron
1343         (&right, left);
1344       add_condition_to_domain (left, stmt, pbb, LT_EXPR);
1345       add_condition_to_domain (right, stmt, pbb, GT_EXPR);
1346       ppl_Pointset_Powerset_C_Polyhedron_upper_bound_assign (left,
1347                                                                right);
1348       ppl_delete_Pointset_Powerset_C_Polyhedron (right);
1349     }
1350   else
1351     add_condition_to_domain (PBB_DOMAIN (pbb), stmt, pbb, code);
1352 }
1353
1354 /* Add conditions to the domain of PBB.  */
1355
1356 static void
1357 add_conditions_to_domain (poly_bb_p pbb)
1358 {
1359   unsigned int i;
1360   gimple stmt;
1361   gimple_bb_p gbb = PBB_BLACK_BOX (pbb);
1362   VEC (gimple, heap) *conditions = GBB_CONDITIONS (gbb);
1363
1364   if (VEC_empty (gimple, conditions))
1365     return;
1366
1367   for (i = 0; VEC_iterate (gimple, conditions, i, stmt); i++)
1368     switch (gimple_code (stmt))
1369       {
1370       case GIMPLE_COND:
1371           {
1372             enum tree_code code = gimple_cond_code (stmt);
1373
1374             /* The conditions for ELSE-branches are inverted.  */
1375             if (VEC_index (gimple, gbb->condition_cases, i) == NULL)
1376               code = invert_tree_comparison (code, false);
1377
1378             add_condition_to_pbb (pbb, stmt, code);
1379             break;
1380           }
1381
1382       case GIMPLE_SWITCH:
1383         /* Switch statements are not supported right now - fall throught.  */
1384
1385       default:
1386         gcc_unreachable ();
1387         break;
1388       }
1389 }
1390
1391 /* Structure used to pass data to dom_walk.  */
1392
1393 struct bsc
1394 {
1395   VEC (gimple, heap) **conditions, **cases;
1396   sese region;
1397 };
1398
1399 /* Returns non NULL when BB has a single predecessor and the last
1400    statement of that predecessor is a COND_EXPR.  */
1401
1402 static gimple
1403 single_pred_cond (basic_block bb)
1404 {
1405   if (single_pred_p (bb))
1406     {
1407       edge e = single_pred_edge (bb);
1408       basic_block pred = e->src;
1409       gimple stmt = last_stmt (pred);
1410
1411       if (stmt && gimple_code (stmt) == GIMPLE_COND)
1412         return stmt;
1413     }
1414   return NULL;
1415 }
1416
1417 /* Call-back for dom_walk executed before visiting the dominated
1418    blocks.  */
1419
1420 static void
1421 build_sese_conditions_before (struct dom_walk_data *dw_data,
1422                               basic_block bb)
1423 {
1424   struct bsc *data = (struct bsc *) dw_data->global_data;
1425   VEC (gimple, heap) **conditions = data->conditions;
1426   VEC (gimple, heap) **cases = data->cases;
1427   gimple_bb_p gbb = gbb_from_bb (bb);
1428   gimple stmt = single_pred_cond (bb);
1429
1430   if (!bb_in_sese_p (bb, data->region))
1431     return;
1432
1433   if (stmt)
1434     {
1435       edge e = single_pred_edge (bb);
1436
1437       VEC_safe_push (gimple, heap, *conditions, stmt);
1438
1439       if (e->flags & EDGE_TRUE_VALUE)
1440         VEC_safe_push (gimple, heap, *cases, stmt);
1441       else
1442         VEC_safe_push (gimple, heap, *cases, NULL);
1443     }
1444
1445   if (gbb)
1446     {
1447       GBB_CONDITIONS (gbb) = VEC_copy (gimple, heap, *conditions);
1448       GBB_CONDITION_CASES (gbb) = VEC_copy (gimple, heap, *cases);
1449     }
1450 }
1451
1452 /* Call-back for dom_walk executed after visiting the dominated
1453    blocks.  */
1454
1455 static void
1456 build_sese_conditions_after (struct dom_walk_data *dw_data,
1457                              basic_block bb)
1458 {
1459   struct bsc *data = (struct bsc *) dw_data->global_data;
1460   VEC (gimple, heap) **conditions = data->conditions;
1461   VEC (gimple, heap) **cases = data->cases;
1462
1463   if (!bb_in_sese_p (bb, data->region))
1464     return;
1465
1466   if (single_pred_cond (bb))
1467     {
1468       VEC_pop (gimple, *conditions);
1469       VEC_pop (gimple, *cases);
1470     }
1471 }
1472
1473 /* Record all conditions in REGION.  */
1474
1475 static void
1476 build_sese_conditions (sese region)
1477 {
1478   struct dom_walk_data walk_data;
1479   VEC (gimple, heap) *conditions = VEC_alloc (gimple, heap, 3);
1480   VEC (gimple, heap) *cases = VEC_alloc (gimple, heap, 3);
1481   struct bsc data;
1482
1483   data.conditions = &conditions;
1484   data.cases = &cases;
1485   data.region = region;
1486
1487   walk_data.dom_direction = CDI_DOMINATORS;
1488   walk_data.initialize_block_local_data = NULL;
1489   walk_data.before_dom_children = build_sese_conditions_before;
1490   walk_data.after_dom_children = build_sese_conditions_after;
1491   walk_data.global_data = &data;
1492   walk_data.block_local_data_size = 0;
1493
1494   init_walk_dominator_tree (&walk_data);
1495   walk_dominator_tree (&walk_data, SESE_ENTRY_BB (region));
1496   fini_walk_dominator_tree (&walk_data);
1497
1498   VEC_free (gimple, heap, conditions);
1499   VEC_free (gimple, heap, cases);
1500 }
1501
1502 /* Traverses all the GBBs of the SCOP and add their constraints to the
1503    iteration domains.  */
1504
1505 static void
1506 add_conditions_to_constraints (scop_p scop)
1507 {
1508   int i;
1509   poly_bb_p pbb;
1510
1511   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
1512     add_conditions_to_domain (pbb);
1513 }
1514
1515 /* Add constraints on the possible values of parameter P from the type
1516    of P.  */
1517
1518 static void
1519 add_param_constraints (scop_p scop, ppl_Polyhedron_t context, graphite_dim_t p)
1520 {
1521   ppl_Constraint_t cstr;
1522   ppl_Linear_Expression_t le;
1523   tree parameter = VEC_index (tree, SESE_PARAMS (SCOP_REGION (scop)), p);
1524   tree type = TREE_TYPE (parameter);
1525   tree lb, ub;
1526
1527   /* Disabled until we fix CPU2006.  */
1528   return;
1529
1530   if (!INTEGRAL_TYPE_P (type))
1531     return;
1532
1533   lb = TYPE_MIN_VALUE (type);
1534   ub = TYPE_MAX_VALUE (type);
1535
1536   if (lb)
1537     {
1538       ppl_new_Linear_Expression_with_dimension (&le, scop_nb_params (scop));
1539       ppl_set_coef (le, p, -1);
1540       ppl_set_inhomogeneous_tree (le, lb);
1541       ppl_new_Constraint (&cstr, le, PPL_CONSTRAINT_TYPE_LESS_OR_EQUAL);
1542       ppl_Polyhedron_add_constraint (context, cstr);
1543       ppl_delete_Linear_Expression (le);
1544       ppl_delete_Constraint (cstr);
1545     }
1546
1547   if (ub)
1548     {
1549       ppl_new_Linear_Expression_with_dimension (&le, scop_nb_params (scop));
1550       ppl_set_coef (le, p, -1);
1551       ppl_set_inhomogeneous_tree (le, ub);
1552       ppl_new_Constraint (&cstr, le, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1553       ppl_Polyhedron_add_constraint (context, cstr);
1554       ppl_delete_Linear_Expression (le);
1555       ppl_delete_Constraint (cstr);
1556     }
1557 }
1558
1559 /* Build the context of the SCOP.  The context usually contains extra
1560    constraints that are added to the iteration domains that constrain
1561    some parameters.  */
1562
1563 static void
1564 build_scop_context (scop_p scop)
1565 {
1566   ppl_Polyhedron_t context;
1567   ppl_Pointset_Powerset_C_Polyhedron_t ps;
1568   graphite_dim_t p, n = scop_nb_params (scop);
1569
1570   ppl_new_C_Polyhedron_from_space_dimension (&context, n, 0);
1571
1572   for (p = 0; p < n; p++)
1573     add_param_constraints (scop, context, p);
1574
1575   ppl_new_Pointset_Powerset_C_Polyhedron_from_C_Polyhedron
1576     (&ps, context);
1577   ppl_Pointset_Powerset_C_Polyhedron_intersection_assign
1578     (SCOP_CONTEXT (scop), ps);
1579
1580   ppl_delete_Pointset_Powerset_C_Polyhedron (ps);
1581   ppl_delete_Polyhedron (context);
1582 }
1583
1584 /* Build the iteration domains: the loops belonging to the current
1585    SCOP, and that vary for the execution of the current basic block.
1586    Returns false if there is no loop in SCOP.  */
1587
1588 static void
1589 build_scop_iteration_domain (scop_p scop)
1590 {
1591   struct loop *loop;
1592   sese region = SCOP_REGION (scop);
1593   int i;
1594   ppl_Polyhedron_t ph;
1595   poly_bb_p pbb;
1596   int nb_loops = number_of_loops ();
1597   ppl_Pointset_Powerset_C_Polyhedron_t *domains
1598     = XNEWVEC (ppl_Pointset_Powerset_C_Polyhedron_t, nb_loops);
1599
1600   for (i = 0; i < nb_loops; i++)
1601     domains[i] = NULL;
1602
1603   ppl_new_C_Polyhedron_from_space_dimension (&ph, scop_nb_params (scop), 0);
1604
1605   for (i = 0; VEC_iterate (loop_p, SESE_LOOP_NEST (region), i, loop); i++)
1606     if (!loop_in_sese_p (loop_outer (loop), region))
1607       build_loop_iteration_domains (scop, loop, ph, 0, domains);
1608
1609   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
1610     if (domains[gbb_loop (PBB_BLACK_BOX (pbb))->num])
1611       ppl_new_Pointset_Powerset_C_Polyhedron_from_Pointset_Powerset_C_Polyhedron
1612         (&PBB_DOMAIN (pbb), (ppl_const_Pointset_Powerset_C_Polyhedron_t)
1613          domains[gbb_loop (PBB_BLACK_BOX (pbb))->num]);
1614     else
1615       ppl_new_Pointset_Powerset_C_Polyhedron_from_C_Polyhedron
1616         (&PBB_DOMAIN (pbb), ph);
1617
1618   for (i = 0; i < nb_loops; i++)
1619     if (domains[i])
1620       ppl_delete_Pointset_Powerset_C_Polyhedron (domains[i]);
1621
1622   ppl_delete_Polyhedron (ph);
1623   free (domains);
1624 }
1625
1626 /* Add a constrain to the ACCESSES polyhedron for the alias set of
1627    data reference DR.  ACCESSP_NB_DIMS is the dimension of the
1628    ACCESSES polyhedron, DOM_NB_DIMS is the dimension of the iteration
1629    domain.  */
1630
1631 static void
1632 pdr_add_alias_set (ppl_Polyhedron_t accesses, data_reference_p dr,
1633                    ppl_dimension_type accessp_nb_dims,
1634                    ppl_dimension_type dom_nb_dims)
1635 {
1636   ppl_Linear_Expression_t alias;
1637   ppl_Constraint_t cstr;
1638   int alias_set_num = 0;
1639   base_alias_pair *bap = (base_alias_pair *)(dr->aux);
1640
1641   if (bap && bap->alias_set)
1642     alias_set_num = *(bap->alias_set);
1643
1644   ppl_new_Linear_Expression_with_dimension (&alias, accessp_nb_dims);
1645
1646   ppl_set_coef (alias, dom_nb_dims, 1);
1647   ppl_set_inhomogeneous (alias, -alias_set_num);
1648   ppl_new_Constraint (&cstr, alias, PPL_CONSTRAINT_TYPE_EQUAL);
1649   ppl_Polyhedron_add_constraint (accesses, cstr);
1650
1651   ppl_delete_Linear_Expression (alias);
1652   ppl_delete_Constraint (cstr);
1653 }
1654
1655 /* Add to ACCESSES polyhedron equalities defining the access functions
1656    to the memory.  ACCESSP_NB_DIMS is the dimension of the ACCESSES
1657    polyhedron, DOM_NB_DIMS is the dimension of the iteration domain.
1658    PBB is the poly_bb_p that contains the data reference DR.  */
1659
1660 static void
1661 pdr_add_memory_accesses (ppl_Polyhedron_t accesses, data_reference_p dr,
1662                          ppl_dimension_type accessp_nb_dims,
1663                          ppl_dimension_type dom_nb_dims,
1664                          poly_bb_p pbb)
1665 {
1666   int i, nb_subscripts = DR_NUM_DIMENSIONS (dr);
1667   Value v;
1668   scop_p scop = PBB_SCOP (pbb);
1669   sese region = SCOP_REGION (scop);
1670
1671   value_init (v);
1672
1673   for (i = 0; i < nb_subscripts; i++)
1674     {
1675       ppl_Linear_Expression_t fn, access;
1676       ppl_Constraint_t cstr;
1677       ppl_dimension_type subscript = dom_nb_dims + 1 + i;
1678       tree afn = DR_ACCESS_FN (dr, nb_subscripts - 1 - i);
1679
1680       ppl_new_Linear_Expression_with_dimension (&fn, dom_nb_dims);
1681       ppl_new_Linear_Expression_with_dimension (&access, accessp_nb_dims);
1682
1683       value_set_si (v, 1);
1684       scan_tree_for_params (region, afn, fn, v);
1685       ppl_assign_Linear_Expression_from_Linear_Expression (access, fn);
1686
1687       ppl_set_coef (access, subscript, -1);
1688       ppl_new_Constraint (&cstr, access, PPL_CONSTRAINT_TYPE_EQUAL);
1689       ppl_Polyhedron_add_constraint (accesses, cstr);
1690
1691       ppl_delete_Linear_Expression (fn);
1692       ppl_delete_Linear_Expression (access);
1693       ppl_delete_Constraint (cstr);
1694     }
1695
1696   value_clear (v);
1697 }
1698
1699 /* Add constrains representing the size of the accessed data to the
1700    ACCESSES polyhedron.  ACCESSP_NB_DIMS is the dimension of the
1701    ACCESSES polyhedron, DOM_NB_DIMS is the dimension of the iteration
1702    domain.  */
1703
1704 static void
1705 pdr_add_data_dimensions (ppl_Polyhedron_t accesses, data_reference_p dr,
1706                          ppl_dimension_type accessp_nb_dims,
1707                          ppl_dimension_type dom_nb_dims)
1708 {
1709   tree ref = DR_REF (dr);
1710   int i, nb_subscripts = DR_NUM_DIMENSIONS (dr);
1711
1712   for (i = nb_subscripts - 1; i >= 0; i--, ref = TREE_OPERAND (ref, 0))
1713     {
1714       ppl_Linear_Expression_t expr;
1715       ppl_Constraint_t cstr;
1716       ppl_dimension_type subscript = dom_nb_dims + 1 + i;
1717       tree low, high;
1718
1719       if (TREE_CODE (ref) != ARRAY_REF)
1720         break;
1721
1722       low = array_ref_low_bound (ref);
1723
1724       /* subscript - low >= 0 */
1725       if (host_integerp (low, 0))
1726         {
1727           ppl_new_Linear_Expression_with_dimension (&expr, accessp_nb_dims);
1728           ppl_set_coef (expr, subscript, 1);
1729
1730           ppl_set_inhomogeneous (expr, -int_cst_value (low));
1731
1732           ppl_new_Constraint (&cstr, expr, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1733           ppl_Polyhedron_add_constraint (accesses, cstr);
1734           ppl_delete_Linear_Expression (expr);
1735           ppl_delete_Constraint (cstr);
1736         }
1737
1738       high = array_ref_up_bound (ref);
1739
1740       /* high - subscript >= 0 */
1741       if (high && host_integerp (high, 0)
1742           /* 1-element arrays at end of structures may extend over
1743              their declared size.  */
1744           && !(array_at_struct_end_p (ref)
1745                && operand_equal_p (low, high, 0)))
1746         {
1747           ppl_new_Linear_Expression_with_dimension (&expr, accessp_nb_dims);
1748           ppl_set_coef (expr, subscript, -1);
1749
1750           ppl_set_inhomogeneous (expr, int_cst_value (high));
1751
1752           ppl_new_Constraint (&cstr, expr, PPL_CONSTRAINT_TYPE_GREATER_OR_EQUAL);
1753           ppl_Polyhedron_add_constraint (accesses, cstr);
1754           ppl_delete_Linear_Expression (expr);
1755           ppl_delete_Constraint (cstr);
1756         }
1757     }
1758 }
1759
1760 /* Build data accesses for DR in PBB.  */
1761
1762 static void
1763 build_poly_dr (data_reference_p dr, poly_bb_p pbb)
1764 {
1765   ppl_Polyhedron_t accesses;
1766   ppl_Pointset_Powerset_C_Polyhedron_t accesses_ps;
1767   ppl_dimension_type dom_nb_dims;
1768   ppl_dimension_type accessp_nb_dims;
1769   int dr_base_object_set;
1770
1771   ppl_Pointset_Powerset_C_Polyhedron_space_dimension (PBB_DOMAIN (pbb),
1772                                                       &dom_nb_dims);
1773   accessp_nb_dims = dom_nb_dims + 1 + DR_NUM_DIMENSIONS (dr);
1774
1775   ppl_new_C_Polyhedron_from_space_dimension (&accesses, accessp_nb_dims, 0);
1776
1777   pdr_add_alias_set (accesses, dr, accessp_nb_dims, dom_nb_dims);
1778   pdr_add_memory_accesses (accesses, dr, accessp_nb_dims, dom_nb_dims, pbb);
1779   pdr_add_data_dimensions (accesses, dr, accessp_nb_dims, dom_nb_dims);
1780
1781   ppl_new_Pointset_Powerset_C_Polyhedron_from_C_Polyhedron (&accesses_ps,
1782                                                             accesses);
1783   ppl_delete_Polyhedron (accesses);
1784
1785   if (dr->aux)
1786     dr_base_object_set = ((base_alias_pair *)(dr->aux))->base_obj_set;
1787
1788   new_poly_dr (pbb, dr_base_object_set, accesses_ps, DR_IS_READ (dr) ? PDR_READ : PDR_WRITE,
1789                dr, DR_NUM_DIMENSIONS (dr));
1790 }
1791
1792 /* Write to FILE the alias graph of data references in DIMACS format.  */
1793
1794 static inline bool
1795 write_alias_graph_to_ascii_dimacs (FILE *file, char *comment,
1796                                    VEC (data_reference_p, heap) *drs)
1797 {
1798   int num_vertex = VEC_length (data_reference_p, drs);
1799   int edge_num = 0;
1800   data_reference_p dr1, dr2;
1801   int i, j;
1802
1803   if (num_vertex == 0)
1804     return true;
1805
1806   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1807     for (j = i + 1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1808       if (dr_may_alias_p (dr1, dr2))
1809         edge_num++;
1810
1811   fprintf (file, "$\n");
1812
1813   if (comment)
1814     fprintf (file, "c %s\n", comment);
1815
1816   fprintf (file, "p edge %d %d\n", num_vertex, edge_num);
1817
1818   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1819     for (j = i + 1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1820       if (dr_may_alias_p (dr1, dr2))
1821         fprintf (file, "e %d %d\n", i + 1, j + 1);
1822
1823   return true;
1824 }
1825
1826 /* Write to FILE the alias graph of data references in DOT format.  */
1827
1828 static inline bool
1829 write_alias_graph_to_ascii_dot (FILE *file, char *comment,
1830                                 VEC (data_reference_p, heap) *drs)
1831 {
1832   int num_vertex = VEC_length (data_reference_p, drs);
1833   data_reference_p dr1, dr2;
1834   int i, j;
1835
1836   if (num_vertex == 0)
1837     return true;
1838
1839   fprintf (file, "$\n");
1840
1841   if (comment)
1842     fprintf (file, "c %s\n", comment);
1843
1844   /* First print all the vertices.  */
1845   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1846     fprintf (file, "n%d;\n", i);
1847
1848   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1849     for (j = i + 1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1850       if (dr_may_alias_p (dr1, dr2))
1851         fprintf (file, "n%d n%d\n", i, j);
1852
1853   return true;
1854 }
1855
1856 /* Write to FILE the alias graph of data references in ECC format.  */
1857
1858 static inline bool
1859 write_alias_graph_to_ascii_ecc (FILE *file, char *comment,
1860                                 VEC (data_reference_p, heap) *drs)
1861 {
1862   int num_vertex = VEC_length (data_reference_p, drs);
1863   data_reference_p dr1, dr2;
1864   int i, j;
1865
1866   if (num_vertex == 0)
1867     return true;
1868
1869   fprintf (file, "$\n");
1870
1871   if (comment)
1872     fprintf (file, "c %s\n", comment);
1873
1874   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1875     for (j = i + 1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1876       if (dr_may_alias_p (dr1, dr2))
1877         fprintf (file, "%d %d\n", i, j);
1878
1879   return true;
1880 }
1881
1882 /* Check if DR1 and DR2 are in the same object set.  */
1883
1884 static bool
1885 dr_same_base_object_p (const struct data_reference *dr1,
1886                        const struct data_reference *dr2)
1887 {
1888   return operand_equal_p (DR_BASE_OBJECT (dr1), DR_BASE_OBJECT (dr2), 0);
1889 }
1890
1891 /* Uses DFS component number as representative of alias-sets. Also tests for
1892    optimality by verifying if every connected component is a clique. Returns
1893    true (1) if the above test is true, and false (0) otherwise.  */
1894
1895 static int
1896 build_alias_set_optimal_p (VEC (data_reference_p, heap) *drs)
1897 {
1898   int num_vertices = VEC_length (data_reference_p, drs);
1899   struct graph *g = new_graph (num_vertices);
1900   data_reference_p dr1, dr2;
1901   int i, j;
1902   int num_connected_components;
1903   int v_indx1, v_indx2, num_vertices_in_component;
1904   int *all_vertices;
1905   int *vertices;
1906   struct graph_edge *e;
1907   int this_component_is_clique;
1908   int all_components_are_cliques = 1;
1909
1910   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1911     for (j = i+1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1912       if (dr_may_alias_p (dr1, dr2))
1913         {
1914           add_edge (g, i, j);
1915           add_edge (g, j, i);
1916         }
1917
1918   all_vertices = XNEWVEC (int, num_vertices);
1919   vertices = XNEWVEC (int, num_vertices);
1920   for (i = 0; i < num_vertices; i++)
1921     all_vertices[i] = i;
1922
1923   num_connected_components = graphds_dfs (g, all_vertices, num_vertices,
1924                                           NULL, true, NULL);
1925   for (i = 0; i < g->n_vertices; i++)
1926     {
1927       data_reference_p dr = VEC_index (data_reference_p, drs, i);
1928       base_alias_pair *bap;
1929
1930       if (dr->aux)
1931         bap = (base_alias_pair *)(dr->aux);
1932
1933       bap->alias_set = XNEW (int);
1934       *(bap->alias_set) = g->vertices[i].component + 1;
1935     }
1936
1937   /* Verify if the DFS numbering results in optimal solution.  */
1938   for (i = 0; i < num_connected_components; i++)
1939     {
1940       num_vertices_in_component = 0;
1941       /* Get all vertices whose DFS component number is the same as i.  */
1942       for (j = 0; j < num_vertices; j++)
1943         if (g->vertices[j].component == i)
1944           vertices[num_vertices_in_component++] = j;
1945
1946       /* Now test if the vertices in 'vertices' form a clique, by testing
1947          for edges among each pair.  */
1948       this_component_is_clique = 1;
1949       for (v_indx1 = 0; v_indx1 < num_vertices_in_component; v_indx1++)
1950         {
1951           for (v_indx2 = v_indx1+1; v_indx2 < num_vertices_in_component; v_indx2++)
1952             {
1953               /* Check if the two vertices are connected by iterating
1954                  through all the edges which have one of these are source.  */
1955               e = g->vertices[vertices[v_indx2]].pred;
1956               while (e)
1957                 {
1958                   if (e->src == vertices[v_indx1])
1959                     break;
1960                   e = e->pred_next;
1961                 }
1962               if (!e)
1963                 {
1964                   this_component_is_clique = 0;
1965                   break;
1966                 }
1967             }
1968           if (!this_component_is_clique)
1969             all_components_are_cliques = 0;
1970         }
1971     }
1972
1973   free (all_vertices);
1974   free (vertices);
1975   free_graph (g);
1976   return all_components_are_cliques;
1977 }
1978
1979 /* Group each data reference in DRS with it's base object set num.  */
1980
1981 static void
1982 build_base_obj_set_for_drs (VEC (data_reference_p, heap) *drs)
1983 {
1984   int num_vertex = VEC_length (data_reference_p, drs);
1985   struct graph *g = new_graph (num_vertex);
1986   data_reference_p dr1, dr2;
1987   int i, j;
1988   int *queue;
1989
1990   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr1); i++)
1991     for (j = i + 1; VEC_iterate (data_reference_p, drs, j, dr2); j++)
1992       if (dr_same_base_object_p (dr1, dr2))
1993         {
1994           add_edge (g, i, j);
1995           add_edge (g, j, i);
1996         }
1997
1998   queue = XNEWVEC (int, num_vertex);
1999   for (i = 0; i < num_vertex; i++)
2000     queue[i] = i;
2001
2002   graphds_dfs (g, queue, num_vertex, NULL, true, NULL);
2003
2004   for (i = 0; i < g->n_vertices; i++)
2005     {
2006       data_reference_p dr = VEC_index (data_reference_p, drs, i);
2007       base_alias_pair *bap;
2008
2009       if (dr->aux)
2010         bap = (base_alias_pair *)(dr->aux);
2011
2012       bap->base_obj_set = g->vertices[i].component + 1;
2013     }
2014
2015   free (queue);
2016   free_graph (g);
2017 }
2018
2019 /* Build the data references for PBB.  */
2020
2021 static void
2022 build_pbb_drs (poly_bb_p pbb)
2023 {
2024   int j;
2025   data_reference_p dr;
2026   VEC (data_reference_p, heap) *gbb_drs = GBB_DATA_REFS (PBB_BLACK_BOX (pbb));
2027
2028   for (j = 0; VEC_iterate (data_reference_p, gbb_drs, j, dr); j++)
2029     build_poly_dr (dr, pbb);
2030 }
2031
2032 /* Dump to file the alias graphs for the data references in DRS.  */
2033
2034 static void
2035 dump_alias_graphs (VEC (data_reference_p, heap) *drs)
2036 {
2037   char comment[100];
2038   FILE *file_dimacs, *file_ecc, *file_dot;
2039
2040   file_dimacs = fopen ("/tmp/dr_alias_graph_dimacs", "ab");
2041   if (file_dimacs)
2042     {
2043       snprintf (comment, sizeof (comment), "%s %s", main_input_filename,
2044                 current_function_name ());
2045       write_alias_graph_to_ascii_dimacs (file_dimacs, comment, drs);
2046       fclose (file_dimacs);
2047     }
2048
2049   file_ecc = fopen ("/tmp/dr_alias_graph_ecc", "ab");
2050   if (file_ecc)
2051     {
2052       snprintf (comment, sizeof (comment), "%s %s", main_input_filename,
2053                 current_function_name ());
2054       write_alias_graph_to_ascii_ecc (file_ecc, comment, drs);
2055       fclose (file_ecc);
2056     }
2057
2058   file_dot = fopen ("/tmp/dr_alias_graph_dot", "ab");
2059   if (file_dot)
2060     {
2061       snprintf (comment, sizeof (comment), "%s %s", main_input_filename,
2062                 current_function_name ());
2063       write_alias_graph_to_ascii_dot (file_dot, comment, drs);
2064       fclose (file_dot);
2065     }
2066 }
2067
2068 /* Build data references in SCOP.  */
2069
2070 static void
2071 build_scop_drs (scop_p scop)
2072 {
2073   int i, j;
2074   poly_bb_p pbb;
2075   data_reference_p dr;
2076   VEC (data_reference_p, heap) *drs = VEC_alloc (data_reference_p, heap, 3);
2077
2078   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
2079     for (j = 0; VEC_iterate (data_reference_p,
2080                              GBB_DATA_REFS (PBB_BLACK_BOX (pbb)), j, dr); j++)
2081       VEC_safe_push (data_reference_p, heap, drs, dr);
2082
2083   for (i = 0; VEC_iterate (data_reference_p, drs, i, dr); i++)
2084     dr->aux = XNEW (base_alias_pair);
2085
2086   if (!build_alias_set_optimal_p (drs))
2087     {
2088       /* TODO: Add support when building alias set is not optimal.  */
2089       ;
2090     }
2091
2092   build_base_obj_set_for_drs (drs);
2093
2094   /* When debugging, enable the following code.  This cannot be used
2095      in production compilers.  */
2096   if (0)
2097     dump_alias_graphs (drs);
2098
2099   VEC_free (data_reference_p, heap, drs);
2100
2101   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
2102     build_pbb_drs (pbb);
2103 }
2104
2105 /* Return a gsi at the position of the phi node STMT.  */
2106
2107 static gimple_stmt_iterator
2108 gsi_for_phi_node (gimple stmt)
2109 {
2110   gimple_stmt_iterator psi;
2111   basic_block bb = gimple_bb (stmt);
2112
2113   for (psi = gsi_start_phis (bb); !gsi_end_p (psi); gsi_next (&psi))
2114     if (stmt == gsi_stmt (psi))
2115       return psi;
2116
2117   gcc_unreachable ();
2118   return psi;
2119 }
2120
2121 /* Insert the assignment "RES := VAR" just after the definition of VAR.  */
2122
2123 static void
2124 insert_out_of_ssa_copy (tree res, tree var)
2125 {
2126   gimple stmt;
2127   gimple_seq stmts;
2128   gimple_stmt_iterator si;
2129   gimple_stmt_iterator gsi;
2130
2131   var = force_gimple_operand (var, &stmts, true, NULL_TREE);
2132   stmt = gimple_build_assign (res, var);
2133   if (!stmts)
2134     stmts = gimple_seq_alloc ();
2135   si = gsi_last (stmts);
2136   gsi_insert_after (&si, stmt, GSI_NEW_STMT);
2137
2138   stmt = SSA_NAME_DEF_STMT (var);
2139   if (gimple_code (stmt) == GIMPLE_PHI)
2140     {
2141       gsi = gsi_after_labels (gimple_bb (stmt));
2142       gsi_insert_seq_before (&gsi, stmts, GSI_NEW_STMT);
2143     }
2144   else
2145     {
2146       gsi = gsi_for_stmt (stmt);
2147       gsi_insert_seq_after (&gsi, stmts, GSI_NEW_STMT);
2148     }
2149 }
2150
2151 /* Insert on edge E the assignment "RES := EXPR".  */
2152
2153 static void
2154 insert_out_of_ssa_copy_on_edge (edge e, tree res, tree expr)
2155 {
2156   gimple_stmt_iterator gsi;
2157   gimple_seq stmts;
2158   tree var = force_gimple_operand (expr, &stmts, true, NULL_TREE);
2159   gimple stmt = gimple_build_assign (res, var);
2160
2161   if (!stmts)
2162     stmts = gimple_seq_alloc ();
2163
2164   gsi = gsi_last (stmts);
2165   gsi_insert_after (&gsi, stmt, GSI_NEW_STMT);
2166   gsi_insert_seq_on_edge (e, stmts);
2167   gsi_commit_edge_inserts ();
2168 }
2169
2170 /* Creates a zero dimension array of the same type as VAR.  */
2171
2172 static tree
2173 create_zero_dim_array (tree var, const char *base_name)
2174 {
2175   tree index_type = build_index_type (integer_zero_node);
2176   tree elt_type = TREE_TYPE (var);
2177   tree array_type = build_array_type (elt_type, index_type);
2178   tree base = create_tmp_var (array_type, base_name);
2179
2180   add_referenced_var (base);
2181
2182   return build4 (ARRAY_REF, elt_type, base, integer_zero_node, NULL_TREE,
2183                  NULL_TREE);
2184 }
2185
2186 /* Returns true when PHI is a loop close phi node.  */
2187
2188 static bool
2189 scalar_close_phi_node_p (gimple phi)
2190 {
2191   if (gimple_code (phi) != GIMPLE_PHI
2192       || !is_gimple_reg (gimple_phi_result (phi)))
2193     return false;
2194
2195   return (gimple_phi_num_args (phi) == 1);
2196 }
2197
2198 /* Rewrite out of SSA the reduction phi node at PSI by creating a zero
2199    dimension array for it.  */
2200
2201 static void
2202 rewrite_close_phi_out_of_ssa (gimple_stmt_iterator *psi)
2203 {
2204   gimple phi = gsi_stmt (*psi);
2205   tree res = gimple_phi_result (phi);
2206   tree var = SSA_NAME_VAR (res);
2207   tree zero_dim_array = create_zero_dim_array (var, "Close_Phi");
2208   gimple_stmt_iterator gsi = gsi_after_labels (gimple_bb (phi));
2209   gimple stmt = gimple_build_assign (res, zero_dim_array);
2210   tree arg = gimple_phi_arg_def (phi, 0);
2211
2212   insert_out_of_ssa_copy (zero_dim_array, arg);
2213
2214   remove_phi_node (psi, false);
2215   gsi_insert_before (&gsi, stmt, GSI_NEW_STMT);
2216   SSA_NAME_DEF_STMT (res) = stmt;
2217 }
2218
2219 /* Rewrite out of SSA the reduction phi node at PSI by creating a zero
2220    dimension array for it.  */
2221
2222 static void
2223 rewrite_phi_out_of_ssa (gimple_stmt_iterator *psi)
2224 {
2225   size_t i;
2226   gimple phi = gsi_stmt (*psi);
2227   basic_block bb = gimple_bb (phi);
2228   tree res = gimple_phi_result (phi);
2229   tree var = SSA_NAME_VAR (res);
2230   tree zero_dim_array = create_zero_dim_array (var, "General_Reduction");
2231   gimple_stmt_iterator gsi;
2232   gimple stmt;
2233   gimple_seq stmts;
2234
2235   for (i = 0; i < gimple_phi_num_args (phi); i++)
2236     {
2237       tree arg = gimple_phi_arg_def (phi, i);
2238
2239       /* Try to avoid the insertion on edges as much as possible: this
2240          would avoid the insertion of code on loop latch edges, making
2241          the pattern matching of the vectorizer happy, or it would
2242          avoid the insertion of useless basic blocks.  Note that it is
2243          incorrect to insert out of SSA copies close by their
2244          definition when they are more than two loop levels apart:
2245          for example, starting from a double nested loop
2246
2247          | a = ...
2248          | loop_1
2249          |  loop_2
2250          |    b = phi (a, c)
2251          |    c = ...
2252          |  end_2
2253          | end_1
2254
2255          the following transform is incorrect
2256
2257          | a = ...
2258          | Red[0] = a
2259          | loop_1
2260          |  loop_2
2261          |    b = Red[0]
2262          |    c = ...
2263          |    Red[0] = c
2264          |  end_2
2265          | end_1
2266
2267          whereas inserting the copy on the incomming edge is correct
2268
2269          | a = ...
2270          | loop_1
2271          |  Red[0] = a
2272          |  loop_2
2273          |    b = Red[0]
2274          |    c = ...
2275          |    Red[0] = c
2276          |  end_2
2277          | end_1
2278       */
2279       if (TREE_CODE (arg) == SSA_NAME
2280           && is_gimple_reg (arg)
2281           && gimple_bb (SSA_NAME_DEF_STMT (arg))
2282           && (flow_bb_inside_loop_p (bb->loop_father,
2283                                      gimple_bb (SSA_NAME_DEF_STMT (arg)))
2284               || flow_bb_inside_loop_p (loop_outer (bb->loop_father),
2285                                         gimple_bb (SSA_NAME_DEF_STMT (arg)))))
2286         insert_out_of_ssa_copy (zero_dim_array, arg);
2287       else
2288         insert_out_of_ssa_copy_on_edge (gimple_phi_arg_edge (phi, i),
2289                                         zero_dim_array, arg);
2290     }
2291
2292   var = force_gimple_operand (zero_dim_array, &stmts, true, NULL_TREE);
2293
2294   if (!stmts)
2295     stmts = gimple_seq_alloc ();
2296
2297   stmt = gimple_build_assign (res, var);
2298   remove_phi_node (psi, false);
2299   SSA_NAME_DEF_STMT (res) = stmt;
2300
2301   gsi = gsi_last (stmts);
2302   gsi_insert_after (&gsi, stmt, GSI_NEW_STMT);
2303
2304   gsi = gsi_after_labels (bb);
2305   gsi_insert_seq_before (&gsi, stmts, GSI_NEW_STMT);
2306 }
2307
2308 /* Return true when DEF can be analyzed in REGION by the scalar
2309    evolution analyzer.  */
2310
2311 static bool
2312 scev_analyzable_p (tree def, sese region)
2313 {
2314   gimple stmt = SSA_NAME_DEF_STMT (def);
2315   loop_p loop = loop_containing_stmt (stmt);
2316   tree scev = scalar_evolution_in_region (region, loop, def);
2317
2318   return !chrec_contains_undetermined (scev);
2319 }
2320
2321 /* Rewrite the scalar dependence of DEF used in USE_STMT with a memory
2322    read from ZERO_DIM_ARRAY.  */
2323
2324 static void
2325 rewrite_cross_bb_scalar_dependence (tree zero_dim_array, tree def, gimple use_stmt)
2326 {
2327   tree var = SSA_NAME_VAR (def);
2328   gimple name_stmt = gimple_build_assign (var, zero_dim_array);
2329   tree name = make_ssa_name (var, name_stmt);
2330   ssa_op_iter iter;
2331   use_operand_p use_p;
2332   gimple_stmt_iterator gsi;
2333
2334   gcc_assert (gimple_code (use_stmt) != GIMPLE_PHI);
2335
2336   gimple_assign_set_lhs (name_stmt, name);
2337
2338   gsi = gsi_for_stmt (use_stmt);
2339   gsi_insert_before (&gsi, name_stmt, GSI_NEW_STMT);
2340
2341   FOR_EACH_SSA_USE_OPERAND (use_p, use_stmt, iter, SSA_OP_ALL_USES)
2342     if (operand_equal_p (def, USE_FROM_PTR (use_p), 0))
2343       replace_exp (use_p, name);
2344
2345   update_stmt (use_stmt);
2346 }
2347
2348 /* Rewrite the scalar dependences crossing the boundary of the BB
2349    containing STMT with an array.  */
2350
2351 static void
2352 rewrite_cross_bb_scalar_deps (sese region, gimple_stmt_iterator *gsi)
2353 {
2354   gimple stmt = gsi_stmt (*gsi);
2355   imm_use_iterator imm_iter;
2356   tree def;
2357   basic_block def_bb;
2358   tree zero_dim_array = NULL_TREE;
2359   gimple use_stmt;
2360
2361   if (gimple_code (stmt) != GIMPLE_ASSIGN)
2362     return;
2363
2364   def = gimple_assign_lhs (stmt);
2365   if (!is_gimple_reg (def)
2366       || scev_analyzable_p (def, region))
2367     return;
2368
2369   def_bb = gimple_bb (stmt);
2370
2371   FOR_EACH_IMM_USE_STMT (use_stmt, imm_iter, def)
2372     if (def_bb != gimple_bb (use_stmt)
2373         && gimple_code (use_stmt) != GIMPLE_PHI)
2374       {
2375         if (!zero_dim_array)
2376           {
2377             zero_dim_array = create_zero_dim_array
2378               (SSA_NAME_VAR (def), "Cross_BB_scalar_dependence");
2379             insert_out_of_ssa_copy (zero_dim_array, def);
2380             gsi_next (gsi);
2381           }
2382
2383         rewrite_cross_bb_scalar_dependence (zero_dim_array, def, use_stmt);
2384       }
2385 }
2386
2387 /* Rewrite out of SSA all the reduction phi nodes of SCOP.  */
2388
2389 static void
2390 rewrite_reductions_out_of_ssa (scop_p scop)
2391 {
2392   basic_block bb;
2393   gimple_stmt_iterator psi;
2394   sese region = SCOP_REGION (scop);
2395
2396   FOR_EACH_BB (bb)
2397     if (bb_in_sese_p (bb, region))
2398       for (psi = gsi_start_phis (bb); !gsi_end_p (psi);)
2399         {
2400           if (scalar_close_phi_node_p (gsi_stmt (psi)))
2401             rewrite_close_phi_out_of_ssa (&psi);
2402           else if (reduction_phi_p (region, &psi))
2403             rewrite_phi_out_of_ssa (&psi);
2404         }
2405
2406   update_ssa (TODO_update_ssa);
2407 #ifdef ENABLE_CHECKING
2408   verify_ssa (false);
2409   verify_loop_closed_ssa ();
2410 #endif
2411
2412   FOR_EACH_BB (bb)
2413     if (bb_in_sese_p (bb, region))
2414       for (psi = gsi_start_bb (bb); !gsi_end_p (psi); gsi_next (&psi))
2415         rewrite_cross_bb_scalar_deps (region, &psi);
2416
2417   update_ssa (TODO_update_ssa);
2418 #ifdef ENABLE_CHECKING
2419   verify_ssa (false);
2420   verify_loop_closed_ssa ();
2421 #endif
2422 }
2423
2424 /* Returns the number of pbbs that are in loops contained in SCOP.  */
2425
2426 static int
2427 nb_pbbs_in_loops (scop_p scop)
2428 {
2429   int i;
2430   poly_bb_p pbb;
2431   int res = 0;
2432
2433   for (i = 0; VEC_iterate (poly_bb_p, SCOP_BBS (scop), i, pbb); i++)
2434     if (loop_in_sese_p (gbb_loop (PBB_BLACK_BOX (pbb)), SCOP_REGION (scop)))
2435       res++;
2436
2437   return res;
2438 }
2439
2440 /* Return the number of data references in BB that write in
2441    memory.  */
2442
2443 static int
2444 nb_data_writes_in_bb (basic_block bb)
2445 {
2446   int res = 0;
2447   gimple_stmt_iterator gsi;
2448
2449   for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
2450     if (gimple_vdef (gsi_stmt (gsi)))
2451       res++;
2452
2453   return res;
2454 }
2455
2456 /* Splits STMT out of its current BB.  */
2457
2458 static basic_block
2459 split_reduction_stmt (gimple stmt)
2460 {
2461   gimple_stmt_iterator gsi;
2462   basic_block bb = gimple_bb (stmt);
2463   edge e;
2464
2465   /* Do not split basic blocks with no writes to memory: the reduction
2466      will be the only write to memory.  */
2467   if (nb_data_writes_in_bb (bb) == 0)
2468     return bb;
2469
2470   split_block (bb, stmt);
2471
2472   gsi = gsi_last_bb (bb);
2473   gsi_prev (&gsi);
2474   e = split_block (bb, gsi_stmt (gsi));
2475
2476   return e->dest;
2477 }
2478
2479 /* Return true when stmt is a reduction operation.  */
2480
2481 static inline bool
2482 is_reduction_operation_p (gimple stmt)
2483 {
2484   return flag_associative_math
2485     && commutative_tree_code (gimple_assign_rhs_code (stmt))
2486     && associative_tree_code (gimple_assign_rhs_code (stmt));
2487 }
2488
2489 /* Returns true when PHI contains an argument ARG.  */
2490
2491 static bool
2492 phi_contains_arg (gimple phi, tree arg)
2493 {
2494   size_t i;
2495
2496   for (i = 0; i < gimple_phi_num_args (phi); i++)
2497     if (operand_equal_p (arg, gimple_phi_arg_def (phi, i), 0))
2498       return true;
2499
2500   return false;
2501 }
2502
2503 /* Return a loop phi node that corresponds to a reduction containing LHS.  */
2504
2505 static gimple
2506 follow_ssa_with_commutative_ops (tree arg, tree lhs)
2507 {
2508   gimple stmt;
2509
2510   if (TREE_CODE (arg) != SSA_NAME)
2511     return NULL;
2512
2513   stmt = SSA_NAME_DEF_STMT (arg);
2514
2515   if (gimple_code (stmt) == GIMPLE_PHI)
2516     {
2517       if (phi_contains_arg (stmt, lhs))
2518         return stmt;
2519       return NULL;
2520     }
2521
2522   if (gimple_num_ops (stmt) == 2)
2523     return follow_ssa_with_commutative_ops (gimple_assign_rhs1 (stmt), lhs);
2524
2525   if (is_reduction_operation_p (stmt))
2526     {
2527       gimple res = follow_ssa_with_commutative_ops (gimple_assign_rhs1 (stmt), lhs);
2528
2529       return res ? res :
2530         follow_ssa_with_commutative_ops (gimple_assign_rhs2 (stmt), lhs);
2531     }
2532
2533   return NULL;
2534 }
2535
2536 /* Detect commutative and associative scalar reductions starting at
2537    the STMT.  */
2538
2539 static gimple
2540 detect_commutative_reduction_arg (tree lhs, gimple stmt, tree arg,
2541                                   VEC (gimple, heap) **in,
2542                                   VEC (gimple, heap) **out)
2543 {
2544   gimple phi = follow_ssa_with_commutative_ops (arg, lhs);
2545
2546   if (phi)
2547     {
2548       VEC_safe_push (gimple, heap, *in, stmt);
2549       VEC_safe_push (gimple, heap, *out, stmt);
2550       return phi;
2551     }
2552
2553   return NULL;
2554 }
2555
2556 /* Detect commutative and associative scalar reductions starting at
2557    the STMT.  */
2558
2559 static gimple
2560 detect_commutative_reduction_assign (gimple stmt, VEC (gimple, heap) **in,
2561                                      VEC (gimple, heap) **out)
2562 {
2563   tree lhs = gimple_assign_lhs (stmt);
2564
2565   if (gimple_num_ops (stmt) == 2)
2566     return detect_commutative_reduction_arg (lhs, stmt,
2567                                              gimple_assign_rhs1 (stmt),
2568                                              in, out);
2569
2570   if (is_reduction_operation_p (stmt))
2571     {
2572       gimple res = detect_commutative_reduction_arg (lhs, stmt,
2573                                                      gimple_assign_rhs1 (stmt),
2574                                                      in, out);
2575       return res ? res
2576         : detect_commutative_reduction_arg (lhs, stmt,
2577                                             gimple_assign_rhs2 (stmt),
2578                                             in, out);
2579     }
2580
2581   return NULL;
2582 }
2583
2584 /* Return a loop phi node that corresponds to a reduction containing LHS.  */
2585
2586 static gimple
2587 follow_inital_value_to_phi (tree arg, tree lhs)
2588 {
2589   gimple stmt;
2590
2591   if (!arg || TREE_CODE (arg) != SSA_NAME)
2592     return NULL;
2593
2594   stmt = SSA_NAME_DEF_STMT (arg);
2595
2596   if (gimple_code (stmt) == GIMPLE_PHI
2597       && phi_contains_arg (stmt, lhs))
2598     return stmt;
2599
2600   return NULL;
2601 }
2602
2603
2604 /* Return the argument of the loop PHI that is the inital value coming
2605    from outside the loop.  */
2606
2607 static edge
2608 edge_initial_value_for_loop_phi (gimple phi)
2609 {
2610   size_t i;
2611
2612   for (i = 0; i < gimple_phi_num_args (phi); i++)
2613     {
2614       edge e = gimple_phi_arg_edge (phi, i);
2615
2616       if (loop_depth (e->src->loop_father)
2617           < loop_depth (e->dest->loop_father))
2618         return e;
2619     }
2620
2621   return NULL;
2622 }
2623
2624 /* Return the argument of the loop PHI that is the inital value coming
2625    from outside the loop.  */
2626
2627 static tree
2628 initial_value_for_loop_phi (gimple phi)
2629 {
2630   size_t i;
2631
2632   for (i = 0; i < gimple_phi_num_args (phi); i++)
2633     {
2634       edge e = gimple_phi_arg_edge (phi, i);
2635
2636       if (loop_depth (e->src->loop_father)
2637           < loop_depth (e->dest->loop_father))
2638         return gimple_phi_arg_def (phi, i);
2639     }
2640
2641   return NULL_TREE;
2642 }
2643
2644 /* Detect commutative and associative scalar reductions starting at
2645    the loop closed phi node CLOSE_PHI.  */
2646
2647 static gimple
2648 detect_commutative_reduction (gimple stmt, VEC (gimple, heap) **in,
2649                               VEC (gimple, heap) **out)
2650 {
2651   if (scalar_close_phi_node_p (stmt))
2652     {
2653       tree arg = gimple_phi_arg_def (stmt, 0);
2654       gimple def = SSA_NAME_DEF_STMT (arg);
2655       gimple loop_phi = detect_commutative_reduction (def, in, out);
2656
2657       if (loop_phi)
2658         {
2659           tree lhs = gimple_phi_result (stmt);
2660           tree init = initial_value_for_loop_phi (loop_phi);
2661           gimple phi = follow_inital_value_to_phi (init, lhs);
2662
2663           VEC_safe_push (gimple, heap, *in, loop_phi);
2664           VEC_safe_push (gimple, heap, *out, stmt);
2665           return phi;
2666         }
2667       else
2668         return NULL;
2669     }
2670
2671   if (gimple_code (stmt) == GIMPLE_ASSIGN)
2672     return detect_commutative_reduction_assign (stmt, in, out);
2673
2674   return NULL;
2675 }
2676
2677 /* Translate the scalar reduction statement STMT to an array RED
2678    knowing that its recursive phi node is LOOP_PHI.  */
2679
2680 static void
2681 translate_scalar_reduction_to_array_for_stmt (tree red, gimple stmt,
2682                                               gimple loop_phi)
2683 {
2684   basic_block bb = gimple_bb (stmt);
2685   gimple_stmt_iterator insert_gsi = gsi_after_labels (bb);
2686   tree res = gimple_phi_result (loop_phi);
2687   gimple assign = gimple_build_assign (res, red);
2688
2689   gsi_insert_before (&insert_gsi, assign, GSI_SAME_STMT);
2690
2691   assign = gimple_build_assign (red, gimple_assign_lhs (stmt));
2692   insert_gsi = gsi_for_stmt (stmt);
2693   gsi_insert_after (&insert_gsi, assign, GSI_SAME_STMT);
2694 }
2695
2696 /* Insert the assignment "result (CLOSE_PHI) = RED".  */
2697
2698 static void
2699 insert_copyout (tree red, gimple close_phi)
2700 {
2701   tree res = gimple_phi_result (close_phi);
2702   basic_block bb = gimple_bb (close_phi);
2703   gimple_stmt_iterator insert_gsi = gsi_after_labels (bb);
2704   gimple assign = gimple_build_assign (res, red);
2705
2706   gsi_insert_before (&insert_gsi, assign, GSI_SAME_STMT);
2707 }
2708
2709 /* Insert the assignment "RED = initial_value (LOOP_PHI)".  */
2710
2711 static void
2712 insert_copyin (tree red, gimple loop_phi)
2713 {
2714   gimple_seq stmts;
2715   tree init = initial_value_for_loop_phi (loop_phi);
2716   tree expr = build2 (MODIFY_EXPR, TREE_TYPE (init), red, init);
2717
2718   force_gimple_operand (expr, &stmts, true, NULL);
2719   gsi_insert_seq_on_edge (edge_initial_value_for_loop_phi (loop_phi), stmts);
2720 }
2721
2722 /* Rewrite out of SSA the reduction described by the loop phi nodes
2723    IN, and the close phi nodes OUT.  IN and OUT are structured by loop
2724    levels like this:
2725
2726    IN: stmt, loop_n, ..., loop_0
2727    OUT: stmt, close_n, ..., close_0
2728
2729    the first element is the reduction statement, and the next elements
2730    are the loop and close phi nodes of each of the outer loops.  */
2731
2732 static void
2733 translate_scalar_reduction_to_array (VEC (gimple, heap) *in,
2734                                      VEC (gimple, heap) *out,
2735                                      sbitmap reductions)
2736 {
2737   unsigned int i;
2738   gimple loop_phi;
2739   tree red;
2740   gimple_stmt_iterator gsi;
2741
2742   for (i = 0; VEC_iterate (gimple, in, i, loop_phi); i++)
2743     {
2744       gimple close_phi = VEC_index (gimple, out, i);
2745
2746       if (i == 0)
2747         {
2748           gimple stmt = loop_phi;
2749           basic_block bb = split_reduction_stmt (stmt);
2750
2751           SET_BIT (reductions, bb->index);
2752           gcc_assert (close_phi == loop_phi);
2753
2754           red = create_zero_dim_array
2755             (gimple_assign_lhs (stmt), "Commutative_Associative_Reduction");
2756           translate_scalar_reduction_to_array_for_stmt
2757             (red, stmt, VEC_index (gimple, in, 1));
2758           continue;
2759         }
2760
2761       if (i == VEC_length (gimple, in) - 1)
2762         {
2763           insert_copyout (red, close_phi);
2764           insert_copyin (red, loop_phi);
2765         }
2766
2767       gsi = gsi_for_phi_node (loop_phi);
2768       remove_phi_node (&gsi, false);
2769
2770       gsi = gsi_for_phi_node (close_phi);
2771       remove_phi_node (&gsi, false);
2772     }
2773 }
2774
2775 /* Rewrites out of SSA a commutative reduction at CLOSE_PHI.  */
2776
2777 static void
2778 rewrite_commutative_reductions_out_of_ssa_close_phi (gimple close_phi,
2779                                                      sbitmap reductions)
2780 {
2781   VEC (gimple, heap) *in = VEC_alloc (gimple, heap, 10);
2782   VEC (gimple, heap) *out = VEC_alloc (gimple, heap, 10);
2783
2784   detect_commutative_reduction (close_phi, &in, &out);
2785   if (VEC_length (gimple, in) > 0)
2786     translate_scalar_reduction_to_array (in, out, reductions);
2787
2788   VEC_free (gimple, heap, in);
2789   VEC_free (gimple, heap, out);
2790 }
2791
2792 /* Rewrites all the commutative reductions from LOOP out of SSA.  */
2793
2794 static void
2795 rewrite_commutative_reductions_out_of_ssa_loop (loop_p loop,
2796                                                 sbitmap reductions)
2797 {
2798   gimple_stmt_iterator gsi;
2799   edge exit = single_exit (loop);
2800
2801   if (!exit)
2802     return;
2803
2804   for (gsi = gsi_start_phis (exit->dest); !gsi_end_p (gsi); gsi_next (&gsi))
2805     rewrite_commutative_reductions_out_of_ssa_close_phi (gsi_stmt (gsi),
2806                                                          reductions);
2807 }
2808
2809 /* Rewrites all the commutative reductions from SCOP out of SSA.  */
2810
2811 static void
2812 rewrite_commutative_reductions_out_of_ssa (sese region, sbitmap reductions)
2813 {
2814   loop_iterator li;
2815   loop_p loop;
2816
2817   FOR_EACH_LOOP (li, loop, 0)
2818     if (loop_in_sese_p (loop, region))
2819       rewrite_commutative_reductions_out_of_ssa_loop (loop, reductions);
2820
2821   gsi_commit_edge_inserts ();
2822   update_ssa (TODO_update_ssa);
2823 #ifdef ENABLE_CHECKING
2824   verify_ssa (false);
2825   verify_loop_closed_ssa ();
2826 #endif
2827 }
2828
2829 /* A LOOP is in normal form for Graphite when it contains only one
2830    scalar phi node that defines the main induction variable of the
2831    loop, only one increment of the IV, and only one exit condition.  */
2832
2833 static void
2834 graphite_loop_normal_form (loop_p loop)
2835 {
2836   struct tree_niter_desc niter;
2837   tree nit;
2838   gimple_seq stmts;
2839   edge exit = single_dom_exit (loop);
2840
2841   bool known_niter = number_of_iterations_exit (loop, exit, &niter, false);
2842
2843   /* At this point we should know the number of iterations,  */
2844   gcc_assert (known_niter);
2845
2846   nit = force_gimple_operand (unshare_expr (niter.niter), &stmts, true,
2847                               NULL_TREE);
2848   if (stmts)
2849     gsi_insert_seq_on_edge_immediate (loop_preheader_edge (loop), stmts);
2850
2851   loop->single_iv = canonicalize_loop_ivs (loop, &nit);
2852 }
2853
2854 /* Rewrite all the loops of SCOP in normal form: one induction
2855    variable per loop.  */
2856
2857 static void
2858 scop_canonicalize_loops (scop_p scop)
2859 {
2860   loop_iterator li;
2861   loop_p loop;
2862
2863   FOR_EACH_LOOP (li, loop, 0)
2864     if (loop_in_sese_p (loop, SCOP_REGION (scop)))
2865       graphite_loop_normal_form (loop);
2866 }
2867
2868 /* Builds the polyhedral representation for a SESE region.  */
2869
2870 bool
2871 build_poly_scop (scop_p scop)
2872 {
2873   sese region = SCOP_REGION (scop);
2874   sbitmap reductions = sbitmap_alloc (last_basic_block * 2);
2875
2876   sbitmap_zero (reductions);
2877   rewrite_commutative_reductions_out_of_ssa (region, reductions);
2878   rewrite_reductions_out_of_ssa (scop);
2879   build_scop_bbs (scop, reductions);
2880   sbitmap_free (reductions);
2881
2882   /* FIXME: This restriction is needed to avoid a problem in CLooG.
2883      Once CLooG is fixed, remove this guard.  Anyways, it makes no
2884      sense to optimize a scop containing only PBBs that do not belong
2885      to any loops.  */
2886   if (nb_pbbs_in_loops (scop) == 0)
2887     return false;
2888
2889   scop_canonicalize_loops (scop);
2890   build_sese_loop_nests (region);
2891   build_sese_conditions (region);
2892   find_scop_parameters (scop);
2893
2894   build_scop_iteration_domain (scop);
2895   build_scop_context (scop);
2896
2897   add_conditions_to_constraints (scop);
2898   scop_to_lst (scop);
2899   build_scop_scattering (scop);
2900   build_scop_drs (scop);
2901
2902   return true;
2903 }
2904
2905 /* Always return false.  Exercise the scop_to_clast function.  */
2906
2907 void
2908 check_poly_representation (scop_p scop ATTRIBUTE_UNUSED)
2909 {
2910 #ifdef ENABLE_CHECKING
2911   cloog_prog_clast pc = scop_to_clast (scop);
2912   cloog_clast_free (pc.stmt);
2913   cloog_program_free (pc.prog);
2914 #endif
2915 }
2916 #endif