OSDN Git Service

* gimplify.c (gimplify_type_sizes) [POINTER_TYPE, REFERENCE_TYPE]:
[pf3gnuchains/gcc-fork.git] / gcc / gimplify.c
index 7d7b80f..faa5b48 100644 (file)
@@ -1,6 +1,6 @@
 /* Tree lowering pass.  This pass converts the GENERIC functions-as-trees
    tree representation into the GIMPLE form.
-   Copyright (C) 2002, 2003, 2004, 2005 Free Software Foundation, Inc.
+   Copyright (C) 2002, 2003, 2004, 2005, 2006 Free Software Foundation, Inc.
    Major work done by Sebastian Pop <s.pop@laposte.net>,
    Diego Novillo <dnovillo@redhat.com> and Jason Merrill <jason@redhat.com>.
 
@@ -73,6 +73,7 @@ struct gimplify_omp_ctx
   location_t location;
   enum omp_clause_default_kind default_kind;
   bool is_parallel;
+  bool is_combined_parallel;
 };
 
 struct gimplify_ctx
@@ -179,7 +180,7 @@ pop_gimplify_context (tree body)
     DECL_GIMPLE_FORMAL_TEMP_P (t) = 0;
 
   if (body)
-    declare_tmp_vars (c->temps, body);
+    declare_vars (c->temps, body, false);
   else
     record_vars (c->temps);
 
@@ -259,7 +260,7 @@ splay_tree_compare_decl_uid (splay_tree_key xa, splay_tree_key xb)
 /* Create a new omp construct that deals with variable remapping.  */
 
 static struct gimplify_omp_ctx *
-new_omp_context (bool is_parallel)
+new_omp_context (bool is_parallel, bool is_combined_parallel)
 {
   struct gimplify_omp_ctx *c;
 
@@ -269,6 +270,7 @@ new_omp_context (bool is_parallel)
   c->privatized_types = pointer_set_create ();
   c->location = input_location;
   c->is_parallel = is_parallel;
+  c->is_combined_parallel = is_combined_parallel;
   c->default_kind = OMP_CLAUSE_DEFAULT_SHARED;
 
   return c;
@@ -404,8 +406,8 @@ find_single_pointer_decl (tree t)
 
   if (walk_tree (&t, find_single_pointer_decl_1, &decl, NULL))
     {
-      /* find_single_pointer_decl_1 returns a non-zero value, causing
-        walk_tree to return a non-zero value, to indicate that it
+      /* find_single_pointer_decl_1 returns a nonzero value, causing
+        walk_tree to return a nonzero value, to indicate that it
         found more than one pointer DECL.  */
       return NULL_TREE;
     }
@@ -477,10 +479,12 @@ create_tmp_var (tree type, const char *prefix)
   tree tmp_var;
 
   /* We don't allow types that are addressable (meaning we can't make copies),
-     incomplete, or of variable size.  */
-  gcc_assert (!TREE_ADDRESSABLE (type)
-             && COMPLETE_TYPE_P (type)
-             && TREE_CODE (TYPE_SIZE_UNIT (type)) == INTEGER_CST);
+     or incomplete.  We also used to reject every variable size objects here,
+     but now support those for which a constant upper bound can be obtained.
+     The processing for variable sizes is performed in gimple_add_tmp_var,
+     point at which it really matters and possibly reached via paths not going
+     through this function, e.g. after direct calls to create_tmp_var_raw.  */
+  gcc_assert (!TREE_ADDRESSABLE (type) && COMPLETE_TYPE_P (type));
 
   tmp_var = create_tmp_var_raw (type, prefix);
   gimple_add_tmp_var (tmp_var);
@@ -606,7 +610,7 @@ internal_get_tmp_var (tree val, tree *pre_p, tree *post_p, bool is_formal)
   if (TREE_CODE (TREE_TYPE (t)) == COMPLEX_TYPE)
     DECL_COMPLEX_GIMPLE_REG_P (t) = 1;
 
-  mod = build2 (MODIFY_EXPR, TREE_TYPE (t), t, val);
+  mod = build2 (INIT_EXPR, TREE_TYPE (t), t, val);
 
   if (EXPR_HAS_LOCATION (val))
     SET_EXPR_LOCUS (mod, EXPR_LOCUS (val));
@@ -643,15 +647,16 @@ get_initialized_tmp_var (tree val, tree *pre_p, tree *post_p)
   return internal_get_tmp_var (val, pre_p, post_p, false);
 }
 
-/* Declares all the variables in VARS in SCOPE.  */
+/* Declares all the variables in VARS in SCOPE.  If DEBUG_INFO is
+   true, generate debug info for them; otherwise don't.  */
 
 void
-declare_tmp_vars (tree vars, tree scope)
+declare_vars (tree vars, tree scope, bool debug_info)
 {
   tree last = vars;
   if (last)
     {
-      tree temps;
+      tree temps, block;
 
       /* C99 mode puts the default 'return 0;' for main outside the outer
         braces.  So drill down until we find an actual scope.  */
@@ -661,16 +666,65 @@ declare_tmp_vars (tree vars, tree scope)
       gcc_assert (TREE_CODE (scope) == BIND_EXPR);
 
       temps = nreverse (last);
-      TREE_CHAIN (last) = BIND_EXPR_VARS (scope);
-      BIND_EXPR_VARS (scope) = temps;
+
+      block = BIND_EXPR_BLOCK (scope);
+      if (!block || !debug_info)
+       {
+         TREE_CHAIN (last) = BIND_EXPR_VARS (scope);
+         BIND_EXPR_VARS (scope) = temps;
+       }
+      else
+       {
+         /* We need to attach the nodes both to the BIND_EXPR and to its
+            associated BLOCK for debugging purposes.  The key point here
+            is that the BLOCK_VARS of the BIND_EXPR_BLOCK of a BIND_EXPR
+            is a subchain of the BIND_EXPR_VARS of the BIND_EXPR.  */
+         if (BLOCK_VARS (block))
+           BLOCK_VARS (block) = chainon (BLOCK_VARS (block), temps);
+         else
+           {
+             BIND_EXPR_VARS (scope) = chainon (BIND_EXPR_VARS (scope), temps);
+             BLOCK_VARS (block) = temps;
+           }
+       }
     }
 }
 
+/* For VAR a VAR_DECL of variable size, try to find a constant upper bound
+   for the size and adjust DECL_SIZE/DECL_SIZE_UNIT accordingly.  Abort if
+   no such upper bound can be obtained.  */
+
+static void
+force_constant_size (tree var)
+{
+  /* The only attempt we make is by querying the maximum size of objects
+     of the variable's type.  */
+
+  HOST_WIDE_INT max_size;
+
+  gcc_assert (TREE_CODE (var) == VAR_DECL);
+
+  max_size = max_int_size_in_bytes (TREE_TYPE (var));
+
+  gcc_assert (max_size >= 0);
+
+  DECL_SIZE_UNIT (var)
+    = build_int_cst (TREE_TYPE (DECL_SIZE_UNIT (var)), max_size);
+  DECL_SIZE (var)
+    = build_int_cst (TREE_TYPE (DECL_SIZE (var)), max_size * BITS_PER_UNIT);
+}
+
 void
 gimple_add_tmp_var (tree tmp)
 {
   gcc_assert (!TREE_CHAIN (tmp) && !DECL_SEEN_IN_BIND_EXPR_P (tmp));
 
+  /* Later processing assumes that the object size is constant, which might
+     not be true at this point.  Force the use of a constant upper bound in
+     this case.  */
+  if (!host_integerp (DECL_SIZE_UNIT (tmp), 1))
+    force_constant_size (tmp);
+
   DECL_CONTEXT (tmp) = current_function_decl;
   DECL_SEEN_IN_BIND_EXPR_P (tmp) = 1;
 
@@ -692,7 +746,7 @@ gimple_add_tmp_var (tree tmp)
   else if (cfun)
     record_vars (tmp);
   else
-    declare_tmp_vars (tmp, DECL_SAVED_TREE (current_function_decl));
+    declare_vars (tmp, DECL_SAVED_TREE (current_function_decl), false);
 }
 
 /* Determines whether to assign a locus to the statement STMT.  */
@@ -901,73 +955,73 @@ gimple_build_eh_filter (tree body, tree allowed, tree failure)
 tree
 voidify_wrapper_expr (tree wrapper, tree temp)
 {
-  if (!VOID_TYPE_P (TREE_TYPE (wrapper)))
+  tree type = TREE_TYPE (wrapper);
+  if (type && !VOID_TYPE_P (type))
     {
-      tree *p, sub = wrapper;
-
-    restart:
-      /* Set p to point to the body of the wrapper.  */
-      switch (TREE_CODE (sub))
-       {
-       case BIND_EXPR:
-         /* For a BIND_EXPR, the body is operand 1.  */
-         p = &BIND_EXPR_BODY (sub);
-         break;
+      tree *p;
 
-       default:
-         p = &TREE_OPERAND (sub, 0);
-         break;
-       }
-
-      /* Advance to the last statement.  Set all container types to void.  */
-      if (TREE_CODE (*p) == STATEMENT_LIST)
-       {
-         tree_stmt_iterator i = tsi_last (*p);
-         p = tsi_end_p (i) ? NULL : tsi_stmt_ptr (i);
-       }
-      else
+      /* Set p to point to the body of the wrapper.  Loop until we find
+        something that isn't a wrapper.  */
+      for (p = &wrapper; p && *p; )
        {
-         for (; TREE_CODE (*p) == COMPOUND_EXPR; p = &TREE_OPERAND (*p, 1))
+         switch (TREE_CODE (*p))
            {
+           case BIND_EXPR:
              TREE_SIDE_EFFECTS (*p) = 1;
              TREE_TYPE (*p) = void_type_node;
+             /* For a BIND_EXPR, the body is operand 1.  */
+             p = &BIND_EXPR_BODY (*p);
+             break;
+
+           case CLEANUP_POINT_EXPR:
+           case TRY_FINALLY_EXPR:
+           case TRY_CATCH_EXPR:
+             TREE_SIDE_EFFECTS (*p) = 1;
+             TREE_TYPE (*p) = void_type_node;
+             p = &TREE_OPERAND (*p, 0);
+             break;
+
+           case STATEMENT_LIST:
+             {
+               tree_stmt_iterator i = tsi_last (*p);
+               TREE_SIDE_EFFECTS (*p) = 1;
+               TREE_TYPE (*p) = void_type_node;
+               p = tsi_end_p (i) ? NULL : tsi_stmt_ptr (i);
+             }
+             break;
+
+           case COMPOUND_EXPR:
+             /* Advance to the last statement.  Set all container types to void.  */
+             for (; TREE_CODE (*p) == COMPOUND_EXPR; p = &TREE_OPERAND (*p, 1))
+               {
+                 TREE_SIDE_EFFECTS (*p) = 1;
+                 TREE_TYPE (*p) = void_type_node;
+               }
+             break;
+
+           default:
+             goto out;
            }
        }
 
+    out:
       if (p == NULL || IS_EMPTY_STMT (*p))
-       ;
-      /* Look through exception handling.  */
-      else if (TREE_CODE (*p) == TRY_FINALLY_EXPR
-              || TREE_CODE (*p) == TRY_CATCH_EXPR)
-       {
-         sub = *p;
-         goto restart;
-       }
-      /* The C++ frontend already did this for us.  */
-      else if (TREE_CODE (*p) == INIT_EXPR
-              || TREE_CODE (*p) == TARGET_EXPR)
-       temp = TREE_OPERAND (*p, 0);
-      /* If we're returning a dereference, move the dereference
-        outside the wrapper.  */
-      else if (TREE_CODE (*p) == INDIRECT_REF)
+       temp = NULL_TREE;
+      else if (temp)
        {
-         tree ptr = TREE_OPERAND (*p, 0);
-         temp = create_tmp_var (TREE_TYPE (ptr), "retval");
-         *p = build2 (MODIFY_EXPR, TREE_TYPE (ptr), temp, ptr);
-         temp = build1 (INDIRECT_REF, TREE_TYPE (TREE_TYPE (temp)), temp);
-         /* If this is a BIND_EXPR for a const inline function, it might not
-            have TREE_SIDE_EFFECTS set.  That is no longer accurate.  */
-         TREE_SIDE_EFFECTS (wrapper) = 1;
+         /* The wrapper is on the RHS of an assignment that we're pushing
+            down.  */
+         gcc_assert (TREE_CODE (temp) == INIT_EXPR
+                     || TREE_CODE (temp) == MODIFY_EXPR);
+         TREE_OPERAND (temp, 1) = *p;
+         *p = temp;
        }
       else
        {
-         if (!temp)
-           temp = create_tmp_var (TREE_TYPE (wrapper), "retval");
-         *p = build2 (MODIFY_EXPR, TREE_TYPE (temp), temp, *p);
-         TREE_SIDE_EFFECTS (wrapper) = 1;
+         temp = create_tmp_var (type, "retval");
+         *p = build2 (INIT_EXPR, type, temp, *p);
        }
 
-      TREE_TYPE (wrapper) = void_type_node;
       return temp;
     }
 
@@ -996,19 +1050,30 @@ build_stack_save_restore (tree *save, tree *restore)
 /* Gimplify a BIND_EXPR.  Just voidify and recurse.  */
 
 static enum gimplify_status
-gimplify_bind_expr (tree *expr_p, tree temp, tree *pre_p)
+gimplify_bind_expr (tree *expr_p, tree *pre_p)
 {
   tree bind_expr = *expr_p;
   bool old_save_stack = gimplify_ctxp->save_stack;
   tree t;
 
-  temp = voidify_wrapper_expr (bind_expr, temp);
+  tree temp = voidify_wrapper_expr (bind_expr, NULL);
 
   /* Mark variables seen in this bind expr.  */
   for (t = BIND_EXPR_VARS (bind_expr); t ; t = TREE_CHAIN (t))
     {
       if (TREE_CODE (t) == VAR_DECL)
-       DECL_SEEN_IN_BIND_EXPR_P (t) = 1;
+       {
+         struct gimplify_omp_ctx *ctx = gimplify_omp_ctxp;
+
+         /* Mark variable as local.  */
+         if (ctx && !is_global_var (t)
+             && (! DECL_SEEN_IN_BIND_EXPR_P (t)
+                 || splay_tree_lookup (ctx->variables,
+                                       (splay_tree_key) t) == NULL))
+           omp_add_variable (gimplify_omp_ctxp, t, GOVD_LOCAL | GOVD_SEEN);
+
+         DECL_SEEN_IN_BIND_EXPR_P (t) = 1;
+       }
 
       /* Preliminarily mark non-addressed complex variables as eligible
         for promotion to gimple registers.  We'll transform their uses
@@ -1020,16 +1085,6 @@ gimplify_bind_expr (tree *expr_p, tree temp, tree *pre_p)
        DECL_COMPLEX_GIMPLE_REG_P (t) = 1;
     }
 
-  /* Mark variables seen in this bind expr as locals.  */
-  if (gimplify_omp_ctxp)
-    {
-      struct gimplify_omp_ctx *ctx = gimplify_omp_ctxp;
-
-      for (t = BIND_EXPR_VARS (bind_expr); t ; t = TREE_CHAIN (t))
-       if (TREE_CODE (t) == VAR_DECL && !is_global_var (t))
-         omp_add_variable (ctx, t, GOVD_LOCAL | GOVD_SEEN);
-    }
-
   gimple_push_bind_expr (bind_expr);
   gimplify_ctxp->save_stack = false;
 
@@ -1164,7 +1219,7 @@ gimplify_decl_expr (tree *stmt_p)
     {
       tree init = DECL_INITIAL (decl);
 
-      if (!TREE_CONSTANT (DECL_SIZE (decl)))
+      if (TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
        {
          /* This is a variable-sized decl.  Simplify its size and mark it
             for deferred expansion.  Note that mudflap depends on the format
@@ -1204,7 +1259,7 @@ gimplify_decl_expr (tree *stmt_p)
          if (!TREE_STATIC (decl))
            {
              DECL_INITIAL (decl) = NULL_TREE;
-             init = build2 (MODIFY_EXPR, void_type_node, decl, init);
+             init = build2 (INIT_EXPR, void_type_node, decl, init);
              gimplify_and_add (init, stmt_p);
            }
          else
@@ -1213,10 +1268,12 @@ gimplify_decl_expr (tree *stmt_p)
            walk_tree (&init, force_labels_r, NULL, NULL);
        }
 
-      /* This decl isn't mentioned in the enclosing block, so add it to the
-        list of temps.  FIXME it seems a bit of a kludge to say that
-        anonymous artificial vars aren't pushed, but everything else is.  */
-      if (DECL_ARTIFICIAL (decl) && DECL_NAME (decl) == NULL_TREE)
+      /* Some front ends do not explicitly declare all anonymous
+        artificial variables.  We compensate here by declaring the
+        variables, though it would be better if the front ends would
+        explicitly declare them.  */
+      if (!DECL_SEEN_IN_BIND_EXPR_P (decl)
+         && DECL_ARTIFICIAL (decl) && DECL_NAME (decl) == NULL_TREE)
        gimple_add_tmp_var (decl);
     }
 
@@ -1327,20 +1384,34 @@ gimplify_switch_expr (tree *expr_p, tree *pre_p)
       labels = gimplify_ctxp->case_labels;
       gimplify_ctxp->case_labels = saved_labels;
 
-      len = VEC_length (tree, labels);
-
-      for (i = 0; i < len; ++i)
+      i = 0;
+      while (i < VEC_length (tree, labels))
        {
-         tree t = VEC_index (tree, labels, i);
-         if (!CASE_LOW (t))
+         tree elt = VEC_index (tree, labels, i);
+         tree low = CASE_LOW (elt);
+         bool remove_element = FALSE;
+
+         if (low)
+           {
+             /* Discard empty ranges.  */
+             tree high = CASE_HIGH (elt);
+             if (high && INT_CST_LT (high, low))
+               remove_element = TRUE;
+           }
+         else
            {
              /* The default case must be the last label in the list.  */
-             default_case = t;
-             VEC_replace (tree, labels, i, VEC_index (tree, labels, len - 1));
-             len--;
-             break;
+             gcc_assert (!default_case);
+             default_case = elt;
+             remove_element = TRUE;
            }
+
+         if (remove_element)
+           VEC_ordered_remove (tree, labels, i);
+         else
+           i++;
        }
+      len = i;
 
       label_vec = make_tree_vec (len + 1);
       SWITCH_LABELS (*expr_p) = label_vec;
@@ -1825,7 +1896,7 @@ gimplify_self_mod_expr (tree *expr_p, tree *pre_p, tree *post_p,
                        bool want_value)
 {
   enum tree_code code;
-  tree lhs, lvalue, rhs, t1;
+  tree lhs, lvalue, rhs, t1, post = NULL, *orig_post_p = post_p;
   bool postfix;
   enum tree_code arith_code;
   enum gimplify_status ret;
@@ -1842,6 +1913,11 @@ gimplify_self_mod_expr (tree *expr_p, tree *pre_p, tree *post_p,
   else
     postfix = false;
 
+  /* For postfix, make sure the inner expression's post side effects
+     are executed after side effects from this expression.  */
+  if (postfix)
+    post_p = &post;
+
   /* Add or subtract?  */
   if (code == PREINCREMENT_EXPR || code == POSTINCREMENT_EXPR)
     arith_code = PLUS_EXPR;
@@ -1872,7 +1948,8 @@ gimplify_self_mod_expr (tree *expr_p, tree *pre_p, tree *post_p,
 
   if (postfix)
     {
-      gimplify_and_add (t1, post_p);
+      gimplify_and_add (t1, orig_post_p);
+      append_to_statement_list (post, orig_post_p);
       *expr_p = lhs;
       return GS_ALL_DONE;
     }
@@ -1970,9 +2047,8 @@ gimplify_call_expr (tree *expr_p, tree *pre_p, bool want_value)
   decl = get_callee_fndecl (*expr_p);
   if (decl && DECL_BUILT_IN (decl))
     {
-      tree fndecl = get_callee_fndecl (*expr_p);
       tree arglist = TREE_OPERAND (*expr_p, 1);
-      tree new = fold_builtin (fndecl, arglist, !want_value);
+      tree new = fold_builtin (decl, arglist, !want_value);
 
       if (new && new != *expr_p)
        {
@@ -2026,19 +2102,22 @@ gimplify_call_expr (tree *expr_p, tree *pre_p, bool want_value)
     TREE_OPERAND (*expr_p, 1) = nreverse (TREE_OPERAND (*expr_p, 1));
 
   /* Try this again in case gimplification exposed something.  */
-  if (ret != GS_ERROR && decl && DECL_BUILT_IN (decl))
+  if (ret != GS_ERROR)
     {
-      tree fndecl = get_callee_fndecl (*expr_p);
-      tree arglist = TREE_OPERAND (*expr_p, 1);
-      tree new = fold_builtin (fndecl, arglist, !want_value);
-
-      if (new && new != *expr_p)
+      decl = get_callee_fndecl (*expr_p);
+      if (decl && DECL_BUILT_IN (decl))
        {
-         /* There was a transformation of this call which computes the
-            same value, but in a more efficient way.  Return and try
-            again.  */
-         *expr_p = new;
-         return GS_OK;
+         tree arglist = TREE_OPERAND (*expr_p, 1);
+         tree new = fold_builtin (decl, arglist, !want_value);
+
+         if (new && new != *expr_p)
+           {
+             /* There was a transformation of this call which computes the
+                same value, but in a more efficient way.  Return and try
+                again.  */
+             *expr_p = new;
+             return GS_OK;
+           }
        }
     }
 
@@ -2323,7 +2402,7 @@ gimple_boolify (tree expr)
     default:
       /* Other expressions that get here must have boolean values, but
         might need to be converted to the appropriate mode.  */
-      return convert (boolean_type_node, expr);
+      return fold_convert (boolean_type_node, expr);
     }
 }
 
@@ -2341,14 +2420,10 @@ gimple_boolify (tree expr)
     TARGET is the tree for T1 above.
 
     PRE_P points to the list where side effects that must happen before
-       *EXPR_P should be stored.
-
-   POST_P points to the list where side effects that must happen after
-     *EXPR_P should be stored.  */
+      *EXPR_P should be stored.  */
 
 static enum gimplify_status
-gimplify_cond_expr (tree *expr_p, tree *pre_p, tree *post_p, tree target,
-                   fallback_t fallback)
+gimplify_cond_expr (tree *expr_p, tree *pre_p, fallback_t fallback)
 {
   tree expr = *expr_p;
   tree tmp, tmp2, type;
@@ -2362,16 +2437,7 @@ gimplify_cond_expr (tree *expr_p, tree *pre_p, tree *post_p, tree target,
     {
       tree result;
 
-      if (target)
-       {
-         ret = gimplify_expr (&target, pre_p, post_p,
-                              is_gimple_min_lval, fb_lvalue);
-         if (ret != GS_ERROR)
-           ret = GS_OK;
-         result = tmp = target;
-         tmp2 = unshare_expr (target);
-       }
-      else if ((fallback & fb_lvalue) == 0)
+      if ((fallback & fb_lvalue) == 0)
        {
          result = tmp2 = tmp = create_tmp_var (TREE_TYPE (expr), "iftmp");
          ret = GS_ALL_DONE;
@@ -2610,9 +2676,8 @@ gimplify_init_ctor_preeval (tree *expr_p, tree *pre_p, tree *post_p,
       return;
     }
 
-  /* We can't preevaluate if the type contains a placeholder.  */
-  if (type_contains_placeholder_p (TREE_TYPE (*expr_p)))
-    return;
+  /* If this is a variable sized type, we must remember the size.  */
+  maybe_with_size_expr (expr_p);
 
   /* Gimplify the constructor element to something appropriate for the rhs
      of a MODIFY_EXPR.  Given that we know the lhs is an aggregate, we know
@@ -2636,7 +2701,7 @@ gimplify_init_ctor_preeval (tree *expr_p, tree *pre_p, tree *post_p,
 
   /* If this is of variable size, we have no choice but to assume it doesn't
      overlap since we can't make a temporary for it.  */
-  if (!TREE_CONSTANT (TYPE_SIZE (TREE_TYPE (*expr_p))))
+  if (TREE_CODE (TYPE_SIZE (TREE_TYPE (*expr_p))) != INTEGER_CST)
     return;
 
   /* Otherwise, we must search for overlap ...  */
@@ -2836,7 +2901,7 @@ gimplify_init_ctor_eval (tree object, VEC(constructor_elt,gc) *elts,
                                 pre_p, cleared);
       else
        {
-         init = build2 (MODIFY_EXPR, TREE_TYPE (cref), cref, value);
+         init = build2 (INIT_EXPR, TREE_TYPE (cref), cref, value);
          gimplify_and_add (init, pre_p);
        }
     }
@@ -2880,8 +2945,8 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
       {
        struct gimplify_init_ctor_preeval_data preeval_data;
        HOST_WIDE_INT num_type_elements, num_ctor_elements;
-       HOST_WIDE_INT num_nonzero_elements, num_nonconstant_elements;
-       bool cleared;
+       HOST_WIDE_INT num_nonzero_elements;
+       bool cleared, valid_const_initializer;
 
        /* Aggregate types must lower constructors to initialization of
           individual elements.  The exception is that a CONSTRUCTOR node
@@ -2889,13 +2954,16 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
        if (VEC_empty (constructor_elt, elts))
          break;
 
-       categorize_ctor_elements (ctor, &num_nonzero_elements,
-                                 &num_nonconstant_elements,
-                                 &num_ctor_elements, &cleared);
+       /* Fetch information about the constructor to direct later processing.
+          We might want to make static versions of it in various cases, and
+          can only do so if it known to be a valid constant initializer.  */
+       valid_const_initializer
+         = categorize_ctor_elements (ctor, &num_nonzero_elements,
+                                     &num_ctor_elements, &cleared);
 
        /* If a const aggregate variable is being initialized, then it
           should never be a lose to promote the variable to be static.  */
-       if (num_nonconstant_elements == 0
+       if (valid_const_initializer
            && num_nonzero_elements > 1
            && TREE_READONLY (object)
            && TREE_CODE (object) == VAR_DECL)
@@ -2952,7 +3020,7 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
           for sparse arrays, though, as it's more efficient to follow
           the standard CONSTRUCTOR behavior of memset followed by
           individual element initialization.  */
-       if (num_nonconstant_elements == 0 && !cleared)
+       if (valid_const_initializer && !cleared)
          {
            HOST_WIDE_INT size = int_size_in_bytes (type);
            unsigned int align;
@@ -2998,6 +3066,20 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
              }
          }
 
+       /* If there are nonzero elements, pre-evaluate to capture elements
+          overlapping with the lhs into temporaries.  We must do this before
+          clearing to fetch the values before they are zeroed-out.  */
+       if (num_nonzero_elements > 0)
+         {
+           preeval_data.lhs_base_decl = get_base_address (object);
+           if (!DECL_P (preeval_data.lhs_base_decl))
+             preeval_data.lhs_base_decl = NULL;
+           preeval_data.lhs_alias_set = get_alias_set (object);
+
+           gimplify_init_ctor_preeval (&TREE_OPERAND (*expr_p, 1),
+                                       pre_p, post_p, &preeval_data);
+         }
+
        if (cleared)
          {
            /* Zap the CONSTRUCTOR element list, which simplifies this case.
@@ -3013,16 +3095,7 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
           elements in the constructor, add assignments to the individual
           scalar fields of the object.  */
        if (!cleared || num_nonzero_elements > 0)
-         {
-           preeval_data.lhs_base_decl = get_base_address (object);
-           if (!DECL_P (preeval_data.lhs_base_decl))
-             preeval_data.lhs_base_decl = NULL;
-           preeval_data.lhs_alias_set = get_alias_set (object);
-
-           gimplify_init_ctor_preeval (&TREE_OPERAND (*expr_p, 1),
-                                       pre_p, post_p, &preeval_data);
-           gimplify_init_ctor_eval (object, elts, pre_p, cleared);
-         }
+         gimplify_init_ctor_eval (object, elts, pre_p, cleared);
 
        *expr_p = NULL_TREE;
       }
@@ -3038,7 +3111,7 @@ gimplify_init_constructor (tree *expr_p, tree *pre_p,
        i = VEC_index (constructor_elt, elts, 1)->value;
        if (r == NULL || i == NULL)
          {
-           tree zero = convert (TREE_TYPE (type), integer_zero_node);
+           tree zero = fold_convert (TREE_TYPE (type), integer_zero_node);
            if (r == NULL)
              r = zero;
            if (i == NULL)
@@ -3255,9 +3328,36 @@ gimplify_modify_expr_rhs (tree *expr_p, tree *from_p, tree *to_p, tree *pre_p,
           copy in other cases as well.  */
        if (!is_gimple_reg_type (TREE_TYPE (*from_p)))
          {
-           *expr_p = *from_p;
-           return gimplify_cond_expr (expr_p, pre_p, post_p, *to_p,
-                                      fb_rvalue);
+           /* This code should mirror the code in gimplify_cond_expr. */
+           enum tree_code code = TREE_CODE (*expr_p);
+           tree cond = *from_p;
+           tree result = *to_p;
+
+           ret = gimplify_expr (&result, pre_p, post_p,
+                                is_gimple_min_lval, fb_lvalue);
+           if (ret != GS_ERROR)
+             ret = GS_OK;
+
+           if (TREE_TYPE (TREE_OPERAND (cond, 1)) != void_type_node)
+             TREE_OPERAND (cond, 1)
+               = build2 (code, void_type_node, result,
+                         TREE_OPERAND (cond, 1));
+           if (TREE_TYPE (TREE_OPERAND (cond, 2)) != void_type_node)
+             TREE_OPERAND (cond, 2)
+               = build2 (code, void_type_node, unshare_expr (result),
+                         TREE_OPERAND (cond, 2));
+
+           TREE_TYPE (cond) = void_type_node;
+           recalculate_side_effects (cond);
+
+           if (want_value)
+             {
+               gimplify_and_add (cond, pre_p);
+               *expr_p = unshare_expr (result);
+             }
+           else
+             *expr_p = cond;
+           return ret;
          }
        else
          ret = GS_UNHANDLED;
@@ -3271,9 +3371,26 @@ gimplify_modify_expr_rhs (tree *expr_p, tree *from_p, tree *to_p, tree *pre_p,
          {
            bool use_target;
 
-           if (TREE_CODE (*to_p) == RESULT_DECL
-               && needs_to_live_in_memory (*to_p))
-             /* It's always OK to use the return slot directly.  */
+           if (!(rhs_predicate_for (*to_p))(*from_p))
+             /* If we need a temporary, *to_p isn't accurate.  */
+             use_target = false;
+           else if (TREE_CODE (*to_p) == RESULT_DECL
+                    && DECL_NAME (*to_p) == NULL_TREE
+                    && needs_to_live_in_memory (*to_p))
+             /* It's OK to use the return slot directly unless it's an NRV. */
+             use_target = true;
+           else if (is_gimple_reg_type (TREE_TYPE (*to_p))
+                    || (DECL_P (*to_p) && DECL_REGISTER (*to_p)))
+             /* Don't force regs into memory.  */
+             use_target = false;
+           else if (TREE_CODE (*to_p) == VAR_DECL
+                    && DECL_GIMPLE_FORMAL_TEMP_P (*to_p))
+             /* Don't use the original target if it's a formal temp; we
+                don't want to take their addresses.  */
+             use_target = false;
+           else if (TREE_CODE (*expr_p) == INIT_EXPR)
+             /* It's OK to use the target directly if it's being
+                initialized. */
              use_target = true;
            else if (!is_gimple_non_addressable (*to_p))
              /* Don't use the original target if it's already addressable;
@@ -3283,14 +3400,6 @@ gimplify_modify_expr_rhs (tree *expr_p, tree *from_p, tree *to_p, tree *pre_p,
                 When optimizing, the return_slot pass marks more functions
                 as safe after we have escape info.  */
              use_target = false;
-           else if (TREE_CODE (*to_p) != PARM_DECL 
-                    && DECL_GIMPLE_FORMAL_TEMP_P (*to_p))
-             /* Don't use the original target if it's a formal temp; we
-                don't want to take their addresses.  */
-             use_target = false;
-           else if (is_gimple_reg_type (TREE_TYPE (*to_p)))
-             /* Also don't force regs into memory.  */
-             use_target = false;
            else
              use_target = true;
 
@@ -3304,6 +3413,33 @@ gimplify_modify_expr_rhs (tree *expr_p, tree *from_p, tree *to_p, tree *pre_p,
        ret = GS_UNHANDLED;
        break;
 
+       /* If we're initializing from a container, push the initialization
+          inside it.  */
+      case CLEANUP_POINT_EXPR:
+      case BIND_EXPR:
+      case STATEMENT_LIST:
+       {
+         tree wrap = *from_p;
+         tree t;
+
+         ret = gimplify_expr (to_p, pre_p, post_p,
+                              is_gimple_min_lval, fb_lvalue);
+         if (ret != GS_ERROR)
+           ret = GS_OK;
+
+         t = voidify_wrapper_expr (wrap, *expr_p);
+         gcc_assert (t == *expr_p);
+
+         if (want_value)
+           {
+             gimplify_and_add (wrap, pre_p);
+             *expr_p = unshare_expr (*to_p);
+           }
+         else
+           *expr_p = wrap;
+         return GS_OK;
+       }
+       
       default:
        ret = GS_UNHANDLED;
        break;
@@ -3376,10 +3512,6 @@ gimplify_modify_expr (tree *expr_p, tree *pre_p, tree *post_p, bool want_value)
   gcc_assert (TREE_CODE (*expr_p) == MODIFY_EXPR
              || TREE_CODE (*expr_p) == INIT_EXPR);
 
-  /* The distinction between MODIFY_EXPR and INIT_EXPR is no longer useful.  */
-  if (TREE_CODE (*expr_p) == INIT_EXPR)
-    TREE_SET_CODE (*expr_p, MODIFY_EXPR);
-  
   /* For zero sized types only gimplify the left hand side and right hand side
      as statements and throw away the assignment.  */
   if (zero_sized_type (TREE_TYPE (*from_p)))
@@ -3490,6 +3622,27 @@ gimplify_variable_sized_compare (tree *expr_p)
   return GS_OK;
 }
 
+/*  Gimplify a comparison between two aggregate objects of integral scalar
+    mode as a comparison between the bitwise equivalent scalar values.  */
+
+static enum gimplify_status
+gimplify_scalar_mode_aggregate_compare (tree *expr_p)
+{
+  tree op0 = TREE_OPERAND (*expr_p, 0);
+  tree op1 = TREE_OPERAND (*expr_p, 1);
+
+  tree type = TREE_TYPE (op0);
+  tree scalar_type = lang_hooks.types.type_for_mode (TYPE_MODE (type), 1);
+
+  op0 = fold_build1 (VIEW_CONVERT_EXPR, scalar_type, op0);
+  op1 = fold_build1 (VIEW_CONVERT_EXPR, scalar_type, op1);
+
+  *expr_p
+    = fold_build2 (TREE_CODE (*expr_p), TREE_TYPE (*expr_p), op0, op1);
+
+  return GS_OK;
+}
+
 /*  Gimplify TRUTH_ANDIF_EXPR and TRUTH_ORIF_EXPR expressions.  EXPR_P
     points to the expression to gimplify.
 
@@ -3509,8 +3662,8 @@ gimplify_boolean_expr (tree *expr_p)
   tree type = TREE_TYPE (*expr_p);
 
   *expr_p = build3 (COND_EXPR, type, *expr_p,
-                   convert (type, boolean_true_node),
-                   convert (type, boolean_false_node));
+                   fold_convert (type, boolean_true_node),
+                   fold_convert (type, boolean_false_node));
 
   return GS_OK;
 }
@@ -3560,8 +3713,10 @@ gimplify_compound_expr (tree *expr_p, tree *pre_p, bool want_value)
    enlightened front-end, or by shortcut_cond_expr.  */
 
 static enum gimplify_status
-gimplify_statement_list (tree *expr_p)
+gimplify_statement_list (tree *expr_p, tree *pre_p)
 {
+  tree temp = voidify_wrapper_expr (*expr_p, NULL);
+
   tree_stmt_iterator i = tsi_start (*expr_p);
 
   while (!tsi_end_p (i))
@@ -3582,6 +3737,13 @@ gimplify_statement_list (tree *expr_p)
        tsi_next (&i);
     }
 
+  if (temp)
+    {
+      append_to_statement_list (*expr_p, pre_p);
+      *expr_p = temp;
+      return GS_OK;
+    }
+
   return GS_ALL_DONE;
 }
 
@@ -4063,16 +4225,9 @@ gimplify_target_expr (tree *expr_p, tree *pre_p, tree *post_p)
        ret = gimplify_expr (&init, pre_p, post_p, is_gimple_stmt, fb_none);
       else
        {
-          /* Special handling for BIND_EXPR can result in fewer temps.  */
-         ret = GS_OK;
-          if (TREE_CODE (init) == BIND_EXPR)
-           gimplify_bind_expr (&init, temp, pre_p);
-         if (init != temp)
-           {
-             init = build2 (MODIFY_EXPR, void_type_node, temp, init);
-             ret = gimplify_expr (&init, pre_p, post_p, is_gimple_stmt,
-                                  fb_none);
-           }
+         init = build2 (INIT_EXPR, void_type_node, temp, init);
+         ret = gimplify_expr (&init, pre_p, post_p, is_gimple_stmt,
+                              fb_none);
        }
       if (ret == GS_ERROR)
        return GS_ERROR;
@@ -4173,7 +4328,6 @@ omp_firstprivatize_type_sizes (struct gimplify_omp_ctx *ctx, tree type)
     case INTEGER_TYPE:
     case ENUMERAL_TYPE:
     case BOOLEAN_TYPE:
-    case CHAR_TYPE:
     case REAL_TYPE:
       omp_firstprivatize_variable (ctx, TYPE_MIN_VALUE (type));
       omp_firstprivatize_variable (ctx, TYPE_MAX_VALUE (type));
@@ -4248,7 +4402,7 @@ omp_add_variable (struct gimplify_omp_ctx *ctx, tree decl, unsigned int flags)
   /* When adding a variable-sized variable, we have to handle all sorts
      of additional bits of data: the pointer replacement variable, and 
      the parameters of the type.  */
-  if (!TREE_CONSTANT (DECL_SIZE (decl)))
+  if (DECL_SIZE (decl) && TREE_CODE (DECL_SIZE (decl)) != INTEGER_CST)
     {
       /* Add the pointer replacement variable as PRIVATE if the variable
         replacement is private, else FIRSTPRIVATE since we'll need the
@@ -4295,7 +4449,7 @@ omp_add_variable (struct gimplify_omp_ctx *ctx, tree decl, unsigned int flags)
       if ((flags & GOVD_SHARED) == 0)
        {
          t = TYPE_SIZE_UNIT (TREE_TYPE (TREE_TYPE (decl)));
-         if (!TREE_CONSTANT (t))
+         if (TREE_CODE (t) != INTEGER_CST)
            omp_notice_variable (ctx, t, true);
        }
     }
@@ -4408,17 +4562,34 @@ omp_is_private (struct gimplify_omp_ctx *ctx, tree decl)
       if (n->value & GOVD_SHARED)
        {
          if (ctx == gimplify_omp_ctxp)
-           error ("iteration variable %qs should be private",
+           {
+             error ("iteration variable %qs should be private",
+                    IDENTIFIER_POINTER (DECL_NAME (decl)));
+             n->value = GOVD_PRIVATE;
+             return true;
+           }
+         else
+           return false;
+       }
+      else if ((n->value & GOVD_EXPLICIT) != 0
+              && (ctx == gimplify_omp_ctxp
+                  || (ctx->is_combined_parallel
+                      && gimplify_omp_ctxp->outer_context == ctx)))
+       {
+         if ((n->value & GOVD_FIRSTPRIVATE) != 0)
+           error ("iteration variable %qs should not be firstprivate",
+                  IDENTIFIER_POINTER (DECL_NAME (decl)));
+         else if ((n->value & GOVD_REDUCTION) != 0)
+           error ("iteration variable %qs should not be reduction",
                   IDENTIFIER_POINTER (DECL_NAME (decl)));
-         n->value = GOVD_PRIVATE;
        }
       return true;
     }
 
-  if (ctx->outer_context)
-    return omp_is_private (ctx->outer_context, decl);
-  else if (ctx->is_parallel)
+  if (ctx->is_parallel)
     return false;
+  else if (ctx->outer_context)
+    return omp_is_private (ctx->outer_context, decl);
   else
     return !is_global_var (decl);
 }
@@ -4427,12 +4598,13 @@ omp_is_private (struct gimplify_omp_ctx *ctx, tree decl)
    and previous omp contexts.  */
 
 static void
-gimplify_scan_omp_clauses (tree *list_p, tree *pre_p, bool in_parallel)
+gimplify_scan_omp_clauses (tree *list_p, tree *pre_p, bool in_parallel,
+                          bool in_combined_parallel)
 {
   struct gimplify_omp_ctx *ctx, *outer_ctx;
   tree c;
 
-  ctx = new_omp_context (in_parallel);
+  ctx = new_omp_context (in_parallel, in_combined_parallel);
   outer_ctx = ctx->outer_context;
 
   while ((c = *list_p) != NULL)
@@ -4443,7 +4615,7 @@ gimplify_scan_omp_clauses (tree *list_p, tree *pre_p, bool in_parallel)
       unsigned int flags;
       tree decl;
 
-      switch (TREE_CODE (c))
+      switch (OMP_CLAUSE_CODE (c))
        {
        case OMP_CLAUSE_PRIVATE:
          flags = GOVD_PRIVATE | GOVD_EXPLICIT;
@@ -4469,12 +4641,17 @@ gimplify_scan_omp_clauses (tree *list_p, tree *pre_p, bool in_parallel)
              remove = true;
              break;
            }
+         /* Handle NRV results passed by reference.  */
+         if (TREE_CODE (decl) == INDIRECT_REF
+             && TREE_CODE (TREE_OPERAND (decl, 0)) == RESULT_DECL
+             && DECL_BY_REFERENCE (TREE_OPERAND (decl, 0)))
+           OMP_CLAUSE_DECL (c) = decl = TREE_OPERAND (decl, 0);
          omp_add_variable (ctx, decl, flags);
-         if (TREE_CODE (c) == OMP_CLAUSE_REDUCTION
+         if (OMP_CLAUSE_CODE (c) == OMP_CLAUSE_REDUCTION
              && OMP_CLAUSE_REDUCTION_PLACEHOLDER (c))
            {
              omp_add_variable (ctx, OMP_CLAUSE_REDUCTION_PLACEHOLDER (c),
-                               GOVD_LOCAL);
+                               GOVD_LOCAL | GOVD_SEEN);
              gimplify_omp_ctxp = ctx;
              push_gimplify_context ();
              gimplify_stmt (&OMP_CLAUSE_REDUCTION_INIT (c));
@@ -4496,15 +4673,24 @@ gimplify_scan_omp_clauses (tree *list_p, tree *pre_p, bool in_parallel)
              remove = true;
              break;
            }
+         /* Handle NRV results passed by reference.  */
+         if (TREE_CODE (decl) == INDIRECT_REF
+             && TREE_CODE (TREE_OPERAND (decl, 0)) == RESULT_DECL
+             && DECL_BY_REFERENCE (TREE_OPERAND (decl, 0)))
+           OMP_CLAUSE_DECL (c) = decl = TREE_OPERAND (decl, 0);
        do_notice:
          if (outer_ctx)
            omp_notice_variable (outer_ctx, decl, true);
          break;
 
-       case OMP_CLAUSE_SCHEDULE:
        case OMP_CLAUSE_IF:
+         OMP_CLAUSE_OPERAND (c, 0)
+           = gimple_boolify (OMP_CLAUSE_OPERAND (c, 0));
+         /* Fall through.  */
+
+       case OMP_CLAUSE_SCHEDULE:
        case OMP_CLAUSE_NUM_THREADS:
-         gs = gimplify_expr (&TREE_OPERAND (c, 0), pre_p, NULL,
+         gs = gimplify_expr (&OMP_CLAUSE_OPERAND (c, 0), pre_p, NULL,
                              is_gimple_val, fb_rvalue);
          if (gs == GS_ERROR)
            remove = true;
@@ -4540,7 +4726,7 @@ gimplify_adjust_omp_clauses_1 (splay_tree_node n, void *data)
   tree *list_p = (tree *) data;
   tree decl = (tree) n->key;
   unsigned flags = n->value;
-  enum tree_code code;
+  enum omp_clause_code code;
   tree clause;
   bool private_debug;
 
@@ -4572,7 +4758,8 @@ gimplify_adjust_omp_clauses_1 (splay_tree_node n, void *data)
   else
     gcc_unreachable ();
 
-  clause = build1 (code, void_type_node, decl);
+  clause = build_omp_clause (code);
+  OMP_CLAUSE_DECL (clause) = decl;
   OMP_CLAUSE_CHAIN (clause) = *list_p;
   if (private_debug)
     OMP_CLAUSE_PRIVATE_DEBUG (clause) = 1;
@@ -4592,7 +4779,7 @@ gimplify_adjust_omp_clauses (tree *list_p)
       splay_tree_node n;
       bool remove = false;
 
-      switch (TREE_CODE (c))
+      switch (OMP_CLAUSE_CODE (c))
        {
        case OMP_CLAUSE_PRIVATE:
        case OMP_CLAUSE_SHARED:
@@ -4602,14 +4789,14 @@ gimplify_adjust_omp_clauses (tree *list_p)
          remove = !(n->value & GOVD_SEEN);
          if (! remove)
            {
-             bool shared = TREE_CODE (c) == OMP_CLAUSE_SHARED;
+             bool shared = OMP_CLAUSE_CODE (c) == OMP_CLAUSE_SHARED;
              if ((n->value & GOVD_DEBUG_PRIVATE)
                  || lang_hooks.decls.omp_private_debug_clause (decl, shared))
                {
                  gcc_assert ((n->value & GOVD_DEBUG_PRIVATE) == 0
                              || ((n->value & GOVD_DATA_SHARE_CLASS)
                                  == GOVD_PRIVATE));
-                 TREE_SET_CODE (c, OMP_CLAUSE_PRIVATE);
+                 OMP_CLAUSE_SET_CODE (c, OMP_CLAUSE_PRIVATE);
                  OMP_CLAUSE_PRIVATE_DEBUG (c) = 1;
                }
            }
@@ -4662,7 +4849,8 @@ gimplify_omp_parallel (tree *expr_p, tree *pre_p)
 {
   tree expr = *expr_p;
 
-  gimplify_scan_omp_clauses (&OMP_PARALLEL_CLAUSES (expr), pre_p, true);
+  gimplify_scan_omp_clauses (&OMP_PARALLEL_CLAUSES (expr), pre_p, true,
+                            OMP_PARALLEL_COMBINED (expr));
 
   push_gimplify_context ();
 
@@ -4688,14 +4876,13 @@ gimplify_omp_for (tree *expr_p, tree *pre_p)
 
   for_stmt = *expr_p;
 
-  gimplify_scan_omp_clauses (&OMP_FOR_CLAUSES (for_stmt), pre_p, false);
+  gimplify_scan_omp_clauses (&OMP_FOR_CLAUSES (for_stmt), pre_p, false, false);
 
   t = OMP_FOR_INIT (for_stmt);
   gcc_assert (TREE_CODE (t) == MODIFY_EXPR);
   decl = TREE_OPERAND (t, 0);
   gcc_assert (DECL_P (decl));
   gcc_assert (INTEGRAL_TYPE_P (TREE_TYPE (decl)));
-  gcc_assert (!TYPE_UNSIGNED (TREE_TYPE (decl)));
 
   /* Make sure the iteration variable is private.  */
   if (omp_is_private (gimplify_omp_ctxp, decl))
@@ -4771,7 +4958,7 @@ gimplify_omp_workshare (tree *expr_p, tree *pre_p)
 {
   tree stmt = *expr_p;
 
-  gimplify_scan_omp_clauses (&OMP_CLAUSES (stmt), pre_p, false);
+  gimplify_scan_omp_clauses (&OMP_CLAUSES (stmt), pre_p, false, false);
   gimplify_to_stmt_list (&OMP_BODY (stmt));
   gimplify_adjust_omp_clauses (&OMP_CLAUSES (stmt));
 
@@ -4864,7 +5051,7 @@ gimplify_omp_atomic_fetch_op (tree *expr_p, tree addr, tree rhs, int index)
 }
 
 /* A subroutine of gimplify_omp_atomic_pipeline.  Walk *EXPR_P and replace
-   appearences of *LHS_ADDR with LHS_VAR.  If an expression does not involve
+   appearances of *LHS_ADDR with LHS_VAR.  If an expression does not involve
    the lhs, evaluate it into a temporary.  Return 1 if the lhs appeared as
    a subexpression, 0 if it did not, or -1 if an error was encountered.  */
 
@@ -4981,7 +5168,8 @@ gimplify_omp_atomic_pipeline (tree *expr_p, tree *pre_p, tree addr,
       gimplify_and_add (x, pre_p);
     }
 
-  x = build2 (MODIFY_EXPR, void_type_node, oldival2, oldival);
+  x = build2 (MODIFY_EXPR, void_type_node, oldival2,
+             fold_convert (itype, oldival));
   gimplify_and_add (x, pre_p);
 
   args = tree_cons (NULL, fold_convert (itype, newival), NULL);
@@ -5213,8 +5401,7 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          break;
 
        case COND_EXPR:
-         ret = gimplify_cond_expr (expr_p, pre_p, post_p, NULL_TREE,
-                                   fallback);
+         ret = gimplify_cond_expr (expr_p, pre_p, fallback);
          /* C99 code may assign to an array in a structure value of a
             conditional expression, and this has undefined behavior
             only on execution, so create a temporary if an lvalue is
@@ -5250,6 +5437,11 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
        case INIT_EXPR:
          ret = gimplify_modify_expr (expr_p, pre_p, post_p,
                                      fallback != fb_none);
+
+         /* The distinction between MODIFY_EXPR and INIT_EXPR is no longer
+            useful.  */
+         if (*expr_p && TREE_CODE (*expr_p) == INIT_EXPR)
+           TREE_SET_CODE (*expr_p, MODIFY_EXPR);
          break;
 
        case TRUTH_ANDIF_EXPR:
@@ -5349,7 +5541,7 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          break;
 
        case BIND_EXPR:
-         ret = gimplify_bind_expr (expr_p, NULL, pre_p);
+         ret = gimplify_bind_expr (expr_p, pre_p);
          break;
 
        case LOOP_EXPR:
@@ -5496,7 +5688,7 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          break;
 
        case STATEMENT_LIST:
-         ret = gimplify_statement_list (expr_p);
+         ret = gimplify_statement_list (expr_p, pre_p);
          break;
 
        case WITH_SIZE_EXPR:
@@ -5514,6 +5706,13 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          ret = gimplify_var_or_parm_decl (expr_p);
          break;
 
+       case RESULT_DECL:
+         /* When within an OpenMP context, notice uses of variables.  */
+         if (gimplify_omp_ctxp)
+           omp_notice_variable (gimplify_omp_ctxp, *expr_p, true);
+         ret = GS_ALL_DONE;
+         break;
+
        case SSA_NAME:
          /* Allow callbacks into the gimplifier during optimization.  */
          ret = GS_ALL_DONE;
@@ -5543,7 +5742,8 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          ret = gimplify_omp_atomic (expr_p, pre_p);
          break;
 
-       case OMP_RETURN_EXPR:
+       case OMP_RETURN:
+       case OMP_CONTINUE:
          ret = GS_ALL_DONE;
          break;
 
@@ -5551,16 +5751,28 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          switch (TREE_CODE_CLASS (TREE_CODE (*expr_p)))
            {
            case tcc_comparison:
-             /* If this is a comparison of objects of aggregate type,
-                handle it specially (by converting to a call to
-                memcmp).  It would be nice to only have to do this
-                for variable-sized objects, but then we'd have to
-                allow the same nest of reference nodes we allow for
-                MODIFY_EXPR and that's too complex.  */
-             if (!AGGREGATE_TYPE_P (TREE_TYPE (TREE_OPERAND (*expr_p, 1))))
-               goto expr_2;
-             ret = gimplify_variable_sized_compare (expr_p);
-             break;
+             /* Handle comparison of objects of non scalar mode aggregates
+                with a call to memcmp.  It would be nice to only have to do
+                this for variable-sized objects, but then we'd have to allow
+                the same nest of reference nodes we allow for MODIFY_EXPR and
+                that's too complex.
+
+                Compare scalar mode aggregates as scalar mode values.  Using
+                memcmp for them would be very inefficient at best, and is
+                plain wrong if bitfields are involved.  */
+
+             {
+               tree type = TREE_TYPE (TREE_OPERAND (*expr_p, 1));
+
+               if (!AGGREGATE_TYPE_P (type))
+                 goto expr_2;
+               else if (TYPE_MODE (type) != BLKmode)
+                 ret = gimplify_scalar_mode_aggregate_compare (expr_p);
+               else
+                 ret = gimplify_variable_sized_compare (expr_p);
+
+               break;
+               }
 
            /* If *EXPR_P does not need to be special-cased, handle it
               according to its class.  */
@@ -5634,7 +5846,9 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          switch (code)
            {
            case COMPONENT_REF:
-           case REALPART_EXPR: case IMAGPART_EXPR:
+           case REALPART_EXPR:
+           case IMAGPART_EXPR:
+           case VIEW_CONVERT_EXPR:
              gimplify_expr (&TREE_OPERAND (*expr_p, 0), pre_p, post_p,
                             gimple_test_f, fallback);
              break;
@@ -5659,7 +5873,7 @@ gimplify_expr (tree *expr_p, tree *pre_p, tree *post_p,
          /* Historically, the compiler has treated a bare
             reference to a volatile lvalue as forcing a load.  */
          tree type = TYPE_MAIN_VARIANT (TREE_TYPE (*expr_p));
-         /* Normally, we do want to create a temporary for a
+         /* Normally, we do not want to create a temporary for a
             TREE_ADDRESSABLE type because such a type should not be
             copied by bitwise-assignment.  However, we make an
             exception here, as all we are doing here is ensuring that
@@ -5799,7 +6013,6 @@ gimplify_type_sizes (tree type, tree *list_p)
     case INTEGER_TYPE:
     case ENUMERAL_TYPE:
     case BOOLEAN_TYPE:
-    case CHAR_TYPE:
     case REAL_TYPE:
       gimplify_one_sizepos (&TYPE_MIN_VALUE (type), list_p);
       gimplify_one_sizepos (&TYPE_MAX_VALUE (type), list_p);
@@ -5830,7 +6043,18 @@ gimplify_type_sizes (tree type, tree *list_p)
 
     case POINTER_TYPE:
     case REFERENCE_TYPE:
-      gimplify_type_sizes (TREE_TYPE (type), list_p);
+       /* We used to recurse on the pointed-to type here, which turned out to
+          be incorrect because its definition might refer to variables not
+          yet initialized at this point if a forward declaration is involved.
+
+          It was actually useful for anonymous pointed-to types to ensure
+          that the sizes evaluation dominates every possible later use of the
+          values.  Restricting to such types here would be safe since there
+          is no possible forward declaration around, but would introduce a
+          undesireable middle-end semantic to anonymity.  We then defer to
+          front-ends the responsibilty of ensuring that the sizes are
+          evaluated both early and late enough, e.g. by attaching artifical
+          type declarations to the tree.  */
       break;
 
     default:
@@ -5887,7 +6111,7 @@ gimplify_one_sizepos (tree *expr_p, tree *stmt_p)
 
       *expr_p = create_tmp_var (type, NULL);
       tmp = build1 (NOP_EXPR, type, expr);
-      tmp = build2 (MODIFY_EXPR, type, *expr_p, expr);
+      tmp = build2 (MODIFY_EXPR, type, *expr_p, tmp);
       if (EXPR_HAS_LOCATION (expr))
        SET_EXPR_LOCUS (tmp, EXPR_LOCUS (expr));
       else
@@ -6147,7 +6371,7 @@ force_gimple_operand (tree expr, tree *stmts, bool simple, tree var)
   if (referenced_vars)
     {
       for (t = gimplify_ctxp->temps; t ; t = TREE_CHAIN (t))
-       add_referenced_tmp_var (t);
+       add_referenced_var (t);
     }
 
   pop_gimplify_context (NULL);