OSDN Git Service

Daily bump.
[pf3gnuchains/gcc-fork.git] / gcc / tree-vect-generic.c
index 1a6d1f1..cb64065 100644 (file)
@@ -1,5 +1,5 @@
 /* Lower vector operations to scalar operations.
-   Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009, 2010
+   Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012
    Free Software Foundation, Inc.
 
 This file is part of GCC.
@@ -125,8 +125,10 @@ static tree
 do_binop (gimple_stmt_iterator *gsi, tree inner_type, tree a, tree b,
          tree bitpos, tree bitsize, enum tree_code code)
 {
-  a = tree_vec_extract (gsi, inner_type, a, bitsize, bitpos);
-  b = tree_vec_extract (gsi, inner_type, b, bitsize, bitpos);
+  if (TREE_CODE (TREE_TYPE (a)) == VECTOR_TYPE)
+    a = tree_vec_extract (gsi, inner_type, a, bitsize, bitpos);
+  if (TREE_CODE (TREE_TYPE (b)) == VECTOR_TYPE)
+    b = tree_vec_extract (gsi, inner_type, b, bitsize, bitpos);
   return gimplify_build2 (gsi, code, inner_type, a, b);
 }
 
@@ -235,6 +237,14 @@ expand_vector_piecewise (gimple_stmt_iterator *gsi, elem_op_func f,
   int delta = tree_low_cst (part_width, 1)
              / tree_low_cst (TYPE_SIZE (TREE_TYPE (type)), 1);
   int i;
+  location_t loc = gimple_location (gsi_stmt (*gsi));
+
+  if (types_compatible_p (gimple_expr_type (gsi_stmt (*gsi)), type))
+    warning_at (loc, OPT_Wvector_operation_performance,
+               "vector operation will be expanded piecewise");
+  else
+    warning_at (loc, OPT_Wvector_operation_performance,
+               "vector operation will be expanded in parallel");
 
   v = VEC_alloc(constructor_elt, gc, (nunits + delta - 1) / delta);
   for (i = 0; i < nunits;
@@ -260,6 +270,7 @@ expand_vector_parallel (gimple_stmt_iterator *gsi, elem_op_func f, tree type,
   tree result, compute_type;
   enum machine_mode mode;
   int n_words = tree_low_cst (TYPE_SIZE_UNIT (type), 1) / UNITS_PER_WORD;
+  location_t loc = gimple_location (gsi_stmt (*gsi));
 
   /* We have three strategies.  If the type is already correct, just do
      the operation an element at a time.  Else, if the vector is wider than
@@ -284,6 +295,9 @@ expand_vector_parallel (gimple_stmt_iterator *gsi, elem_op_func f, tree type,
       mode = mode_for_size (tree_low_cst (TYPE_SIZE (type), 1), MODE_INT, 0);
       compute_type = lang_hooks.types.type_for_mode (mode, 1);
       result = f (gsi, compute_type, a, b, NULL_TREE, NULL_TREE, code);
+      warning_at (loc, OPT_Wvector_operation_performance,
+                 "vector operation will be expanded with a "
+                 "single scalar operation");
     }
 
   return result;
@@ -400,8 +414,8 @@ expand_vector_operation (gimple_stmt_iterator *gsi, tree type, tree compute_type
       case PLUS_EXPR:
       case MINUS_EXPR:
         if (!TYPE_OVERFLOW_TRAPS (type))
-          return expand_vector_addition (gsi, do_binop, do_plus_minus, type,
-                                        gimple_assign_rhs1 (assign),
+         return expand_vector_addition (gsi, do_binop, do_plus_minus, type,
+                                        gimple_assign_rhs1 (assign),
                                         gimple_assign_rhs2 (assign), code);
        break;
 
@@ -457,13 +471,13 @@ expand_vector_operation (gimple_stmt_iterator *gsi, tree type, tree compute_type
                                    gimple_assign_rhs2 (assign), code);
 }
 \f
-/* Return a type for the widest vector mode whose components are of mode
-   INNER_MODE, or NULL_TREE if none is found.
-   SATP is true for saturating fixed-point types.  */
+/* Return a type for the widest vector mode whose components are of type
+   TYPE, or NULL_TREE if none is found.  */
 
 static tree
-type_for_widest_vector_mode (enum machine_mode inner_mode, optab op, int satp)
+type_for_widest_vector_mode (tree type, optab op)
 {
+  enum machine_mode inner_mode = TYPE_MODE (type);
   enum machine_mode best_mode = VOIDmode, mode;
   int best_nunits = 0;
 
@@ -489,13 +503,7 @@ type_for_widest_vector_mode (enum machine_mode inner_mode, optab op, int satp)
   if (best_mode == VOIDmode)
     return NULL_TREE;
   else
-    {
-      /* For fixed-point modes, we need to pass satp as the 2nd parameter.  */
-      if (ALL_FIXED_POINT_MODE_P (best_mode))
-       return lang_hooks.types.type_for_mode (best_mode, satp);
-
-      return lang_hooks.types.type_for_mode (best_mode, 1);
-    }
+    return build_vector_type_for_mode (type, best_mode);
 }
 
 
@@ -512,22 +520,40 @@ type_for_widest_vector_mode (enum machine_mode inner_mode, optab op, int satp)
 static tree
 vector_element (gimple_stmt_iterator *gsi, tree vect, tree idx, tree *ptmpvec)
 {
-  tree type;
+  tree vect_type, vect_elt_type;
   gimple asgn;
   tree tmpvec;
   tree arraytype;
   bool need_asgn = true;
+  unsigned int elements;
 
-  gcc_assert (TREE_CODE (TREE_TYPE (vect)) == VECTOR_TYPE);
+  vect_type = TREE_TYPE (vect);
+  vect_elt_type = TREE_TYPE (vect_type);
+  elements = TYPE_VECTOR_SUBPARTS (vect_type);
 
-  type = TREE_TYPE (vect);
   if (TREE_CODE (idx) == INTEGER_CST)
     {
       unsigned HOST_WIDE_INT index;
 
-      if (!host_integerp (idx, 1)
-           || (index = tree_low_cst (idx, 1)) > TYPE_VECTOR_SUBPARTS (type)-1)
-        return error_mark_node;
+      /* Given that we're about to compute a binary modulus,
+        we don't care about the high bits of the value.  */
+      index = TREE_INT_CST_LOW (idx);
+      if (!host_integerp (idx, 1) || index >= elements)
+       {
+         index &= elements - 1;
+         idx = build_int_cst (TREE_TYPE (idx), index);
+       }
+
+      /* When lowering a vector statement sequence do some easy
+         simplification by looking through intermediate vector results.  */
+      if (TREE_CODE (vect) == SSA_NAME)
+       {
+         gimple def_stmt = SSA_NAME_DEF_STMT (vect);
+         if (is_gimple_assign (def_stmt)
+             && (gimple_assign_rhs_code (def_stmt) == VECTOR_CST
+                 || gimple_assign_rhs_code (def_stmt) == CONSTRUCTOR))
+           vect = gimple_assign_rhs1 (def_stmt);
+       }
 
       if (TREE_CODE (vect) == VECTOR_CST)
         {
@@ -536,33 +562,31 @@ vector_element (gimple_stmt_iterator *gsi, tree vect, tree idx, tree *ptmpvec)
          for (i = 0; vals; vals = TREE_CHAIN (vals), ++i)
            if (i == index)
               return TREE_VALUE (vals);
-         return error_mark_node;
+         return build_zero_cst (vect_elt_type);
         }
       else if (TREE_CODE (vect) == CONSTRUCTOR)
         {
           unsigned i;
-          VEC (constructor_elt, gc) *vals = CONSTRUCTOR_ELTS (vect);
-          constructor_elt *elt;
+          tree elt_i, elt_v;
 
-          for (i = 0; VEC_iterate (constructor_elt, vals, i, elt); i++)
-            if (operand_equal_p (elt->index, idx, 0))
-              return elt->value;
-          return fold_convert (TREE_TYPE (type), integer_zero_node);
+         FOR_EACH_CONSTRUCTOR_ELT (CONSTRUCTOR_ELTS (vect), i, elt_i, elt_v)
+            if (operand_equal_p (elt_i, idx, 0))
+              return elt_v;
+          return build_zero_cst (vect_elt_type);
         }
-      else if (TREE_CODE (vect) == SSA_NAME)
+      else
         {
-         tree size = TYPE_SIZE (TREE_TYPE (type));
-          tree pos = fold_build2 (MULT_EXPR, TREE_TYPE (idx), idx, size);
-          return fold_build3 (BIT_FIELD_REF, TREE_TYPE (type), vect, size, pos);
+         tree size = TYPE_SIZE (vect_elt_type);
+         tree pos = fold_build2 (MULT_EXPR, bitsizetype, bitsize_int (index),
+                                 size);
+         return fold_build3 (BIT_FIELD_REF, vect_elt_type, vect, size, pos);
         }
-      else
-       return error_mark_node;
     }
 
   if (!ptmpvec)
-    tmpvec = create_tmp_var (TREE_TYPE (vect), "vectmp");
+    tmpvec = create_tmp_var (vect_type, "vectmp");
   else if (!*ptmpvec)
-    tmpvec = *ptmpvec = create_tmp_var (TREE_TYPE (vect), "vectmp");
+    tmpvec = *ptmpvec = create_tmp_var (vect_type, "vectmp");
   else
     {
       tmpvec = *ptmpvec;
@@ -576,183 +600,129 @@ vector_element (gimple_stmt_iterator *gsi, tree vect, tree idx, tree *ptmpvec)
       gsi_insert_before (gsi, asgn, GSI_SAME_STMT);
     }
 
-  arraytype = build_array_type_nelts (TREE_TYPE (type),
-                                     TYPE_VECTOR_SUBPARTS (TREE_TYPE (vect)));
-
-  return build4 (ARRAY_REF, TREE_TYPE (type),
+  arraytype = build_array_type_nelts (vect_elt_type, elements);
+  return build4 (ARRAY_REF, vect_elt_type,
                  build1 (VIEW_CONVERT_EXPR, arraytype, tmpvec),
                  idx, NULL_TREE, NULL_TREE);
 }
 
-/* Check if VEC_SHUFFLE_EXPR within the given setting is supported
-   by hardware, or lower it piecewise.  Function returns false when
-   the expression must be replaced with TRAP_RETURN, true otherwise.
+/* Check if VEC_PERM_EXPR within the given setting is supported
+   by hardware, or lower it piecewise.
 
-   When VEC_SHUFFLE_EXPR has the same first and second operands:
-   VEC_SHUFFLE_EXPR <v0, v0, mask> the lowered version would be
+   When VEC_PERM_EXPR has the same first and second operands:
+   VEC_PERM_EXPR <v0, v0, mask> the lowered version would be
    {v0[mask[0]], v0[mask[1]], ...}
    MASK and V0 must have the same number of elements.
 
-   Otherwise VEC_SHUFFLE_EXPR <v0, v1, mask> is lowered to
+   Otherwise VEC_PERM_EXPR <v0, v1, mask> is lowered to
    {mask[0] < len(v0) ? v0[mask[0]] : v1[mask[0]], ...}
    V0 and V1 must have the same type.  MASK, V0, V1 must have the
    same number of arguments.  */
-static bool
-lower_vec_shuffle (gimple_stmt_iterator *gsi, location_t loc)
-{
 
+static void
+lower_vec_perm (gimple_stmt_iterator *gsi)
+{
   gimple stmt = gsi_stmt (*gsi);
   tree mask = gimple_assign_rhs3 (stmt);
   tree vec0 = gimple_assign_rhs1 (stmt);
   tree vec1 = gimple_assign_rhs2 (stmt);
-  unsigned els = TYPE_VECTOR_SUBPARTS (TREE_TYPE (mask));
-  tree type0 = TREE_TYPE (TREE_TYPE (vec0));
-  VEC(constructor_elt,gc) *v = NULL;
-  tree vectype, constr;
-  tree vec0tmp = NULL_TREE, masktmp = NULL_TREE;
+  tree vect_type = TREE_TYPE (vec0);
+  tree mask_type = TREE_TYPE (mask);
+  tree vect_elt_type = TREE_TYPE (vect_type);
+  tree mask_elt_type = TREE_TYPE (mask_type);
+  unsigned int elements = TYPE_VECTOR_SUBPARTS (vect_type);
+  VEC(constructor_elt,gc) *v;
+  tree constr, t, si, i_val;
+  tree vec0tmp = NULL_TREE, vec1tmp = NULL_TREE, masktmp = NULL_TREE;
+  bool two_operand_p = !operand_equal_p (vec0, vec1, 0);
+  location_t loc = gimple_location (gsi_stmt (*gsi));
+  unsigned i;
 
-  if (expand_vec_shuffle_expr_p (TYPE_MODE (TREE_TYPE (vec0)), vec0, vec1, mask))
+  if (TREE_CODE (mask) == VECTOR_CST)
     {
-      tree t;
+      unsigned char *sel_int = XALLOCAVEC (unsigned char, elements);
+      tree vals = TREE_VECTOR_CST_ELTS (mask);
+
+      for (i = 0; i < elements; ++i, vals = TREE_CHAIN (vals))
+       sel_int[i] = TREE_INT_CST_LOW (TREE_VALUE (vals)) & (2 * elements - 1);
 
-      t = gimplify_build3 (gsi, VEC_SHUFFLE_EXPR, TREE_TYPE (vec0),
-                          vec0, vec1, mask);
-      gimple_assign_set_rhs_from_tree (gsi, t);
-      /* Statement should be updated by callee.  */
-      return true;
+      if (can_vec_perm_p (TYPE_MODE (vect_type), false, sel_int))
+       return;
     }
+  else if (can_vec_perm_p (TYPE_MODE (vect_type), true, NULL))
+    return;
+  
+  warning_at (loc, OPT_Wvector_operation_performance,
+              "vector shuffling operation will be expanded piecewise");
 
-  if (operand_equal_p (vec0, vec1, 0))
+  v = VEC_alloc (constructor_elt, gc, elements);
+  for (i = 0; i < elements; i++)
     {
-      unsigned i;
-      tree vec0tmp = NULL_TREE;
+      si = size_int (i);
+      i_val = vector_element (gsi, mask, si, &masktmp);
 
-      v = VEC_alloc (constructor_elt, gc, els);
-      for (i = 0; i < els; i++)
+      if (TREE_CODE (i_val) == INTEGER_CST)
         {
-          tree idxval, vecel, t;
+         unsigned HOST_WIDE_INT index;
 
-         idxval = vector_element (gsi, mask, size_int (i), &masktmp);
-          if (idxval == error_mark_node)
-            {
-              if (warning_at (loc, 0, "Invalid shuffling mask index %i", i))
-               inform (loc, "if this code is reached the programm will abort");
-             return false;
-            }
+         index = TREE_INT_CST_LOW (i_val);
+         if (!host_integerp (i_val, 1) || index >= elements)
+           i_val = build_int_cst (mask_elt_type, index & (elements - 1));
 
-         vecel = vector_element (gsi, vec0, idxval, &vec0tmp);
-          if (vecel == error_mark_node)
-            {
-              if (warning_at (loc, 0, "Invalid shuffling arguments"))
-               inform (loc, "if this code is reached the programm will abort");
-             return false;
-            }
+          if (two_operand_p && (index & elements) != 0)
+           t = vector_element (gsi, vec1, i_val, &vec1tmp);
+         else
+           t = vector_element (gsi, vec0, i_val, &vec0tmp);
 
-          t = force_gimple_operand_gsi (gsi, vecel, true,
-                                       NULL_TREE, true, GSI_SAME_STMT);
-          CONSTRUCTOR_APPEND_ELT (v, size_int (i), t);
+          t = force_gimple_operand_gsi (gsi, t, true, NULL_TREE,
+                                       true, GSI_SAME_STMT);
         }
-    }
-  else
-    {
-      unsigned i;
-      tree var = create_tmp_var (type0, "vecel");
-      tree vec1tmp = NULL_TREE;
-
-      v = VEC_alloc (constructor_elt, gc, els);
-      for (i = 0; i < els; i++)
+      else
         {
-          tree idxval, idx1val, cond, elval0, elval1, condexpr, t, ssatmp;
-          tree vec0el, vec1el;
-          gimple asgn;
+         tree cond = NULL_TREE, v0_val;
 
-          idxval = vector_element (gsi, mask, size_int (i), &masktmp);
-         if (idxval == error_mark_node)
-            {
-              if (warning_at (loc, 0, "Invalid shuffling mask index %i", i))
-               inform (loc, "if this code is reached the programm will abort");
-             return false;
-            }
+         if (two_operand_p)
+           {
+             cond = fold_build2 (BIT_AND_EXPR, mask_elt_type, i_val,
+                                 build_int_cst (mask_elt_type, elements));
+             cond = force_gimple_operand_gsi (gsi, cond, true, NULL_TREE,
+                                              true, GSI_SAME_STMT);
+           }
 
-          if (TREE_CODE (idxval) == INTEGER_CST)
-            {
-              if (tree_int_cst_lt (idxval, size_int (els)))
-                {
-                  vec0el = vector_element (gsi, vec0, idxval, &vec0tmp);
-                  t = force_gimple_operand_gsi (gsi, vec0el,
-                                    true, NULL_TREE, true, GSI_SAME_STMT);
-                }
-              else if (tree_int_cst_lt (idxval, size_int (2*els)))
-                {
-                  idx1val = fold_build2 (MINUS_EXPR, TREE_TYPE (idxval),
-                        idxval, build_int_cst (TREE_TYPE (idxval), els));
-
-                  vec1el = vector_element (gsi, vec1, idx1val, &vec1tmp);
-                  t = force_gimple_operand_gsi (gsi, vec1el, true,
-                                               NULL_TREE, true, GSI_SAME_STMT);
-                }
-              else
-                {
-                  if (warning_at (loc, 0, "Invalid shuffling mask index %i", i))
-                   inform (loc, "if this code is reached the "
-                                 "programm will abort");
-                 return false;
-                }
-            }
-          else
-            {
+         i_val = fold_build2 (BIT_AND_EXPR, mask_elt_type, i_val,
+                              build_int_cst (mask_elt_type, elements - 1));
+         i_val = force_gimple_operand_gsi (gsi, i_val, true, NULL_TREE,
+                                           true, GSI_SAME_STMT);
 
-              idx1val = fold_build2 (MINUS_EXPR, TREE_TYPE (idxval),
-                            idxval, build_int_cst (TREE_TYPE (idxval), els));
-              idx1val = force_gimple_operand_gsi (gsi, idx1val,
-                                true, NULL_TREE, true, GSI_SAME_STMT);
-              cond = fold_build2 (GT_EXPR, boolean_type_node, \
-                             idxval, fold_convert (type0, size_int (els - 1)));
-
-             vec0el = vector_element (gsi, vec0, idxval, &vec0tmp);
-              if (vec0el == error_mark_node)
-                {
-                  if (warning_at (loc, 0, "Invalid shuffling arguments"))
-                   inform (loc, "if this code is reached the "
-                                "programm will abort");
-                 return false;
-                }
-
-              elval0 = force_gimple_operand_gsi (gsi, vec0el,
-                                true, NULL_TREE, true, GSI_SAME_STMT);
-
-             vec1el = vector_element (gsi, vec1, idx1val, &vec1tmp);
-              if (vec1el == error_mark_node)
-                {
-                  if (warning_at (loc, 0, "Invalid shuffling arguments"))
-                   inform (loc, "if this code is reached the "
-                                "programm will abort");
-                 return false;
-                }
-
-              elval1 = force_gimple_operand_gsi (gsi, vec1el,
-                                true, NULL_TREE, true, GSI_SAME_STMT);
-
-              condexpr = fold_build3 (COND_EXPR, type0, cond, \
-                                      elval1, elval0);
-
-              t = force_gimple_operand_gsi (gsi, condexpr, true, \
-                                        NULL_TREE, true, GSI_SAME_STMT);
-            }
+         v0_val = vector_element (gsi, vec0, i_val, &vec0tmp);
+         v0_val = force_gimple_operand_gsi (gsi, v0_val, true, NULL_TREE,
+                                            true, GSI_SAME_STMT);
 
-          asgn = gimple_build_assign (var, t);
-          ssatmp = make_ssa_name (var, asgn);
-          gimple_assign_set_lhs (asgn, ssatmp);
-          gsi_insert_before (gsi, asgn, GSI_SAME_STMT);
-          CONSTRUCTOR_APPEND_ELT (v, size_int (i), ssatmp);
+         if (two_operand_p)
+           {
+             tree v1_val;
+
+             v1_val = vector_element (gsi, vec1, i_val, &vec1tmp);
+             v1_val = force_gimple_operand_gsi (gsi, v1_val, true, NULL_TREE,
+                                                true, GSI_SAME_STMT);
+
+             cond = fold_build2 (EQ_EXPR, boolean_type_node,
+                                 cond, build_zero_cst (mask_elt_type));
+             cond = fold_build3 (COND_EXPR, vect_elt_type,
+                                 cond, v0_val, v1_val);
+              t = force_gimple_operand_gsi (gsi, cond, true, NULL_TREE,
+                                           true, GSI_SAME_STMT);
+            }
+         else
+           t = v0_val;
         }
+
+      CONSTRUCTOR_APPEND_ELT (v, si, t);
     }
 
-  vectype = build_vector_type (type0, els);
-  constr = build_constructor (vectype, v);
+  constr = build_constructor (vect_type, v);
   gimple_assign_set_rhs_from_tree (gsi, constr);
-  /* Statement should be updated by callee.  */
-  return true;
+  update_stmt (gsi_stmt (*gsi));
 }
 
 /* Process one statement.  If we identify a vector operation, expand it.  */
@@ -775,23 +745,10 @@ expand_vector_operations_1 (gimple_stmt_iterator *gsi)
   rhs_class = get_gimple_rhs_class (code);
   lhs = gimple_assign_lhs (stmt);
 
-  if (code == VEC_SHUFFLE_EXPR)
+  if (code == VEC_PERM_EXPR)
     {
-      if (!lower_vec_shuffle (gsi, gimple_location (stmt)))
-       {
-         gimple new_stmt;
-         tree vec0;
-
-         vec0 = gimple_assign_rhs1 (stmt);
-         new_stmt = gimple_build_call (built_in_decls[BUILT_IN_TRAP], 0);
-         gsi_insert_before (gsi, new_stmt,  GSI_SAME_STMT);
-         split_block (gimple_bb (new_stmt), new_stmt);
-         new_stmt = gimple_build_assign (gimple_assign_lhs (stmt), vec0);
-         gsi_replace (gsi, new_stmt, false);
-       }
-
-      gimple_set_modified (gsi_stmt (*gsi), true);
-      update_stmt (gsi_stmt (*gsi));
+      lower_vec_perm (gsi);
+      return;
     }
 
   if (rhs_class != GIMPLE_UNARY_RHS && rhs_class != GIMPLE_BINARY_RHS)
@@ -825,60 +782,42 @@ expand_vector_operations_1 (gimple_stmt_iterator *gsi)
       || code == LROTATE_EXPR
       || code == RROTATE_EXPR)
     {
-      bool vector_scalar_shift;
-      op = optab_for_tree_code (code, type, optab_scalar);
-
-      /* Vector/Scalar shift is supported.  */
-      vector_scalar_shift = (op && (optab_handler (op, TYPE_MODE (type))
-                                   != CODE_FOR_nothing));
+      optab opv;
 
-      /* If the 2nd argument is vector, we need a vector/vector shift.
-         Except all the elements in the second vector are the same.  */
-      if (VECTOR_MODE_P (TYPE_MODE (TREE_TYPE (rhs2))))
+      /* Check whether we have vector <op> {x,x,x,x} where x
+         could be a scalar variable or a constant.  Transform
+         vector <op> {x,x,x,x} ==> vector <op> scalar.  */
+      if (VECTOR_INTEGER_TYPE_P (TREE_TYPE (rhs2)))
         {
           tree first;
           gimple def_stmt;
 
-          /* Check whether we have vector <op> {x,x,x,x} where x
-             could be a scalar variable or a constant. Transform
-             vector <op> {x,x,x,x} ==> vector <op> scalar.  */
-          if (vector_scalar_shift
-              && ((TREE_CODE (rhs2) == VECTOR_CST
-                  && (first = uniform_vector_p (rhs2)) != NULL_TREE)
-                 || (TREE_CODE (rhs2) == SSA_NAME
-                     && (def_stmt = SSA_NAME_DEF_STMT (rhs2))
-                     && gimple_assign_single_p (def_stmt)
-                     && (first = uniform_vector_p
-                           (gimple_assign_rhs1 (def_stmt))) != NULL_TREE)))
+          if ((TREE_CODE (rhs2) == VECTOR_CST
+              && (first = uniform_vector_p (rhs2)) != NULL_TREE)
+             || (TREE_CODE (rhs2) == SSA_NAME
+                 && (def_stmt = SSA_NAME_DEF_STMT (rhs2))
+                 && gimple_assign_single_p (def_stmt)
+                 && (first = uniform_vector_p
+                     (gimple_assign_rhs1 (def_stmt))) != NULL_TREE))
             {
               gimple_assign_set_rhs2 (stmt, first);
               update_stmt (stmt);
               rhs2 = first;
             }
-          else
-            op = optab_for_tree_code (code, type, optab_vector);
         }
 
-      /* Try for a vector/scalar shift, and if we don't have one, see if we
-         have a vector/vector shift */
-      else if (!vector_scalar_shift)
+      opv = optab_for_tree_code (code, type, optab_vector);
+      if (VECTOR_INTEGER_TYPE_P (TREE_TYPE (rhs2)))
+       op = opv;
+      else
        {
-         op = optab_for_tree_code (code, type, optab_vector);
+          op = optab_for_tree_code (code, type, optab_scalar);
 
-         if (op && (optab_handler (op, TYPE_MODE (type))
-                    != CODE_FOR_nothing))
-           {
-             /* Transform vector <op> scalar => vector <op> {x,x,x,x}.  */
-             int n_parts = TYPE_VECTOR_SUBPARTS (type);
-             int part_size = tree_low_cst (TYPE_SIZE (TREE_TYPE (type)), 1);
-             tree part_type = lang_hooks.types.type_for_size (part_size, 1);
-             tree vect_type = build_vector_type (part_type, n_parts);
-
-             rhs2 = fold_convert (part_type, rhs2);
-             rhs2 = build_vector_from_val (vect_type, rhs2);
-             gimple_assign_set_rhs2 (stmt, rhs2);
-             update_stmt (stmt);
-           }
+         /* The rtl expander will expand vector/scalar as vector/vector
+            if necessary.  Don't bother converting the stmt here.  */
+         if (optab_handler (op, TYPE_MODE (type)) == CODE_FOR_nothing
+             && optab_handler (opv, TYPE_MODE (type)) != CODE_FOR_nothing)
+           return;
        }
     }
   else
@@ -894,7 +833,9 @@ expand_vector_operations_1 (gimple_stmt_iterator *gsi)
       || code == VEC_UNPACK_LO_EXPR
       || code == VEC_PACK_TRUNC_EXPR
       || code == VEC_PACK_SAT_EXPR
-      || code == VEC_PACK_FIX_TRUNC_EXPR)
+      || code == VEC_PACK_FIX_TRUNC_EXPR
+      || code == VEC_WIDEN_LSHIFT_HI_EXPR
+      || code == VEC_WIDEN_LSHIFT_LO_EXPR)
     type = TREE_TYPE (rhs1);
 
   /* Optabs will try converting a negation into a subtraction, so
@@ -907,14 +848,15 @@ expand_vector_operations_1 (gimple_stmt_iterator *gsi)
 
   /* For very wide vectors, try using a smaller vector mode.  */
   compute_type = type;
-  if (TYPE_MODE (type) == BLKmode && op)
+  if (!VECTOR_MODE_P (TYPE_MODE (type)) && op)
     {
       tree vector_compute_type
-        = type_for_widest_vector_mode (TYPE_MODE (TREE_TYPE (type)), op,
-                                      TYPE_SATURATING (TREE_TYPE (type)));
+        = type_for_widest_vector_mode (TREE_TYPE (type), op);
       if (vector_compute_type != NULL_TREE
          && (TYPE_VECTOR_SUBPARTS (vector_compute_type)
-             < TYPE_VECTOR_SUBPARTS (compute_type)))
+             < TYPE_VECTOR_SUBPARTS (compute_type))
+         && (optab_handler (op, TYPE_MODE (vector_compute_type))
+             != CODE_FOR_nothing))
        compute_type = vector_compute_type;
     }
 
@@ -924,12 +866,7 @@ expand_vector_operations_1 (gimple_stmt_iterator *gsi)
   if (compute_type == type)
     {
       compute_mode = TYPE_MODE (compute_type);
-      if ((GET_MODE_CLASS (compute_mode) == MODE_VECTOR_INT
-          || GET_MODE_CLASS (compute_mode) == MODE_VECTOR_FLOAT
-          || GET_MODE_CLASS (compute_mode) == MODE_VECTOR_FRACT
-          || GET_MODE_CLASS (compute_mode) == MODE_VECTOR_UFRACT
-          || GET_MODE_CLASS (compute_mode) == MODE_VECTOR_ACCUM
-          || GET_MODE_CLASS (compute_mode) == MODE_VECTOR_UACCUM)
+      if (VECTOR_MODE_P (compute_mode)
           && op != NULL
          && optab_handler (op, compute_mode) != CODE_FOR_nothing)
        return;