OSDN Git Service

2012-04-16 Uros Bizjak <ubizjak@gmail.com>
[pf3gnuchains/gcc-fork.git] / gcc / config / i386 / avx2intrin.h
1 /* Copyright (C) 2011
2    Free Software Foundation, Inc.
3
4    This file is part of GCC.
5
6    GCC is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3, or (at your option)
9    any later version.
10
11    GCC is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15
16    Under Section 7 of GPL version 3, you are granted additional
17    permissions described in the GCC Runtime Library Exception, version
18    3.1, as published by the Free Software Foundation.
19
20    You should have received a copy of the GNU General Public License and
21    a copy of the GCC Runtime Library Exception along with this program;
22    see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
23    <http://www.gnu.org/licenses/>.  */
24
25 #ifndef _IMMINTRIN_H_INCLUDED
26 # error "Never use <avx2intrin.h> directly; include <immintrin.h> instead."
27 #endif
28
29 /* Sum absolute 8-bit integer difference of adjacent groups of 4
30    byte integers in the first 2 operands.  Starting offsets within
31    operands are determined by the 3rd mask operand.  */
32 #ifdef __OPTIMIZE__
33 extern __inline __m256i
34 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
35 _mm256_mpsadbw_epu8 (__m256i __X, __m256i __Y, const int __M)
36 {
37   return (__m256i) __builtin_ia32_mpsadbw256 ((__v32qi)__X,
38                                               (__v32qi)__Y, __M);
39 }
40 #else
41 #define _mm256_mpsadbw_epu8(X, Y, M)                                    \
42   ((__m256i) __builtin_ia32_mpsadbw256 ((__v32qi)(__m256i)(X),          \
43                                         (__v32qi)(__m256i)(Y), (int)(M)))
44 #endif
45
46 extern __inline __m256i
47 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
48 _mm256_abs_epi8 (__m256i __A)
49 {
50   return (__m256i)__builtin_ia32_pabsb256 ((__v32qi)__A);
51 }
52
53 extern __inline __m256i
54 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
55 _mm256_abs_epi16 (__m256i __A)
56 {
57   return (__m256i)__builtin_ia32_pabsw256 ((__v16hi)__A);
58 }
59
60 extern __inline __m256i
61 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
62 _mm256_abs_epi32 (__m256i __A)
63 {
64   return (__m256i)__builtin_ia32_pabsd256 ((__v8si)__A);
65 }
66
67 extern __inline __m256i
68 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
69 _mm256_packs_epi32 (__m256i __A, __m256i __B)
70 {
71   return (__m256i)__builtin_ia32_packssdw256 ((__v8si)__A, (__v8si)__B);
72 }
73
74 extern __inline __m256i
75 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
76 _mm256_packs_epi16 (__m256i __A, __m256i __B)
77 {
78   return (__m256i)__builtin_ia32_packsswb256 ((__v16hi)__A, (__v16hi)__B);
79 }
80
81 extern __inline __m256i
82 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
83 _mm256_packus_epi32 (__m256i __A, __m256i __B)
84 {
85   return (__m256i)__builtin_ia32_packusdw256 ((__v8si)__A, (__v8si)__B);
86 }
87
88 extern __inline __m256i
89 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
90 _mm256_packus_epi16 (__m256i __A, __m256i __B)
91 {
92   return (__m256i)__builtin_ia32_packuswb256 ((__v16hi)__A, (__v16hi)__B);
93 }
94
95 extern __inline __m256i
96 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
97 _mm256_add_epi8 (__m256i __A, __m256i __B)
98 {
99   return (__m256i)__builtin_ia32_paddb256 ((__v32qi)__A, (__v32qi)__B);
100 }
101
102 extern __inline __m256i
103 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
104 _mm256_add_epi16 (__m256i __A, __m256i __B)
105 {
106   return (__m256i)__builtin_ia32_paddw256 ((__v16hi)__A, (__v16hi)__B);
107 }
108
109 extern __inline __m256i
110 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
111 _mm256_add_epi32 (__m256i __A, __m256i __B)
112 {
113   return (__m256i)__builtin_ia32_paddd256 ((__v8si)__A, (__v8si)__B);
114 }
115
116 extern __inline __m256i
117 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
118 _mm256_add_epi64 (__m256i __A, __m256i __B)
119 {
120   return (__m256i)__builtin_ia32_paddq256 ((__v4di)__A, (__v4di)__B);
121 }
122
123 extern __inline __m256i
124 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
125 _mm256_adds_epi8 (__m256i __A, __m256i __B)
126 {
127   return (__m256i)__builtin_ia32_paddsb256 ((__v32qi)__A, (__v32qi)__B);
128 }
129
130 extern __inline __m256i
131 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
132 _mm256_adds_epi16 (__m256i __A, __m256i __B)
133 {
134   return (__m256i)__builtin_ia32_paddsw256 ((__v16hi)__A, (__v16hi)__B);
135 }
136
137 extern __inline __m256i
138 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
139 _mm256_adds_epu8 (__m256i __A, __m256i __B)
140 {
141   return (__m256i)__builtin_ia32_paddusb256 ((__v32qi)__A, (__v32qi)__B);
142 }
143
144 extern __inline __m256i
145 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
146 _mm256_adds_epu16 (__m256i __A, __m256i __B)
147 {
148   return (__m256i)__builtin_ia32_paddusw256 ((__v16hi)__A, (__v16hi)__B);
149 }
150
151 #ifdef __OPTIMIZE__
152 extern __inline __m256i
153 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
154 _mm256_alignr_epi8 (__m256i __A, __m256i __B, const int __N)
155 {
156   return (__m256i) __builtin_ia32_palignr256 ((__v4di)__A,
157                                               (__v4di)__B,
158                                               __N * 8);
159 }
160 #else
161 /* In that case (__N*8) will be in vreg, and insn will not be matched. */
162 /* Use define instead */
163 #define _mm256_alignr_epi8(A, B, N)                                \
164   ((__m256i) __builtin_ia32_palignr256 ((__v4di)(__m256i)(A),      \
165                                         (__v4di)(__m256i)(B),      \
166                                         (int)(N) * 8))
167 #endif
168
169 extern __inline __m256i
170 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
171 _mm256_and_si256 (__m256i __A, __m256i __B)
172 {
173   return (__m256i) __builtin_ia32_andsi256 ((__v4di)__A, (__v4di)__B);
174 }
175
176 extern __inline __m256i
177 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
178 _mm256_andnot_si256 (__m256i __A, __m256i __B)
179 {
180   return (__m256i) __builtin_ia32_andnotsi256 ((__v4di)__A, (__v4di)__B);
181 }
182
183 extern __inline __m256i
184 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
185 _mm256_avg_epu8 (__m256i __A, __m256i __B)
186 {
187   return (__m256i)__builtin_ia32_pavgb256 ((__v32qi)__A, (__v32qi)__B);
188 }
189
190 extern __inline __m256i
191 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
192 _mm256_avg_epu16 (__m256i __A, __m256i __B)
193 {
194   return (__m256i)__builtin_ia32_pavgw256 ((__v16hi)__A, (__v16hi)__B);
195 }
196
197 extern __inline __m256i
198 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
199 _mm256_blendv_epi8 (__m256i __X, __m256i __Y, __m256i __M)
200 {
201   return (__m256i) __builtin_ia32_pblendvb256 ((__v32qi)__X,
202                                                (__v32qi)__Y,
203                                                (__v32qi)__M);
204 }
205
206 #ifdef __OPTIMIZE__
207 extern __inline __m256i
208 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
209 _mm256_blend_epi16 (__m256i __X, __m256i __Y, const int __M)
210 {
211   return (__m256i) __builtin_ia32_pblendw256 ((__v16hi)__X,
212                                               (__v16hi)__Y,
213                                                __M);
214 }
215 #else
216 #define _mm256_blend_epi16(X, Y, M)                                     \
217   ((__m256i) __builtin_ia32_pblendw256 ((__v16hi)(__m256i)(X),          \
218                                         (__v16hi)(__m256i)(Y), (int)(M)))
219 #endif
220
221 extern __inline __m256i
222 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
223 _mm256_cmpeq_epi8 (__m256i __A, __m256i __B)
224 {
225   return (__m256i)__builtin_ia32_pcmpeqb256 ((__v32qi)__A, (__v32qi)__B);
226 }
227
228 extern __inline __m256i
229 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
230 _mm256_cmpeq_epi16 (__m256i __A, __m256i __B)
231 {
232   return (__m256i)__builtin_ia32_pcmpeqw256 ((__v16hi)__A, (__v16hi)__B);
233 }
234
235 extern __inline __m256i
236 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
237 _mm256_cmpeq_epi32 (__m256i __A, __m256i __B)
238 {
239   return (__m256i)__builtin_ia32_pcmpeqd256 ((__v8si)__A, (__v8si)__B);
240 }
241
242 extern __inline __m256i
243 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
244 _mm256_cmpeq_epi64 (__m256i __A, __m256i __B)
245 {
246   return (__m256i)__builtin_ia32_pcmpeqq256 ((__v4di)__A, (__v4di)__B);
247 }
248
249 extern __inline __m256i
250 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
251 _mm256_cmpgt_epi8 (__m256i __A, __m256i __B)
252 {
253   return (__m256i)__builtin_ia32_pcmpgtb256 ((__v32qi)__A,
254                                              (__v32qi)__B);
255 }
256
257 extern __inline __m256i
258 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
259 _mm256_cmpgt_epi16 (__m256i __A, __m256i __B)
260 {
261   return (__m256i)__builtin_ia32_pcmpgtw256 ((__v16hi)__A,
262                                              (__v16hi)__B);
263 }
264
265 extern __inline __m256i
266 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
267 _mm256_cmpgt_epi32 (__m256i __A, __m256i __B)
268 {
269   return (__m256i)__builtin_ia32_pcmpgtd256 ((__v8si)__A,
270                                              (__v8si)__B);
271 }
272
273 extern __inline __m256i
274 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
275 _mm256_cmpgt_epi64 (__m256i __A, __m256i __B)
276 {
277   return (__m256i)__builtin_ia32_pcmpgtq256 ((__v4di)__A, (__v4di)__B);
278 }
279
280 extern __inline __m256i
281 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
282 _mm256_hadd_epi16 (__m256i __X, __m256i __Y)
283 {
284   return (__m256i) __builtin_ia32_phaddw256 ((__v16hi)__X,
285                                              (__v16hi)__Y);
286 }
287
288 extern __inline __m256i
289 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
290 _mm256_hadd_epi32 (__m256i __X, __m256i __Y)
291 {
292   return (__m256i) __builtin_ia32_phaddd256 ((__v8si)__X, (__v8si)__Y);
293 }
294
295 extern __inline __m256i
296 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
297 _mm256_hadds_epi16 (__m256i __X, __m256i __Y)
298 {
299   return (__m256i) __builtin_ia32_phaddsw256 ((__v16hi)__X,
300                                               (__v16hi)__Y);
301 }
302
303 extern __inline __m256i
304 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
305 _mm256_hsub_epi16 (__m256i __X, __m256i __Y)
306 {
307   return (__m256i) __builtin_ia32_phsubw256 ((__v16hi)__X,
308                                              (__v16hi)__Y);
309 }
310
311 extern __inline __m256i
312 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
313 _mm256_hsub_epi32 (__m256i __X, __m256i __Y)
314 {
315   return (__m256i) __builtin_ia32_phsubd256 ((__v8si)__X, (__v8si)__Y);
316 }
317
318 extern __inline __m256i
319 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
320 _mm256_hsubs_epi16 (__m256i __X, __m256i __Y)
321 {
322   return (__m256i) __builtin_ia32_phsubsw256 ((__v16hi)__X,
323                                               (__v16hi)__Y);
324 }
325
326 extern __inline __m256i
327 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
328 _mm256_maddubs_epi16 (__m256i __X, __m256i __Y)
329 {
330   return (__m256i) __builtin_ia32_pmaddubsw256 ((__v32qi)__X,
331                                                 (__v32qi)__Y);
332 }
333
334 extern __inline __m256i
335 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
336 _mm256_madd_epi16 (__m256i __A, __m256i __B)
337 {
338   return (__m256i)__builtin_ia32_pmaddwd256 ((__v16hi)__A,
339                                              (__v16hi)__B);
340 }
341
342 extern __inline __m256i
343 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
344 _mm256_max_epi8 (__m256i __A, __m256i __B)
345 {
346   return (__m256i)__builtin_ia32_pmaxsb256 ((__v32qi)__A, (__v32qi)__B);
347 }
348
349 extern __inline __m256i
350 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
351 _mm256_max_epi16 (__m256i __A, __m256i __B)
352 {
353   return (__m256i)__builtin_ia32_pmaxsw256 ((__v16hi)__A, (__v16hi)__B);
354 }
355
356 extern __inline __m256i
357 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
358 _mm256_max_epi32 (__m256i __A, __m256i __B)
359 {
360   return (__m256i)__builtin_ia32_pmaxsd256 ((__v8si)__A, (__v8si)__B);
361 }
362
363 extern __inline __m256i
364 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
365 _mm256_max_epu8 (__m256i __A, __m256i __B)
366 {
367   return (__m256i)__builtin_ia32_pmaxub256 ((__v32qi)__A, (__v32qi)__B);
368 }
369
370 extern __inline __m256i
371 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
372 _mm256_max_epu16 (__m256i __A, __m256i __B)
373 {
374   return (__m256i)__builtin_ia32_pmaxuw256 ((__v16hi)__A, (__v16hi)__B);
375 }
376
377 extern __inline __m256i
378 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
379 _mm256_max_epu32 (__m256i __A, __m256i __B)
380 {
381   return (__m256i)__builtin_ia32_pmaxud256 ((__v8si)__A, (__v8si)__B);
382 }
383
384 extern __inline __m256i
385 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
386 _mm256_min_epi8 (__m256i __A, __m256i __B)
387 {
388   return (__m256i)__builtin_ia32_pminsb256 ((__v32qi)__A, (__v32qi)__B);
389 }
390
391 extern __inline __m256i
392 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
393 _mm256_min_epi16 (__m256i __A, __m256i __B)
394 {
395   return (__m256i)__builtin_ia32_pminsw256 ((__v16hi)__A, (__v16hi)__B);
396 }
397
398 extern __inline __m256i
399 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
400 _mm256_min_epi32 (__m256i __A, __m256i __B)
401 {
402   return (__m256i)__builtin_ia32_pminsd256 ((__v8si)__A, (__v8si)__B);
403 }
404
405 extern __inline __m256i
406 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
407 _mm256_min_epu8 (__m256i __A, __m256i __B)
408 {
409   return (__m256i)__builtin_ia32_pminub256 ((__v32qi)__A, (__v32qi)__B);
410 }
411
412 extern __inline __m256i
413 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
414 _mm256_min_epu16 (__m256i __A, __m256i __B)
415 {
416   return (__m256i)__builtin_ia32_pminuw256 ((__v16hi)__A, (__v16hi)__B);
417 }
418
419 extern __inline __m256i
420 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
421 _mm256_min_epu32 (__m256i __A, __m256i __B)
422 {
423   return (__m256i)__builtin_ia32_pminud256 ((__v8si)__A, (__v8si)__B);
424 }
425
426 extern __inline int
427 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
428 _mm256_movemask_epi8 (__m256i __A)
429 {
430   return __builtin_ia32_pmovmskb256 ((__v32qi)__A);
431 }
432
433 extern __inline __m256i
434 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
435 _mm256_cvtepi8_epi16 (__m128i __X)
436 {
437   return (__m256i) __builtin_ia32_pmovsxbw256 ((__v16qi)__X);
438 }
439
440 extern __inline __m256i
441 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
442 _mm256_cvtepi8_epi32 (__m128i __X)
443 {
444   return (__m256i) __builtin_ia32_pmovsxbd256 ((__v16qi)__X);
445 }
446
447 extern __inline __m256i
448 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
449 _mm256_cvtepi8_epi64 (__m128i __X)
450 {
451   return (__m256i) __builtin_ia32_pmovsxbq256 ((__v16qi)__X);
452 }
453
454 extern __inline __m256i
455 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
456 _mm256_cvtepi16_epi32 (__m128i __X)
457 {
458   return (__m256i) __builtin_ia32_pmovsxwd256 ((__v8hi)__X);
459 }
460
461 extern __inline __m256i
462 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
463 _mm256_cvtepi16_epi64 (__m128i __X)
464 {
465   return (__m256i) __builtin_ia32_pmovsxwq256 ((__v8hi)__X);
466 }
467
468 extern __inline __m256i
469 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
470 _mm256_cvtepi32_epi64 (__m128i __X)
471 {
472   return (__m256i) __builtin_ia32_pmovsxdq256 ((__v4si)__X);
473 }
474
475 extern __inline __m256i
476 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
477 _mm256_cvtepu8_epi16 (__m128i __X)
478 {
479   return (__m256i) __builtin_ia32_pmovzxbw256 ((__v16qi)__X);
480 }
481
482 extern __inline __m256i
483 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
484 _mm256_cvtepu8_epi32 (__m128i __X)
485 {
486   return (__m256i) __builtin_ia32_pmovzxbd256 ((__v16qi)__X);
487 }
488
489 extern __inline __m256i
490 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
491 _mm256_cvtepu8_epi64 (__m128i __X)
492 {
493   return (__m256i) __builtin_ia32_pmovzxbq256 ((__v16qi)__X);
494 }
495
496 extern __inline __m256i
497 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
498 _mm256_cvtepu16_epi32 (__m128i __X)
499 {
500   return (__m256i) __builtin_ia32_pmovzxwd256 ((__v8hi)__X);
501 }
502
503 extern __inline __m256i
504 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
505 _mm256_cvtepu16_epi64 (__m128i __X)
506 {
507   return (__m256i) __builtin_ia32_pmovzxwq256 ((__v8hi)__X);
508 }
509
510 extern __inline __m256i
511 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
512 _mm256_cvtepu32_epi64 (__m128i __X)
513 {
514   return (__m256i) __builtin_ia32_pmovzxdq256 ((__v4si)__X);
515 }
516
517 extern __inline __m256i
518 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
519 _mm256_mul_epi32 (__m256i __X, __m256i __Y)
520 {
521   return (__m256i) __builtin_ia32_pmuldq256 ((__v8si)__X, (__v8si)__Y);
522 }
523
524 extern __inline __m256i
525 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
526 _mm256_mulhrs_epi16 (__m256i __X, __m256i __Y)
527 {
528   return (__m256i) __builtin_ia32_pmulhrsw256 ((__v16hi)__X,
529                                                (__v16hi)__Y);
530 }
531
532 extern __inline __m256i
533 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
534 _mm256_mulhi_epu16 (__m256i __A, __m256i __B)
535 {
536   return (__m256i)__builtin_ia32_pmulhuw256 ((__v16hi)__A, (__v16hi)__B);
537 }
538
539 extern __inline __m256i
540 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
541 _mm256_mulhi_epi16 (__m256i __A, __m256i __B)
542 {
543   return (__m256i)__builtin_ia32_pmulhw256 ((__v16hi)__A, (__v16hi)__B);
544 }
545
546 extern __inline __m256i
547 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
548 _mm256_mullo_epi16 (__m256i __A, __m256i __B)
549 {
550   return (__m256i)__builtin_ia32_pmullw256 ((__v16hi)__A, (__v16hi)__B);
551 }
552
553 extern __inline __m256i
554 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
555 _mm256_mullo_epi32 (__m256i __A, __m256i __B)
556 {
557   return (__m256i)__builtin_ia32_pmulld256 ((__v8si)__A, (__v8si)__B);
558 }
559
560 extern __inline __m256i
561 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
562 _mm256_mul_epu32 (__m256i __A, __m256i __B)
563 {
564   return (__m256i)__builtin_ia32_pmuludq256 ((__v8si)__A, (__v8si)__B);
565 }
566
567 extern __inline __m256i
568 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
569 _mm256_or_si256 (__m256i __A, __m256i __B)
570 {
571   return (__m256i)__builtin_ia32_por256 ((__v4di)__A, (__v4di)__B);
572 }
573
574 extern __inline __m256i
575 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
576 _mm256_sad_epu8 (__m256i __A, __m256i __B)
577 {
578   return (__m256i)__builtin_ia32_psadbw256 ((__v32qi)__A, (__v32qi)__B);
579 }
580
581 extern __inline __m256i
582 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
583 _mm256_shuffle_epi8 (__m256i __X, __m256i __Y)
584 {
585   return (__m256i) __builtin_ia32_pshufb256 ((__v32qi)__X,
586                                              (__v32qi)__Y);
587 }
588
589 #ifdef __OPTIMIZE__
590 extern __inline __m256i
591 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
592 _mm256_shuffle_epi32 (__m256i __A, const int __mask)
593 {
594   return (__m256i)__builtin_ia32_pshufd256 ((__v8si)__A, __mask);
595 }
596
597 extern __inline __m256i
598 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
599 _mm256_shufflehi_epi16 (__m256i __A, const int __mask)
600 {
601   return (__m256i)__builtin_ia32_pshufhw256 ((__v16hi)__A, __mask);
602 }
603
604 extern __inline __m256i
605 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
606 _mm256_shufflelo_epi16 (__m256i __A, const int __mask)
607 {
608   return (__m256i)__builtin_ia32_pshuflw256 ((__v16hi)__A, __mask);
609 }
610 #else
611 #define _mm256_shuffle_epi32(A, N) \
612   ((__m256i)__builtin_ia32_pshufd256 ((__v8si)(__m256i)(A), (int)(N)))
613 #define _mm256_shufflehi_epi16(A, N) \
614   ((__m256i)__builtin_ia32_pshufhw256 ((__v16hi)(__m256i)(A), (int)(N)))
615 #define _mm256_shufflelo_epi16(A, N) \
616   ((__m256i)__builtin_ia32_pshuflw256 ((__v16hi)(__m256i)(A), (int)(N)))
617 #endif
618
619 extern __inline __m256i
620 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
621 _mm256_sign_epi8 (__m256i __X, __m256i __Y)
622 {
623   return (__m256i) __builtin_ia32_psignb256 ((__v32qi)__X, (__v32qi)__Y);
624 }
625
626 extern __inline __m256i
627 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
628 _mm256_sign_epi16 (__m256i __X, __m256i __Y)
629 {
630   return (__m256i) __builtin_ia32_psignw256 ((__v16hi)__X, (__v16hi)__Y);
631 }
632
633 extern __inline __m256i
634 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
635 _mm256_sign_epi32 (__m256i __X, __m256i __Y)
636 {
637   return (__m256i) __builtin_ia32_psignd256 ((__v8si)__X, (__v8si)__Y);
638 }
639
640 #ifdef __OPTIMIZE__
641 extern __inline __m256i
642 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
643 _mm256_slli_si256 (__m256i __A, const int __N)
644 {
645   return (__m256i)__builtin_ia32_pslldqi256 (__A, __N * 8);
646 }
647 #else
648 #define _mm256_slli_si256(A, N) \
649   ((__m256i)__builtin_ia32_pslldqi256 ((__m256i)(A), (int)(N) * 8))
650 #endif
651
652 extern __inline __m256i
653 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
654 _mm256_slli_epi16 (__m256i __A, int __B)
655 {
656   return (__m256i)__builtin_ia32_psllwi256 ((__v16hi)__A, __B);
657 }
658
659 extern __inline __m256i
660 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
661 _mm256_sll_epi16 (__m256i __A, __m128i __B)
662 {
663   return (__m256i)__builtin_ia32_psllw256((__v16hi)__A, (__v8hi)__B);
664 }
665
666 extern __inline __m256i
667 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
668 _mm256_slli_epi32 (__m256i __A, int __B)
669 {
670   return (__m256i)__builtin_ia32_pslldi256 ((__v8si)__A, __B);
671 }
672
673 extern __inline __m256i
674 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
675 _mm256_sll_epi32 (__m256i __A, __m128i __B)
676 {
677   return (__m256i)__builtin_ia32_pslld256((__v8si)__A, (__v4si)__B);
678 }
679
680 extern __inline __m256i
681 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
682 _mm256_slli_epi64 (__m256i __A, int __B)
683 {
684   return (__m256i)__builtin_ia32_psllqi256 ((__v4di)__A, __B);
685 }
686
687 extern __inline __m256i
688 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
689 _mm256_sll_epi64 (__m256i __A, __m128i __B)
690 {
691   return (__m256i)__builtin_ia32_psllq256((__v4di)__A, (__v2di)__B);
692 }
693
694 extern __inline __m256i
695 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
696 _mm256_srai_epi16 (__m256i __A, int __B)
697 {
698   return (__m256i)__builtin_ia32_psrawi256 ((__v16hi)__A, __B);
699 }
700
701 extern __inline __m256i
702 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
703 _mm256_sra_epi16 (__m256i __A, __m128i __B)
704 {
705   return (__m256i)__builtin_ia32_psraw256 ((__v16hi)__A, (__v8hi)__B);
706 }
707
708 extern __inline __m256i
709 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
710 _mm256_srai_epi32 (__m256i __A, int __B)
711 {
712   return (__m256i)__builtin_ia32_psradi256 ((__v8si)__A, __B);
713 }
714
715 extern __inline __m256i
716 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
717 _mm256_sra_epi32 (__m256i __A, __m128i __B)
718 {
719   return (__m256i)__builtin_ia32_psrad256 ((__v8si)__A, (__v4si)__B);
720 }
721
722 #ifdef __OPTIMIZE__
723 extern __inline __m256i
724 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
725 _mm256_srli_si256 (__m256i __A, const int __N)
726 {
727   return (__m256i)__builtin_ia32_psrldqi256 (__A, __N * 8);
728 }
729 #else
730 #define _mm256_srli_si256(A, N) \
731   ((__m256i)__builtin_ia32_psrldqi256 ((__m256i)(A), (int)(N) * 8))
732 #endif
733
734 extern __inline __m256i
735 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
736 _mm256_srli_epi16 (__m256i __A, int __B)
737 {
738   return (__m256i)__builtin_ia32_psrlwi256 ((__v16hi)__A, __B);
739 }
740
741 extern __inline __m256i
742 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
743 _mm256_srl_epi16 (__m256i __A, __m128i __B)
744 {
745   return (__m256i)__builtin_ia32_psrlw256((__v16hi)__A, (__v8hi)__B);
746 }
747
748 extern __inline __m256i
749 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
750 _mm256_srli_epi32 (__m256i __A, int __B)
751 {
752   return (__m256i)__builtin_ia32_psrldi256 ((__v8si)__A, __B);
753 }
754
755 extern __inline __m256i
756 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
757 _mm256_srl_epi32 (__m256i __A, __m128i __B)
758 {
759   return (__m256i)__builtin_ia32_psrld256((__v8si)__A, (__v4si)__B);
760 }
761
762 extern __inline __m256i
763 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
764 _mm256_srli_epi64 (__m256i __A, int __B)
765 {
766   return (__m256i)__builtin_ia32_psrlqi256 ((__v4di)__A, __B);
767 }
768
769 extern __inline __m256i
770 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
771 _mm256_srl_epi64 (__m256i __A, __m128i __B)
772 {
773   return (__m256i)__builtin_ia32_psrlq256((__v4di)__A, (__v2di)__B);
774 }
775
776 extern __inline __m256i
777 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
778 _mm256_sub_epi8 (__m256i __A, __m256i __B)
779 {
780   return (__m256i)__builtin_ia32_psubb256 ((__v32qi)__A, (__v32qi)__B);
781 }
782
783 extern __inline __m256i
784 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
785 _mm256_sub_epi16 (__m256i __A, __m256i __B)
786 {
787   return (__m256i)__builtin_ia32_psubw256 ((__v16hi)__A, (__v16hi)__B);
788 }
789
790 extern __inline __m256i
791 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
792 _mm256_sub_epi32 (__m256i __A, __m256i __B)
793 {
794   return (__m256i)__builtin_ia32_psubd256 ((__v8si)__A, (__v8si)__B);
795 }
796
797 extern __inline __m256i
798 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
799 _mm256_sub_epi64 (__m256i __A, __m256i __B)
800 {
801   return (__m256i)__builtin_ia32_psubq256 ((__v4di)__A, (__v4di)__B);
802 }
803
804 extern __inline __m256i
805 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
806 _mm256_subs_epi8 (__m256i __A, __m256i __B)
807 {
808   return (__m256i)__builtin_ia32_psubsb256 ((__v32qi)__A, (__v32qi)__B);
809 }
810
811 extern __inline __m256i
812 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
813 _mm256_subs_epi16 (__m256i __A, __m256i __B)
814 {
815   return (__m256i)__builtin_ia32_psubsw256 ((__v16hi)__A, (__v16hi)__B);
816 }
817
818 extern __inline __m256i
819 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
820 _mm256_subs_epu8 (__m256i __A, __m256i __B)
821 {
822   return (__m256i)__builtin_ia32_psubusb256 ((__v32qi)__A, (__v32qi)__B);
823 }
824
825 extern __inline __m256i
826 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
827 _mm256_subs_epu16 (__m256i __A, __m256i __B)
828 {
829   return (__m256i)__builtin_ia32_psubusw256 ((__v16hi)__A, (__v16hi)__B);
830 }
831
832 extern __inline __m256i
833 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
834 _mm256_unpackhi_epi8 (__m256i __A, __m256i __B)
835 {
836   return (__m256i)__builtin_ia32_punpckhbw256 ((__v32qi)__A, (__v32qi)__B);
837 }
838
839 extern __inline __m256i
840 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
841 _mm256_unpackhi_epi16 (__m256i __A, __m256i __B)
842 {
843   return (__m256i)__builtin_ia32_punpckhwd256 ((__v16hi)__A, (__v16hi)__B);
844 }
845
846 extern __inline __m256i
847 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
848 _mm256_unpackhi_epi32 (__m256i __A, __m256i __B)
849 {
850   return (__m256i)__builtin_ia32_punpckhdq256 ((__v8si)__A, (__v8si)__B);
851 }
852
853 extern __inline __m256i
854 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
855 _mm256_unpackhi_epi64 (__m256i __A, __m256i __B)
856 {
857   return (__m256i)__builtin_ia32_punpckhqdq256 ((__v4di)__A, (__v4di)__B);
858 }
859
860 extern __inline __m256i
861 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
862 _mm256_unpacklo_epi8 (__m256i __A, __m256i __B)
863 {
864   return (__m256i)__builtin_ia32_punpcklbw256 ((__v32qi)__A, (__v32qi)__B);
865 }
866
867 extern __inline __m256i
868 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
869 _mm256_unpacklo_epi16 (__m256i __A, __m256i __B)
870 {
871   return (__m256i)__builtin_ia32_punpcklwd256 ((__v16hi)__A, (__v16hi)__B);
872 }
873
874 extern __inline __m256i
875 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
876 _mm256_unpacklo_epi32 (__m256i __A, __m256i __B)
877 {
878   return (__m256i)__builtin_ia32_punpckldq256 ((__v8si)__A, (__v8si)__B);
879 }
880
881 extern __inline __m256i
882 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
883 _mm256_unpacklo_epi64 (__m256i __A, __m256i __B)
884 {
885   return (__m256i)__builtin_ia32_punpcklqdq256 ((__v4di)__A, (__v4di)__B);
886 }
887
888 extern __inline __m256i
889 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
890 _mm256_xor_si256 (__m256i __A, __m256i __B)
891 {
892   return (__m256i)__builtin_ia32_pxor256 ((__v4di)__A, (__v4di)__B);
893 }
894
895 extern __inline __m256i
896 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
897 _mm256_stream_load_si256 (__m256i const *__X)
898 {
899   return (__m256i) __builtin_ia32_movntdqa256 ((__v4di *) __X);
900 }
901
902 extern __inline __m128
903 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
904 _mm_broadcastss_ps (__m128 __X)
905 {
906   return (__m128) __builtin_ia32_vbroadcastss_ps ((__v4sf)__X);
907 }
908
909 extern __inline __m256
910 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
911 _mm256_broadcastss_ps (__m128 __X)
912 {
913   return (__m256) __builtin_ia32_vbroadcastss_ps256 ((__v4sf)__X);
914 }
915
916 extern __inline __m256d
917 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
918 _mm256_broadcastsd_pd (__m128d __X)
919 {
920   return (__m256d) __builtin_ia32_vbroadcastsd_pd256 ((__v2df)__X);
921 }
922
923 extern __inline __m256i
924 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
925 _mm_broadcastsi128_si256 (__m128i __X)
926 {
927   return (__m256i) __builtin_ia32_vbroadcastsi256 ((__v2di)__X);
928 }
929
930 #ifdef __OPTIMIZE__
931 extern __inline __m128i
932 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
933 _mm_blend_epi32 (__m128i __X, __m128i __Y, const int __M)
934 {
935   return (__m128i) __builtin_ia32_pblendd128 ((__v4si)__X,
936                                               (__v4si)__Y,
937                                               __M);
938 }
939 #else
940 #define _mm_blend_epi32(X, Y, M)                                        \
941   ((__m128i) __builtin_ia32_pblendd128 ((__v4si)(__m128i)(X),           \
942                                         (__v4si)(__m128i)(Y), (int)(M)))
943 #endif
944
945 #ifdef __OPTIMIZE__
946 extern __inline __m256i
947 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
948 _mm256_blend_epi32 (__m256i __X, __m256i __Y, const int __M)
949 {
950   return (__m256i) __builtin_ia32_pblendd256 ((__v8si)__X,
951                                               (__v8si)__Y,
952                                               __M);
953 }
954 #else
955 #define _mm256_blend_epi32(X, Y, M)                                     \
956   ((__m256i) __builtin_ia32_pblendd256 ((__v8si)(__m256i)(X),           \
957                                         (__v8si)(__m256i)(Y), (int)(M)))
958 #endif
959
960 extern __inline __m256i
961 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
962 _mm256_broadcastb_epi8 (__m128i __X)
963 {
964   return (__m256i) __builtin_ia32_pbroadcastb256 ((__v16qi)__X);
965 }
966
967 extern __inline __m256i
968 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
969 _mm256_broadcastw_epi16 (__m128i __X)
970 {
971   return (__m256i) __builtin_ia32_pbroadcastw256 ((__v8hi)__X);
972 }
973
974 extern __inline __m256i
975 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
976 _mm256_broadcastd_epi32 (__m128i __X)
977 {
978   return (__m256i) __builtin_ia32_pbroadcastd256 ((__v4si)__X);
979 }
980
981 extern __inline __m256i
982 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
983 _mm256_broadcastq_epi64 (__m128i __X)
984 {
985   return (__m256i) __builtin_ia32_pbroadcastq256 ((__v2di)__X);
986 }
987
988 extern __inline __m128i
989 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
990 _mm_broadcastb_epi8 (__m128i __X)
991 {
992   return (__m128i) __builtin_ia32_pbroadcastb128 ((__v16qi)__X);
993 }
994
995 extern __inline __m128i
996 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
997 _mm_broadcastw_epi16 (__m128i __X)
998 {
999   return (__m128i) __builtin_ia32_pbroadcastw128 ((__v8hi)__X);
1000 }
1001
1002 extern __inline __m128i
1003 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1004 _mm_broadcastd_epi32 (__m128i __X)
1005 {
1006   return (__m128i) __builtin_ia32_pbroadcastd128 ((__v4si)__X);
1007 }
1008
1009 extern __inline __m128i
1010 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1011 _mm_broadcastq_epi64 (__m128i __X)
1012 {
1013   return (__m128i) __builtin_ia32_pbroadcastq128 ((__v2di)__X);
1014 }
1015
1016 extern __inline __m256i
1017 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1018 _mm256_permutevar8x32_epi32 (__m256i __X, __m256i __Y)
1019 {
1020   return (__m256i) __builtin_ia32_permvarsi256 ((__v8si)__X, (__v8si)__Y);
1021 }
1022
1023 #ifdef __OPTIMIZE__
1024 extern __inline __m256d
1025 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1026 _mm256_permute4x64_pd (__m256d __X, const int __M)
1027 {
1028   return (__m256d) __builtin_ia32_permdf256 ((__v4df)__X, __M);
1029 }
1030 #else
1031 #define _mm256_permute4x64_pd(X, M)                            \
1032   ((__m256d) __builtin_ia32_permdf256 ((__v4df)(__m256d)(X), (int)(M)))
1033 #endif
1034
1035 extern __inline __m256
1036 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1037 _mm256_permutevar8x32_ps (__m256 __X, __m256i __Y)
1038 {
1039   return (__m256) __builtin_ia32_permvarsf256 ((__v8sf)__X, (__v8si)__Y);
1040 }
1041
1042 #ifdef __OPTIMIZE__
1043 extern __inline __m256i
1044 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1045 _mm256_permute4x64_epi64 (__m256i __X, const int __M)
1046 {
1047   return (__m256i) __builtin_ia32_permdi256 ((__v4di)__X, __M);
1048 }
1049 #else
1050 #define _mm256_permute4x64_epi64(X, M)                         \
1051   ((__m256i) __builtin_ia32_permdi256 ((__v4di)(__m256i)(X), (int)(M)))
1052 #endif
1053
1054
1055 #ifdef __OPTIMIZE__
1056 extern __inline __m256i
1057 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1058 _mm256_permute2x128_si256 (__m256i __X, __m256i __Y, const int __M)
1059 {
1060   return (__m256i) __builtin_ia32_permti256 ((__v4di)__X, (__v4di)__Y, __M);
1061 }
1062 #else
1063 #define _mm256_permute2x128_si256(X, Y, M)                              \
1064   ((__m256i) __builtin_ia32_permti256 ((__v4di)(__m256i)(X), (__v4di)(__m256i)(Y), (int)(M)))
1065 #endif
1066
1067 #ifdef __OPTIMIZE__
1068 extern __inline __m128i
1069 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1070 _mm256_extracti128_si256 (__m256i __X, const int __M)
1071 {
1072   return (__m128i) __builtin_ia32_extract128i256 ((__v4di)__X, __M);
1073 }
1074 #else
1075 #define _mm256_extracti128_si256(X, M)                          \
1076   ((__m128i) __builtin_ia32_extract128i256 ((__v4di)(__m256i)(X), (int)(M)))
1077 #endif
1078
1079 #ifdef __OPTIMIZE__
1080 extern __inline __m256i
1081 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1082 _mm256_inserti128_si256 (__m256i __X, __m128i __Y, const int __M)
1083 {
1084   return (__m256i) __builtin_ia32_insert128i256 ((__v4di)__X, (__v2di)__Y, __M);
1085 }
1086 #else
1087 #define _mm256_inserti128_si256(X, Y, M)                         \
1088   ((__m256i) __builtin_ia32_insert128i256 ((__v4di)(__m256i)(X), \
1089                                            (__v2di)(__m128i)(Y), \
1090                                            (int)(M)))
1091 #endif
1092
1093 extern __inline __m256i
1094 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1095 _mm256_maskload_epi32 (int const *__X, __m256i __M )
1096 {
1097   return (__m256i) __builtin_ia32_maskloadd256 ((const __v8si *)__X,
1098                                                 (__v8si)__M);
1099 }
1100
1101 extern __inline __m256i
1102 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1103 _mm256_maskload_epi64 (long long const *__X, __m256i __M )
1104 {
1105   return (__m256i) __builtin_ia32_maskloadq256 ((const __v4di *)__X,
1106                                                 (__v4di)__M);
1107 }
1108
1109 extern __inline __m128i
1110 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1111 _mm_maskload_epi32 (int const *__X, __m128i __M )
1112 {
1113   return (__m128i) __builtin_ia32_maskloadd ((const __v4si *)__X,
1114                                              (__v4si)__M);
1115 }
1116
1117 extern __inline __m128i
1118 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1119 _mm_maskload_epi64 (long long const *__X, __m128i __M )
1120 {
1121   return (__m128i) __builtin_ia32_maskloadq ((const __v2di *)__X,
1122                                              (__v2di)__M);
1123 }
1124
1125 extern __inline void
1126 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1127 _mm256_maskstore_epi32 (int *__X, __m256i __M, __m256i __Y )
1128 {
1129   __builtin_ia32_maskstored256 ((__v8si *)__X, (__v8si)__M, (__v8si)__Y);
1130 }
1131
1132 extern __inline void
1133 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1134 _mm256_maskstore_epi64 (long long *__X, __m256i __M, __m256i __Y )
1135 {
1136   __builtin_ia32_maskstoreq256 ((__v4di *)__X, (__v4di)__M, (__v4di)__Y);
1137 }
1138
1139 extern __inline void
1140 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1141 _mm_maskstore_epi32 (int *__X, __m128i __M, __m128i __Y )
1142 {
1143   __builtin_ia32_maskstored ((__v4si *)__X, (__v4si)__M, (__v4si)__Y);
1144 }
1145
1146 extern __inline void
1147 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1148 _mm_maskstore_epi64 (long long *__X, __m128i __M, __m128i __Y )
1149 {
1150   __builtin_ia32_maskstoreq (( __v2di *)__X, (__v2di)__M, (__v2di)__Y);
1151 }
1152
1153 extern __inline __m256i
1154 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1155 _mm256_sllv_epi32 (__m256i __X, __m256i __Y)
1156 {
1157   return (__m256i) __builtin_ia32_psllv8si ((__v8si)__X, (__v8si)__Y);
1158 }
1159
1160 extern __inline __m128i
1161 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1162 _mm_sllv_epi32 (__m128i __X, __m128i __Y)
1163 {
1164   return (__m128i) __builtin_ia32_psllv4si ((__v4si)__X, (__v4si)__Y);
1165 }
1166
1167 extern __inline __m256i
1168 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1169 _mm256_sllv_epi64 (__m256i __X, __m256i __Y)
1170 {
1171   return (__m256i) __builtin_ia32_psllv4di ((__v4di)__X, (__v4di)__Y);
1172 }
1173
1174 extern __inline __m128i
1175 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1176 _mm_sllv_epi64 (__m128i __X, __m128i __Y)
1177 {
1178   return (__m128i) __builtin_ia32_psllv2di ((__v2di)__X, (__v2di)__Y);
1179 }
1180
1181 extern __inline __m256i
1182 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1183 _mm256_srav_epi32 (__m256i __X, __m256i __Y)
1184 {
1185   return (__m256i) __builtin_ia32_psrav8si ((__v8si)__X, (__v8si)__Y);
1186 }
1187
1188 extern __inline __m128i
1189 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1190 _mm_srav_epi32 (__m128i __X, __m128i __Y)
1191 {
1192   return (__m128i) __builtin_ia32_psrav4si ((__v4si)__X, (__v4si)__Y);
1193 }
1194
1195 extern __inline __m256i
1196 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1197 _mm256_srlv_epi32 (__m256i __X, __m256i __Y)
1198 {
1199   return (__m256i) __builtin_ia32_psrlv8si ((__v8si)__X, (__v8si)__Y);
1200 }
1201
1202 extern __inline __m128i
1203 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1204 _mm_srlv_epi32 (__m128i __X, __m128i __Y)
1205 {
1206   return (__m128i) __builtin_ia32_psrlv4si ((__v4si)__X, (__v4si)__Y);
1207 }
1208
1209 extern __inline __m256i
1210 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1211 _mm256_srlv_epi64 (__m256i __X, __m256i __Y)
1212 {
1213   return (__m256i) __builtin_ia32_psrlv4di ((__v4di)__X, (__v4di)__Y);
1214 }
1215
1216 extern __inline __m128i
1217 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1218 _mm_srlv_epi64 (__m128i __X, __m128i __Y)
1219 {
1220   return (__m128i) __builtin_ia32_psrlv2di ((__v2di)__X, (__v2di)__Y);
1221 }
1222
1223 #ifdef __OPTIMIZE__
1224 extern __inline __m128d
1225 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1226 _mm_i32gather_pd (double const *base, __m128i index, const int scale)
1227 {
1228   __v2df src = _mm_setzero_pd ();
1229   __v2df mask = _mm_cmpeq_pd (src, src);
1230
1231   return (__m128d) __builtin_ia32_gathersiv2df (src,
1232                                                 base,
1233                                                 (__v4si)index,
1234                                                 mask,
1235                                                 scale);
1236 }
1237
1238 extern __inline __m128d
1239 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1240 _mm_mask_i32gather_pd (__m128d src, double const *base, __m128i index,
1241                        __m128d mask, const int scale)
1242 {
1243   return (__m128d) __builtin_ia32_gathersiv2df ((__v2df)src,
1244                                                 base,
1245                                                 (__v4si)index,
1246                                                 (__v2df)mask,
1247                                                 scale);
1248 }
1249
1250 extern __inline __m256d
1251 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1252 _mm256_i32gather_pd (double const *base, __m128i index, const int scale)
1253 {
1254   __v4df src = _mm256_setzero_pd ();
1255   __v4df mask = _mm256_cmp_pd (src, src, _CMP_EQ_OQ);
1256
1257   return (__m256d) __builtin_ia32_gathersiv4df (src,
1258                                                 base,
1259                                                 (__v4si)index,
1260                                                 mask,
1261                                                 scale);
1262 }
1263
1264 extern __inline __m256d
1265 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1266 _mm256_mask_i32gather_pd (__m256d src, double const *base,
1267                           __m128i index, __m256d mask, const int scale)
1268 {
1269   return (__m256d) __builtin_ia32_gathersiv4df ((__v4df)src,
1270                                                 base,
1271                                                 (__v4si)index,
1272                                                 (__v4df)mask,
1273                                                 scale);
1274 }
1275
1276 extern __inline __m128d
1277 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1278 _mm_i64gather_pd (double const *base, __m128i index, const int scale)
1279 {
1280   __v2df src = _mm_setzero_pd ();
1281   __v2df mask = _mm_cmpeq_pd (src, src);
1282
1283   return (__m128d) __builtin_ia32_gatherdiv2df (src,
1284                                                 base,
1285                                                 (__v2di)index,
1286                                                 mask,
1287                                                 scale);
1288 }
1289
1290 extern __inline __m128d
1291 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1292 _mm_mask_i64gather_pd (__m128d src, double const *base, __m128i index,
1293                        __m128d mask, const int scale)
1294 {
1295   return (__m128d) __builtin_ia32_gatherdiv2df ((__v2df)src,
1296                                                 base,
1297                                                 (__v2di)index,
1298                                                 (__v2df)mask,
1299                                                 scale);
1300 }
1301
1302 extern __inline __m256d
1303 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1304 _mm256_i64gather_pd (double const *base, __m256i index, const int scale)
1305 {
1306   __v4df src = _mm256_setzero_pd ();
1307   __v4df mask = _mm256_cmp_pd (src, src, _CMP_EQ_OQ);
1308
1309   return (__m256d) __builtin_ia32_gatherdiv4df (src,
1310                                                 base,
1311                                                 (__v4di)index,
1312                                                 mask,
1313                                                 scale);
1314 }
1315
1316 extern __inline __m256d
1317 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1318 _mm256_mask_i64gather_pd (__m256d src, double const *base,
1319                           __m256i index, __m256d mask, const int scale)
1320 {
1321   return (__m256d) __builtin_ia32_gatherdiv4df ((__v4df)src,
1322                                                 base,
1323                                                 (__v4di)index,
1324                                                 (__v4df)mask,
1325                                                 scale);
1326 }
1327
1328 extern __inline __m128
1329 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1330 _mm_i32gather_ps (float const *base, __m128i index, const int scale)
1331 {
1332   __v4sf src = _mm_setzero_ps ();
1333   __v4sf mask = _mm_cmpeq_ps (src, src);
1334
1335   return (__m128) __builtin_ia32_gathersiv4sf (src,
1336                                                base,
1337                                                (__v4si)index,
1338                                                mask,
1339                                                scale);
1340 }
1341
1342 extern __inline __m128
1343 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1344 _mm_mask_i32gather_ps (__m128 src, float const *base, __m128i index,
1345                        __m128 mask, const int scale)
1346 {
1347   return (__m128) __builtin_ia32_gathersiv4sf ((__v4sf)src,
1348                                                base,
1349                                                (__v4si)index,
1350                                                (__v4sf)mask,
1351                                                scale);
1352 }
1353
1354 extern __inline __m256
1355 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1356 _mm256_i32gather_ps (float const *base, __m256i index, const int scale)
1357 {
1358   __v8sf src = _mm256_setzero_ps ();
1359   __v8sf mask = _mm256_cmp_ps (src, src, _CMP_EQ_OQ);
1360
1361   return (__m256) __builtin_ia32_gathersiv8sf (src,
1362                                                base,
1363                                                (__v8si)index,
1364                                                mask,
1365                                                scale);
1366 }
1367
1368 extern __inline __m256
1369 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1370 _mm256_mask_i32gather_ps (__m256 src, float const *base,
1371                           __m256i index, __m256 mask, const int scale)
1372 {
1373   return (__m256) __builtin_ia32_gathersiv8sf ((__v8sf)src,
1374                                                base,
1375                                                (__v8si)index,
1376                                                (__v8sf)mask,
1377                                                scale);
1378 }
1379
1380 extern __inline __m128
1381 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1382 _mm_i64gather_ps (float const *base, __m128i index, const int scale)
1383 {
1384   __v4sf src = _mm_setzero_ps ();
1385   __v4sf mask = _mm_cmpeq_ps (src, src);
1386
1387   return (__m128) __builtin_ia32_gatherdiv4sf (src,
1388                                                base,
1389                                                (__v2di)index,
1390                                                mask,
1391                                                scale);
1392 }
1393
1394 extern __inline __m128
1395 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1396 _mm_mask_i64gather_ps (__m128 src, float const *base, __m128i index,
1397                        __m128 mask, const int scale)
1398 {
1399   return (__m128) __builtin_ia32_gatherdiv4sf ((__v4sf)src,
1400                                                 base,
1401                                                 (__v2di)index,
1402                                                 (__v4sf)mask,
1403                                                 scale);
1404 }
1405
1406 extern __inline __m128
1407 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1408 _mm256_i64gather_ps (float const *base, __m256i index, const int scale)
1409 {
1410   __v4sf src = _mm_setzero_ps ();
1411   __v4sf mask = _mm_cmpeq_ps (src, src);
1412
1413   return (__m128) __builtin_ia32_gatherdiv4sf256 (src,
1414                                                   base,
1415                                                   (__v4di)index,
1416                                                   mask,
1417                                                   scale);
1418 }
1419
1420 extern __inline __m128
1421 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1422 _mm256_mask_i64gather_ps (__m128 src, float const *base,
1423                           __m256i index, __m128 mask, const int scale)
1424 {
1425   return (__m128) __builtin_ia32_gatherdiv4sf256 ((__v4sf)src,
1426                                                   base,
1427                                                   (__v4di)index,
1428                                                   (__v4sf)mask,
1429                                                   scale);
1430 }
1431
1432 extern __inline __m128i
1433 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1434 _mm_i32gather_epi64 (long long int const *base,
1435                      __m128i index, const int scale)
1436 {
1437   __v2di src = __extension__ (__v2di){ 0, 0 };
1438   __v2di mask = __extension__ (__v2di){ ~0, ~0 };
1439
1440   return (__m128i) __builtin_ia32_gathersiv2di (src,
1441                                                 base,
1442                                                 (__v4si)index,
1443                                                 mask,
1444                                                 scale);
1445 }
1446
1447 extern __inline __m128i
1448 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1449 _mm_mask_i32gather_epi64 (__m128i src, long long int const *base,
1450                           __m128i index, __m128i mask, const int scale)
1451 {
1452   return (__m128i) __builtin_ia32_gathersiv2di ((__v2di)src,
1453                                                 base,
1454                                                 (__v4si)index,
1455                                                 (__v2di)mask,
1456                                                 scale);
1457 }
1458
1459 extern __inline __m256i
1460 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1461 _mm256_i32gather_epi64 (long long int const *base,
1462                         __m128i index, const int scale)
1463 {
1464   __v4di src = __extension__ (__v4di){ 0, 0, 0, 0 };
1465   __v4di mask = __extension__ (__v4di){ ~0, ~0, ~0, ~0 };
1466
1467   return (__m256i) __builtin_ia32_gathersiv4di (src,
1468                                                 base,
1469                                                 (__v4si)index,
1470                                                 mask,
1471                                                 scale);
1472 }
1473
1474 extern __inline __m256i
1475 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1476 _mm256_mask_i32gather_epi64 (__m256i src, long long int const *base,
1477                              __m128i index, __m256i mask, const int scale)
1478 {
1479   return (__m256i) __builtin_ia32_gathersiv4di ((__v4di)src,
1480                                                 base,
1481                                                 (__v4si)index,
1482                                                 (__v4di)mask,
1483                                                 scale);
1484 }
1485
1486 extern __inline __m128i
1487 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1488 _mm_i64gather_epi64 (long long int const *base,
1489                      __m128i index, const int scale)
1490 {
1491   __v2di src = __extension__ (__v2di){ 0, 0 };
1492   __v2di mask = __extension__ (__v2di){ ~0, ~0 };
1493
1494   return (__m128i) __builtin_ia32_gatherdiv2di (src,
1495                                                 base,
1496                                                 (__v2di)index,
1497                                                 mask,
1498                                                 scale);
1499 }
1500
1501 extern __inline __m128i
1502 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1503 _mm_mask_i64gather_epi64 (__m128i src, long long int const *base, __m128i index,
1504                           __m128i mask, const int scale)
1505 {
1506   return (__m128i) __builtin_ia32_gatherdiv2di ((__v2di)src,
1507                                                 base,
1508                                                 (__v2di)index,
1509                                                 (__v2di)mask,
1510                                                 scale);
1511 }
1512
1513 extern __inline __m256i
1514 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1515 _mm256_i64gather_epi64 (long long int const *base,
1516                         __m256i index, const int scale)
1517 {
1518   __v4di src = __extension__ (__v4di){ 0, 0, 0, 0 };
1519   __v4di mask = __extension__ (__v4di){ ~0, ~0, ~0, ~0 };
1520
1521   return (__m256i) __builtin_ia32_gatherdiv4di (src,
1522                                                 base,
1523                                                 (__v4di)index,
1524                                                 mask,
1525                                                 scale);
1526 }
1527
1528 extern __inline __m256i
1529 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1530 _mm256_mask_i64gather_epi64 (__m256i src, long long int const *base,
1531                              __m256i index, __m256i mask, const int scale)
1532 {
1533   return (__m256i) __builtin_ia32_gatherdiv4di ((__v4di)src,
1534                                                 base,
1535                                                 (__v4di)index,
1536                                                 (__v4di)mask,
1537                                                 scale);
1538 }
1539
1540 extern __inline __m128i
1541 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1542 _mm_i32gather_epi32 (int const *base, __m128i index, const int scale)
1543 {
1544   __v4si src = __extension__ (__v4si){ 0, 0, 0, 0 };
1545   __v4si mask = __extension__ (__v4si){ ~0, ~0, ~0, ~0 };
1546
1547   return (__m128i) __builtin_ia32_gathersiv4si (src,
1548                                                base,
1549                                                (__v4si)index,
1550                                                mask,
1551                                                scale);
1552 }
1553
1554 extern __inline __m128i
1555 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1556 _mm_mask_i32gather_epi32 (__m128i src, int const *base, __m128i index,
1557                           __m128i mask, const int scale)
1558 {
1559   return (__m128i) __builtin_ia32_gathersiv4si ((__v4si)src,
1560                                                 base,
1561                                                 (__v4si)index,
1562                                                 (__v4si)mask,
1563                                                 scale);
1564 }
1565
1566 extern __inline __m256i
1567 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1568 _mm256_i32gather_epi32 (int const *base, __m256i index, const int scale)
1569 {
1570   __v8si src = __extension__ (__v8si){ 0, 0, 0, 0, 0, 0, 0, 0 };
1571   __v8si mask = __extension__ (__v8si){ ~0, ~0, ~0, ~0, ~0, ~0, ~0, ~0 };
1572
1573   return (__m256i) __builtin_ia32_gathersiv8si (src,
1574                                                 base,
1575                                                 (__v8si)index,
1576                                                 mask,
1577                                                 scale);
1578 }
1579
1580 extern __inline __m256i
1581 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1582 _mm256_mask_i32gather_epi32 (__m256i src, int const *base,
1583                              __m256i index, __m256i mask, const int scale)
1584 {
1585   return (__m256i) __builtin_ia32_gathersiv8si ((__v8si)src,
1586                                                 base,
1587                                                 (__v8si)index,
1588                                                 (__v8si)mask,
1589                                                 scale);
1590 }
1591
1592 extern __inline __m128i
1593 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1594 _mm_i64gather_epi32 (int const *base, __m128i index, const int scale)
1595 {
1596   __v4si src = __extension__ (__v4si){ 0, 0, 0, 0 };
1597   __v4si mask = __extension__ (__v4si){ ~0, ~0, ~0, ~0 };
1598
1599   return (__m128i) __builtin_ia32_gatherdiv4si (src,
1600                                                 base,
1601                                                 (__v2di)index,
1602                                                 mask,
1603                                                 scale);
1604 }
1605
1606 extern __inline __m128i
1607 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1608 _mm_mask_i64gather_epi32 (__m128i src, int const *base, __m128i index,
1609                           __m128i mask, const int scale)
1610 {
1611   return (__m128i) __builtin_ia32_gatherdiv4si ((__v4si)src,
1612                                                 base,
1613                                                 (__v2di)index,
1614                                                 (__v4si)mask,
1615                                                 scale);
1616 }
1617
1618 extern __inline __m128i
1619 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1620 _mm256_i64gather_epi32 (int const *base, __m256i index, const int scale)
1621 {
1622   __v4si src = __extension__ (__v4si){ 0, 0, 0, 0 };
1623   __v4si mask = __extension__ (__v4si){ ~0, ~0, ~0, ~0 };
1624
1625   return (__m128i) __builtin_ia32_gatherdiv4si256 (src,
1626                                                   base,
1627                                                   (__v4di)index,
1628                                                   mask,
1629                                                   scale);
1630 }
1631
1632 extern __inline __m128i
1633 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1634 _mm256_mask_i64gather_epi32 (__m128i src, int const *base,
1635                              __m256i index, __m128i mask, const int scale)
1636 {
1637   return (__m128i) __builtin_ia32_gatherdiv4si256 ((__v4si)src,
1638                                                    base,
1639                                                    (__v4di)index,
1640                                                    (__v4si)mask,
1641                                                    scale);
1642 }
1643 #else /* __OPTIMIZE__ */
1644 #define _mm_i32gather_pd(BASE, INDEX, SCALE)                            \
1645   (__m128d) __builtin_ia32_gathersiv2df ((__v2df) _mm_setzero_pd (),    \
1646                                          (double const *)BASE,          \
1647                                          (__v4si)(__m128i)INDEX,        \
1648                                          (__v2df)_mm_set1_pd(           \
1649                                            (double)(long long int) -1), \
1650                                          (int)SCALE)
1651
1652 #define _mm_mask_i32gather_pd(SRC, BASE, INDEX, MASK, SCALE)     \
1653   (__m128d) __builtin_ia32_gathersiv2df ((__v2df)(__m128d)SRC,   \
1654                                          (double const *)BASE,   \
1655                                          (__v4si)(__m128i)INDEX, \
1656                                          (__v2df)(__m128d)MASK,  \
1657                                          (int)SCALE)
1658
1659 #define _mm256_i32gather_pd(BASE, INDEX, SCALE)                         \
1660   (__m256d) __builtin_ia32_gathersiv4df ((__v4df) _mm256_setzero_pd (), \
1661                                          (double const *)BASE,          \
1662                                          (__v4si)(__m128i)INDEX,        \
1663                                          (__v4df)_mm256_set1_pd(        \
1664                                            (double)(long long int) -1), \
1665                                          (int)SCALE)
1666
1667 #define _mm256_mask_i32gather_pd(SRC, BASE, INDEX, MASK, SCALE)  \
1668   (__m256d) __builtin_ia32_gathersiv4df ((__v4df)(__m256d)SRC,   \
1669                                          (double const *)BASE,   \
1670                                          (__v4si)(__m128i)INDEX, \
1671                                          (__v4df)(__m256d)MASK,  \
1672                                          (int)SCALE)
1673
1674 #define _mm_i64gather_pd(BASE, INDEX, SCALE)                            \
1675   (__m128d) __builtin_ia32_gatherdiv2df ((__v2df) _mm_setzero_pd (),    \
1676                                          (double const *)BASE,          \
1677                                          (__v2di)(__m128i)INDEX,        \
1678                                          (__v2df)_mm_set1_pd(           \
1679                                            (double)(long long int) -1), \
1680                                          (int)SCALE)
1681
1682 #define _mm_mask_i64gather_pd(SRC, BASE, INDEX, MASK, SCALE)     \
1683   (__m128d) __builtin_ia32_gatherdiv2df ((__v2df)(__m128d)SRC,   \
1684                                          (double const *)BASE,   \
1685                                          (__v2di)(__m128i)INDEX, \
1686                                          (__v2df)(__m128d)MASK,  \
1687                                          (int)SCALE)
1688
1689 #define _mm256_i64gather_pd(BASE, INDEX, SCALE)                         \
1690   (__m256d) __builtin_ia32_gatherdiv4df ((__v4df) _mm256_setzero_pd (), \
1691                                          (double const *)BASE,          \
1692                                          (__v4di)(__m256i)INDEX,        \
1693                                          (__v4df)_mm256_set1_pd(        \
1694                                            (double)(long long int) -1), \
1695                                          (int)SCALE)
1696
1697 #define _mm256_mask_i64gather_pd(SRC, BASE, INDEX, MASK, SCALE)  \
1698   (__m256d) __builtin_ia32_gatherdiv4df ((__v4df)(__m256d)SRC,   \
1699                                          (double const *)BASE,   \
1700                                          (__v4di)(__m256i)INDEX, \
1701                                          (__v4df)(__m256d)MASK,  \
1702                                          (int)SCALE)
1703
1704 #define _mm_i32gather_ps(BASE, INDEX, SCALE)                            \
1705   (__m128) __builtin_ia32_gathersiv4sf ((__v4sf) _mm_setzero_ps (),     \
1706                                         (float const *)BASE,            \
1707                                         (__v4si)(__m128i)INDEX,         \
1708                                         _mm_set1_ps ((float)(int) -1),  \
1709                                         (int)SCALE)
1710
1711 #define _mm_mask_i32gather_ps(SRC, BASE, INDEX, MASK, SCALE)     \
1712   (__m128) __builtin_ia32_gathersiv4sf ((__v4sf)(__m128d)SRC,    \
1713                                         (float const *)BASE,     \
1714                                         (__v4si)(__m128i)INDEX,  \
1715                                         (__v4sf)(__m128d)MASK,   \
1716                                         (int)SCALE)
1717
1718 #define _mm256_i32gather_ps(BASE, INDEX, SCALE)                        \
1719   (__m256) __builtin_ia32_gathersiv8sf ((__v8sf) _mm256_setzero_ps (), \
1720                                         (float const *)BASE,           \
1721                                         (__v8si)(__m256i)INDEX,        \
1722                                         (__v8sf)_mm256_set1_ps (       \
1723                                           (float)(int) -1),            \
1724                                         (int)SCALE)
1725
1726 #define _mm256_mask_i32gather_ps(SRC, BASE, INDEX, MASK, SCALE) \
1727   (__m256) __builtin_ia32_gathersiv8sf ((__v8sf)(__m256)SRC,    \
1728                                         (float const *)BASE,    \
1729                                         (__v8si)(__m256i)INDEX, \
1730                                         (__v8sf)(__m256d)MASK,  \
1731                                         (int)SCALE)
1732
1733 #define _mm_i64gather_ps(BASE, INDEX, SCALE)                            \
1734   (__m128) __builtin_ia32_gatherdiv4sf ((__v4sf) _mm_setzero_pd (),     \
1735                                         (float const *)BASE,            \
1736                                         (__v2di)(__m128i)INDEX,         \
1737                                         (__v4sf)_mm_set1_ps (           \
1738                                           (float)(int) -1),             \
1739                                         (int)SCALE)
1740
1741 #define _mm_mask_i64gather_ps(SRC, BASE, INDEX, MASK, SCALE)     \
1742   (__m128) __builtin_ia32_gatherdiv4sf ((__v4sf)(__m128)SRC,     \
1743                                         (float const *)BASE,     \
1744                                         (__v2di)(__m128i)INDEX,  \
1745                                         (__v4sf)(__m128d)MASK,   \
1746                                         (int)SCALE)
1747
1748 #define _mm256_i64gather_ps(BASE, INDEX, SCALE)                         \
1749   (__m128) __builtin_ia32_gatherdiv4sf256 ((__v4sf) _mm_setzero_ps (),  \
1750                                            (float const *)BASE,         \
1751                                            (__v4di)(__m256i)INDEX,      \
1752                                            (__v4sf)_mm_set1_ps(         \
1753                                              (float)(int) -1),          \
1754                                            (int)SCALE)
1755
1756 #define _mm256_mask_i64gather_ps(SRC, BASE, INDEX, MASK, SCALE)    \
1757   (__m128) __builtin_ia32_gatherdiv4sf256 ((__v4sf)(__m128)SRC,    \
1758                                            (float const *)BASE,    \
1759                                            (__v4di)(__m256i)INDEX, \
1760                                            (__v4sf)(__m128)MASK,   \
1761                                            (int)SCALE)
1762
1763 #define _mm_i32gather_epi64(BASE, INDEX, SCALE)                         \
1764   (__m128i) __builtin_ia32_gathersiv2di ((__v2di) _mm_setzero_si128 (), \
1765                                          (long long const *)BASE,       \
1766                                          (__v4si)(__m128i)INDEX,        \
1767                                          (__v2di)_mm_set1_epi64x (-1),  \
1768                                          (int)SCALE)
1769
1770 #define _mm_mask_i32gather_epi64(SRC, BASE, INDEX, MASK, SCALE)   \
1771   (__m128i) __builtin_ia32_gathersiv2di ((__v2di)(__m128i)SRC,    \
1772                                          (long long const *)BASE, \
1773                                          (__v4si)(__m128i)INDEX,  \
1774                                          (__v2di)(__m128i)MASK,   \
1775                                          (int)SCALE)
1776
1777 #define _mm256_i32gather_epi64(BASE, INDEX, SCALE)                         \
1778   (__m256i) __builtin_ia32_gathersiv4di ((__v4di) _mm256_setzero_si256 (), \
1779                                          (long long const *)BASE,          \
1780                                          (__v4si)(__m128i)INDEX,           \
1781                                          (__v4di)_mm256_set1_epi64x (-1),  \
1782                                          (int)SCALE)
1783
1784 #define _mm256_mask_i32gather_epi64(SRC, BASE, INDEX, MASK, SCALE) \
1785   (__m256i) __builtin_ia32_gathersiv4di ((__v4di)(__m256i)SRC,     \
1786                                          (long long const *)BASE,  \
1787                                          (__v4si)(__m128i)INDEX,   \
1788                                          (__v4di)(__m256i)MASK,    \
1789                                          (int)SCALE)
1790
1791 #define _mm_i64gather_epi64(BASE, INDEX, SCALE)                         \
1792   (__m128i) __builtin_ia32_gatherdiv2di ((__v2di) _mm_setzero_si128 (), \
1793                                          (long long const *)BASE,       \
1794                                          (__v2di)(__m128i)INDEX,        \
1795                                          (__v2di)_mm_set1_epi64x (-1),  \
1796                                          (int)SCALE)
1797
1798 #define _mm_mask_i64gather_epi64(SRC, BASE, INDEX, MASK, SCALE)   \
1799   (__m128i) __builtin_ia32_gatherdiv2di ((__v2di)(__m128i)SRC,    \
1800                                          (long long const *)BASE, \
1801                                          (__v2di)(__m128i)INDEX,  \
1802                                          (__v2di)(__m128i)MASK,   \
1803                                          (int)SCALE)
1804
1805 #define _mm256_i64gather_epi64(BASE, INDEX, SCALE)                         \
1806   (__m256i) __builtin_ia32_gatherdiv4di ((__v4di) _mm256_setzero_si256 (), \
1807                                          (long long const *)BASE,          \
1808                                          (__v4di)(__m256i)INDEX,           \
1809                                          (__v4di)_mm256_set1_epi64x (-1),  \
1810                                          (int)SCALE)
1811
1812 #define _mm256_mask_i64gather_epi64(SRC, BASE, INDEX, MASK, SCALE) \
1813   (__m256i) __builtin_ia32_gatherdiv4di ((__v4di)(__m256i)SRC,     \
1814                                          (long long const *)BASE,  \
1815                                          (__v4di)(__m256i)INDEX,   \
1816                                          (__v4di)(__m256i)MASK,    \
1817                                          (int)SCALE)
1818
1819 #define _mm_i32gather_epi32(BASE, INDEX, SCALE)                         \
1820   (__m128i) __builtin_ia32_gathersiv4si ((__v4si) _mm_setzero_si128 (), \
1821                                          (int const *)BASE,             \
1822                                          (__v4si)(__m128i)INDEX,        \
1823                                          (__v4si)_mm_set1_epi32 (-1),   \
1824                                          (int)SCALE)
1825
1826 #define _mm_mask_i32gather_epi32(SRC, BASE, INDEX, MASK, SCALE) \
1827   (__m128i) __builtin_ia32_gathersiv4si ((__v4si)(__m128i)SRC,  \
1828                                         (int const *)BASE,      \
1829                                         (__v4si)(__m128i)INDEX, \
1830                                         (__v4si)(__m128i)MASK,  \
1831                                         (int)SCALE)
1832
1833 #define _mm256_i32gather_epi32(BASE, INDEX, SCALE)                         \
1834   (__m256i) __builtin_ia32_gathersiv8si ((__v8si) _mm256_setzero_si256 (), \
1835                                          (int const *)BASE,                \
1836                                          (__v8si)(__m256i)INDEX,           \
1837                                          (__v8si)_mm256_set1_epi32 (-1),   \
1838                                          (int)SCALE)
1839
1840 #define _mm256_mask_i32gather_epi32(SRC, BASE, INDEX, MASK, SCALE) \
1841   (__m256i) __builtin_ia32_gathersiv8si ((__v8si)(__m256i)SRC,     \
1842                                         (int const *)BASE,         \
1843                                         (__v8si)(__m256i)INDEX,    \
1844                                         (__v8si)(__m256i)MASK,     \
1845                                         (int)SCALE)
1846
1847 #define _mm_i64gather_epi32(BASE, INDEX, SCALE)                         \
1848   (__m128i) __builtin_ia32_gatherdiv4si ((__v4si) _mm_setzero_si128 (), \
1849                                          (int const *)BASE,             \
1850                                          (__v2di)(__m128i)INDEX,        \
1851                                          (__v4si)_mm_set1_epi32 (-1),   \
1852                                          (int)SCALE)
1853
1854 #define _mm_mask_i64gather_epi32(SRC, BASE, INDEX, MASK, SCALE) \
1855   (__m128i) __builtin_ia32_gatherdiv4si ((__v4si)(__m128i)SRC,  \
1856                                         (int const *)BASE,      \
1857                                         (__v2di)(__m128i)INDEX, \
1858                                         (__v4si)(__m128i)MASK,  \
1859                                         (int)SCALE)
1860
1861 #define _mm256_i64gather_epi32(BASE, INDEX, SCALE)                         \
1862   (__m128i) __builtin_ia32_gatherdiv4si256 ((__v4si) _mm_setzero_si128 (), \
1863                                             (int const *)BASE,             \
1864                                             (__v4di)(__m256i)INDEX,        \
1865                                             (__v4si)_mm_set1_epi32(-1),    \
1866                                             (int)SCALE)
1867
1868 #define _mm256_mask_i64gather_epi32(SRC, BASE, INDEX, MASK, SCALE) \
1869   (__m128i) __builtin_ia32_gatherdiv4si256 ((__v4si)(__m128i)SRC,  \
1870                                            (int const *)BASE,      \
1871                                            (__v4di)(__m256i)INDEX, \
1872                                            (__v4si)(__m128i)MASK,  \
1873                                            (int)SCALE)
1874 #endif  /* __OPTIMIZE__ */