gcc/config/rs6000/spe.h

   1 /* PowerPC E500 user include file.
   2    Copyright (C) 2002, 2003 Free Software Foundation, Inc.
   3    Contributed by Aldy Hernandez (aldyh@redhat.com).
   4
   5 This file is part of GNU CC.
   6
   7 GNU CC is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 2, or (at your option)
  10 any later version.
  11
  12 GNU CC is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with GNU CC; see the file COPYING.  If not, write to
  19 the Free Software Foundation, 59 Temple Place - Suite 330,
  20 Boston, MA 02111-1307, USA.  */
  21
  22 /* As a special exception, if you include this header file into source
  23    files compiled by GCC, this header file does not by itself cause
  24    the resulting executable to be covered by the GNU General Public
  25    License.  This exception does not however invalidate any other
  26    reasons why the executable file might be covered by the GNU General
  27    Public License.  */
  28
  29 #ifndef _SPE_H
  30 #define _SPE_H
  31
  32 #define __vector __attribute__((vector_size(8)))
  33
  34 typedef int                     int32_t;
  35 typedef unsigned                uint32_t;
  36 typedef short                   int16_t;
  37 typedef unsigned short          uint16_t;
  38 typedef long long               int64_t;
  39 typedef unsigned long long      uint64_t;
  40
  41 typedef short                   __vector __ev64_s16__;
  42 typedef unsigned short          __vector __ev64_u16__;
  43 typedef int                     __vector __ev64_s32__;
  44 typedef unsigned                __vector __ev64_u32__;
  45 typedef long long               __vector __ev64_s64__;
  46 typedef unsigned long long      __vector __ev64_u64__;
  47 typedef float                   __vector __ev64_fs__;
  48 typedef int                     __vector __ev64_opaque__;
  49
  50 #define __v2si __ev64_opaque__
  51 #define __v2sf __ev64_fs__
  52
  53 #define __ev_addw(a,b) __builtin_spe_evaddw((__v2si) (a), (__v2si) (b))
  54 #define __ev_addiw(a,b) __builtin_spe_evaddiw ((__v2si) (a), (b))
  55 #define __ev_subfw(a,b) __builtin_spe_evsubfw ((__v2si) (a), (__v2si) (b))
  56 #define __ev_subw(a,b) __builtin_spe_evsubfw ((__v2si) (b), (__v2si) (a))
  57 /* ??? The spe_evsubifw pattern accepts operands reversed, so we need to also
  58    reverse them here between the intrinsic and the builtin function.  */
  59 #define __ev_subifw(a,b) __builtin_spe_evsubifw ((__v2si) (b), (a))
  60 #define __ev_subiw(a,b) __builtin_spe_evsubifw ((__v2si) (a), (b))
  61 #define __ev_abs(a) __builtin_spe_evabs ((__v2si) (a))
  62 #define __ev_neg(a) __builtin_spe_evneg ((__v2si) (a))
  63 #define __ev_extsb(a) __builtin_spe_evextsb ((__v2si) (a))
  64 #define __ev_extsh(a) __builtin_spe_evextsh ((__v2si) (a))
  65 #define __ev_and(a,b) __builtin_spe_evand ((__v2si) (a), (__v2si) (b))
  66 #define __ev_or(a,b) __builtin_spe_evor ((__v2si) (a), (__v2si) (b))
  67 #define __ev_xor(a,b) __builtin_spe_evxor ((__v2si) (a), (__v2si) (b))
  68 #define __ev_nand(a,b) __builtin_spe_evnand ((__v2si) (a), (__v2si) (b))
  69 #define __ev_nor(a,b) __builtin_spe_evnor ((__v2si) (a), (__v2si) (b))
  70 #define __ev_eqv(a,b) __builtin_spe_eveqv ((__v2si) (a), (__v2si) (b))
  71 #define __ev_andc(a,b) __builtin_spe_evandc ((__v2si) (a), (__v2si) (b))
  72 #define __ev_orc(a,b) __builtin_spe_evorc ((__v2si) (a), (__v2si) (b))
  73 #define __ev_rlw(a,b) __builtin_spe_evrlw ((__v2si) (a), (__v2si) (b))
  74 #define __ev_rlwi(a,b) __builtin_spe_evrlwi ((__v2si) (a), (b))
  75 #define __ev_slw(a,b) __builtin_spe_evslw ((__v2si) (a), (__v2si) (b))
  76 #define __ev_slwi(a,b) __builtin_spe_evslwi ((__v2si) (a), (b))
  77 #define __ev_srws(a,b) __builtin_spe_evsrws ((__v2si) (a), (__v2si) (b))
  78 #define __ev_srwu(a,b) __builtin_spe_evsrwu ((__v2si) (a), (__v2si) (b))
  79 #define __ev_srwis(a,b) __builtin_spe_evsrwis ((__v2si) (a), (b))
  80 #define __ev_srwiu(a,b) __builtin_spe_evsrwiu ((__v2si) (a), (b))
  81 #define __ev_cntlzw(a) __builtin_spe_evcntlzw ((__v2si) (a))
  82 #define __ev_cntlsw(a) __builtin_spe_evcntlsw ((__v2si) (a))
  83 #define __ev_rndw(a) __builtin_spe_evrndw ((__v2si) (a))
  84 #define __ev_mergehi(a,b) __builtin_spe_evmergehi ((__v2si) (a), (__v2si) (b))
  85 #define __ev_mergelo(a,b) __builtin_spe_evmergelo ((__v2si) (a), (__v2si) (b))
  86 #define __ev_mergelohi(a,b) __builtin_spe_evmergelohi ((__v2si) (a), (__v2si) (b))
  87 #define __ev_mergehilo(a,b) __builtin_spe_evmergehilo ((__v2si) (a), (__v2si) (b))
  88 #define __ev_splati(a) __builtin_spe_evsplati ((a))
  89 #define __ev_splatfi(a) __builtin_spe_evsplatfi ((a))
  90 #define __ev_divws(a,b) __builtin_spe_evdivws ((__v2si) (a), (__v2si) (b))
  91 #define __ev_divwu(a,b) __builtin_spe_evdivwu ((__v2si) (a), (__v2si) (b))
  92 #define __ev_mra(a) __builtin_spe_evmra ((__v2si) (a))
  93
  94 #define __brinc __builtin_spe_brinc
  95
  96 /* Loads.  */
  97
  98 #define __ev_lddx(a,b) __builtin_spe_evlddx ((void *)(a), (b))
  99 #define __ev_ldwx(a,b) __builtin_spe_evldwx ((void *)(a), (b))
 100 #define __ev_ldhx(a,b) __builtin_spe_evldhx ((void *)(a), (b))
 101 #define __ev_lwhex(a,b) __builtin_spe_evlwhex ((a), (b))
 102 #define __ev_lwhoux(a,b) __builtin_spe_evlwhoux ((a), (b))
 103 #define __ev_lwhosx(a,b) __builtin_spe_evlwhosx ((a), (b))
 104 #define __ev_lwwsplatx(a,b) __builtin_spe_evlwwsplatx ((a), (b))
 105 #define __ev_lwhsplatx(a,b) __builtin_spe_evlwhsplatx ((a), (b))
 106 #define __ev_lhhesplatx(a,b) __builtin_spe_evlhhesplatx ((a), (b))
 107 #define __ev_lhhousplatx(a,b) __builtin_spe_evlhhousplatx ((a), (b))
 108 #define __ev_lhhossplatx(a,b) __builtin_spe_evlhhossplatx ((a), (b))
 109 #define __ev_ldd(a,b) __builtin_spe_evldd ((void *)(a), (b))
 110 #define __ev_ldw(a,b) __builtin_spe_evldw ((void *)(a), (b))
 111 #define __ev_ldh(a,b) __builtin_spe_evldh ((void *)(a), (b))
 112 #define __ev_lwhe(a,b) __builtin_spe_evlwhe ((a), (b))
 113 #define __ev_lwhou(a,b) __builtin_spe_evlwhou ((a), (b))
 114 #define __ev_lwhos(a,b) __builtin_spe_evlwhos ((a), (b))
 115 #define __ev_lwwsplat(a,b) __builtin_spe_evlwwsplat ((a), (b))
 116 #define __ev_lwhsplat(a,b) __builtin_spe_evlwhsplat ((a), (b))
 117 #define __ev_lhhesplat(a,b) __builtin_spe_evlhhesplat ((a), (b))
 118 #define __ev_lhhousplat(a,b) __builtin_spe_evlhhousplat ((a), (b))
 119 #define __ev_lhhossplat(a,b) __builtin_spe_evlhhossplat ((a), (b))
 120
 121 /* Stores.  */
 122
 123 #define __ev_stddx(a,b,c) __builtin_spe_evstddx ((__v2si)(a), (void *)(b), (c))
 124 #define __ev_stdwx(a,b,c) __builtin_spe_evstdwx ((__v2si)(a), (void *)(b), (c))
 125 #define __ev_stdhx(a,b,c) __builtin_spe_evstdhx ((__v2si)(a), (void *)(b), (c))
 126 #define __ev_stwwex(a,b,c) __builtin_spe_evstwwex ((__v2si)(a), (b), (c))
 127 #define __ev_stwwox(a,b,c) __builtin_spe_evstwwox ((__v2si)(a), (b), (c))
 128 #define __ev_stwhex(a,b,c) __builtin_spe_evstwhex ((__v2si)(a), (b), (c))
 129 #define __ev_stwhox(a,b,c) __builtin_spe_evstwhox ((__v2si)(a), (b), (c))
 130 #define __ev_stdd(a,b,c) __builtin_spe_evstdd ((__v2si)(a), (void *)(b), (c))
 131 #define __ev_stdw(a,b,c) __builtin_spe_evstdw ((__v2si)(a), (void *)(b), (c))
 132 #define __ev_stdh(a,b,c) __builtin_spe_evstdh ((__v2si)(a), (void *)(b), (c))
 133 #define __ev_stwwe(a,b,c) __builtin_spe_evstwwe ((__v2si)(a), (b), (c))
 134 #define __ev_stwwo(a,b,c) __builtin_spe_evstwwo ((__v2si)(a), (b), (c))
 135 #define __ev_stwhe(a,b,c) __builtin_spe_evstwhe ((__v2si)(a), (b), (c))
 136 #define __ev_stwho(a,b,c) __builtin_spe_evstwho ((__v2si)(a), (b), (c))
 137
 138 /* Fixed point complex.  */
 139
 140 #define __ev_mhossf(a, b) __builtin_spe_evmhossf ((__v2si) (a), (__v2si) (b))
 141 #define __ev_mhosmf(a, b) __builtin_spe_evmhosmf ((__v2si) (a), (__v2si) (b))
 142 #define __ev_mhosmi(a, b) __builtin_spe_evmhosmi ((__v2si) (a), (__v2si) (b))
 143 #define __ev_mhoumi(a, b) __builtin_spe_evmhoumi ((__v2si) (a), (__v2si) (b))
 144 #define __ev_mhessf(a, b) __builtin_spe_evmhessf ((__v2si) (a), (__v2si) (b))
 145 #define __ev_mhesmf(a, b) __builtin_spe_evmhesmf ((__v2si) (a), (__v2si) (b))
 146 #define __ev_mhesmi(a, b) __builtin_spe_evmhesmi ((__v2si) (a), (__v2si) (b))
 147 #define __ev_mheumi(a, b) __builtin_spe_evmheumi ((__v2si) (a), (__v2si) (b))
 148 #define __ev_mhossfa(a, b) __builtin_spe_evmhossfa ((__v2si) (a), (__v2si) (b))
 149 #define __ev_mhosmfa(a, b) __builtin_spe_evmhosmfa ((__v2si) (a), (__v2si) (b))
 150 #define __ev_mhosmia(a, b) __builtin_spe_evmhosmia ((__v2si) (a), (__v2si) (b))
 151 #define __ev_mhoumia(a, b) __builtin_spe_evmhoumia ((__v2si) (a), (__v2si) (b))
 152 #define __ev_mhessfa(a, b) __builtin_spe_evmhessfa ((__v2si) (a), (__v2si) (b))
 153 #define __ev_mhesmfa(a, b) __builtin_spe_evmhesmfa ((__v2si) (a), (__v2si) (b))
 154 #define __ev_mhesmia(a, b) __builtin_spe_evmhesmia ((__v2si) (a), (__v2si) (b))
 155 #define __ev_mheumia(a, b) __builtin_spe_evmheumia ((__v2si) (a), (__v2si) (b))
 156
 157 #define __ev_mhoumf __ev_mhoumi
 158 #define __ev_mheumf __ev_mheumi
 159 #define __ev_mhoumfa __ev_mhoumia
 160 #define __ev_mheumfa __ev_mheumia
 161
 162 #define __ev_mhossfaaw(a, b) __builtin_spe_evmhossfaaw ((__v2si) (a), (__v2si) (b))
 163 #define __ev_mhossiaaw(a, b) __builtin_spe_evmhossiaaw ((__v2si) (a), (__v2si) (b))
 164 #define __ev_mhosmfaaw(a, b) __builtin_spe_evmhosmfaaw ((__v2si) (a), (__v2si) (b))
 165 #define __ev_mhosmiaaw(a, b) __builtin_spe_evmhosmiaaw ((__v2si) (a), (__v2si) (b))
 166 #define __ev_mhousiaaw(a, b) __builtin_spe_evmhousiaaw ((__v2si) (a), (__v2si) (b))
 167 #define __ev_mhoumiaaw(a, b) __builtin_spe_evmhoumiaaw ((__v2si) (a), (__v2si) (b))
 168 #define __ev_mhessfaaw(a, b) __builtin_spe_evmhessfaaw ((__v2si) (a), (__v2si) (b))
 169 #define __ev_mhessiaaw(a, b) __builtin_spe_evmhessiaaw ((__v2si) (a), (__v2si) (b))
 170 #define __ev_mhesmfaaw(a, b) __builtin_spe_evmhesmfaaw ((__v2si) (a), (__v2si) (b))
 171 #define __ev_mhesmiaaw(a, b) __builtin_spe_evmhesmiaaw ((__v2si) (a), (__v2si) (b))
 172 #define __ev_mheusiaaw(a, b) __builtin_spe_evmheusiaaw ((__v2si) (a), (__v2si) (b))
 173 #define __ev_mheumiaaw(a, b) __builtin_spe_evmheumiaaw ((__v2si) (a), (__v2si) (b))
 174
 175 #define __ev_mhousfaaw __ev_mhousiaaw
 176 #define __ev_mhoumfaaw __ev_mhoumiaaw
 177 #define __ev_mheusfaaw __ev_mheusiaaw
 178 #define __ev_mheumfaaw __ev_mheumiaaw
 179
 180 #define __ev_mhossfanw(a, b) __builtin_spe_evmhossfanw ((__v2si) (a), (__v2si) (b))
 181 #define __ev_mhossianw(a, b) __builtin_spe_evmhossianw ((__v2si) (a), (__v2si) (b))
 182 #define __ev_mhosmfanw(a, b) __builtin_spe_evmhosmfanw ((__v2si) (a), (__v2si) (b))
 183 #define __ev_mhosmianw(a, b) __builtin_spe_evmhosmianw ((__v2si) (a), (__v2si) (b))
 184 #define __ev_mhousianw(a, b) __builtin_spe_evmhousianw ((__v2si) (a), (__v2si) (b))
 185 #define __ev_mhoumianw(a, b) __builtin_spe_evmhoumianw ((__v2si) (a), (__v2si) (b))
 186 #define __ev_mhessfanw(a, b) __builtin_spe_evmhessfanw ((__v2si) (a), (__v2si) (b))
 187 #define __ev_mhessianw(a, b) __builtin_spe_evmhessianw ((__v2si) (a), (__v2si) (b))
 188 #define __ev_mhesmfanw(a, b) __builtin_spe_evmhesmfanw ((__v2si) (a), (__v2si) (b))
 189 #define __ev_mhesmianw(a, b) __builtin_spe_evmhesmianw ((__v2si) (a), (__v2si) (b))
 190 #define __ev_mheusianw(a, b) __builtin_spe_evmheusianw ((__v2si) (a), (__v2si) (b))
 191 #define __ev_mheumianw(a, b) __builtin_spe_evmheumianw ((__v2si) (a), (__v2si) (b))
 192
 193 #define __ev_mhousfanw __ev_mhousianw
 194 #define __ev_mhoumfanw __ev_mhoumianw
 195 #define __ev_mheusfanw __ev_mheusianw
 196 #define __ev_mheumfanw __ev_mheumianw
 197
 198 #define __ev_mhogsmfaa(a, b) __builtin_spe_evmhogsmfaa ((__v2si) (a), (__v2si) (b))
 199 #define __ev_mhogsmiaa(a, b) __builtin_spe_evmhogsmiaa ((__v2si) (a), (__v2si) (b))
 200 #define __ev_mhogumiaa(a, b) __builtin_spe_evmhogumiaa ((__v2si) (a), (__v2si) (b))
 201 #define __ev_mhegsmfaa(a, b) __builtin_spe_evmhegsmfaa ((__v2si) (a), (__v2si) (b))
 202 #define __ev_mhegsmiaa(a, b) __builtin_spe_evmhegsmiaa ((__v2si) (a), (__v2si) (b))
 203 #define __ev_mhegumiaa(a, b) __builtin_spe_evmhegumiaa ((__v2si) (a), (__v2si) (b))
 204
 205 #define __ev_mhogumfaa __ev_mhogumiaa
 206 #define __ev_mhegumfaa __ev_mhegumiaa
 207
 208 #define __ev_mhogsmfan(a, b) __builtin_spe_evmhogsmfan ((__v2si) (a), (__v2si) (b))
 209 #define __ev_mhogsmian(a, b) __builtin_spe_evmhogsmian ((__v2si) (a), (__v2si) (b))
 210 #define __ev_mhogumian(a, b) __builtin_spe_evmhogumian ((__v2si) (a), (__v2si) (b))
 211 #define __ev_mhegsmfan(a, b) __builtin_spe_evmhegsmfan ((__v2si) (a), (__v2si) (b))
 212 #define __ev_mhegsmian(a, b) __builtin_spe_evmhegsmian ((__v2si) (a), (__v2si) (b))
 213 #define __ev_mhegumian(a, b) __builtin_spe_evmhegumian ((__v2si) (a), (__v2si) (b))
 214
 215 #define __ev_mhogumfan __ev_mhogumian
 216 #define __ev_mhegumfan __ev_mhegumian
 217
 218 #define __ev_mwhssf(a, b) __builtin_spe_evmwhssf ((__v2si) (a), (__v2si) (b))
 219 #define __ev_mwhsmf(a, b) __builtin_spe_evmwhsmf ((__v2si) (a), (__v2si) (b))
 220 #define __ev_mwhsmi(a, b) __builtin_spe_evmwhsmi ((__v2si) (a), (__v2si) (b))
 221 #define __ev_mwhumi(a, b) __builtin_spe_evmwhumi ((__v2si) (a), (__v2si) (b))
 222 #define __ev_mwhssfa(a, b) __builtin_spe_evmwhssfa ((__v2si) (a), (__v2si) (b))
 223 #define __ev_mwhsmfa(a, b) __builtin_spe_evmwhsmfa ((__v2si) (a), (__v2si) (b))
 224 #define __ev_mwhsmia(a, b) __builtin_spe_evmwhsmia ((__v2si) (a), (__v2si) (b))
 225 #define __ev_mwhumia(a, b) __builtin_spe_evmwhumia ((__v2si) (a), (__v2si) (b))
 226
 227 #define __ev_mwhumf __ev_mwhumi
 228 #define __ev_mwhumfa __ev_mwhumia
 229
 230 #define __ev_mwlumi(a, b) __builtin_spe_evmwlumi ((__v2si) (a), (__v2si) (b))
 231 #define __ev_mwlumia(a, b) __builtin_spe_evmwlumia ((__v2si) (a), (__v2si) (b))
 232 #define __ev_mwlumiaaw(a, b) __builtin_spe_evmwlumiaaw ((__v2si) (a), (__v2si) (b))
 233
 234 #define __ev_mwlssiaaw(a, b) __builtin_spe_evmwlssiaaw ((__v2si) (a), (__v2si) (b))
 235 #define __ev_mwlsmiaaw(a, b) __builtin_spe_evmwlsmiaaw ((__v2si) (a), (__v2si) (b))
 236 #define __ev_mwlusiaaw(a, b) __builtin_spe_evmwlusiaaw ((__v2si) (a), (__v2si) (b))
 237 #define __ev_mwlusiaaw(a, b) __builtin_spe_evmwlusiaaw ((__v2si) (a), (__v2si) (b))
 238
 239 #define __ev_mwlssianw(a, b) __builtin_spe_evmwlssianw ((__v2si) (a), (__v2si) (b))
 240 #define __ev_mwlsmianw(a, b) __builtin_spe_evmwlsmianw ((__v2si) (a), (__v2si) (b))
 241 #define __ev_mwlusianw(a, b) __builtin_spe_evmwlusianw ((__v2si) (a), (__v2si) (b))
 242 #define __ev_mwlumianw(a, b) __builtin_spe_evmwlumianw ((__v2si) (a), (__v2si) (b))
 243
 244 #define __ev_mwssf(a, b) __builtin_spe_evmwssf ((__v2si) (a), (__v2si) (b))
 245 #define __ev_mwsmf(a, b) __builtin_spe_evmwsmf ((__v2si) (a), (__v2si) (b))
 246 #define __ev_mwsmi(a, b) __builtin_spe_evmwsmi ((__v2si) (a), (__v2si) (b))
 247 #define __ev_mwumi(a, b) __builtin_spe_evmwumi ((__v2si) (a), (__v2si) (b))
 248 #define __ev_mwssfa(a, b) __builtin_spe_evmwssfa ((__v2si) (a), (__v2si) (b))
 249 #define __ev_mwsmfa(a, b) __builtin_spe_evmwsmfa ((__v2si) (a), (__v2si) (b))
 250 #define __ev_mwsmia(a, b) __builtin_spe_evmwsmia ((__v2si) (a), (__v2si) (b))
 251 #define __ev_mwumia(a, b) __builtin_spe_evmwumia ((__v2si) (a), (__v2si) (b))
 252
 253 #define __ev_mwumf __ev_mwumi
 254 #define __ev_mwumfa __ev_mwumia
 255
 256 #define __ev_mwssfaa(a, b) __builtin_spe_evmwssfaa ((__v2si) (a), (__v2si) (b))
 257 #define __ev_mwsmfaa(a, b) __builtin_spe_evmwsmfaa ((__v2si) (a), (__v2si) (b))
 258 #define __ev_mwsmiaa(a, b) __builtin_spe_evmwsmiaa ((__v2si) (a), (__v2si) (b))
 259 #define __ev_mwumiaa(a, b) __builtin_spe_evmwumiaa ((__v2si) (a), (__v2si) (b))
 260
 261 #define __ev_mwumfaa __ev_mwumiaa
 262
 263 #define __ev_mwssfan(a, b) __builtin_spe_evmwssfan ((__v2si) (a), (__v2si) (b))
 264 #define __ev_mwsmfan(a, b) __builtin_spe_evmwsmfan ((__v2si) (a), (__v2si) (b))
 265 #define __ev_mwsmian(a, b) __builtin_spe_evmwsmian ((__v2si) (a), (__v2si) (b))
 266 #define __ev_mwumian(a, b) __builtin_spe_evmwumian ((__v2si) (a), (__v2si) (b))
 267
 268 #define __ev_mwumfan __ev_mwumian
 269
 270 #define __ev_addssiaaw(a) __builtin_spe_evaddssiaaw ((__v2si) (a))
 271 #define __ev_addsmiaaw(a) __builtin_spe_evaddsmiaaw ((__v2si) (a))
 272 #define __ev_addusiaaw(a) __builtin_spe_evaddusiaaw ((__v2si) (a))
 273 #define __ev_addumiaaw(a) __builtin_spe_evaddumiaaw ((__v2si) (a))
 274
 275 #define __ev_addusfaaw __ev_addusiaaw
 276 #define __ev_addumfaaw __ev_addumiaaw
 277 #define __ev_addsmfaaw __ev_addsmiaaw
 278 #define __ev_addssfaaw __ev_addssiaaw
 279
 280 #define __ev_subfssiaaw(a) __builtin_spe_evsubfssiaaw ((__v2si) (a))
 281 #define __ev_subfsmiaaw(a) __builtin_spe_evsubfsmiaaw ((__v2si) (a))
 282 #define __ev_subfusiaaw(a) __builtin_spe_evsubfusiaaw ((__v2si) (a))
 283 #define __ev_subfumiaaw(a) __builtin_spe_evsubfumiaaw ((__v2si) (a))
 284
 285 #define __ev_subfusfaaw __ev_subfusiaaw
 286 #define __ev_subfumfaaw __ev_subfumiaaw
 287 #define __ev_subfsmfaaw __ev_subfsmiaaw
 288 #define __ev_subfssfaaw __ev_subfssiaaw
 289
 290 /* Floating Point SIMD Instructions  */
 291
 292 /* These all return V2SF, but we need to cast them to V2SI
 293    because the SPE expect all functions to be __ev64_opaque__.  */
 294
 295 #define __ev_fsabs(a) ((__v2si) __builtin_spe_evfsabs ((__v2sf) (a)))
 296 #define __ev_fsnabs(a) ((__v2si) __builtin_spe_evfsnabs ((__v2sf) (a)))
 297 #define __ev_fsneg(a) ((__v2si) __builtin_spe_evfsneg ((__v2sf) (a)))
 298 #define __ev_fsadd(a, b) ((__v2si) __builtin_spe_evfsadd ((__v2sf) (a), (__v2sf) (b)))
 299 #define __ev_fssub(a, b) ((__v2si) __builtin_spe_evfssub ((__v2sf) (a), (__v2sf) (b)))
 300 #define __ev_fsmul(a, b) ((__v2si) __builtin_spe_evfsmul ((__v2sf) (a), (__v2sf) b))
 301 #define __ev_fsdiv(a, b) ((__v2si) __builtin_spe_evfsdiv ((__v2sf) (a), (__v2sf) b))
 302 #define __ev_fscfui(a) ((__v2si) __builtin_spe_evfscfui ((__v2si) (a)))
 303 #define __ev_fscfsi(a) ((__v2si) __builtin_spe_evfscfsi ((__v2sf) (a)))
 304 #define __ev_fscfuf(a) ((__v2si) __builtin_spe_evfscfuf ((__v2sf) (a)))
 305 #define __ev_fscfsf(a) ((__v2si) __builtin_spe_evfscfsf ((__v2sf) (a)))
 306 #define __ev_fsctui(a) ((__v2si) __builtin_spe_evfsctui ((__v2sf) (a)))
 307 #define __ev_fsctsi(a) ((__v2si) __builtin_spe_evfsctsi ((__v2sf) (a)))
 308 #define __ev_fsctuf(a) ((__v2si) __builtin_spe_evfsctuf ((__v2sf) (a)))
 309 #define __ev_fsctsf(a) ((__v2si) __builtin_spe_evfsctsf ((__v2sf) (a)))
 310 #define __ev_fsctuiz(a) ((__v2si) __builtin_spe_evfsctuiz ((__v2sf) (a)))
 311 #define __ev_fsctsiz(a) ((__v2si) __builtin_spe_evfsctsiz ((__v2sf) (a)))
 312
 313 /* NOT SUPPORTED IN FIRST e500, support via two instructions:  */
 314
 315 #define __ev_mwhusfaaw  __ev_mwhusiaaw
 316 #define __ev_mwhumfaaw  __ev_mwhumiaaw
 317 #define __ev_mwhusfanw  __ev_mwhusianw
 318 #define __ev_mwhumfanw  __ev_mwhumianw
 319 #define __ev_mwhgumfaa  __ev_mwhgumiaa
 320 #define __ev_mwhgumfan  __ev_mwhgumian
 321
 322 #define __ev_mwhgssfaa(a, b) __internal_ev_mwhgssfaa ((__v2si) (a), (__v2si) (b))
 323 #define __ev_mwhgsmfaa(a, b) __internal_ev_mwhgsmfaa ((__v2si) (a), (__v2si) (b))
 324 #define __ev_mwhgsmiaa(a, b) __internal_ev_mwhgsmiaa ((__v2si) (a), (__v2si) (b))
 325 #define __ev_mwhgumiaa(a, b) __internal_ev_mwhgumiaa ((__v2si) (a), (__v2si) (b))
 326 #define __ev_mwhgssfan(a, b) __internal_ev_mwhgssfan ((__v2si) (a), (__v2si) (b))
 327 #define __ev_mwhgsmfan(a, b) __internal_ev_mwhgsmfan ((__v2si) (a), (__v2si) (b))
 328 #define __ev_mwhgsmian(a, b) __internal_ev_mwhgsmian ((__v2si) (a), (__v2si) (b))
 329 #define __ev_mwhgumian(a, b) __internal_ev_mwhgumian ((__v2si) (a), (__v2si) (b))
 330 #define __ev_mwhssiaaw(a, b) __internal_ev_mwhssiaaw ((__v2si) (a), (__v2si) (b))
 331 #define __ev_mwhssfaaw(a, b) __internal_ev_mwhssfaaw ((__v2si) (a), (__v2si) (b))
 332 #define __ev_mwhsmfaaw(a, b) __internal_ev_mwhsmfaaw ((__v2si) (a), (__v2si) (b))
 333 #define __ev_mwhsmiaaw(a, b) __internal_ev_mwhsmiaaw ((__v2si) (a), (__v2si) (b))
 334 #define __ev_mwhusiaaw(a, b) __internal_ev_mwhusiaaw ((__v2si) (a), (__v2si) (b))
 335 #define __ev_mwhumiaaw(a, b) __internal_ev_mwhumiaaw ((__v2si) (a), (__v2si) (b))
 336 #define __ev_mwhssfanw(a, b) __internal_ev_mwhssfanw ((__v2si) (a), (__v2si) (b))
 337 #define __ev_mwhssianw(a, b) __internal_ev_mwhssianw ((__v2si) (a), (__v2si) (b))
 338 #define __ev_mwhsmfanw(a, b) __internal_ev_mwhsmfanw ((__v2si) (a), (__v2si) (b))
 339 #define __ev_mwhsmianw(a, b) __internal_ev_mwhsmianw ((__v2si) (a), (__v2si) (b))
 340 #define __ev_mwhusianw(a, b) __internal_ev_mwhusianw ((__v2si) (a), (__v2si) (b))
 341 #define __ev_mwhumianw(a, b) __internal_ev_mwhumianw ((__v2si) (a), (__v2si) (b))
 342
 343 static inline __ev64_opaque__
 344 __internal_ev_mwhssfaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 345 {
 346   __ev64_opaque__ t;
 347
 348   t = __ev_mwhssf (a, b);
 349   return __ev_addssiaaw (t);
 350 }
 351
 352 static inline __ev64_opaque__
 353 __internal_ev_mwhssiaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 354 {
 355   __ev64_opaque__ t;
 356
 357   t = __ev_mwhsmi (a, b);
 358   return __ev_addssiaaw (t);
 359 }
 360
 361 static inline __ev64_opaque__
 362 __internal_ev_mwhsmfaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 363 {
 364   __ev64_opaque__ t;
 365
 366   t = __ev_mwhsmf (a, b);
 367   return __ev_addsmiaaw (t);
 368 }
 369
 370 static inline __ev64_opaque__
 371 __internal_ev_mwhsmiaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 372 {
 373   __ev64_opaque__ t;
 374
 375   t = __ev_mwhsmi (a, b);
 376   return __ev_addsmiaaw (t);
 377 }
 378
 379 static inline __ev64_opaque__
 380 __internal_ev_mwhusiaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 381 {
 382   __ev64_opaque__ t;
 383
 384   t = __ev_mwhumi (a, b);
 385   return __ev_addusiaaw (t);
 386 }
 387
 388 static inline __ev64_opaque__
 389 __internal_ev_mwhumiaaw (__ev64_opaque__ a, __ev64_opaque__ b)
 390 {
 391   __ev64_opaque__ t;
 392
 393   t = __ev_mwhumi (a, b);
 394   return __ev_addumiaaw (t);
 395 }
 396
 397 static inline __ev64_opaque__
 398 __internal_ev_mwhssfanw (__ev64_opaque__ a, __ev64_opaque__ b)
 399 {
 400   __ev64_opaque__ t;
 401
 402   t = __ev_mwhssf (a, b);
 403   return __ev_subfssiaaw (t);
 404 }
 405
 406 static inline __ev64_opaque__
 407 __internal_ev_mwhssianw (__ev64_opaque__ a, __ev64_opaque__ b)
 408 {
 409   __ev64_opaque__ t;
 410
 411   t = __ev_mwhsmi (a, b);
 412   return __ev_subfssiaaw (t);
 413 }
 414
 415 static inline __ev64_opaque__
 416 __internal_ev_mwhsmfanw (__ev64_opaque__ a, __ev64_opaque__ b)
 417 {
 418   __ev64_opaque__ t;
 419
 420   t = __ev_mwhsmf (a, b);
 421   return __ev_subfsmiaaw (t);
 422 }
 423
 424 static inline __ev64_opaque__
 425 __internal_ev_mwhsmianw (__ev64_opaque__ a, __ev64_opaque__ b)
 426 {
 427   __ev64_opaque__ t;
 428
 429   t = __ev_mwhsmi (a, b);
 430   return __ev_subfsmiaaw (t);
 431 }
 432
 433 static inline __ev64_opaque__
 434 __internal_ev_mwhusianw (__ev64_opaque__ a, __ev64_opaque__ b)
 435 {
 436   __ev64_opaque__ t;
 437
 438   t = __ev_mwhumi (a, b);
 439   return __ev_subfusiaaw (t);
 440 }
 441
 442 static inline __ev64_opaque__
 443 __internal_ev_mwhumianw (__ev64_opaque__ a, __ev64_opaque__ b)
 444 {
 445   __ev64_opaque__ t;
 446
 447   t = __ev_mwhumi (a, b);
 448   return __ev_subfumiaaw (t);
 449 }
 450
 451 static inline __ev64_opaque__
 452 __internal_ev_mwhgssfaa (__ev64_opaque__ a, __ev64_opaque__ b)
 453 {
 454   __ev64_opaque__ t;
 455
 456   t = __ev_mwhssf (a, b);
 457   return __ev_mwsmiaa (t, ((__ev64_s32__){1, 1}));
 458 }
 459
 460 static inline __ev64_opaque__
 461 __internal_ev_mwhgsmfaa (__ev64_opaque__ a, __ev64_opaque__ b)
 462 {
 463   __ev64_opaque__ t;
 464
 465   t = __ev_mwhsmf (a, b);
 466   return __ev_mwsmiaa (t, ((__ev64_s32__){1, 1}));
 467 }
 468
 469 static inline __ev64_opaque__
 470 __internal_ev_mwhgsmiaa (__ev64_opaque__ a, __ev64_opaque__ b)
 471 {
 472   __ev64_opaque__ t;
 473
 474   t = __ev_mwhsmi (a, b);
 475   return __ev_mwsmiaa (t, ((__ev64_s32__){1, 1}));
 476 }
 477
 478 static inline __ev64_opaque__
 479 __internal_ev_mwhgumiaa (__ev64_opaque__ a, __ev64_opaque__ b)
 480 {
 481   __ev64_opaque__ t;
 482
 483   t = __ev_mwhumi (a, b);
 484   return __ev_mwumiaa (t, ((__ev64_s32__){1, 1}));
 485 }
 486
 487 static inline __ev64_opaque__
 488 __internal_ev_mwhgssfan (__ev64_opaque__ a, __ev64_opaque__ b)
 489 {
 490   __ev64_opaque__ t;
 491
 492   t = __ev_mwhssf (a, b);
 493   return __ev_mwsmian (t, ((__ev64_s32__){1, 1}));
 494 }
 495
 496 static inline __ev64_opaque__
 497 __internal_ev_mwhgsmfan (__ev64_opaque__ a, __ev64_opaque__ b)
 498 {
 499   __ev64_opaque__ t;
 500
 501   t = __ev_mwhsmf (a, b);
 502   return __ev_mwsmian (t, ((__ev64_s32__){1, 1}));
 503 }
 504
 505 static inline __ev64_opaque__
 506 __internal_ev_mwhgsmian (__ev64_opaque__ a, __ev64_opaque__ b)
 507 {
 508   __ev64_opaque__ t;
 509
 510   t = __ev_mwhsmi (a, b);
 511   return __ev_mwsmian (t, ((__ev64_s32__){1, 1}));
 512 }
 513
 514 static inline __ev64_opaque__
 515 __internal_ev_mwhgumian (__ev64_opaque__ a, __ev64_opaque__ b)
 516 {
 517   __ev64_opaque__ t;
 518
 519   t = __ev_mwhumi (a, b);
 520   return __ev_mwumian (t, ((__ev64_s32__){1, 1}));
 521 }
 522
 523 /* END OF NOT SUPPORTED */
 524
 525 /* __ev_create* functions.  */
 526
 527 #define __ev_create_ufix32_u32 __ev_create_u32
 528 #define __ev_create_sfix32_s32 __ev_create_s32
 529
 530 static inline __ev64_opaque__
 531 __ev_create_s16 (int16_t a, int16_t b, int16_t c, int16_t d)
 532 {
 533   union
 534   {
 535     __ev64_opaque__ v;
 536     int16_t i[4];
 537   } u;
 538
 539   u.i[0] = a;
 540   u.i[1] = b;
 541   u.i[2] = c;
 542   u.i[3] = d;
 543
 544   return u.v;
 545 }
 546
 547 static inline __ev64_opaque__
 548 __ev_create_u16 (uint16_t a, uint16_t b, uint16_t c, uint16_t d)
 549
 550 {
 551   union
 552   {
 553     __ev64_opaque__ v;
 554     uint16_t i[4];
 555   } u;
 556
 557   u.i[0] = a;
 558   u.i[1] = b;
 559   u.i[2] = c;
 560   u.i[3] = d;
 561
 562   return u.v;
 563 }
 564
 565 static inline __ev64_opaque__
 566 __ev_create_s32 (int32_t a, int32_t b)
 567 {
 568   union
 569   {
 570     __ev64_opaque__ v;
 571    int32_t i[2];
 572   } u;
 573
 574   u.i[0] = a;
 575   u.i[1] = b;
 576
 577   return u.v;
 578 }
 579
 580 static inline __ev64_opaque__
 581 __ev_create_u32 (uint32_t a, uint32_t b)
 582 {
 583   union
 584   {
 585     __ev64_opaque__ v;
 586     uint32_t i[2];
 587   } u;
 588
 589   u.i[0] = a;
 590   u.i[1] = b;
 591
 592   return u.v;
 593 }
 594
 595 static inline __ev64_opaque__
 596 __ev_create_fs (float a, float b)
 597 {
 598   union
 599   {
 600     __ev64_opaque__ v;
 601     float f[2];
 602   } u;
 603
 604   u.f[0] = a;
 605   u.f[1] = b;
 606
 607   return u.v;
 608 }
 609
 610 static inline __ev64_opaque__
 611 __ev_create_sfix32_fs (float a, float b)
 612 {
 613   __ev64_opaque__ ev;
 614
 615   ev = (__ev64_opaque__) __ev_create_fs (a, b);
 616   return (__ev64_opaque__) __builtin_spe_evfsctsf ((__v2sf) ev);
 617 }
 618
 619 static inline __ev64_opaque__
 620 __ev_create_ufix32_fs (float a, float b)
 621 {
 622   __ev64_opaque__ ev;
 623
 624   ev = (__ev64_opaque__) __ev_create_fs (a, b);
 625   return (__ev64_opaque__) __builtin_spe_evfsctuf ((__v2sf) ev);
 626 }
 627
 628 static inline __ev64_opaque__
 629 __ev_create_s64 (int64_t a)
 630 {
 631   union
 632   {
 633     __ev64_opaque__ v;
 634     int64_t i;
 635   } u;
 636
 637   u.i = a;
 638   return u.v;
 639 }
 640
 641 static inline __ev64_opaque__
 642 __ev_create_u64 (uint64_t a)
 643 {
 644   union
 645   {
 646     __ev64_opaque__ v;
 647     uint64_t i;
 648   } u;
 649
 650   u.i = a;
 651   return u.v;
 652 }
 653
 654 static inline uint64_t
 655 __ev_convert_u64 (__ev64_opaque__ a)
 656 {
 657   return (uint64_t) a;
 658 }
 659
 660 static inline int64_t
 661 __ev_convert_s64 (__ev64_opaque__ a)
 662 {
 663   return (int64_t) a;
 664 }
 665
 666 /* __ev_get_* functions.  */
 667
 668 #define __ev_get_upper_u32(a) __ev_get_u32_internal ((__ev64_opaque__) (a), 0)
 669 #define __ev_get_lower_u32(a) __ev_get_u32_internal ((__ev64_opaque__) (a), 1)
 670 #define __ev_get_upper_s32(a) __ev_get_s32_internal ((__ev64_opaque__) (a), 0)
 671 #define __ev_get_lower_s32(a) __ev_get_s32_internal ((__ev64_opaque__) (a), 1)
 672 #define __ev_get_upper_fs(a) __ev_get_fs_internal ((__ev64_opaque__) (a), 0)
 673 #define __ev_get_lower_fs(a) __ev_get_fs_internal ((__ev64_opaque__) (a), 1)
 674 #define __ev_get_upper_ufix32_u32(a) __ev_get_upper_u32(a)
 675 #define __ev_get_lower_ufix32_u32(a) __ev_get_lower_u32(a)
 676 #define __ev_get_upper_sfix32_s32(a) __ev_get_upper_s32(a)
 677 #define __ev_get_lower_sfix32_s32(a) __ev_get_lower_s32(a)
 678 #define __ev_get_upper_sfix32_fs(a)  __ev_get_sfix32_fs (a, 0)
 679 #define __ev_get_lower_sfix32_fs(a)  __ev_get_sfix32_fs (a, 1)
 680 #define __ev_get_upper_ufix32_fs(a)  __ev_get_ufix32_fs (a, 0)
 681 #define __ev_get_lower_ufix32_fs(a)  __ev_get_ufix32_fs (a, 1)
 682
 683 #define __ev_get_u32(a, b) __ev_get_u32_internal ((__ev64_opaque__) (a), b)
 684 #define __ev_get_s32(a, b) __ev_get_s32_internal ((__ev64_opaque__) (a), b)
 685 #define __ev_get_fs(a, b) __ev_get_fs_internal ((__ev64_opaque__) (a), b)
 686 #define __ev_get_u16(a, b) __ev_get_u16_internal ((__ev64_opaque__) (a), b)
 687 #define __ev_get_s16(a, b) __ev_get_s16_internal ((__ev64_opaque__) (a), b)
 688
 689 #define __ev_get_ufix32_u32(a, b) __ev_get_u32 (a, b)
 690 #define __ev_get_sfix32_s32(a, b) __ev_get_s32 (a, b)
 691 #define __ev_get_ufix32_fs(a, b)     __ev_get_ufix32_fs_internal ((__ev64_opaque__)(a), b)
 692 #define __ev_get_sfix32_fs(a, b)     __ev_get_sfix32_fs_internal ((__ev64_opaque__)(a), b)
 693
 694 static inline uint32_t
 695 __ev_get_u32_internal (__ev64_opaque__ a, uint32_t pos)
 696 {
 697   union
 698   {
 699     __ev64_opaque__ v;
 700     uint32_t i[2];
 701   } u;
 702
 703   u.v = a;
 704   return u.i[pos];
 705 }
 706
 707 static inline int32_t
 708 __ev_get_s32_internal (__ev64_opaque__ a, uint32_t pos)
 709 {
 710   union
 711   {
 712     __ev64_opaque__ v;
 713     int32_t i[2];
 714   } u;
 715
 716   u.v = a;
 717   return u.i[pos];
 718 }
 719
 720 static inline float
 721 __ev_get_fs_internal (__ev64_opaque__ a, uint32_t pos)
 722 {
 723   union
 724   {
 725     __ev64_opaque__ v;
 726     float f[2];
 727   } u;
 728
 729   u.v = a;
 730   return u.f[pos];
 731 }
 732
 733 static inline float
 734 __ev_get_sfix32_fs_internal (__ev64_opaque__ a, uint32_t pos)
 735 {
 736   __ev64_fs__ v;
 737
 738   v = __builtin_spe_evfscfsf ((__v2sf) a);
 739   return __ev_get_fs_internal ((__ev64_opaque__) v, pos);
 740 }
 741
 742 static inline float
 743 __ev_get_ufix32_fs_internal (__ev64_opaque__ a, uint32_t pos)
 744 {
 745   __ev64_fs__ v;
 746
 747   v = __builtin_spe_evfscfuf ((__v2sf) a);
 748   return __ev_get_fs_internal ((__ev64_opaque__) v, pos);
 749 }
 750
 751 static inline uint16_t
 752 __ev_get_u16_internal (__ev64_opaque__ a, uint32_t pos)
 753 {
 754   union
 755   {
 756     __ev64_opaque__ v;
 757     uint16_t i[4];
 758   } u;
 759
 760   u.v = a;
 761   return u.i[pos];
 762 }
 763
 764 static inline int16_t
 765 __ev_get_s16_internal (__ev64_opaque__ a, uint32_t pos)
 766 {
 767   union
 768   {
 769     __ev64_opaque__ v;
 770     int16_t i[4];
 771   } u;
 772
 773   u.v = a;
 774   return u.i[pos];
 775 }
 776
 777 /* __ev_set_* functions.  */
 778
 779 #define __ev_set_u32(a, b, c) __ev_set_u32_internal ((__ev64_opaque__) a, b, c)
 780 #define __ev_set_s32(a, b, c) __ev_set_s32_internal ((__ev64_opaque__) a, b, c)
 781 #define __ev_set_fs(a, b, c) __ev_set_fs_internal ((__ev64_opaque__) a, b, c)
 782 #define __ev_set_u16(a, b, c) __ev_set_u16_internal ((__ev64_opaque__) a, b, c)
 783 #define __ev_set_s16(a, b, c) __ev_set_s16_internal ((__ev64_opaque__) a, b, c)
 784
 785 #define __ev_set_ufix32_u32 __ev_set_u32
 786 #define __ev_set_sfix32_s32 __ev_set_s32
 787
 788 #define __ev_set_sfix32_fs(a, b, c)  __ev_set_sfix32_fs_internal ((__ev64_opaque__) (a), b, c)
 789 #define __ev_set_ufix32_fs(a, b, c)  __ev_set_ufix32_fs_internal ((__ev64_opaque__) (a), b, c)
 790
 791 #define __ev_set_upper_u32(a, b) __ev_set_u32 (a, b, 0)
 792 #define __ev_set_lower_u32(a, b) __ev_set_u32 (a, b, 1)
 793 #define __ev_set_upper_s32(a, b) __ev_set_s32 (a, b, 0)
 794 #define __ev_set_lower_s32(a, b) __ev_set_s32 (a, b, 1)
 795 #define __ev_set_upper_fs(a, b) __ev_set_fs (a, b, 0)
 796 #define __ev_set_lower_fs(a, b) __ev_set_fs (a, b, 1)
 797 #define __ev_set_upper_ufix32_u32 __ev_set_upper_u32
 798 #define __ev_set_lower_ufix32_u32 __ev_set_lower_u32
 799 #define __ev_set_upper_sfix32_s32 __ev_set_upper_s32
 800 #define __ev_set_lower_sfix32_s32 __ev_set_lower_s32
 801 #define __ev_set_upper_sfix32_fs(a, b)  __ev_set_sfix32_fs (a, b, 0)
 802 #define __ev_set_lower_sfix32_fs(a, b)  __ev_set_sfix32_fs (a, b, 1)
 803 #define __ev_set_upper_ufix32_fs(a, b)  __ev_set_ufix32_fs (a, b, 0)
 804 #define __ev_set_lower_ufix32_fs(a, b)  __ev_set_ufix32_fs (a, b, 1)
 805
 806 #define __ev_set_acc_vec64(a) __builtin_spe_evmra ((__ev64_opaque__)(a))
 807
 808 static inline __ev64_opaque__
 809 __ev_set_acc_u64 (uint64_t a)
 810 {
 811   __ev64_opaque__ ev32;
 812   ev32 = __ev_create_u64 (a);
 813   __ev_mra (ev32);
 814   return ev32;
 815 }
 816
 817 static inline __ev64_opaque__
 818 __ev_set_acc_s64 (int64_t a)
 819 {
 820   __ev64_opaque__ ev32;
 821   ev32 = __ev_create_s64 (a);
 822   __ev_mra (ev32);
 823   return ev32;
 824 }
 825
 826 static inline __ev64_opaque__
 827 __ev_set_u32_internal (__ev64_opaque__ a, uint32_t b, uint32_t pos)
 828 {
 829   union
 830   {
 831     __ev64_opaque__ v;
 832     uint32_t i[2];
 833   } u;
 834
 835   u.v = a;
 836   u.i[pos] = b;
 837   return u.v;
 838 }
 839
 840 static inline __ev64_opaque__
 841 __ev_set_s32_internal (__ev64_opaque__ a, int32_t b, uint32_t pos)
 842 {
 843   union
 844   {
 845     __ev64_opaque__ v;
 846     int32_t i[2];
 847   } u;
 848
 849   u.v = a;
 850   u.i[pos] = b;
 851   return u.v;
 852 }
 853
 854 static inline __ev64_opaque__
 855 __ev_set_fs_internal (__ev64_opaque__ a, float b, uint32_t pos)
 856 {
 857   union
 858   {
 859     __ev64_opaque__ v;
 860     float f[2];
 861   } u;
 862
 863   u.v = a;
 864   u.f[pos] = b;
 865   return u.v;
 866 }
 867
 868 static inline __ev64_opaque__
 869 __ev_set_sfix32_fs_internal (__ev64_opaque__ a, float b, uint32_t pos)
 870 {
 871   __ev64_opaque__ v;
 872   float other;
 873
 874   /* Get other half.  */
 875   other = __ev_get_fs_internal (a, pos ^ 1);
 876
 877   /* Make an sfix32 with 'b'.  */
 878   v = __ev_create_sfix32_fs (b, b);
 879
 880   /* Set other half to what it used to be.  */
 881   return __ev_set_fs_internal (v, other, pos ^ 1);
 882 }
 883
 884 static inline __ev64_opaque__
 885 __ev_set_ufix32_fs_internal (__ev64_opaque__ a, float b, uint32_t pos)
 886 {
 887   __ev64_opaque__ v;
 888   float other;
 889
 890   /* Get other half.  */
 891   other = __ev_get_fs_internal (a, pos ^ 1);
 892
 893   /* Make an ufix32 with 'b'.  */
 894   v = __ev_create_ufix32_fs (b, b);
 895
 896   /* Set other half to what it used to be.  */
 897   return __ev_set_fs_internal (v, other, pos ^ 1);
 898 }
 899
 900 static inline __ev64_opaque__
 901 __ev_set_u16_internal (__ev64_opaque__ a, uint16_t b, uint32_t pos)
 902 {
 903   union
 904   {
 905     __ev64_opaque__ v;
 906     uint16_t i[4];
 907   } u;
 908
 909   u.v = a;
 910   u.i[pos] = b;
 911   return u.v;
 912 }
 913
 914 static inline __ev64_opaque__
 915 __ev_set_s16_internal (__ev64_opaque__ a, int16_t b, uint32_t pos)
 916 {
 917   union
 918   {
 919     __ev64_opaque__ v;
 920     int16_t i[4];
 921   } u;
 922
 923   u.v = a;
 924   u.i[pos] = b;
 925   return u.v;
 926 }
 927
 928 /* Predicates.  */
 929
 930 #define __pred_all      0
 931 #define __pred_any      1
 932 #define __pred_upper    2
 933 #define __pred_lower    3
 934
 935 #define __ev_any_gts(a, b)              __builtin_spe_evcmpgts (__pred_any, (__v2si) (a), (__v2si) (b))
 936 #define __ev_all_gts(a, b)              __builtin_spe_evcmpgts (__pred_all, (__v2si) (a), (__v2si) (b))
 937 #define __ev_upper_gts(a, b)            __builtin_spe_evcmpgts (__pred_upper, (__v2si) (a), (__v2si) (b))
 938 #define __ev_lower_gts(a, b)            __builtin_spe_evcmpgts (__pred_lower, (__v2si) (a), (__v2si) (b))
 939 #define __ev_select_gts(a, b, c, d)     ((__v2si) __builtin_spe_evsel_gts ((__v2si) (a), (__v2si) (b), (__v2si) (c), (__v2si) (d)))
 940
 941 #define __ev_any_gtu(a, b)              __builtin_spe_evcmpgtu (__pred_any, (__v2si) (a), (__v2si) (b))
 942 #define __ev_all_gtu(a, b)              __builtin_spe_evcmpgtu (__pred_all, (__v2si) (a), (__v2si) (b))
 943 #define __ev_upper_gtu(a, b)            __builtin_spe_evcmpgtu (__pred_upper, (__v2si) (a), (__v2si) (b))
 944 #define __ev_lower_gtu(a, b)            __builtin_spe_evcmpgtu (__pred_lower, (__v2si) (a), (__v2si) (b))
 945 #define __ev_select_gtu(a, b, c, d)     ((__v2si) __builtin_spe_evsel_gtu ((__v2si) (a), (__v2si) (b), (__v2si) (c), (__v2si) (d)))
 946
 947 #define __ev_any_lts(a, b)              __builtin_spe_evcmplts (__pred_any, (__v2si) (a), (__v2si) (b))
 948 #define __ev_all_lts(a, b)              __builtin_spe_evcmplts (__pred_all, (__v2si) (a), (__v2si) (b))
 949 #define __ev_upper_lts(a, b)            __builtin_spe_evcmplts (__pred_upper, (__v2si) (a), (__v2si) (b))
 950 #define __ev_lower_lts(a, b)            __builtin_spe_evcmplts (__pred_lower, (__v2si) (a), (__v2si) (b))
 951 #define __ev_select_lts(a, b, c, d)     ((__v2si) __builtin_spe_evsel_lts ((__v2si) (a), (__v2si) (b), (__v2si) (c), (__v2si) (d)))
 952
 953 #define __ev_any_ltu(a, b)              __builtin_spe_evcmpltu (__pred_any, (__v2si) (a), (__v2si) (b))
 954 #define __ev_all_ltu(a, b)              __builtin_spe_evcmpltu (__pred_all, (__v2si) (a), (__v2si) (b))
 955 #define __ev_upper_ltu(a, b)            __builtin_spe_evcmpltu (__pred_upper, (__v2si) (a), (__v2si) (b))
 956 #define __ev_lower_ltu(a, b)            __builtin_spe_evcmpltu (__pred_lower, (__v2si) (a), (__v2si) (b))
 957 #define __ev_select_ltu(a, b, c, d)     ((__v2si) __builtin_spe_evsel_ltu ((__v2si) (a), (__v2si) (b), (__v2si) (c), (__v2si) (d)))
 958 #define __ev_any_eq(a, b)               __builtin_spe_evcmpeq (__pred_any, (__v2si) (a), (__v2si) (b))
 959 #define __ev_all_eq(a, b)               __builtin_spe_evcmpeq (__pred_all, (__v2si) (a), (__v2si) (b))
 960 #define __ev_upper_eq(a, b)             __builtin_spe_evcmpeq (__pred_upper, (__v2si) (a), (__v2si) (b))
 961 #define __ev_lower_eq(a, b)             __builtin_spe_evcmpeq (__pred_lower, (__v2si) (a), (__v2si) (b))
 962 #define __ev_select_eq(a, b, c, d)      ((__v2si) __builtin_spe_evsel_eq ((__v2si) (a), (__v2si) (b), (__v2si) (c), (__v2si) (d)))
 963
 964 #define __ev_any_fs_gt(a, b)            __builtin_spe_evfscmpgt (__pred_any, (__v2sf) (a), (__v2sf) (b))
 965 #define __ev_all_fs_gt(a, b)            __builtin_spe_evfscmpgt (__pred_all, (__v2sf) (a), (__v2sf) (b))
 966 #define __ev_upper_fs_gt(a, b)          __builtin_spe_evfscmpgt (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 967 #define __ev_lower_fs_gt(a, b)          __builtin_spe_evfscmpgt (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 968 #define __ev_select_fs_gt(a, b, c, d)   ((__v2si) __builtin_spe_evsel_fsgt ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 969
 970 #define __ev_any_fs_lt(a, b)            __builtin_spe_evfscmplt (__pred_any, (__v2sf) (a), (__v2sf) (b))
 971 #define __ev_all_fs_lt(a, b)            __builtin_spe_evfscmplt (__pred_all, (__v2sf) (a), (__v2sf) (b))
 972 #define __ev_upper_fs_lt(a, b)          __builtin_spe_evfscmplt (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 973 #define __ev_lower_fs_lt(a, b)          __builtin_spe_evfscmplt (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 974 #define __ev_select_fs_lt(a, b, c, d)   ((__v2si) __builtin_spe_evsel_fslt ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 975
 976 #define __ev_any_fs_eq(a, b)            __builtin_spe_evfscmpeq (__pred_any, (__v2sf) (a), (__v2sf) (b))
 977 #define __ev_all_fs_eq(a, b)            __builtin_spe_evfscmpeq (__pred_all, (__v2sf) (a), (__v2sf) (b))
 978 #define __ev_upper_fs_eq(a, b)          __builtin_spe_evfscmpeq (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 979 #define __ev_lower_fs_eq(a, b)          __builtin_spe_evfscmpeq (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 980 #define __ev_select_fs_eq(a, b, c, d)   ((__v2si) __builtin_spe_evsel_fseq ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 981
 982 #define __ev_any_fs_tst_gt(a, b)        __builtin_spe_evfststgt (__pred_any, (__v2sf) (a), (__v2sf) (b))
 983 #define __ev_all_fs_tst_gt(a, b)        __builtin_spe_evfststgt (__pred_all, (__v2sf) (a), (__v2sf) (b))
 984 #define __ev_upper_fs_tst_gt(a, b)      __builtin_spe_evfststgt (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 985 #define __ev_lower_fs_tst_gt(a, b)      __builtin_spe_evfststgt (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 986 #define __ev_select_fs_tst_gt(a, b, c, d)       ((__v2si) __builtin_spe_evsel_fststgt ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 987
 988 #define __ev_any_fs_tst_lt(a, b)        __builtin_spe_evfststlt (__pred_any, (__v2sf) (a), (__v2sf) (b))
 989 #define __ev_all_fs_tst_lt(a, b)        __builtin_spe_evfststlt (__pred_all, (__v2sf) (a), (__v2sf) (b))
 990 #define __ev_upper_fs_tst_lt(a, b)      __builtin_spe_evfststlt (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 991 #define __ev_lower_fs_tst_lt(a, b)      __builtin_spe_evfststlt (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 992 #define __ev_select_fs_tst_lt(a, b, c, d)       ((__v2si) __builtin_spe_evsel_fststlt ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 993
 994 #define __ev_any_fs_tst_eq(a, b)        __builtin_spe_evfststeq (__pred_any, (__v2sf) (a), (__v2sf) (b))
 995 #define __ev_all_fs_tst_eq(a, b)        __builtin_spe_evfststeq (__pred_all, (__v2sf) (a), (__v2sf) (b))
 996 #define __ev_upper_fs_tst_eq(a, b)      __builtin_spe_evfststeq (__pred_upper, (__v2sf) (a), (__v2sf) (b))
 997 #define __ev_lower_fs_tst_eq(a, b)      __builtin_spe_evfststeq (__pred_lower, (__v2sf) (a), (__v2sf) (b))
 998 #define __ev_select_fs_tst_eq(a, b, c, d)       ((__v2si) __builtin_spe_evsel_fststeq ((__v2sf) (a), (__v2sf) (b), (__v2sf) (c), (__v2sf) (d)))
 999
1000 /* SPEFSCR accesor functions.  */
1001
1002 #define __SPEFSCR_SOVH          0x80000000
1003 #define __SPEFSCR_OVH           0x40000000
1004 #define __SPEFSCR_FGH           0x20000000
1005 #define __SPEFSCR_FXH           0x10000000
1006 #define __SPEFSCR_FINVH         0x08000000
1007 #define __SPEFSCR_FDBZH         0x04000000
1008 #define __SPEFSCR_FUNFH         0x02000000
1009 #define __SPEFSCR_FOVFH         0x01000000
1010 /* 2 unused bits.  */
1011 #define __SPEFSCR_FINXS         0x00200000
1012 #define __SPEFSCR_FINVS         0x00100000
1013 #define __SPEFSCR_FDBZS         0x00080000
1014 #define __SPEFSCR_FUNFS         0x00040000
1015 #define __SPEFSCR_FOVFS         0x00020000
1016 #define __SPEFSCR_MODE          0x00010000
1017 #define __SPEFSCR_SOV           0x00008000
1018 #define __SPEFSCR_OV            0x00004000
1019 #define __SPEFSCR_FG            0x00002000
1020 #define __SPEFSCR_FX            0x00001000
1021 #define __SPEFSCR_FINV          0x00000800
1022 #define __SPEFSCR_FDBZ          0x00000400
1023 #define __SPEFSCR_FUNF          0x00000200
1024 #define __SPEFSCR_FOVF          0x00000100
1025 /* 1 unused bit.  */
1026 #define __SPEFSCR_FINXE         0x00000040
1027 #define __SPEFSCR_FINVE         0x00000020
1028 #define __SPEFSCR_FDBZE         0x00000010
1029 #define __SPEFSCR_FUNFE         0x00000008
1030 #define __SPEFSCR_FOVFE         0x00000004
1031 #define __SPEFSCR_FRMC          0x00000003
1032
1033 #define __ev_get_spefscr_sovh() (__builtin_spe_mfspefscr () & __SPEFSCR_SOVH)
1034 #define __ev_get_spefscr_ovh() (__builtin_spe_mfspefscr () & __SPEFSCR_OVH)
1035 #define __ev_get_spefscr_fgh() (__builtin_spe_mfspefscr () & __SPEFSCR_FGH)
1036 #define __ev_get_spefscr_fxh() (__builtin_spe_mfspefscr () & __SPEFSCR_FXH)
1037 #define __ev_get_spefscr_finvh() (__builtin_spe_mfspefscr () & __SPEFSCR_FINVH)
1038 #define __ev_get_spefscr_fdbzh() (__builtin_spe_mfspefscr () & __SPEFSCR_FDBZH)
1039 #define __ev_get_spefscr_funfh() (__builtin_spe_mfspefscr () & __SPEFSCR_FUNFH)
1040 #define __ev_get_spefscr_fovfh() (__builtin_spe_mfspefscr () & __SPEFSCR_FOVFH)
1041 #define __ev_get_spefscr_finxs() (__builtin_spe_mfspefscr () & __SPEFSCR_FINXS)
1042 #define __ev_get_spefscr_finvs() (__builtin_spe_mfspefscr () & __SPEFSCR_FINVS)
1043 #define __ev_get_spefscr_fdbzs() (__builtin_spe_mfspefscr () & __SPEFSCR_FDBZS)
1044 #define __ev_get_spefscr_funfs() (__builtin_spe_mfspefscr () & __SPEFSCR_FUNFS)
1045 #define __ev_get_spefscr_fovfs() (__builtin_spe_mfspefscr () & __SPEFSCR_FOVFS)
1046 #define __ev_get_spefscr_mode() (__builtin_spe_mfspefscr () & __SPEFSCR_MODE)
1047 #define __ev_get_spefscr_sov() (__builtin_spe_mfspefscr () & __SPEFSCR_SOV)
1048 #define __ev_get_spefscr_ov() (__builtin_spe_mfspefscr () & __SPEFSCR_OV)
1049 #define __ev_get_spefscr_fg() (__builtin_spe_mfspefscr () & __SPEFSCR_FG)
1050 #define __ev_get_spefscr_fx() (__builtin_spe_mfspefscr () & __SPEFSCR_FX)
1051 #define __ev_get_spefscr_finv() (__builtin_spe_mfspefscr () & __SPEFSCR_FINV)
1052 #define __ev_get_spefscr_fdbz() (__builtin_spe_mfspefscr () & __SPEFSCR_FDBZ)
1053 #define __ev_get_spefscr_funf() (__builtin_spe_mfspefscr () & __SPEFSCR_FUNF)
1054 #define __ev_get_spefscr_fovf() (__builtin_spe_mfspefscr () & __SPEFSCR_FOVF)
1055 #define __ev_get_spefscr_finxe() (__builtin_spe_mfspefscr () & __SPEFSCR_FINXE)
1056 #define __ev_get_spefscr_finve() (__builtin_spe_mfspefscr () & __SPEFSCR_FINVE)
1057 #define __ev_get_spefscr_fdbze() (__builtin_spe_mfspefscr () & __SPEFSCR_FDBZE)
1058 #define __ev_get_spefscr_funfe() (__builtin_spe_mfspefscr () & __SPEFSCR_FUNFE)
1059 #define __ev_get_spefscr_fovfe() (__builtin_spe_mfspefscr () & __SPEFSCR_FOVFE)
1060 #define __ev_get_spefscr_frmc() (__builtin_spe_mfspefscr () & __SPEFSCR_FRMC)
1061
1062 static inline void
1063 __ev_clr_spefscr_field (int mask)
1064 {
1065   int i;
1066
1067   i = __builtin_spe_mfspefscr ();
1068   i &= ~mask;
1069   __builtin_spe_mtspefscr (i);
1070 }
1071
1072 #define __ev_clr_spefscr_sovh() __ev_clr_spefscr_field (__SPEFSCR_SOVH)
1073 #define __ev_clr_spefscr_sov() __ev_clr_spefscr_field (__SPEFSCR_SOV)
1074 #define __ev_clr_spefscr_finxs() __ev_clr_spefscr_field (__SPEFSCR_FINXS)
1075 #define __ev_clr_spefscr_finvs() __ev_clr_spefscr_field (__SPEFSCR_FINVS)
1076 #define __ev_clr_spefscr_fdbzs() __ev_clr_spefscr_field (__SPEFSCR_FDBZS)
1077 #define __ev_clr_spefscr_funfs() __ev_clr_spefscr_field (__SPEFSCR_FUNFS)
1078 #define __ev_clr_spefscr_fovfs() __ev_clr_spefscr_field (__SPEFSCR_FOVFS)
1079
1080 /* Set rounding mode:
1081      rnd = 0 (nearest)
1082      rnd = 1 (zero)
1083      rnd = 2 (+inf)
1084      rnd = 3 (-inf).  */
1085
1086 static inline void
1087 __ev_set_spefscr_frmc (int rnd)
1088 {
1089   int i;
1090
1091   i = __builtin_spe_mfspefscr ();
1092   i &= ~__SPEFSCR_FRMC;
1093   i |= rnd;
1094 }
1095
1096 #endif /* _SPE_H */