Line data    Source code

       1             : // Copyright (c) 2025 The Dash Core developers
       2             : // Distributed under the MIT software license, see the accompanying
       3             : // file COPYING or http://www.opensource.org/licenses/mit-license.php.
       4             : 
       5             : #if defined(ENABLE_ARM_AES)
       6             : #include <crypto/x11/sph_shavite.h>
       7             : #include <crypto/x11/util/util.hpp>
       8             : 
       9             : #include <cstdint>
      10             : #include <cstring>
      11             : 
      12             : #include <arm_neon.h>
      13             : 
      14             : namespace sapphire {
      15             : namespace {
      16    28530691 : void CompressElement(uint32_t& l0, uint32_t& l1, uint32_t& l2, uint32_t& l3,
      17             :                      uint32_t r0, uint32_t r1, uint32_t r2, uint32_t r3, const uint8x16_t* rk_words)
      18             : {
      19    28530691 :     uint8x16_t block = util::pack_le(r0, r1, r2, r3);
      20    28530691 :     block = util::Xor(block, rk_words[0]);
      21    28530691 :     block = util::Xor(util::aes_round_nk(block), rk_words[1]);
      22    28530691 :     block = util::Xor(util::aes_round_nk(block), rk_words[2]);
      23    28530691 :     block = util::Xor(util::aes_round_nk(block), rk_words[3]);
      24    28530691 :     block = util::aes_round_nk(block);
      25    28530691 :     uint32x4_t result = vreinterpretq_u32_u8(block);
      26    28530691 :     l0 ^= vgetq_lane_u32(result, 0);
      27    28530691 :     l1 ^= vgetq_lane_u32(result, 1);
      28    28530691 :     l2 ^= vgetq_lane_u32(result, 2);
      29    28530691 :     l3 ^= vgetq_lane_u32(result, 3);
      30    28530691 : }
      31             : } // anonymous namespace
      32             : 
      33             : namespace arm_crypto_shavite {
      34     1018978 : void Compress(sph_shavite_big_context *sc, const void *msg)
      35             : {
      36             :     uint32_t p0, p1, p2, p3, p4, p5, p6, p7;
      37             :     uint32_t p8, p9, pA, pB, pC, pD, pE, pF;
      38             : 
      39             :     alignas(16) uint8x16_t rk_words[448/4];
      40             :     alignas(16) uint32_t rk[448];
      41             : 
      42             : #if SPH_LITTLE_ENDIAN
      43             :     memcpy(rk, msg, 128);
      44             : #else
      45     9170767 :     for (size_t u{0}; u < 32; u += 4) {
      46     8151789 :         rk[u + 0] = sph_dec32le_aligned(
      47     8151789 :             (const unsigned char *)msg + (u << 2) +  0);
      48     8151789 :         rk[u + 1] = sph_dec32le_aligned(
      49     8151789 :             (const unsigned char *)msg + (u << 2) +  4);
      50     8151789 :         rk[u + 2] = sph_dec32le_aligned(
      51     8151789 :             (const unsigned char *)msg + (u << 2) +  8);
      52     8151789 :         rk[u + 3] = sph_dec32le_aligned(
      53     8151789 :             (const unsigned char *)msg + (u << 2) + 12);
      54     8151789 :     }
      55             : #endif
      56             : 
      57     1018978 :     size_t u{32};
      58     7132787 :     for (;;) {
      59    35663512 :         for (int s{0}; s < 4; s++) {
      60    28530725 :             uint32_t x0 = rk[u - 31];
      61    28530725 :             uint32_t x1 = rk[u - 30];
      62    28530725 :             uint32_t x2 = rk[u - 29];
      63    28530725 :             uint32_t x3 = rk[u - 32];
      64             : 
      65    28530725 :             uint32x4_t block = vreinterpretq_u32_u8(util::aes_round_nk(util::pack_le(x0, x1, x2, x3)));
      66    28530725 :             rk[u + 0] = vgetq_lane_u32(block, 0) ^ rk[u - 4];
      67    28530725 :             rk[u + 1] = vgetq_lane_u32(block, 1) ^ rk[u - 3];
      68    28530725 :             rk[u + 2] = vgetq_lane_u32(block, 2) ^ rk[u - 2];
      69    28530725 :             rk[u + 3] = vgetq_lane_u32(block, 3) ^ rk[u - 1];
      70             : 
      71    28530725 :             if (u == 32) {
      72     1019296 :                 rk[32] ^= sc->count0;
      73     1019296 :                 rk[33] ^= sc->count1;
      74     1019296 :                 rk[34] ^= sc->count2;
      75     1019296 :                 rk[35] ^= SPH_T32(~sc->count3);
      76    28530725 :             } else if (u == 440) {
      77     1018978 :                 rk[440] ^= sc->count1;
      78     1018978 :                 rk[441] ^= sc->count0;
      79     1018978 :                 rk[442] ^= sc->count3;
      80     1018978 :                 rk[443] ^= SPH_T32(~sc->count2);
      81     1018978 :             }
      82    28530725 :             u += 4;
      83             : 
      84    28530725 :             x0 = rk[u - 31];
      85    28530725 :             x1 = rk[u - 30];
      86    28530725 :             x2 = rk[u - 29];
      87    28530725 :             x3 = rk[u - 32];
      88             : 
      89    28530725 :             block = vreinterpretq_u32_u8(util::aes_round_nk(util::pack_le(x0, x1, x2, x3)));
      90    28530725 :             rk[u + 0] = vgetq_lane_u32(block, 0) ^ rk[u - 4];
      91    28530725 :             rk[u + 1] = vgetq_lane_u32(block, 1) ^ rk[u - 3];
      92    28530725 :             rk[u + 2] = vgetq_lane_u32(block, 2) ^ rk[u - 2];
      93    28530725 :             rk[u + 3] = vgetq_lane_u32(block, 3) ^ rk[u - 1];
      94             : 
      95    28530725 :             if (u == 164) {
      96     1018979 :                 rk[164] ^= sc->count3;
      97     1018979 :                 rk[165] ^= sc->count2;
      98     1018979 :                 rk[166] ^= sc->count1;
      99     1018979 :                 rk[167] ^= SPH_T32(~sc->count0);
     100    28530725 :             } else if (u == 316) {
     101     1018978 :                 rk[316] ^= sc->count2;
     102     1018978 :                 rk[317] ^= sc->count3;
     103     1018978 :                 rk[318] ^= sc->count0;
     104     1018978 :                 rk[319] ^= SPH_T32(~sc->count1);
     105     1018978 :             }
     106    28530725 :             u += 4;
     107    28530725 :         }
     108     7132787 :         if (u == 448)
     109     1018978 :             break;
     110    55024070 :         for (int s = 0; s < 8; s++) {
     111    48910261 :             rk[u + 0] = rk[u - 32] ^ rk[u - 7];
     112    48910261 :             rk[u + 1] = rk[u - 31] ^ rk[u - 6];
     113    48910261 :             rk[u + 2] = rk[u - 30] ^ rk[u - 5];
     114    48910261 :             rk[u + 3] = rk[u - 29] ^ rk[u - 4];
     115    48910261 :             u += 4;
     116    48910261 :             if (u == 448)
     117           0 :                 break;
     118    48910261 :         }
     119             :     }
     120             : 
     121   115143399 :     for (int i{0}; i < (448/4); i++) {
     122   114124421 :         rk_words[i] = vreinterpretq_u8_u32(vld1q_u32(&rk[i*4]));
     123   114124421 :     }
     124             : 
     125     1018978 :     p0 = sc->h[0x0];
     126     1018978 :     p1 = sc->h[0x1];
     127     1018978 :     p2 = sc->h[0x2];
     128     1018978 :     p3 = sc->h[0x3];
     129     1018978 :     p4 = sc->h[0x4];
     130     1018978 :     p5 = sc->h[0x5];
     131     1018978 :     p6 = sc->h[0x6];
     132     1018978 :     p7 = sc->h[0x7];
     133     1018978 :     p8 = sc->h[0x8];
     134     1018978 :     p9 = sc->h[0x9];
     135     1018978 :     pA = sc->h[0xA];
     136     1018978 :     pB = sc->h[0xB];
     137     1018978 :     pC = sc->h[0xC];
     138     1018978 :     pD = sc->h[0xD];
     139     1018978 :     pE = sc->h[0xE];
     140     1018978 :     pF = sc->h[0xF];
     141             : 
     142     1018978 :     size_t u_words{0};
     143    15284501 :     for (size_t r{0}; r < 14; r++) {
     144    14265523 :         CompressElement(p0, p1, p2, p3, p4, p5, p6, p7, &rk_words[u_words]);
     145    14265523 :         u_words += 4;
     146    14265523 :         CompressElement(p8, p9, pA, pB, pC, pD, pE, pF, &rk_words[u_words]);
     147    14265523 :         u_words += 4;
     148             : 
     149             : #define WROT(a, b, c, d)   do { \
     150             :         uint32_t t = d; \
     151             :         d = c; \
     152             :         c = b; \
     153             :         b = a; \
     154             :         a = t; \
     155             :     } while (0)
     156             : 
     157    14265523 :         WROT(p0, p4, p8, pC);
     158    14265523 :         WROT(p1, p5, p9, pD);
     159    14265523 :         WROT(p2, p6, pA, pE);
     160    14265523 :         WROT(p3, p7, pB, pF);
     161             : 
     162             : #undef WROT
     163    14265523 :     }
     164             : 
     165     1018978 :     sc->h[0x0] ^= p0;
     166     1018978 :     sc->h[0x1] ^= p1;
     167     1018978 :     sc->h[0x2] ^= p2;
     168     1018978 :     sc->h[0x3] ^= p3;
     169     1018978 :     sc->h[0x4] ^= p4;
     170     1018978 :     sc->h[0x5] ^= p5;
     171     1018978 :     sc->h[0x6] ^= p6;
     172     1018978 :     sc->h[0x7] ^= p7;
     173     1018978 :     sc->h[0x8] ^= p8;
     174     1018978 :     sc->h[0x9] ^= p9;
     175     1018978 :     sc->h[0xA] ^= pA;
     176     1018978 :     sc->h[0xB] ^= pB;
     177     1018978 :     sc->h[0xC] ^= pC;
     178     1018978 :     sc->h[0xD] ^= pD;
     179     1018978 :     sc->h[0xE] ^= pE;
     180     1018978 :     sc->h[0xF] ^= pF;
     181     1018978 : }
     182             : } // namespace arm_crypto_shavite
     183             : } // namespace sapphire
     184             : 
     185             : #endif // ENABLE_ARM_AES