-
Couldn't load subscription status.
- Fork 1.1k
AArch64 status
[bot] vpirogov edited this page Oct 28, 2025
·
160 revisions
✅ unit tests passed
✅ unit tests passed
✅ unit tests passed
| problem | oneDNN (v3.9) time(ms) | oneDNN (f9d36d) time(ms) | speedup (>1 is faster) |
|---|---|---|---|
eltwise alg=relu-dst--mode=P --eltwise --alg=relu-dst --alpha=0 --beta=0 384x384 |
0.00244 | 0.00256 | |
reorder sdt=f32 ddt=bf16--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=bf16 --stag=ba --dtag=BA8b4a 384x384 |
0.00854 | 0.00537 | |
reorder sdt=f32 ddt=bf16--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=bf16 --stag=ba --dtag=BA4b4a 384x384 |
0.0083 | 0.00537 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=abx --dtag=abx 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=axb --dtag=axb 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00464 | 0.00293 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00464 | 0.00269 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00439 | 0.00269 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=axb --dtag=axb 8x256x7x7 |
0.0061 | 0.00464 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.011 | 0.00537 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.011 | 0.00513 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.0061 | 0.00464 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.011 | 0.00488 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.011 | 0.00488 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.0061 | 0.00464 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=abx --dtag=abx 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=axb --dtag=axb 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00732 | 0.00366 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00732 | 0.00342 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00732 | 0.00342 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00708 | 0.00342 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=abx --dtag=abx 8x256x7x7 |
0.00391 | 0.0022 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=axb --dtag=axb 8x256x7x7 |
0.00391 | 0.00195 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00464 | 0.00317 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00464 | 0.00293 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00391 | 0.0022 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00439 | 0.00269 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00439 | 0.00269 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00391 | 0.0022 |
| problem | oneDNN (v3.9) time(ms) | oneDNN (49cd99) time(ms) | speedup (>1 is faster) |
|---|---|---|---|
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 12x128x64:12x64x128-n"encoder:QK-matmul:12" |
0.114 | 0.0979 | |
matmul dt=s8:s8:f32 bia-dt=f32--mode=P --matmul --dt=s8:s8:f32 --bia-dt=f32 --bia-mask=4 12x128x64:12x64x128-n"encoder:QK-matmul:12" |
0.256 | 0.225 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 12x128x128:12x128x64-n"encoder:WV-matmul:12" |
0.0903 | 0.0803 | |
matmul dt=s8:s8:f32 bia-dt=f32--mode=P --matmul --dt=s8:s8:f32 --bia-dt=f32 --bia-mask=4 12x128x128:12x128x64-n"encoder:WV-matmul:12" |
0.219 | 0.198 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 1536x128x64:1536x64x128-n"encoder:QK-matmul:12" |
12.9 | 10.3 | |
matmul dt=s8:s8:f32 bia-dt=f32--mode=P --matmul --dt=s8:s8:f32 --bia-dt=f32 --bia-mask=4 1536x128x64:1536x64x128-n"encoder:QK-matmul:12" |
26.4 | 23.4 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 1536x128x128:1536x128x64-n"encoder:WV-matmul:12" |
8.93 | 7.78 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 --attr-fpmath=bf16 12x128x64:12x64x128-n"encoder:QK-matmul:12" |
0.115 | 0.0981 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 --attr-fpmath=bf16 12x128x128:12x128x64-n"encoder:WV-matmul:12" |
0.0896 | 0.0801 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 --attr-fpmath=bf16 1536x128x64:1536x64x128-n"encoder:QK-matmul:12" |
12.8 | 10.3 | |
matmul bia-dt=f32--mode=P --matmul --bia-dt=f32 --bia-mask=4 --attr-fpmath=bf16 1536x128x128:1536x128x64-n"encoder:WV-matmul:12" |
8.98 | 7.79 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic3ih224oc64oh112kh7sh2ph3n"resnet-50:conv1" |
31.5 | 12.4 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic3ih224oc64oh112kh7sh2ph3n"resnet-50:conv1" |
31.5 | 12.4 | |
conv--mode=P --conv g1mb50ic3ih224oc64oh112kh7sh2ph3n"resnet-50:conv1" |
32.4 | 12.5 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic3ih224oc64oh112kh7sh2ph3n"resnet-50:conv1" |
32.9 | 12.5 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic256ih56oc512oh28kh1sh2ph0n"resnet-50:res3a-branch1" |
41.1 | 12.4 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic256ih56oc512oh28kh1sh2ph0n"resnet-50:res3a-branch1" |
40.9 | 12.4 | |
conv--mode=P --conv g1mb50ic256ih56oc512oh28kh1sh2ph0n"resnet-50:res3a-branch1" |
41.1 | 12.4 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic256ih56oc512oh28kh1sh2ph0n"resnet-50:res3a-branch1" |
41 | 12.4 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic256ih56oc128oh28kh1sh2ph0n"resnet-50:res3a-branch2a" |
7.9 | 3.11 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic256ih56oc128oh28kh1sh2ph0n"resnet-50:res3a-branch2a" |
7.9 | 3.12 | |
conv--mode=P --conv g1mb50ic256ih56oc128oh28kh1sh2ph0n"resnet-50:res3a-branch2a" |
7.96 | 3.14 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic256ih56oc128oh28kh1sh2ph0n"resnet-50:res3a-branch2a" |
7.96 | 3.14 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic512ih28oc1024oh14kh1sh2ph0n"resnet-50:res4a-branch1" |
24.6 | 13 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic512ih28oc1024oh14kh1sh2ph0n"resnet-50:res4a-branch1" |
24.6 | 13 | |
conv--mode=P --conv g1mb50ic512ih28oc1024oh14kh1sh2ph0n"resnet-50:res4a-branch1" |
24.7 | 13.1 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic512ih28oc1024oh14kh1sh2ph0n"resnet-50:res4a-branch1" |
24.7 | 13.1 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic512ih28oc256oh14kh1sh2ph0n"resnet-50:res4a-branch2a" |
6.77 | 3.24 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic512ih28oc256oh14kh1sh2ph0n"resnet-50:res4a-branch2a" |
6.77 | 3.24 | |
conv--mode=P --conv g1mb50ic512ih28oc256oh14kh1sh2ph0n"resnet-50:res4a-branch2a" |
6.79 | 3.25 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic512ih28oc256oh14kh1sh2ph0n"resnet-50:res4a-branch2a" |
6.79 | 3.26 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic1024ih14oc2048oh7kh1sh2ph0n"resnet-50:res5a-branch1" |
25.4 | 14.4 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic1024ih14oc2048oh7kh1sh2ph0n"resnet-50:res5a-branch1" |
25.4 | 14.4 | |
conv--mode=P --conv g1mb50ic1024ih14oc2048oh7kh1sh2ph0n"resnet-50:res5a-branch1" |
25.5 | 14.6 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic1024ih14oc2048oh7kh1sh2ph0n"resnet-50:res5a-branch1" |
25.5 | 14.6 | |
conv--mode=P --conv --dir=FWD-D g1mb50ic1024ih14oc512oh7kh1sh2ph0n"resnet-50:res5a-branch2a" |
10.9 | 3.59 | |
conv--mode=P --conv --dir=FWD-D --attr-fpmath=bf16 g1mb50ic1024ih14oc512oh7kh1sh2ph0n"resnet-50:res5a-branch2a" |
11 | 3.59 | |
conv--mode=P --conv g1mb50ic1024ih14oc512oh7kh1sh2ph0n"resnet-50:res5a-branch2a" |
11 | 3.62 | |
conv--mode=P --conv --attr-fpmath=bf16 g1mb50ic1024ih14oc512oh7kh1sh2ph0n"resnet-50:res5a-branch2a" |
11 | 3.62 | |
reorder sdt=f32 ddt=bf16--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=bf16 --stag=ba --dtag=BA8b4a 384x384 |
0.00708 | 0.00415 | |
reorder sdt=f32 ddt=bf16--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=bf16 --stag=ba --dtag=BA4b4a 384x384 |
0.00708 | 0.00415 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=abx --dtag=abx 8x256x7x7 |
0.00317 | 0.00195 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=axb --dtag=axb 8x256x7x7 |
0.00317 | 0.00195 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00366 | 0.00269 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00317 | 0.00195 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00366 | 0.0022 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00366 | 0.0022 | |
reorder sdt=f32 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=f32 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00317 | 0.00195 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=axb --dtag=axb 8x256x7x7 |
0.00464 | 0.00366 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00928 | 0.00415 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00952 | 0.00415 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00464 | 0.00366 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00952 | 0.00391 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00928 | 0.00391 | |
reorder sdt=f32 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=f32 --ddt=s8 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00464 | 0.00366 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=abx --dtag=abx 8x256x7x7 |
0.00317 | 0.00269 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=axb --dtag=axb 8x256x7x7 |
0.00317 | 0.00269 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00635 | 0.00293 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00659 | 0.00293 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00317 | 0.00269 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00635 | 0.00293 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00635 | 0.00293 | |
reorder sdt=s8 ddt=f32--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=f32 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00317 | 0.00269 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=abx --dtag=abx 8x256x7x7 |
0.00317 | 0.00171 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=axb --dtag=axb 8x256x7x7 |
0.00317 | 0.00171 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=axb --dtag=aBx4b 8x256x7x7 |
0.00391 | 0.00269 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=axb 8x256x7x7 |
0.00391 | 0.00244 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=aBx4b 8x256x7x7 |
0.00317 | 0.00171 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx4b --dtag=aBx8b 8x256x7x7 |
0.00366 | 0.0022 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx8b --dtag=aBx4b 8x256x7x7 |
0.00366 | 0.0022 | |
reorder sdt=s8 ddt=s8--mode=P --reorder --allow-enum-tags-only=false --sdt=s8 --ddt=s8 --stag=aBx8b --dtag=aBx8b 8x256x7x7 |
0.00317 | 0.00171 |