petsc-users

Download

[email protected]

October 2023

32 participants
41 discussions

Compilation failure of PETSc with "The procedure name of the INTERFACE block conflicts with a name in the encompassing scoping unit"
by Richter, Roland 11 Oct '23

11 Oct '23

Hei, following my last question I managed to configure PETSc with Intel MPI and Intel OneAPI using the following configure-line: ./configure --prefix=/media/storage/local_opt/petsc --with-scalar-type=complex --with-cc=mpiicc --with-cxx=mpiicpc --CPPFLAGS="-fPIC -march=native -mavx2" --CXXFLAGS="-fPIC -march=native -mavx2" --with-fc=mpiifort --with-pic=true --with-mpi=true --with-blaslapack-dir=/opt/intel/oneapi/mkl/latest/lib/intel64/ --with-openmp=true --download-hdf5=yes --download-netcdf=yes --download-chaco=no --download-metis=yes --download-slepc=yes --download-suitesparse=yes --download-eigen=yes --download-parmetis=yes --download-ptscotch=yes --download-mumps=yes --download-scalapack=yes --download-superlu=yes --download-superlu_dist=yes --with-mkl_pardiso=1 --with-boost=1 --with-boost-dir=/media/storage/local_opt/boost --download-opencascade=yes --with-fftw=1 --with-fftw-dir=/media/storage/local_opt/fftw3 --download-kokkos=yes --with-mkl_sparse=1 --with-mkl_cpardiso=1 --with-mkl_sparse_optimize=1 --download-muparser=yes --download-p4est=yes --download-sowing=yes --download-viennalcl=yes --with-zlib --force=1 --with-clean=1 --with-cuda=0 Now, however, compilation fails with the following error: /home/user/Downloads/git-files/petsc/include/../src/ksp/f90-mod/ftn-auto-int erfaces/petscpc.h90(699): error #6623: The procedure name of the INTERFACE block conflicts with a name in the encompassing scoping unit. [PCGASMCREATESUBDOMAINS2D] subroutine PCGASMCreateSubdomains2D(a,b,c,d,e,f,g,h,i,j,z) -----------------^ /home/user/Downloads/git-files/petsc/include/../src/ksp/f90-mod/ftn-auto-int erfaces/petscpc.h90(1199): error #6623: The procedure name of the INTERFACE block conflicts with a name in the encompassing scoping unit. [PCASMCREATESUBDOMAINS2D] subroutine PCASMCreateSubdomains2D(a,b,c,d,e,f,g,h,i,z) -----------------^ I'm on the latest version of origin/main, but can't figure out how to fix that issue by myself. Therefore, I'd appreciate additional insight. Thanks! Regards, Roland Richter

2 1

Galerkin projection using petsc4py
by Thanasis Boutsikakis 11 Oct '23

11 Oct '23

Hi everyone, I am trying a Galerkin projection (see MFE below) and I cannot get the Phi.transposeMatMult(A, A1) work. The error is Phi.transposeMatMult(A, A1) File "petsc4py/PETSc/Mat.pyx", line 1514, in petsc4py.PETSc.Mat.transposeMatMult petsc4py.PETSc.Error: error code 56 [0] MatTransposeMatMult() at /Users/boutsitron/firedrake/src/petsc/src/mat/interface/matrix.c:10135 [0] MatProduct_Private() at /Users/boutsitron/firedrake/src/petsc/src/mat/interface/matrix.c:9989 [0] No support for this operation for this object type [0] Call MatProductCreate() first Do you know if these exposed to petsc4py or maybe there is another way? I cannot get the MFE to work (neither in sequential nor in parallel) """Experimenting with PETSc mat-mat multiplication""" import time import numpy as np from colorama import Fore from firedrake import COMM_SELF, COMM_WORLD from firedrake.petsc import PETSc from mpi4py import MPI from numpy.testing import assert_array_almost_equal from utilities import ( Print, create_petsc_matrix, ) nproc = COMM_WORLD.size rank = COMM_WORLD.rank # -------------------------------------------- # EXP: Galerkin projection of an mpi PETSc matrix A with an mpi PETSc matrix Phi # A' = Phi.T * A * Phi # [k x k] <- [k x m] x [m x m] x [m x k] # -------------------------------------------- m, k = 11, 7 # Generate the random numpy matrices np.random.seed(0) # sets the seed to 0 A_np = np.random.randint(low=0, high=6, size=(m, m)) Phi_np = np.random.randint(low=0, high=6, size=(m, k)) # Create A as an mpi matrix distributed on each process A = create_petsc_matrix(A_np) # Create Phi as an mpi matrix distributed on each process Phi = create_petsc_matrix(Phi_np) A1 = create_petsc_matrix(np.zeros((k, m))) # Now A1 contains the result of Phi^T * A Phi.transposeMatMult(A, A1)

4 14

Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI
by Barry Smith 10 Oct '23

10 Oct '23

This tells me you cannot realistically expect for large PETSc problems to get much more than a speedup of 2 on this system using two or four MPI processes; there simply is not more memory bandwidth available. There are two NUMA regions and a single core largely saturates a region. Also, always running MPI with the binding is important to get that small speedup. Barry > On Oct 10, 2023, at 10:47 AM, Gong Yujie <yc17470(a)connect.um.edu.mo> wrote: > > Here is the result from STREAMS, lscpu and numactl. > > > -----------------------------lscpu------------------------------------ > Architecture: x86_64 > CPU op-mode(s): 32-bit, 64-bit > Byte Order: Little Endian > CPU(s): 128 > On-line CPU(s) list: 0-127 > Thread(s) per core: 1 > Core(s) per socket: 64 > Socket(s): 2 > NUMA node(s): 2 > Vendor ID: AuthenticAMD > CPU family: 23 > Model: 49 > Model name: AMD EPYC 7702 64-Core Processor > Stepping: 0 > CPU MHz: 1996.019 > BogoMIPS: 3992.03 > Virtualization: AMD-V > L1d cache: 32K > L1i cache: 32K > L2 cache: 512K > L3 cache: 16384K > NUMA node0 CPU(s): 0-63 > NUMA node1 CPU(s): 64-127 > Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc art rep_good nopl nonstop_tsc extd_apicid aperfmperf eagerfpu pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_l2 cpb cat_l3 cdp_l3 hw_pstate sme retpoline_amd ssbd ibrs ibpb stibp vmmcall fsgsbase bmi1 avx2 smep bmi2 cqm rdt_a rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local clzero irperf xsaveerptr arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold avic v_vmsave_vmload vgif umip overflow_recov succor smca > > ----------------------------numactl -H----------------------------- > available: 2 nodes (0-1) > node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 > node 0 size: 128418 MB > node 0 free: 123340 MB > node 1 cpus: 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 > node 1 size: 129010 MB > node 1 free: 124685 MB > node distances: > node 0 1 > 0: 10 32 > 1: 32 10 > > > --------------------------STREAMS---------------------------------- > > mpicc -o MPIVersion.o -c -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fstack-protector -fvisibility=hidden -g -O -I/home/tt/petsc-3.16.0/include -I/home/tt/petsc-3.16.0/arch-linux-c-opt/include `pwd`/MPIVersion.c > Running streams with 'mpiexec --oversubscribe -map-by socket --bind-to core --report-bindings' using 'NPMAX=40' > [cpunode1:68038] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 1 26155.1277 Rate (MB/s) > [cpunode1:68050] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68050] MCW rank 1 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 2 52098.6873 Rate (MB/s) 1.99191 > [cpunode1:68065] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68065] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68065] MCW rank 2 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 3 44731.8512 Rate (MB/s) 1.71025 > [cpunode1:68082] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68082] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68082] MCW rank 2 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68082] MCW rank 3 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 4 59559.5275 Rate (MB/s) 2.27717 > [cpunode1:68103] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68103] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68103] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68103] MCW rank 3 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68103] MCW rank 4 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 5 48477.2117 Rate (MB/s) 1.85345 > [cpunode1:68126] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68126] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68126] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68126] MCW rank 3 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68126] MCW rank 4 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68126] MCW rank 5 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 6 58136.2545 Rate (MB/s) 2.22275 > [cpunode1:68153] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 4 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 5 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68153] MCW rank 6 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 7 50119.2133 Rate (MB/s) 1.91623 > [cpunode1:68182] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 4 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 5 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 6 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68182] MCW rank 7 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 8 57432.5057 Rate (MB/s) 2.19584 > [cpunode1:68214] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 5 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 6 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 7 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68214] MCW rank 8 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 9 52345.9115 Rate (MB/s) 2.00137 > [cpunode1:68250] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 5 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 6 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 7 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 8 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68250] MCW rank 9 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 10 57727.5090 Rate (MB/s) 2.20712 > [cpunode1:68288] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 6 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 7 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 8 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 9 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68288] MCW rank 10 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 11 52568.6771 Rate (MB/s) 2.00988 > [cpunode1:68330] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 6 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 7 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 8 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 9 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 10 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68330] MCW rank 11 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 12 57286.7990 Rate (MB/s) 2.19027 > [cpunode1:68383] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 7 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 8 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 9 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 10 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 11 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68383] MCW rank 12 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 13 52721.4401 Rate (MB/s) 2.01572 > [cpunode1:68430] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 7 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 8 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 9 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 10 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 11 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 12 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68430] MCW rank 13 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 14 56787.2447 Rate (MB/s) 2.17117 > [cpunode1:68481] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 8 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 9 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 10 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 11 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 12 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 13 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68481] MCW rank 14 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 15 53317.0901 Rate (MB/s) 2.0385 > [cpunode1:68534] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 8 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 9 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 10 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 11 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 12 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 13 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 14 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68534] MCW rank 15 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 16 56708.7028 Rate (MB/s) 2.16817 > [cpunode1:68590] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 9 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 10 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 11 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 12 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 13 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 14 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 15 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68590] MCW rank 16 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 17 58994.6721 Rate (MB/s) 2.25557 > [cpunode1:68649] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 9 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 10 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 11 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 12 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 13 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 14 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 15 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 16 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68649] MCW rank 17 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 18 62089.5079 Rate (MB/s) 2.3739 > [cpunode1:68711] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 10 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 11 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 12 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 13 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 14 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 15 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 16 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 17 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68711] MCW rank 18 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 19 63588.1264 Rate (MB/s) 2.43119 > [cpunode1:68776] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 10 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 11 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 12 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 13 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 14 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 15 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 16 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 17 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 18 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68776] MCW rank 19 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 20 67097.8382 Rate (MB/s) 2.56538 > [cpunode1:68844] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 11 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 12 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 13 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 14 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 15 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 16 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 17 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 18 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 19 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68844] MCW rank 20 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 21 68642.9757 Rate (MB/s) 2.62446 > [cpunode1:68917] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 11 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 12 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 13 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 14 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 15 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 16 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 17 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 18 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 19 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 20 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68917] MCW rank 21 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 22 71264.2836 Rate (MB/s) 2.72468 > [cpunode1:68991] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 12 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 13 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 14 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 15 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 16 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 17 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 18 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 19 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 20 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 21 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:68991] MCW rank 22 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > 23 72876.6138 Rate (MB/s) 2.78633 > [cpunode1:69069] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 12 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 13 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 14 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 15 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 16 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 17 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 18 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 19 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 20 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 21 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 22 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69069] MCW rank 23 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > 24 75732.6676 Rate (MB/s) 2.89552 > [cpunode1:69149] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 13 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 14 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 15 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 16 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 17 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 18 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 19 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 20 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 21 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 22 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 23 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69149] MCW rank 24 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > 25 77217.0466 Rate (MB/s) 2.95227 > [cpunode1:69232] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 13 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 14 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 15 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 16 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 17 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 18 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 19 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 20 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 21 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 22 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 23 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 24 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69232] MCW rank 25 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > 26 80035.7602 Rate (MB/s) 3.06004 > [cpunode1:69318] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 14 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 15 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 16 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 17 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 18 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 19 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 20 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 21 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 22 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 23 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 24 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 25 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69318] MCW rank 26 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > 27 80846.6416 Rate (MB/s) 3.09105 > [cpunode1:69408] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 14 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 15 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 16 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 17 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 18 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 19 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 20 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 21 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 22 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 23 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 24 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 25 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 26 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69408] MCW rank 27 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > 28 83282.5335 Rate (MB/s) 3.18418 > [cpunode1:69500] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 15 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 16 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 17 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 18 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 19 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 20 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 21 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 22 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 23 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 24 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 25 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 26 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 27 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69500] MCW rank 28 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > 29 83988.1592 Rate (MB/s) 3.21116 > [cpunode1:69596] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 15 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 16 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 17 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 18 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 19 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 20 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 21 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 22 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 23 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 24 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 25 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 26 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 27 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 28 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69596] MCW rank 29 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > 30 87241.9164 Rate (MB/s) 3.33556 > [cpunode1:69707] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 16 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 17 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 18 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 19 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 20 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 21 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 22 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 23 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 24 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 25 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 26 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 27 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 28 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 29 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69707] MCW rank 30 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > 31 87821.6811 Rate (MB/s) 3.35773 > [cpunode1:69810] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 16 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 17 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 18 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 19 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 20 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 21 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 22 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 23 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 24 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 25 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 26 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 27 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 28 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 29 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 30 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69810] MCW rank 31 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > 32 90156.4778 Rate (MB/s) 3.44699 > [cpunode1:69914] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 17 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 18 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 19 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 20 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 21 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 22 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 23 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 24 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 25 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 26 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 27 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 28 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 29 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 30 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 31 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:69914] MCW rank 32 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > 33 90112.8468 Rate (MB/s) 3.44533 > [cpunode1:70021] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 17 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 18 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 19 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 20 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 21 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 22 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 23 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 24 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 25 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 26 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 27 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 28 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 29 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 30 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 31 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 32 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70021] MCW rank 33 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > 34 92366.4171 Rate (MB/s) 3.53149 > [cpunode1:70131] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 18 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 19 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 20 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 21 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 22 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 23 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 24 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 25 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 26 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 27 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 28 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 29 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 30 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 31 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 32 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 33 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70131] MCW rank 34 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > 35 91504.9533 Rate (MB/s) 3.49855 > [cpunode1:70244] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 18 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 19 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 20 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 21 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 22 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 23 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 24 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 25 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 26 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 27 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 28 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 29 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 30 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 31 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 32 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 33 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 34 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70244] MCW rank 35 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.] > 36 94404.1634 Rate (MB/s) 3.6094 > [cpunode1:70360] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 19 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 20 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 21 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 22 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 23 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 24 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 25 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 26 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 27 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 28 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 29 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 30 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 31 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 32 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 33 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 34 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 35 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70360] MCW rank 36 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.] > 37 93616.1843 Rate (MB/s) 3.57927 > [cpunode1:70479] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 19 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 20 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 21 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 22 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 23 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 24 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 25 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 26 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 27 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 28 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 29 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 30 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 31 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 32 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 33 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 34 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 35 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 36 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70479] MCW rank 37 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.] > 38 95857.0121 Rate (MB/s) 3.66495 > [cpunode1:70601] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 19 bound to socket 0[core 19[hwt 0]]: [./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 20 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 21 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 22 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 23 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 24 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 25 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 26 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 27 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 28 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 29 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 30 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 31 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 32 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 33 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 34 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 35 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 36 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 37 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70601] MCW rank 38 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.] > 39 95242.8041 Rate (MB/s) 3.64146 > [cpunode1:70726] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 19 bound to socket 0[core 19[hwt 0]]: [./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 20 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 21 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 22 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 23 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 24 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 25 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 26 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 27 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 28 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 29 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 30 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 31 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 32 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 33 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 34 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 35 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 36 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 37 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 38 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.] > [cpunode1:70726] MCW rank 39 bound to socket 1[core 83[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.] > 40 97441.9980 Rate (MB/s) 3.72554 > ------------------------------------------------ > Traceback (most recent call last): > File "process.py", line 89, in <module> > process(sys.argv[1],len(sys.argv)-2) > File "process.py", line 33, in process > speedups[i] = triads[i]/triads[0] > TypeError: 'dict_values' object does not support indexing > make[2]: [makefile:47: mpistream] Error 1 (ignored) > Traceback (most recent call last): > File "process.py", line 89, in <module> > process(sys.argv[1],len(sys.argv)-2) > File "process.py", line 33, in process > speedups[i] = triads[i]/triads[0] > TypeError: 'dict_values' object does not support indexing > make[2]: [makefile:79: mpistreams] Error 1 (ignored) > From: Barry Smith <bsmith(a)petsc.dev <mailto:[email protected]>> > Sent: Tuesday, October 10, 2023 10:39 PM > To: Gong Yujie <yc17470(a)connect.um.edu.mo <mailto:[email protected]>> > Cc: PETSc users list <petsc-users(a)mcs.anl.gov <mailto:[email protected]>> > Subject: Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI > > > Run STREAMS with > > MPI_BINDING="-map-by socket --bind-to core --report-bindings" make mpistreams > > send the result > > Also run > > lscpu > numactl -H > > if they are available on your machine, send the result > > >> On Oct 10, 2023, at 10:17 AM, Gong Yujie <yc17470(a)connect.um.edu.mo <mailto:[email protected]>> wrote: >> >> Dear Barry, >> >> I tried to use the binding as suggested by PETSc: >> mpiexec -n 4 --map-by socket --bind-to socket --report-bindings >> But it seems not improving the performance. Here is the make stream log >> >> Best Regards, >> Yujie >> >> mpicc -o MPIVersion.o -c -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fstack-protector -fvisibility=hidden -g -O -I/home/tt/petsc-3.16.0/include -I/home/tt/petsc-3.16.0/arch-linux-c-opt/include `pwd`/MPIVersion.c >> Running streams with 'mpiexec --oversubscribe ' using 'NPMAX=16' >> 1 26119.1937 Rate (MB/s) >> 2 29833.4281 Rate (MB/s) 1.1422 >> 3 65338.5050 Rate (MB/s) 2.50155 >> 4 59832.7482 Rate (MB/s) 2.29076 >> 5 48629.8396 Rate (MB/s) 1.86184 >> 6 58569.4289 Rate (MB/s) 2.24239 >> 7 63827.1144 Rate (MB/s) 2.44369 >> 8 57448.5349 Rate (MB/s) 2.19948 >> 9 61405.3273 Rate (MB/s) 2.35097 >> 10 68021.6111 Rate (MB/s) 2.60428 >> 11 71289.0422 Rate (MB/s) 2.72937 >> 12 76900.6386 Rate (MB/s) 2.94422 >> 13 80198.6807 Rate (MB/s) 3.07049 >> 14 64846.3685 Rate (MB/s) 2.48271 >> 15 83072.8631 Rate (MB/s) 3.18053 >> 16 70128.0166 Rate (MB/s) 2.68492 >> ------------------------------------------------ >> Traceback (most recent call last): >> File "process.py", line 89, in <module> >> process(sys.argv[1],len(sys.argv)-2) >> File "process.py", line 33, in process >> speedups[i] = triads[i]/triads[0] >> TypeError: 'dict_values' object does not support indexing >> make[2]: [makefile:47: mpistream] Error 1 (ignored) >> Traceback (most recent call last): >> File "process.py", line 89, in <module> >> process(sys.argv[1],len(sys.argv)-2) >> File "process.py", line 33, in process >> speedups[i] = triads[i]/triads[0] >> TypeError: 'dict_values' object does not support indexing >> make[2]: [makefile:79: mpistreams] Error 1 (ignored) >> From: Barry Smith <bsmith(a)petsc.dev <mailto:[email protected]>> >> Sent: Tuesday, October 10, 2023 9:59 PM >> To: Gong Yujie <yc17470(a)connect.um.edu.mo <mailto:[email protected]>> >> Cc: petsc-users(a)mcs.anl.gov <mailto:[email protected]> <petsc-users(a)mcs.anl.gov <mailto:[email protected]>> >> Subject: Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI >> >> >> Take a look at https://petsc.org/release/faq/#what-kind-of-parallel-computers-or-clusters-… >> >> Check the binding that OpenMPI is using (by the way, there are much more recent OpenMPI versions, I suggest using them). Run the STREAMS benchmark as indicated on that page. >> >> Barry >> >> >>> On Oct 10, 2023, at 9:27 AM, Gong Yujie <yc17470(a)connect.um.edu.mo <mailto:[email protected]>> wrote: >>> >>> Dear PETSc developers, >>> >>> I installed OpenMPI3 first and then installed PETSc with that mpi. Currently, I'm facing a scalability issue, in detail, I tested that using OpenMPI to calculate an addition of two distributed arrays and I get a good scalability. The problem is when I calculate the addition of two vectors in PETSc, I don't have any scalability. For the same size of the problem, PETSc costs a lot much time than merely using OpenMPI. >>> >>> My PETSc version is 3.16.0 and the version of OpenMPI is 3.1.4. Hope you can give me some suggestions. >>> >>> Best Regards, >>> Yujie

1 0

Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI
by Barry Smith 10 Oct '23

10 Oct '23

Run STREAMS with MPI_BINDING="-map-by socket --bind-to core --report-bindings" make mpistreams send the result Also run lscpu numactl -H if they are available on your machine, send the result > On Oct 10, 2023, at 10:17 AM, Gong Yujie <yc17470(a)connect.um.edu.mo> wrote: > > Dear Barry, > > I tried to use the binding as suggested by PETSc: > mpiexec -n 4 --map-by socket --bind-to socket --report-bindings > But it seems not improving the performance. Here is the make stream log > > Best Regards, > Yujie > > mpicc -o MPIVersion.o -c -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fstack-protector -fvisibility=hidden -g -O -I/home/tt/petsc-3.16.0/include -I/home/tt/petsc-3.16.0/arch-linux-c-opt/include `pwd`/MPIVersion.c > Running streams with 'mpiexec --oversubscribe ' using 'NPMAX=16' > 1 26119.1937 Rate (MB/s) > 2 29833.4281 Rate (MB/s) 1.1422 > 3 65338.5050 Rate (MB/s) 2.50155 > 4 59832.7482 Rate (MB/s) 2.29076 > 5 48629.8396 Rate (MB/s) 1.86184 > 6 58569.4289 Rate (MB/s) 2.24239 > 7 63827.1144 Rate (MB/s) 2.44369 > 8 57448.5349 Rate (MB/s) 2.19948 > 9 61405.3273 Rate (MB/s) 2.35097 > 10 68021.6111 Rate (MB/s) 2.60428 > 11 71289.0422 Rate (MB/s) 2.72937 > 12 76900.6386 Rate (MB/s) 2.94422 > 13 80198.6807 Rate (MB/s) 3.07049 > 14 64846.3685 Rate (MB/s) 2.48271 > 15 83072.8631 Rate (MB/s) 3.18053 > 16 70128.0166 Rate (MB/s) 2.68492 > ------------------------------------------------ > Traceback (most recent call last): > File "process.py", line 89, in <module> > process(sys.argv[1],len(sys.argv)-2) > File "process.py", line 33, in process > speedups[i] = triads[i]/triads[0] > TypeError: 'dict_values' object does not support indexing > make[2]: [makefile:47: mpistream] Error 1 (ignored) > Traceback (most recent call last): > File "process.py", line 89, in <module> > process(sys.argv[1],len(sys.argv)-2) > File "process.py", line 33, in process > speedups[i] = triads[i]/triads[0] > TypeError: 'dict_values' object does not support indexing > make[2]: [makefile:79: mpistreams] Error 1 (ignored) > From: Barry Smith <bsmith(a)petsc.dev> > Sent: Tuesday, October 10, 2023 9:59 PM > To: Gong Yujie <yc17470(a)connect.um.edu.mo> > Cc: petsc-users(a)mcs.anl.gov <petsc-users(a)mcs.anl.gov> > Subject: Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI > > > Take a look at https://petsc.org/release/faq/#what-kind-of-parallel-computers-or-clusters-… > > Check the binding that OpenMPI is using (by the way, there are much more recent OpenMPI versions, I suggest using them). Run the STREAMS benchmark as indicated on that page. > > Barry > > >> On Oct 10, 2023, at 9:27 AM, Gong Yujie <yc17470(a)connect.um.edu.mo> wrote: >> >> Dear PETSc developers, >> >> I installed OpenMPI3 first and then installed PETSc with that mpi. Currently, I'm facing a scalability issue, in detail, I tested that using OpenMPI to calculate an addition of two distributed arrays and I get a good scalability. The problem is when I calculate the addition of two vectors in PETSc, I don't have any scalability. For the same size of the problem, PETSc costs a lot much time than merely using OpenMPI. >> >> My PETSc version is 3.16.0 and the version of OpenMPI is 3.1.4. Hope you can give me some suggestions. >> >> Best Regards, >> Yujie

1 0

Scalability problem using PETSc with local installed OpenMPI
by Gong Yujie 10 Oct '23

10 Oct '23

Dear PETSc developers, I installed OpenMPI3 first and then installed PETSc with that mpi. Currently, I'm facing a scalability issue, in detail, I tested that using OpenMPI to calculate an addition of two distributed arrays and I get a good scalability. The problem is when I calculate the addition of two vectors in PETSc, I don't have any scalability. For the same size of the problem, PETSc costs a lot much time than merely using OpenMPI. My PETSc version is 3.16.0 and the version of OpenMPI is 3.1.4. Hope you can give me some suggestions. Best Regards, Yujie

3 2

'nvcc -show' Error for configure with NVCC
by Qiyue Lu 06 Oct '23

06 Oct '23

Hello, I am trying to configure PETSc(current release version) with NVCC, with these options: ./configure --with-cc=nvcc --with-cxx=nvcc --with-fc=0 --with-cuda=1 However, I got error like: --------------------------------------------------------------------------------------------- Could not execute "['nvcc -show']": nvcc fatal : Unknown option '-show' ********************************************************************************************* I wonder where this -show option comes from? It seems safe to disable this option. Thanks, Qiyue Lu

2 1

performance regression with GAMG
by Stephan Kramer 05 Oct '23

05 Oct '23

Dear petsc devs We have noticed a performance regression using GAMG as the preconditioner to solve the velocity block in a Stokes equations saddle point system with variable viscosity solved on a 3D hexahedral mesh of a spherical shell using Q2-Q1 elements. This is comparing performance from the beginning of last year (petsc 3.16.4) and a more recent petsc master (from around May this year). This is the weak scaling analysis we published in https://doi.org/10.5194/gmd-15-5127-2022 Previously the number of iterations for the velocity block (inner solve of the Schur complement) starts at 40 iterations (https://gmd.copernicus.org/articles/15/5127/2022/gmd-15-5127-2022-f10-web.p…) and only slowly going for larger problems (+more cores). Now the number of iterations now starts at 60 (https://github.com/stephankramer/petsc-scaling/blob/main/after/SPD_Combined…) same tolerances, again slowly going up with increasing size, with the cost per iteration also gone up (slightly) - resulting in an increased runtime of > 50%. The main change we can see is that the coarsening seems to have gotten a lot less aggressive at the first coarsening stage (finest->to one-but-finest) - presumably after the MIS(A^T A) -> MIS(MIS(A)) change? The performance issues might be similar to https://lists.mcs.anl.gov/mailman/htdig/petsc-users/2023-April/048366.html ? As an example at "Level 7" (6,389,890 vertices, run on 1536 cpus) on the older petsc version we had: rows=126, cols=126, bs=6 total: nonzeros=15876, allocated nonzeros=15876 -- rows=3072, cols=3072, bs=6 total: nonzeros=3344688, allocated nonzeros=3344688 -- rows=91152, cols=91152, bs=6 total: nonzeros=109729584, allocated nonzeros=109729584 -- rows=2655378, cols=2655378, bs=6 total: nonzeros=1468980252, allocated nonzeros=1468980252 -- rows=152175366, cols=152175366, bs=3 total: nonzeros=29047661586, allocated nonzeros=29047661586 Whereas with the newer version we get: rows=420, cols=420, bs=6 total: nonzeros=176400, allocated nonzeros=176400 -- rows=6462, cols=6462, bs=6 total: nonzeros=10891908, allocated nonzeros=10891908 -- rows=91716, cols=91716, bs=6 total: nonzeros=81687384, allocated nonzeros=81687384 -- rows=5419362, cols=5419362, bs=6 total: nonzeros=3668190588, allocated nonzeros=3668190588 -- rows=152175366, cols=152175366, bs=3 total: nonzeros=29047661586, allocated nonzeros=29047661586 So in the first step it coarsens from 150e6 to 5.4e6 DOFs instead of to 2.6e6 DOFs. Note that we are providing the rigid body near nullspace, hence the bs=3 to bs=6. We have tried different values for the gamg_threshold but it doesn't really seem to significantly alter the coarsening amount in that first step. Do you have any suggestions for further things we should try/look at? Any feedback would be much appreciated Best wishes Stephan Kramer Full logs including log_view timings available from https://github.com/stephankramer/petsc-scaling/ In particular: https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_5/out… https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_5/outp… https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_6/out… https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_6/outp… https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_7/out… https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_7/outp…

3 14

Compute integral using DMPlexComputeIntegralFEM
by David Andrs 05 Oct '23

05 Oct '23

Hi all! I am trying to use DMPlexComputeIntegralFEM to compute an integral $\int_\Omega u d\Omega$. My domain is a square (-1, 1)^2 (2x2 QUAD4 elements), I add first order Lagrange FE field on it, set the solution vector (computed by a previous simulation). The value I am seeing computed by PETSc is -4, but the hand-calculated value of this integral is -4.6. I also checked this in paraview using the ‘Integrate Variables’ filter and it also returns -4.6 (this was to double check that my hand-calculated value is correct). So, I must be missing something obvious in my code. Attached is the minimal PETSc code to show what I am doing. This is against PETSc 3.19.4. Thanks in advance for your help, David --

3 4

Scalapack issue
by Giselle Sosa Jones 03 Oct '23

03 Oct '23

Hello, I have a Mac with M1 chip and I struggled a lot to install PETSc on it. I did it eventually (thanks to your help), but with the latest MacOS update, things stopped working. I am trying to configure the latest version of PETSc, and I have the following error popping up: Cannot use scalapack without Fortran, make sure you do NOT have --with-fc=0 I have gfortran installed with brew. I am going to send my configure.log file to the other mailing list. Thank you for your help in advance. Best, Giselle

1 0

How to do a precondition in SNES flow
by Gong Ding 03 Oct '23

03 Oct '23

Hi all, I'd like to do a special jacobian precondition during the snes iteration, for which jacobian matrix and RHS vector must be modified explicitly. In the SNESComputeJacobian, the preconditioner P is built after assembly of jacobian matrix. I need to multiply P to J and RHS vector explicitly as left precondition before the solve stage of J*dx = rhs. However, I find that petsc evaluates function before jacobian, so P*RHS vector can not be processed at SNESComputeFunction. As a result, I must find a hook function after SNESComputeJacobian and before the solve stage. Any suggest? Gong Ding

3 6