parallel_run.sh 448 B

1234567891011121314151617181920
  1. #!/bin/bash
  2. if [[ $# -lt 2 ]] ; then
  3. echo "usage: $0 stats_dir_in stats_dir_out"
  4. exit 1
  5. fi
  6. stats_dir_in="$1"
  7. stats_dir_out="$2"
  8. n_files=$(ls "$stats_dir_in" | wc -l)
  9. N=$(( $n_files / $(nproc) ))
  10. ls "$stats_dir_in" | while mapfile -n $N files_per_proc && [ ${#files_per_proc[@]} -gt 0 ]; do
  11. files="$(printf "$stats_dir_in/%s" "${files_per_proc[@]}")"
  12. python3 get_w.py "$stats_dir_out" $files &
  13. done
  14. wait
  15. echo "all done"