物理学者(ポスドク)による日々の研究生活のメモ書きです ( python/emacs/html/Japascript/シェルスクリプト/TeX/Mac/C言語/Linux/git/tmux/R/ポケモンGO)
python3でちょいちょいコードを書いてて計算時間が遅いことに色々とイラついてきた
本当はpythonなんか使いたくないんやけど、しょうがないから並列化処理をして早くする
幸い今回のジョブは完全に独立で走らせても最後にまとめられればOK、かつ計算の順番は問わないものなので並列化難易度はかなり低い
ひとまずpythonで並列化のためのライブラリがどんなものがあるのか調べてみた
2019年7月の記事でわかりやすくまとまってるのがあった
python3まで網羅してくれてるのでありがたい
■ 参考 : Pythonの並列処理・並行処理をしっかり調べてみた
thread : python2向けで古い
threading : python3で使える、threadの上位互換
concurrent.futures : threadingの上位互換
他にも
multiprocessing
Joblib
asyncio
とかがあるっぽい
最初の記事を読んでthreadingを使おうとしてみたけど、わからん・・・
その後、multiprocessingの方を使おうとしてみたがこれまたわからん
一応メモだけしとく・・・
■ 参考 : Python で並列処理(初めての人向け)
■ 参考 : [Python] マルチプロセスな処理を実装して、処理を高速化する
■ 参考 : pythonの並列計算(CPUの数だけ並列させる)
結局、joblibというライブラリを使って並列化する
コードはめちゃくちゃシンプル
みたいな感じ?(元のコードの名前を変えて書いたので間違ってるかも・・・)
parallel_functionという関数がもともとあって、それを並列化したい
関数の引数は色々とあるけど、dataというリストについて並列化したい
引数がいっぱいあるので、それをまとめてラッパーを用意する
Parallelという関数でラッパー関数を並列化する
out = Parallel(....というところで、dataという配列を1つ1つラッパーに渡している
みたいな感じだと思う
■ 参考 : PythonのJoblibによる並列計算について
この記事にも書いてあるけど、並列化の処理の終了順がジョブ依存なので
出力される順番もランダムになる
それを回避するには記事のように出力結果にデータのindexを入れておき、
それを後でソートする方法がある
ツイート
本当はpythonなんか使いたくないんやけど、しょうがないから並列化処理をして早くする
幸い今回のジョブは完全に独立で走らせても最後にまとめられればOK、かつ計算の順番は問わないものなので並列化難易度はかなり低い
ひとまずpythonで並列化のためのライブラリがどんなものがあるのか調べてみた
2019年7月の記事でわかりやすくまとまってるのがあった
python3まで網羅してくれてるのでありがたい
■ 参考 : Pythonの並列処理・並行処理をしっかり調べてみた
thread : python2向けで古い
threading : python3で使える、threadの上位互換
concurrent.futures : threadingの上位互換
他にも
multiprocessing
Joblib
asyncio
とかがあるっぽい
最初の記事を読んでthreadingを使おうとしてみたけど、わからん・・・
その後、multiprocessingの方を使おうとしてみたがこれまたわからん
一応メモだけしとく・・・
■ 参考 : Python で並列処理(初めての人向け)
■ 参考 : [Python] マルチプロセスな処理を実装して、処理を高速化する
■ 参考 : pythonの並列計算(CPUの数だけ並列させる)
結局、joblibというライブラリを使って並列化する
コードはめちゃくちゃシンプル
# with multiple processing by joblib
def wrapper_parallel_function(i):
parallel_function(arg1, arg2, arg3, data[i])
return data[i]
out = Parallel(n_jobs=-1)([delayed(wrapper_parallel_function)(i) for i in range(len((data)))])
def wrapper_parallel_function(i):
parallel_function(arg1, arg2, arg3, data[i])
return data[i]
out = Parallel(n_jobs=-1)([delayed(wrapper_parallel_function)(i) for i in range(len((data)))])
みたいな感じ?(元のコードの名前を変えて書いたので間違ってるかも・・・)
parallel_functionという関数がもともとあって、それを並列化したい
関数の引数は色々とあるけど、dataというリストについて並列化したい
引数がいっぱいあるので、それをまとめてラッパーを用意する
Parallelという関数でラッパー関数を並列化する
out = Parallel(....というところで、dataという配列を1つ1つラッパーに渡している
みたいな感じだと思う
■ 参考 : PythonのJoblibによる並列計算について
この記事にも書いてあるけど、並列化の処理の終了順がジョブ依存なので
出力される順番もランダムになる
それを回避するには記事のように出力結果にデータのindexを入れておき、
それを後でソートする方法がある
PR
この記事にコメントする
プロフィール
HN:coffee
職業:物理屋(自称)
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました!"
# 最終更新 2022/10/25
職業:物理屋
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました!"
# 最終更新 2022/10/25
カテゴリー
ブログ内検索
リンク
相互リンク募集中です
(Twitterにてお知らせください)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)
最新記事
(11/20)
(03/05)
(02/29)
(02/21)
(02/21)
(02/21)
(02/21)
(01/13)
(01/05)
(01/05)