物理学者(ポスドク)による日々の研究生活のメモ書きです ( python/emacs/html/Japascript/シェルスクリプト/TeX/Mac/C言語/Linux/git/tmux/R/ポケモンGO)
cgi-binからpythonスクリプトを起動する
このとき、すでにそのスクリプトが走っていると多重起動することになる
たぶんちゃんと動くけど、実行速度が遅くなってしまうのでよろしくない
そこで、同時に同じスクリプトが走らないような仕組みを作る必要がある
最初に見つけたのはこの記事
■ 過去記事 : pythonでプロセスの多重起動を防ぐ
python内で、シェルコマンドのpsとかgrepを走らせてその返り値が1かどうかを見てる
1なら同名のスクリプトは1つしか走っていない
けど、実際にこれを動かしてみると、子プロセスがめっちゃできたのと、
もし同じプロセスが4つ走ったときにそれが順次終了していくのを判定する方法がないことに気づいた
4つ走ってたら、最初の1つは正常に終了するけど、残りの3つはそれよりも前に走っていたプロセスが終了したかどうか知る術がない
そこで、プロセスのcpu経過時間を比較しようと思った
cpu時間はpsコマンドにオプションをつければ取れるので、↑のコマンドを書き変えれば動くはず
けど、cpu時間の比較とかめんどくさくないか・・・？ とふと不安になる
0:30:00 と0:25:00
でどっちが早く始まったか？
cpu時間の比較もやりたくなくなったので、他の方法を考えた
「より古いプロセスはプロセスIDの数字(PID)が小さい」
ということを使えば良さそう
ターミナル上でPIDを取得するコマンドは
while Trueでとりあえずループさせる
もし、他の同名のスクリプトのジョブが走ってた場合は
それらが終わるまでsleepで待機
2秒おきにif文でチェック
my_pid = os.getpid()
で、今のジョブのプロセスIDを取得
cmd = "ps -ef | grep %s | grep -v 'grep' | awk '{ print $2 }'" % (job_name)
pids = subprocess.check_output(cmd, shell=True, universal_newlines=True)
で、同名スクリプトのジョブのPIDを取得する
PIDはスペース区切りで並んだ文字列になってる
universal_newlines=Trueは付けていないとそのまま意味がわかる文字列になっていない(エンコードがUTF8じゃない？)
min_pid = min([ int(x) for x in pids.split() ])
それを数字に変換しつつリストに入れる
その後、最小値を探す
これで、現在走っている同名スクリプトのPIDのうち最小値が得られる
最小値 = 一番古いプロセス
if my_pid == min_pid:
で自分のプロセスよりも古いプロセスがないかどうかを判定している
ない場合は、自分の順番なのでwhileループを抜けて、スクリプトがどんどん進んでいく感じ
多重起動を防ぐ他の方法もあったのでメモしておく
■ 過去記事 : 2重起動したくない時のための起動スクリプト
■ 過去記事 : pythonで多重起動禁止
■ 過去記事 : Pythonで二重起動を防止する(改良版)
プロセスが走っている場合はロックファイルというのを作って多重起動しないようにする
ここには書いてないけど、おそらくプロセス終了時にそのファイルを削除するようなことをしないといけない
自分はこの方法を取らなかったのは、おそらく自分のスクリプトはなんらかのエラーで異常終了することがあると思うw
そのときに、きちんとロックファイルを処理しないとロックファイルが残り続けるのでスクリプトが走らないようになってしまう
いくらエラー処理をきちんとしても、100%うまくいくとは思わなかったのでやめた
■ 過去記事 : Pythonで関数をデーモン化する
デーモン化というのもあった
これはよくわからんけど、とりあえずメモ
ツイート
このとき、すでにそのスクリプトが走っていると多重起動することになる
たぶんちゃんと動くけど、実行速度が遅くなってしまうのでよろしくない
そこで、同時に同じスクリプトが走らないような仕組みを作る必要がある
最初に見つけたのはこの記事
■ 過去記事 : pythonでプロセスの多重起動を防ぐ
python内で、シェルコマンドのpsとかgrepを走らせてその返り値が1かどうかを見てる
1なら同名のスクリプトは1つしか走っていない
けど、実際にこれを動かしてみると、子プロセスがめっちゃできたのと、
もし同じプロセスが4つ走ったときにそれが順次終了していくのを判定する方法がないことに気づいた
4つ走ってたら、最初の1つは正常に終了するけど、残りの3つはそれよりも前に走っていたプロセスが終了したかどうか知る術がない
そこで、プロセスのcpu経過時間を比較しようと思った
cpu時間はpsコマンドにオプションをつければ取れるので、↑のコマンドを書き変えれば動くはず
けど、cpu時間の比較とかめんどくさくないか・・・？ とふと不安になる
0:30:00 と0:25:00
でどっちが早く始まったか？
cpu時間の比較もやりたくなくなったので、他の方法を考えた
「より古いプロセスはプロセスIDの数字(PID)が小さい」
ということを使えば良さそう
ターミナル上でPIDを取得するコマンドは
ps -ef | grep name | grep -v grep | awk '{ print $2 }'
これをpythonで走らせればOKimport os # to read query
import subprocess
import time
#
# check the single job is running or not
# if the other jobs are running, wait until the end
#
def check_single_job_running(job_name):
while True:
my_pid = os.getpid()
# list up the pids
cmd = "ps -ef | grep %s | grep -v 'grep' | awk '{ print $2 }'" % (job_name)
pids = subprocess.check_output(cmd, shell=True, universal_newlines=True)
# find the minimum pid
min_pid = min([ int(x) for x in pids.split() ])
#print(pids)
#print(min_pid)
# if minimum pid == my pid, the older jobs finished, so now this job will run
if my_pid == min_pid:
break
# waiting time is set as 2 sec
time.sleep(2)
job_name = os.path.basename(__file__)
check_single_job_running(job_name)
たぶんこんな感じでOKimport subprocess
import time
#
# check the single job is running or not
# if the other jobs are running, wait until the end
#
def check_single_job_running(job_name):
while True:
my_pid = os.getpid()
# list up the pids
cmd = "ps -ef | grep %s | grep -v 'grep' | awk '{ print $2 }'" % (job_name)
pids = subprocess.check_output(cmd, shell=True, universal_newlines=True)
# find the minimum pid
min_pid = min([ int(x) for x in pids.split() ])
#print(pids)
#print(min_pid)
# if minimum pid == my pid, the older jobs finished, so now this job will run
if my_pid == min_pid:
break
# waiting time is set as 2 sec
time.sleep(2)
job_name = os.path.basename(__file__)
check_single_job_running(job_name)
while Trueでとりあえずループさせる
もし、他の同名のスクリプトのジョブが走ってた場合は
それらが終わるまでsleepで待機
2秒おきにif文でチェック
my_pid = os.getpid()
で、今のジョブのプロセスIDを取得
cmd = "ps -ef | grep %s | grep -v 'grep' | awk '{ print $2 }'" % (job_name)
pids = subprocess.check_output(cmd, shell=True, universal_newlines=True)
で、同名スクリプトのジョブのPIDを取得する
PIDはスペース区切りで並んだ文字列になってる
universal_newlines=Trueは付けていないとそのまま意味がわかる文字列になっていない(エンコードがUTF8じゃない？)
min_pid = min([ int(x) for x in pids.split() ])
それを数字に変換しつつリストに入れる
その後、最小値を探す
これで、現在走っている同名スクリプトのPIDのうち最小値が得られる
最小値 = 一番古いプロセス
if my_pid == min_pid:
で自分のプロセスよりも古いプロセスがないかどうかを判定している
ない場合は、自分の順番なのでwhileループを抜けて、スクリプトがどんどん進んでいく感じ
多重起動を防ぐ他の方法もあったのでメモしておく
■ 過去記事 : 2重起動したくない時のための起動スクリプト
■ 過去記事 : pythonで多重起動禁止
■ 過去記事 : Pythonで二重起動を防止する(改良版)
プロセスが走っている場合はロックファイルというのを作って多重起動しないようにする
ここには書いてないけど、おそらくプロセス終了時にそのファイルを削除するようなことをしないといけない
自分はこの方法を取らなかったのは、おそらく自分のスクリプトはなんらかのエラーで異常終了することがあると思うw
そのときに、きちんとロックファイルを処理しないとロックファイルが残り続けるのでスクリプトが走らないようになってしまう
いくらエラー処理をきちんとしても、100%うまくいくとは思わなかったのでやめた
■ 過去記事 : Pythonで関数をデーモン化する
デーモン化というのもあった
これはよくわからんけど、とりあえずメモ
PR
この記事にコメントする
プロフィール
ＨＮ：coffee
職業：物理屋（自称）
趣味：映画鑑賞、登山
出身：大阪府の南の田舎
自己紹介：
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました！"
# 最終更新 2022/10/25
職業：物理屋
趣味：映画鑑賞、登山
出身：大阪府の南の田舎
自己紹介：
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました！"
# 最終更新 2022/10/25
カウンター
カテゴリー
ブログ内検索
リンク
相互リンク募集中です
(Twitterにてお知らせください)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる ＆ 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう！ラピュタの雷を！！」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から，例文を検索するための検索エンジン)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる ＆ 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう！ラピュタの雷を！！」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から，例文を検索するための検索エンジン)
最新記事
(11/20)
(05/17)
(05/17)
(05/09)
(03/05)
(02/29)
(02/21)
(02/21)
(02/21)
(02/21)