物理学者(ポスドク)による日々の研究生活のメモ書きです ( python/emacs/html/Japascript/シェルスクリプト/TeX/Mac/C言語/Linux/git/tmux/R/ポケモンGO)
■ 過去記事 : 【condor】shared libraryを使ったプログラムをジョブに渡すとき
condorについて改めて調べてみたのでメモ
■ condor_q をなんども実行するのは面倒な人は、
■ 参考 : Condorを用いたグリッドスケジューリング導入実習
■ 同じジョブを複数個投入する
ただしこのままだと10個とも同じ引数や設定で実行され、出力も同じファイルにされてしまう
(2018/06/21 追記)
■ condorの内部変数をサブミットファイルに活用する
自分が知ってるのは $(Cluster) と $(Process) だけ
これを使うとこんな感じで書けて、異なる出力ファイルに収まるので便利
■ ジョブの削除
■ 計算ノードを指定する
"fedora-virt8.jp.example.org" の部分を置き換えて使う
■ 参考 : Condorを使ってみた(1)
やってみたが、うまくいかない
ジョブ投入後ずっと、idle状態でrun状態にならない・・・
■ 実行順序のあるジョブの実行方法
というのがあるらしいけど、よくわからん
通常のジョブファイルとは別のファイルを作って、condor_submit_dagというコマンドでジョブ投入をするらしい
結局知りたかったことは、ジョブを遅延させて投げる方法だけどわからん・・・・
(2018/06/21 追記)
condorのドキュメントによると、ジョブが使用するメモリーの量を指定するには
他のマクロ変数はマニュアルに載ってる
ここ( http://research.cs.wisc.edu/htcondor/manual/ ) でmacroとかvariableとかで調べると良い
便利そうなものを特に見つけられなかった・・・・
(2020/02/25 追記)
■ 優先度を上げる
ツイート
condorについて改めて調べてみたのでメモ
■ condor_q をなんども実行するのは面倒な人は、
while /bin/true ; do condor_q; sleep 2; clear; done
をaliasに登録しておけば良さそう(またはシェルスクリプトにしておくとか)■ 参考 : Condorを用いたグリッドスケジューリング導入実習
■ 同じジョブを複数個投入する
universe = vanilla
executable = hoge
arguments =
output = out.txt
error = err.txt
log = log.txt
queue 1
これの最後の1を10にすれば、同じジョブを10個投入できるexecutable = hoge
arguments =
output = out.txt
error = err.txt
log = log.txt
queue 1
ただしこのままだと10個とも同じ引数や設定で実行され、出力も同じファイルにされてしまう
(2018/06/21 追記)
■ condorの内部変数をサブミットファイルに活用する
自分が知ってるのは $(Cluster) と $(Process) だけ
これを使うとこんな感じで書けて、異なる出力ファイルに収まるので便利
Universe = vanilla
Executable = hoge
Arguments =
Output = result/out_$(Cluster).$(Process).txt
Error = result/err_$(Cluster).$(Process).txt
Log = result/log_$(Cluster).$(Process).txt
queue 1
Executable = hoge
Arguments =
Output = result/out_$(Cluster).$(Process).txt
Error = result/err_$(Cluster).$(Process).txt
Log = result/log_$(Cluster).$(Process).txt
queue 1
■ ジョブの削除
condor_rm [ID]
または
condor_rm [user name]
または
condor_rm -all
でいけるらしいまたは
condor_rm [user name]
または
condor_rm -all
■ 計算ノードを指定する
Requirements = Machine == "fedora-virt8.jp.example.org"
のようにジョブファイルに書いておけばいけるらしい"fedora-virt8.jp.example.org" の部分を置き換えて使う
■ 参考 : Condorを使ってみた(1)
やってみたが、うまくいかない
ジョブ投入後ずっと、idle状態でrun状態にならない・・・
■ 実行順序のあるジョブの実行方法
というのがあるらしいけど、よくわからん
通常のジョブファイルとは別のファイルを作って、condor_submit_dagというコマンドでジョブ投入をするらしい
結局知りたかったことは、ジョブを遅延させて投げる方法だけどわからん・・・・
(2018/06/21 追記)
condorのドキュメントによると、ジョブが使用するメモリーの量を指定するには
The request_memory command is included to ensure that the mathematica jobs match with and then execute on pool machines that provide at least 1 GByte of memory.
####################
#
# Example 3: demonstrate use of multiple # directories for data organization.
#
####################
executable = mathematica
universe = vanilla
input= test.data
output = loop.out
error= loop.error
log= loop.log
request_memory = 1 GB
initialdir = run_1
queue
initialdir = run_2
queue
みたいな書き方でいいらしい####################
#
# Example 3: demonstrate use of multiple # directories for data organization.
#
####################
executable = mathematica
universe = vanilla
input= test.data
output = loop.out
error= loop.error
log= loop.log
request_memory = 1 GB
initialdir = run_1
queue
initialdir = run_2
queue
他のマクロ変数はマニュアルに載ってる
ここ( http://research.cs.wisc.edu/htcondor/manual/ ) でmacroとかvariableとかで調べると良い
便利そうなものを特に見つけられなかった・・・・
(2020/02/25 追記)
■ 優先度を上げる
condor_prio +1 [job ID]
PR
この記事にコメントする
プロフィール
HN:coffee
職業:物理屋(自称)
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました!"
# 最終更新 2022/10/25
職業:物理屋
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST
print "先月子供が産まれました!"
# 最終更新 2022/10/25
カテゴリー
ブログ内検索
リンク
相互リンク募集中です
(Twitterにてお知らせください)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)
Demo scripts for gnuplot version 5 (gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)
gnuplotスクリプトの解説 (米澤進吾さんの個人ページ、gnuplotと言えばこのかた)
gnuplot のページ (Takeno Lab、うちのブログがリンクされていたのでリンク返し)
Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco (映画の感想をまとめられるサイト、いつもお世話になっています)
Astronomy Picture of the Day Archive (天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)
今日のほしぞら (任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)
GNUPLOTとアニメーション (応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)
読書メーター (読んだ本をリストできる便利なサイト)
flickr難民の写真置き場 (20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)
教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定 (阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)
英語論文執筆用の例文検索サービス (とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)
最新記事
(11/20)
(03/05)
(02/29)
(02/21)
(02/21)
(02/21)
(02/21)
(01/13)
(01/05)
(01/05)