忍者ブログ
日々の研究生活のメモ書きなど
■ 過去記事 : 【condor】shared libraryを使ったプログラムをジョブに渡すとき




condorについて改めて調べてみたのでメモ

■ condor_q をなんども実行するのは面倒な人は、
while /bin/true ; do condor_q; sleep 2; clear; done
をaliasに登録しておけば良さそう(またはシェルスクリプトにしておくとか)

■ 参考 : Condorを用いたグリッドスケジューリング導入実習

■ 同じジョブを複数個投入する
universe = vanilla
executable = hoge
arguments =
output = out.txt
error = err.txt
log = log.txt
queue 1
これの最後の1を10にすれば、同じジョブを10個投入できる
ただしこのままだと10個とも同じ引数や設定で実行され、出力も同じファイルにされてしまう




(2018/06/21 追記)
■ condorの内部変数をサブミットファイルに活用する
自分が知ってるのは $(Cluster) と $(Process) だけ
これを使うとこんな感じで書けて、異なる出力ファイルに収まるので便利
Universe = vanilla
Executable = hoge
Arguments =
Output = result/out_$(Cluster).$(Process).txt
Error = result/err_$(Cluster).$(Process).txt
Log = result/log_$(Cluster).$(Process).txt
queue 1





■ ジョブの削除
condor_rm [ID]
 または
condor_rm [user name]
 または
condor_rm -all
でいけるらしい


■ 計算ノードを指定する
Requirements = Machine == "fedora-virt8.jp.example.org"
のようにジョブファイルに書いておけばいけるらしい
"fedora-virt8.jp.example.org" の部分を置き換えて使う

■ 参考 : Condorを使ってみた(1)

やってみたが、うまくいかない
ジョブ投入後ずっと、idle状態でrun状態にならない・・・



■ 実行順序のあるジョブの実行方法
というのがあるらしいけど、よくわからん
通常のジョブファイルとは別のファイルを作って、condor_submit_dagというコマンドでジョブ投入をするらしい



結局知りたかったことは、ジョブを遅延させて投げる方法だけどわからん・・・・




(2018/06/21 追記)

condorのドキュメントによると、ジョブが使用するメモリーの量を指定するには
The request_memory command is included to ensure that the mathematica jobs match with and then execute on pool machines that provide at least 1 GByte of memory.

####################
#
# Example 3: demonstrate use of multiple # directories for data organization.
#
####################
executable = mathematica
universe = vanilla
input= test.data
output = loop.out
error= loop.error
log= loop.log
request_memory = 1 GB
initialdir = run_1
queue

initialdir = run_2
queue
みたいな書き方でいいらしい


他のマクロ変数はマニュアルに載ってる
ここ( http://research.cs.wisc.edu/htcondor/manual/ ) でmacroとかvariableとかで調べると良い
便利そうなものを特に見つけられなかった・・・・





(2020/02/25 追記)

■ 優先度を上げる
condor_prio +1 [job ID]










PR
この記事にコメントする
Name
Title
Color
E-Mail
URL
Comment
Password   Vodafone絵文字 i-mode絵文字 Ezweb絵文字
プロフィール
HN:coffee
職業:物理屋(自称)
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST

print "生きてます"
print "コロナのせいで15万くらい損失出してますが、生きてます"

# 最終更新 2020/03/15
カウンター
カウンター カウンター
ブログ内検索
ツイートするボタン
リンク
相互リンク募集中です (Twitterにてお知らせください)

Demo scripts for gnuplot version 5
(gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)

gnuplotスクリプトの解説
(米澤進吾さんの個人ページ、gnuplotと言えばこのかた)

gnuplot のページ
(Takeno Lab、うちのブログがリンクされていたのでリンク返し)

とある物理の院生日誌~院生は社会へ旅立った~
(研究室の先輩の個人ブログ)

英語例文を見て自然に英語・英会話を学ぶ
(楠本慶ニさんの個人ページ、様々な情報の密度の高さに感動)

Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco
(映画の感想をまとめられるサイト、いつもお世話になっています)

Astronomy Picture of the Day Archive
(天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)

今日のほしぞら
(任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)

GNUPLOTとアニメーション
(応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)

読書メーター
(読んだ本をリストできる便利なサイト)

flickr難民の写真置き場
(20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)

教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定
(阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)

英語論文執筆用の例文検索サービス
(とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)


Template "simple02" by Emile*Emilie
忍者ブログ [PR]