忍者ブログ
日々の研究生活のメモ書きなど

■ pngをepsに変換する

ImageMagickのconvertコマンドでやる
convert hoge.png eps2:hoge.eps

出力先のファイル名の前に eps2: をつけるのが大事
これがないと、ファイルのサイズが10倍くらい大きくなっちゃう
eps: でもダメっぽい



■ pdfからepsに変換する
pdftops -eps hoge.pdf

でhoge.epsが生成される

pdftopsというコマンドはport経由でインストールした
sudo port install poppler









PR

こんな感じ
sh-4.2$ echo $(( 100 + 008 * 300 ))
sh: 100 + 008: value too great for base (error token is "008")
sh-4.2$ echo $(( 100 + 009 * 300 ))
sh: 100 + 009: value too great for base (error token is "009")
sh-4.2$ echo $(( 100 + 007 * 300 ))
2200
sh-4.2$ echo $(( 100 + 005 * 300 ))
1600

■ 参考 : 先頭0埋めの値の演算


原因は、頭に0が付いている数字は8進数だと考えられるらしい(どういうことかわからぬ・・・)

exprを使えば008とかでも計算できるらしいが、exprは遅いからなぁ〜・・・

まぁ、ひとまずこういうことも起こるということを覚えとけばこのトラブルは回避できそう







関連記事

■ 過去記事 : 【condor】について調べたのでメモ





condorは1つのジョブを走らせて、それを見届けてくれる
DAGmanはcondorの拡張版みたいなものっぽい

ジョブA, B, Cと3つのジョブを走らせるとして、
Aが終わったらBを、Bが終わったらCを走らせる
みたいなそれぞれのジョブを関連付けて走らせることができる

詳しくは↓にある図を見てもらうとすぐに分かるかと
■ 参考 : Workflow management with DAGMan


ジョブA→B→CみたいなのはLinear型と呼ばれるらしい
上記のページのDAGman用サブミットファイルは
######DAG file######
##### Define Jobs ###
##### JOB JobName JobDescriptionFile
JOB A0 namd_run_job0.submit
JOB A1 namd_run_job1.submit
JOB A2 namd_run_job2.submit
JOB A3 namd_run_job3.submit

##### Relationship between Jobs ###
##### PARENT JobName CHILD JobName
PARENT A0 CHILD A1
PARENT A1 CHILD A2
PARENT A2 CHILD A3
みたいな感じ

最初にジョブの名前とそれぞれのサブミットファイルを定義
その後でジョブの関連を書くっぽい



あとはジョブA〜Cの前後にプリプロセスとポストプロセスを走らせることもできるらしい
######DAG file######
##### Define Jobs ###
##### JOB JobName JobDescriptionFile
JOB A0 namd_run_job0.submit
JOB A1 namd_run_job1.submit
JOB A2 namd_run_job2.submit
JOB A3 namd_run_job3.submit

##### Relationship between Jobs ###
##### PARENT JobName CHILD JobName
PARENT A0 CHILD A1
PARENT A1 CHILD A2
PARENT A2 CHILD A3

##### PRE or POST processing of a job
##### SCRIPT PRE/POST JobName ProcessScript
SCRIPT PRE A0 pre-script-temperature.sh
SCRIPT POST A3 post-script-energy.sh

シェルスクリプトになってるけど、ファイルの入出力があるならすべて絶対パスで書く必要がありそう


他の例として、
Aが終わったらBとCを走らせる
BとCが終わったら、Dを走らせるとかしたい場合は

■ 参考 : Node Job Submit File Contents
# File name: diamond.dag
#
JOB A diamond_job.condor
JOB B diamond_job.condor
JOB C diamond_job.condor
JOB D diamond_job.condor
PARENT A CHILD B C
PARENT B C CHILD D





■ 参考 : スラッシュを置換してみる

によると、#を区切り文字に使えばいいらしい
そうすると s/aaa/bbb/g が s#aaa#bbb#g と書ける
aaaの中に/が入ってても動くようになる
echo "/123/" | sed "s#/#abc#g"
abc123abc





ffmpeg -i input.mp3 -vn -af "atempo=1.2" output.mp3

で1.2倍





■ 参考 : 【 du 】コマンド――ディスクの使用量を表示する

オプションメモ
-h : 数字をわかりやすくする、KBとかMBとかGB
-c : トータルを表示する
-d1 : どこまで深く表示するかを選べる、-d2とかみたいに
du -h -c -d1 .










前回記事
■ 参考 : 【crontab】を使ってジョブを自動化させたメモ




この後も度々crontabにお世話になっていた
そして、今日設定ファイルを修正しようとして間違ってcrontab -rを実行してしまった

rオプションはcrontabの設定ファイルをremoveするためのオプション(要するに初期化)

なんでeの隣のrにしたんだよ・・・
初期化という意味でiとかでいいやろ・・・

普通に殺意沸いたわ・・・実行してしまった自分に・・・ ガチ凹み




twitterで悲鳴をあげていたら、プロからgitで管理しろとありがたい助言を頂いた・・・

ただ、/var/spool/cron/crontab/ は管理者権限がないと見れないらしいので今回は使えない・・・

とりあえず.cshrcに
alias crontab 'crontab -i'
と追記しておいた

これでcrontab -rとしても「本気か?」って確認される
crontabからrオプションを駆逐するのは次回に持越し








scpするときに転送先に、そのディレクトリがなかった
scpのオプションでなんとかできるのかな〜と思ったけど、sshでできるらしい
ssh hoge@hoge.ac.jp mkdir new_dir

アカウント名 hoge
ssh先 hoge.ac.jp
実行するコマンド mkdir new_dir






% su
rootに切り替える
ただし今いるディレクトリからは動かない

% su -
rootに切り替える
ただし今いる場所からルートのホームディレクトリに移動する

■ 参考 : su と su - の違い


違いは - の有無
-を付けるとrootの設定ファイルを読み込む
-をつけないと設定ファイルを読み込まないので、一般ユーザーの設定したPATHとかがそのまま引き継がれる








NISを使ってパスワードを共有している計算機を使う機会があった

hogeというユーザを追加する方法は
% su
% useradd -m -g users hoge
% passwd hoge

% cd /var/yp
% make
これでOK


ユーザが自分自身でNISで共有するパスワードを変更したいときは
%yppasswd

ユーザが自分自身でログインシェルを変更したいときは
%ypchsh










sshfsコマンドを使えばOK
Macへのインストールはportでできる
sshfs @2.10 (fuse)
SSH filesystem for FUSE
使い方はsshとほぼ同じだけど、事前にローカル(手元)でディレクトリを作っておいた方がいい
(Macでは作らなくてもいけたけど、Linuxだと事前に用意必須)
sshfs ユーザ名@ssh先のホスト名:マウントするディレクトリへのPATH ローカルでのマウント位置

例えば
mkdir foo
sshfs your_name@hoge.com:/somewhere foo
Macの場合、最初に警告が出て環境設定での許可が必要だった(スクショ撮り忘れた)




マウントを解除するときは
diskutil unmount foo
fusermountを使って
fusermount -u foo
でも解除できる
uオプションなしだと
fusermount: old style mounting not supported
というエラーができて、マウントを解除できなかった


それでも無理ならpsでPIDを調べてkillコマンドで終了させる






sshfsが今やろうとしてることの要件に叶うかは微妙かも?
ssh先のファイルの処理は全部手元でやるので、ファイルを全部scpしてきてるのと変わらなかった
毎回scpしなくても1度sshfsするだけでよくなるのが利点かも






(2019/07/26 追記)

sshfsで接続したときに、接続先のディレクトリをread-onlyで接続したいときは
sshfs your_name@hoge.com:/somewhere foo -o ro
みたいにオプションを付ければOK






(2020/03/02 追記)

接続を解除しようとしたら次のエラーが出た
fusermount: failed to unmount /home/hoge/data: Device or resource busy
sudo umount -l data
と接続を解除する




(2020/04/06 追記)

エラーが出て勝手に接続が切れていた
cannot access 'hoge': Transport endpoint is not connected

一度
fusermount -u hoge
で接続を切ってから再接続するとエラーが消えた









■ 参考 : scpの使い方 -l オプション (帯域制限)

■ 参考 : rsync, wget, curl, scp に速度制限をかける方法まとめ

scp -l 8192 hoge.txt name@where:

単位は [Kbit/s]

メモ
2MB ~ 16000Kbit
1MB ~ 8000Kbit
500KB ~ 4000Kbit
100KB ~ 800Kbit










設定ファイルが読めない状況でファイル修正をしないといけなくて、やむを得ずviを使った
:qが終了なことは覚えてたけど(覚えてないと詰む)、今回は修正をしないといけなかった

修正はiで編集モード変更に切り替えて行うっぽい
モードを閲覧モードに帰るときはESC

:q セーブせずに終了
:q セーブせずに強制終了
:w セーブするが終了しない
:wq セーブして終了

検索や置き換えが簡単にできそう

今はずっとemacsを使ってるけど、正直emacsを使いこなしてるわけではないからviでもいいのかもしれん
最近はそんなにコードを書けていないから、もっと頑張らねば

■ 参考 : viエディタの使い方








めちゃくちゃ便利だわ、xargs




■ 参考 : xargsコマンドで覚えておきたい使い方・組み合わせ7個(+1個)

基本的には
コマンド1 | xargs コマンド2

パイプと似てる
パイプだと ls *.txt | wc とかみたいに左のコマンドの結果をより右に渡して実行される
xargsも同じような感じだけど、それにいろいろとオプションをつけてさらに高度なことができる



自分的に便利だと思ったのは

xargs -p : 実行するか毎回確認できる

xargs -P 2 : 同時にプロセスを複数走らせられる、この場合は2

xargs -d区切り文字 : デフォルトだとスペースになってる、これをアンダーバーとかにできる


ひとまずメモ










ただのメモ
echo "hogehoge" 1>&2







このブログで初めてcrontabのことを書く〜
crontabは定期的になんらかのコマンドを走らせるときに便利、ということは度々聞いてたけど
今回始めて使うことになってしまった・・・・

今までどうしてたかというと
sleep 3600; echo "hoge"
みたいな感じで手作業で待機させて走らせていた・・・
アナログ人間的発想って感じだ・・・ 別の言い方をすると発想がおじいちゃん






自分が走らせたかったのはただのシェルスクリプト
自分のシェルで動くことは確認済

crontabを走らせる設定は以下のコマンドで書く
crontab -e
EDITORという変数を設定していないと、viとかで編集することになるので設定しておく
setenv EDITOR "emacs -nw"
まずは動作テスト
次のようにcrontabe -eで設定する
* * * * * echo "hoge" > ~/hoge.txt
これで、1分ごとにhoge.txtが更新されるはず
ls -ltなどでhoge.txtの最終更新日が確認できる


現在の設定は
crontabe -l
で表示できる

左から
[分, 0~59] [時, 0~23] [日, 1~31] [月, 1~12] [曜日, 0~7, 0=7=日曜, またはsun~satでも指定できる] [コマンド]
に対応する

コメントアウトをしたかったら、#でそのジョブを止めれる


この次に、自分のシェルスクリプトを使って動作テストをする
が、うまく動いてくれない

何が原因で動いてくれないのかはエラー出力や標準出力がないからわかりにくい
そこで、
* * * * * echo “hoge" >>~/log1.txt 2>> ~/log2.txt
のようにして、標準出力と標準エラーをファイルに書き出す
これでエラーメッセージが読めるようになる


このあとでトラブったのがPATHやLD_LIBRARY_PATHなどの環境変数の設定
crontabを実行するときは、PATHなどがすべてリセットされてほとんど空の状態になる
シェルスクリプトを動かすのに必要なのはPATHやLD_LIBRARY_PATHくらいなのでそれをセットする
セットする方法は以下のページに何種類も提案されてる

■ 参考 : cronジョブを作るのにいつものやり方でいいんですか?

■ 参考 : cron実行時の環境変数を設定

■ 参考 : シェル上だと動くのに、CRONに登録したら動かない!!!なんでだぁー!!!を解決する為の記事です。


自分はcrontabにそのまま直書きする方法にした
50 10 * * * PATH=/usr/local/bin:/usr/bin:/bin:$HOME/bin:. LD_LIBRARY_PATH=/usr/local/lib/:$HOME/local/lib/ hoge.sh >>~/log1.txt 2>> ~/log2.txt
これで動いた





(2019/06/12 追記)
crontab -rを実行して設定ファイルの爆破に成功した方へ

■ 参考 : 【crontab】のrオプションを誤って実行してしまった人向け記事






毎時15分じゃなくて、本当に15分ごとに何かを実行したいときは
*/15 * * * * PATH=/usr/local/bin:/usr/bin:/bin:$HOME/bin:. LD_LIBRARY_PATH=/usr/local/lib/:$HOME/local/lib/ hoge.sh >>~/log1.txt 2>> ~/log2.txt

■ 参考 : 時間をずらしてcronを実行する

1-56/15とすれば毎時1分, 16分, 31分, ・・・とかもできるらしい







カレンダーを英語で表示するには、
% env LC_TIME=C cal

June 2018
Su Mo Tu We Th Fr Sa
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30


今の言語環境とかを引き継いで起動する場合は
% cal

6月 2018
日 月 火 水 木 金 土
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30





■ calコマンドのオプション

cal -y
今年の1年分のカレンダーを表示する

cal -3
先月、今月、来月の3ヶ月分を表示する

cal 6 2019
2019年6月のカレンダーを表示

cal 29 6 2019
はダメだった








■ 過去記事 : 【多段ssh】するときに楽な方法を2つ紹介

まず、4年前の自分へ
「2つめは ~/.ssh/configを活用する方法
最後まで書ききる元気がなくなったので参考リンクだけ残しておきます」
と書いていますが、今はそれをガッツリ使っています
一歩ずつではあるが着実に成長してるでぇ〜





今回はパスワードなしでssh(scp)する方法についてメモしときます

■ 過去記事 : sshの設定(passwordなしでsshログイン(scp)する)

ここが一番分かりやすいです
% ssh-keygen -t rsa

鍵の保管場所を聞かれる
デフォルトは~/.ssh/id_rsaなのでそのままenterを押して許可

パスフレーズを要求されるが、今はこれをなしにしたいのでEnterを押す
再度確認されるのでEnter
鍵が~/.ssh以下にできる

このうち公開鍵(public key)をssh先も転送する
% ssh-copy-id -i ~/.ssh/id_rsa.pub yourname@hoge.co.jp:

ログイン先にログインして、 ~/.ssh/authorized_keys というファイルがあればOK
実際に
ssh -Y yourname@hoge.co.jp
でログインできることも確認する


追加で他の人からファイルが見えないようにする設定がいるかと思ったけどいらなかった
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys




(2018/07/11 追記)

もし複数の秘密鍵を持っておきたい場合は
% ssh-keygen -t rsa -f ~/.ssh/id_rsa.hoge
のようにして出力ファイル名を指定できる

このとき、デフォルトでは~/.ssh/id_rsaの秘密鍵が読み込まれるようなので、秘密鍵を接続先に応じて使い分けたい場合は ~/.ssh/configに次のように秘密鍵の場所を指定しておくと良い
IdentityFile ~/.ssh/id_rsa.home







% [[ `echo 'AAAAAAA' | grep 'B'` ]] && echo "with B" || echo "without B"
without B
% [[ `echo 'AAAAAAAB' | grep 'B'` ]] && echo "with B" || echo "without B"
with B
■ 参考 : 文字列Aに文字列Bが含まれるか











ちょいちょい出力が違うけどメモ
sh-4.2$ ls -F fig | grep /
12113/
12114/
12115/
12116/
12118/
12134/
 

sh-4.2$ ls -l fig | grep ^d
drwxr-xr-x 2 usename hoge 4096 Jun 21 05:23 12113
drwxr-xr-x 2 usename hoge 131072 Jun 21 09:05 12114
drwxr-xr-x 2 usename hoge 4096 Jun 21 08:01 12115
drwxr-xr-x 2 usename hoge 131072 Jun 21 05:54 12116
drwxr-xr-x 2 usename hoge 131072 Jun 21 13:15 12118
drwxr-xr-x 2 usename hoge 4096 Jun 21 13:24 12134

sh-4.2$ ls -l fig | grep ^d | awk '{print $9}'
12113
12114
12115
12116
12118
12134

sh-4.2$ find fig -maxdepth 1 -type d
fig
fig/12114
fig/12118
fig/12134
fig/12116
fig/12113
fig/12115
ディレクトリじゃなくてファイルが知りたいときは
find fig -maxdepth 2 -type f






■ 指定した深さのディレクトリorファイルのみを一覧する

-depthというオプションもあったので、それでいけるかと思ったけどダメ
しょうがないのでmindepthとmaxdepthの合わせ技で・・・・・
find fig -maxdepth 2 -mindepth 1 -type d | sort -r

find fig -maxdepth 2 -mindepth 1 -type f | sort -r









実行ファイルが foo/hoge.txt というファイルを読み込んで解析をするとする
このとき、実行ファイルにfoo/hoge.txtと直書きして実行するとファイルが見つからないとエラーが出る

おそらくcondorが実行されるときに、実行ファイルを別の場所にそのままコピーして実行するので
カレントディレクトリで実行されるわけではないからこういうエラーが起こってる
じゃあ、foo/hoge.txt も一緒にコピーしてもらえばいいのではと思って少し調べた



以下のページに説明があった
■ 参考 : 2.5 Submitting a Job3
transfer_input_files = foo/hoge.txt

これでfoo/hoge.txtも転送されて解析されるかと思ったけど、ダメ


あとはサブミットファイルの中で
Initialdir = [今のでぃれくとり]

のようにもしてみたが、同じだった

結局、foo/hoge.txt を絶対PATHで書くことで解決した








quick lookで見れなくてイラッとした

まずはechoで本当に思ってるファイルがリストされてるのか確認
そのあと、mv で実際にリネームすればOK
#!/bin/sh
for i in `find . -name "*dat"`
do
mv $i ${i%.dat}.txt
#echo $i
done










以前書いた記事のおさらい+まとめみたいな感じ

■ 参考 : 【シェルスクリプト】2の累乗をfor文で回す

■ 参考 : 【シェルスクリプト】exprを使わずにより早いfor文を書く







$(())という書き方は実はもっと色々とできるっぽい
↓の記事に詳しくまとめられている

■ 参考 : bashで四則演算( -×÷)や割り算のあまり(剰余)を求めるような簡単な計算をする

・四則演算
・余りを求める $(( 5 % 3 )) とか(今回はこれが使いたかった)
・累乗を求める
・偶奇の判定、$(( なんか & 1 ))で返り値が1なら奇数、0なら偶数


ただし、$(())の最大のデメリットは整数しか扱えないこと

小数を使いたい場合はbcコマンドを使う
またはawkとかでもOKか

■ 参考 : 【シェルスクリプト】bcコマンド








まず終了ステータスについて

■ 参考 : exitコマンド(シェルを終了する)

シェルスクリプトの最後に
exit [n]
と書いた場合はnが終了コード
nを書かない場合は最後に実行したコマンドの終了コードを引き継いで正常終了する
nに数字以外を書くとエラー終了

nは0から255の数字を入れる
1のみエラー終了、それ以外は正常終了






■ 参考 : 終了ステータスを設定
終了ステータスは $? というシェル変数に代入されているので、その値を見て処理を分岐させればOK


ただし、そんな処理分岐をしなくても
command1が成功したら、command2を実行するという風に処理を進めたい場合は次のように書けばOK
command1 && command2 && command3


コマンドが失敗した場合のみ進めるというのもあるが、こっちは使いみちがあんまりわからん
代替手段をcommand2とcommand3に書いておくのかな?
command1 || command2 || command3


rm -f の終了ステータスは常に0になる
他のユーザのファイルを削除しようとした場合は1になる
とりあえずrm -f の終了ステータスは信用しないようにする







話は変わって、シェルスクリプトのset -eについて

■ 参考 : シェルスクリプトを書くときはset -euしておく

この記事ではset -euと書いてあるけど、自分が使いたいのはひとまず set -e
これはシェルスクリプトの中で、正常終了しないコマンドがあった場合はそこでシェルスクリプトの処理が止まる

set -uは未定義の変数を使おうとしたときに打ち止めしてくれるオプション
ある処理がうまくいってなくて、その結果未定義な変数があるときにちゃんと処理を止めてくれるという優れもの


ある処理1からある処理2まではset -eのオプションの機能を止めたい場合は
set +e
# ここからset -eを止めてる
#
#
#
set -e
# ここからset -eが機能してる
#
みたいにset +eを使えばOK












条件分にコロンを使う
while :
do
# なんかする
done

条件分にtrueを使う
while true
do
# なんかする
done








プロフィール
HN:coffee
職業:物理屋(自称)
趣味:映画鑑賞、登山
出身:大阪府の南の田舎
自己紹介:
import MyProfile
import coffee_pote from TWITTER
import amazonのほしい物リスト from WISH_LIST

print "生きてます"
print "コロナのせいで15万くらい損失出してますが、生きてます"

# 最終更新 2020/03/15
カウンター
カウンター カウンター
ブログ内検索
ツイートするボタン
リンク
相互リンク募集中です (Twitterにてお知らせください)

Demo scripts for gnuplot version 5
(gnuplotのさまざまなデモ画像と作り方がまとめられている、眺めているだけでできるようになった気分になれる)

gnuplotスクリプトの解説
(米澤進吾さんの個人ページ、gnuplotと言えばこのかた)

gnuplot のページ
(Takeno Lab、うちのブログがリンクされていたのでリンク返し)

とある物理の院生日誌~院生は社会へ旅立った~
(研究室の先輩の個人ブログ)

英語例文を見て自然に英語・英会話を学ぶ
(楠本慶ニさんの個人ページ、様々な情報の密度の高さに感動)

Twitterから映画の評価が分かる & 映画の鑑賞記録が残せる coco
(映画の感想をまとめられるサイト、いつもお世話になっています)

Astronomy Picture of the Day Archive
(天文や宇宙関連の最新の話題について画像とともにNASAが説明しているページ)

今日のほしぞら
(任意の時刻の空で見える星を表示してくれる、国立天文台が管理している)

GNUPLOTとアニメーション
(応用の項目の「見せてあげよう!ラピュタの雷を!!」あたりからすごすぎる)

読書メーター
(読んだ本をリストできる便利なサイト)

flickr難民の写真置き場
(20XX年、flickrは有料化の炎に包まれた。あらゆるflickr無料ユーザーは絶滅したかに見えた。 しかし、tumblr移住民は死に絶えてはいなかった。)

教授でもできるMac OS X へのLaTeX, X11, gccのインストレーションと環境設定
(阪大の山中卓さんのwebページ、タイトルにセンスが溢れている、内容は超充実してる、特にTeX関連、学振DCとかPDの申請書類作成時にはお世話になっております)

英語論文執筆用の例文検索サービス
(とんでもないものを見つけてしまった・・・・ arXivに収録されている 811,761報の 英語論文から,例文を検索するための検索エンジン)


Template "simple02" by Emile*Emilie
忍者ブログ [PR]