さくらたんどっとびーず » Python

Pythonのターミナルに出力する際に文字コード関係のエラーを抑制する

さくら — Mon, 14 Nov 2011 10:06:55 +0000

Python 使ってると、日本語を表示する際に処理系が勝手に文字コードを変換しようとしてエラーが出て困ったりします。
こんな感じ↓のやつです。

>>> print u'\uffff'
Traceback (most recent call last):
File "", line 1, in <module>
UnicodeEncodeError: 'euc_jp' codec can't encode character u'\uffff' in position 0:
illegal multibyte sequence

普段は放置してるのですがちょっと真剣に対応してみることにしました。
（この手の情報欲しい人はある程度 Python 詳しい人だと思いますし）グダグダ説明するような話でも無いので細かい説明は抜きで解決方法だけ書こうと思います。

以下のファイルを safe_terminal.py に保存。
import sys
import codecs

def find_encoding(fh):
if fh.encoding:
return fh.encoding
else:
return 'utf-8'

#error = 'ignore'
error = 'backslashreplace'
sys.stdout = codecs.getwriter(find_encoding(sys.stdout))(sys.stdout, error)
sys.stderr = codecs.getwriter(find_encoding(sys.stderr))(sys.stderr, error)
print 等を使うプログラムで safe_terminal.py を import する。
>>> import safe_terminal
>>> print u'\uffff'
\uffff

こんな感じで stdout / stderr に対する print や write 時に変換できない文字をバックスラッシュでエスケープするのが便利かと思います。Python に含まれるライブラリ自体を書き換える方法もありますが、サーバ何台も扱ってると面倒なのでパスって感じです。

変換できない文字を非表示にしたい場合は error = ‘ignore’ に変えてください。

参考にしたページ

PythonのUnicodeEncodeErrorを知る – HDEラボ
 Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法

あじゃじゃしたーw

Unixのターミナルからビープ音を鳴らす方法

さくら — Thu, 14 Apr 2011 06:29:09 +0000

先日30分ぐらいかかるスクリプトを実行していたのですが、終わったらビープ音で通知してくれると便利かなーと思って調べてみました。

ビープ音の文字コードは 0×7

まず基本的なこととして、ASCII コードの 0×7 は BEL となっており、（デバイス的に）適当なベル音を鳴らす文字コードとなっています。

つまり 0×7 を出力したらビープ音が鳴るってことです。

シェルから鳴らす

シェルから鳴らす場合、echo コマンドを使います。コマンドラインから 0×7 を指定するにはコントロールシーケンス ^G を入力します。

一般的なターミナルでは [CTRL]+v [CTRL]+g を連続して入力するとコントロールシーケンス ^G が入力できます。文字列 “^G” を入力しても鳴りませんので注意してください。

$ echo ^G

printf コマンドがインストールされている環境では、以下のようにビープ音を鳴らすこともできます。

printf '\007'

プログラミング言語から鳴らす

0×07 が出力できれば良いので、基本的にどのプログラミング言語からでもビープ音を鳴らすことができます。

代表的な LL 言語で鳴らす方法は以下のようになります。

# perl
print "\007";

# python
print "\007"

# ruby
print "\007"

echo "\007";
?>

全部いっしょとか言わないのw

んでわ。

さくらインターネットスタンダードプランで UTF-8 の MeCab を使う際のメモ

さくら — Sun, 25 Oct 2009 10:31:49 +0000

最近ちーと忙しいもので、ブログの間隔空ちゃってます。サーセン＞＜

あんまりあいだ空けるのもアレなので、今日はさくらインターネットのスタンダード鯖で、MeCab を UTF-8 で使う方法を簡単にご紹介。

まず MeCab は形態素解析のライブラリです。本家サイトはこちら。

MeCab: Yet Another Part-of-Speech and Morphological Analyzer

さくらインターネットのサーバには元から MeCab がインストールされてますので、単に使うだけならそのままでおkです。ただ EUC-JP 版の辞書がインスコされてますので、そのまま UTF-8 なウェブアプリで使用すると〜問題が発生します。今日ご紹介するのはそれを回避する方法です。

回避方法は簡単で、UTF-8 な辞書ファイルを別にインスコするだけです。以下、具体的なやり方。

辞書のアーカイブをサーバにアップロード
MeCab のダウンロードページから、IPA 辞書の最新版をダウンロードして、サーバにうpします。
アーカイブを展開してインスコ
以下のコマンドをおもむろに打ち込み、UTF-8 の辞書を $HOME/lib/mecab/dic/ipadic-utf8 にインスコします。インスコ先のパスは適当に変えてください。
```
% tar xvzf mecab-ipadic-2.7.0-20070610.tar.gz
% cd mecab-ipadic-2.7.0-20070610
% ./configure --with-charset=utf8 --with-dicdir=$HOME/lib/mecab/dic/ipadic-utf8
% make
% make install
```

MeCab を動かす
コマンドラインから MeCab を動かす際は、-d オプションで辞書のディレクトリを指定します。

% mecab -d ~/lib/mecab/dic/ipadic-utf8 utf8.txt
あ      フィラー,*,*,*,*,*,あ,ア,ア
ああ    感動詞,*,*,*,*,*,ああ,アア,アー
EOS

プログラムから使用する場合も基本的には同じです。以下は Python バインディングでの使用例。

import os
import MeCab
dicdir = os.path.expanduser('~/lib/mecab/dic/ipadic-utf8')
m = MeCab.Tagger ("-Ochasen -d%s" % dicdir)
print m.parse ("今日もしないとね")

ということで本日はこの辺にて。
ではでは☆