9. 標準ライブラリ¶

pythonで利用できる関数やメソッドは、必要最小限のもしかありません。標準以外の関数やメソッドを利用するために、モジュール(またはライブラリ呼ばれる)を追加して利用できるようにします。モジュールは、目的とする機能毎に分類されており、import文で必要なモジュールをプログラムに組み込んで利用します。クラスと関数が一式になっているものがモジュールと考えれば良いでしょう。

世の中には、非常にたくさんのモジュールが存在しますが、Pythonと一緒に配布されているものを標準ライブラリと呼びます。標準ライブラリ以外のライブラリを外部(third party)ライブラリと呼びます。第12回講義の目的は以下のとおりです。

モジュール(標準ライブラリ)のインポートの方法
代表的なライブラリの利用方法

Webプログラムやデータベース等の多数の標準ライブラリが利用できますが、ここでは、利用頻度の高い標準ライブラリを紹介します。その他の標準ライブラリは、リンク先を参照してください。 https://docs.python.org/ja/3.5/library/index.html

プログラムにモジュールを読み込むために、プログラムの先頭で以下の書式を使います。

example-01¶

import module_name                       # 特定のmoduleを読み込む
import module_name as alias              # 別名aliasでmoduleを読み込む

注釈

プログラムを自作する際、既に存在するライブラリの機能を自分で実装することは無駄以外の何物でもありません。すでに存在するライブラリを存分に使ってプログラムを作成した方が効率的ですし、間違いも少なくなります。勉強目的の場合を除いて決して車輪の再発明を行わないようしてください。標準で組み込まれているライブラリ以外にも多数のライブラリが世の中に存在します。後述するnumpyやscipy、matplotlibは、標準のpythonに含まれませんが科学技術計算で有名なライブラリです。これらライブラリを理解して使いこなすこともプログラミングの重要な要素です。

sys¶

sysモジュールで、コマンドプロンプトからsys.stdinを経由した文字の取得や出力バッファの制御、引数の取得等が可能になります。詳細はマニュアル (https://docs.python.jp/3.7/library/sys.html) を参照してもらえればと思いますが、コマンドラインからの入出力と引数の取得だけ取り扱います。

コマンドラインからpythonプログラムの実行は以下のように行います。ここで、 arg1 arg2 ...は引数で、sysモジュールを使ってプログラム中から参照できます(example-03)。

python program_name arg1 arg2 ...

注釈

一般のソフトウェアのインターフェースは、マウスでポチポチ操作する GUI(Graphical User Interface)です。一方、キーボード入力と画面の文字表示のみでコンピュータを操作するインターフェースはCUI(Character User Interface)と言います。GUIは絵や文字を使って操作できるため、使いやすい面がありますが、科学技術計算で大量のデータを取り扱う場合や複雑な処理を連続して行うことに向いていません。また、GUIはグラフィクスを描画する必要があるため、無駄に計算機のリソースを使います(その分、計算は遅くなる)。一般の人が使いやすいと思うソフトウェアを開発するためにはGUIが必須ですが、計算機の性能をフルに発揮させたい科学技術計算では、CUIがよく使われます。

コマンドラインからプログラムを実行して対話式にデータを読み込み出力するプログラムを作ってみます。CUIでの操作は、コマンドプロンプトによる操作を参照してください。コマンドプロンプトを立ち上げてプログラムを実行してみます。

プログラムの標準入力は、ファイル記述子のsys.stdinを使います。sys.stdin にreadline()メソッドを摘要すれば、1行文のデータを取得できます。print() の結果を即時出力させるために、sys.stdout.flush()を使います。

example-02¶

import sys                         # sysモジュールをimport

i = sys.stdin                      # インプット用のファイル記述子の定義
o = sys.stdout                     # アウトプット用のファイル記述子の定義

print("input anything: ", end="")  # 入力プロンプト
o.flush()                          # 出力bufferを吐き出して"input anything: "を表示
l = i.readline()                   # 1行を読み込み, 入力待ちになる
print(l, "type :", type(l))

コマンドラインからプログラムを実行する場合、引数をsys.argv(リスト変数) として受け取ることができます。

example-03¶

import sys                         # sysモジュールをimport

# python example-02.py a b c d でプログラムを実行する。
print("arg1:", sys.argv[0]) # example-02.py
print("arg2:", sys.argv[1]) # a
print("arg3:", sys.argv[2]) # b
print("arg4:", sys.argv[3]) # c
print("arg5:", sys.argv[4]) # d

argparse¶

引数制御をより詳細に取り扱うためのモジュールです。少し細かい引数制御を行いたい場合、sys.argvではなく、argparseを使った方が良いしょう。

https://docs.python.jp/3.7/library/argparse.html

sys.argvで引数を受け取る場合、引数の型や数を自分で管理せねばならず、余分にコードを書かねばなりません。argparseを使ってテンプレートに基づいた引数の受け取りを定義することで、エラー処理や引数処理を効率的に行うことができます。

example-04¶

import argparse                         # argparseモジュールをimport

# 引数解析のためのインスタンス作成
par = argparse.ArgumentParser(description="test")
par.add_argument('-f', '--files')
par.add_argument('-d', '--df', default="hoge", help="help表示の文字列")
par.add_argument('-i', '--int', help="引数を1つとる", type=int)
par.add_argument('-n', '--num', nargs=2,  help='引数を複数とる')
par.add_argument('-m', '--mat', nargs=2,  required=True,
                 help='引数は必ず指定する。')
par.add_argument('-c', '--choice', choices=["a", "b", "c"],
                 help='a, b, cの中から選ばせる')

# 引数解析を実行, '--xxxで与えた変数はargs.xxxでアクセス'
args = par.parse_args()

# 取得した引数のアクセス
print(args.df)

os.path¶

ファイルの有無(os.path.exists())を確認したり、ファイルパスとファイル名を分割 (os.splitext())する等の機能を含むモジュールです。拡張子とファイル名前を分離したり、ファイルの存在の有無を確認することができます。

https://docs.python.jp/3.7/library/os.path.html

引数で与えられたファイルの存在を確認するプログラムを作成してみます。

example-05¶

import os.path           # os.pathをimport
import sys               # sysをimport

# 引数の文字列を取得
fname = sys.argv[1]
# ファイルの有無を確認

if os.path.exists(fname) is True:
    print("{} is existing".format(fname))
else :
    print("{} is not existing".format(fname))
    exit()

# basenameとextensionを分離する
base, ext = os.path.splitext(fname)
print("basename: {}".format(base))
print("extension: {}".format(ext))

glob¶

https://docs.python.jp/3.7/library/glob.html

複数のファイルを一括して処理したい場合、ファイル名をパターンで指示することで、ファイルリストを得ることができます。

example-06¶

import glob

# 拡張子がxyzのファイル全てをfilesにリストする
files = glob.glob("*.xyz")

# ファイルリストを出力する。
for i, f in enumerate(files):
    print("{}: {}".format(i+1, f))

math (numpyで代用可)¶

sinやcos, log等の数学関数を扱うためのモジュールです。mathで扱うすべて関数やメソッドは、後述するnumpyで代用できます。numpyをimportする場合、あえてmathをimportする必要はないのですが、ここでは少しだけmathの機能に触れることにします。 https://docs.python.jp/3.7/library/math.html

馴染みのある数学関数をあげています。sin(), cos()等を計算する場合、角度は全てradianで与えることい注意してください。radianとdegree(度)の変換は以下のとおり。

\[ \begin{align}\begin{aligned}&\theta ({\rm radian}) = \theta ({\rm degree}) \times \pi/180\\&\theta ({\rm degree}) = \theta ({\rm radian}) \times 180/\pi\end{aligned}\end{align} \]

数学関数一覧¶
メソッド	機能
math.sin()	$\sin(\theta)$ の計算。xはラジアンで与えることに注意。
math.cos()	$\cos(\theta)$ の計算。xはラジアンで与えることに注意。
math.tan()	$\tan(\theta)$ の計算。xはラジアンで与えることに注意。
math.acos()	$\cos^{-1}(x)$ の計算。返り値はラジアンになることに注意。
math.asin()	$\sin^{-1}(x)$ の計算。返り値はラジアンになることに注意。
math.atan()	$\tan^{-1}(x)$ の計算。返り値はラジアンになることに注意。
math.log()	自然対数 $\log(x)$ の計算。
math.exp()	指数対数 $\exp(x)$ の計算。
math.sqrt()	平方根 $\sqrt{x}$ の計算。
math.log10()	常用対数(底が10) $\log(x)$ の計算。

数学関数を使った例を示します。

example-07¶

import math

# パイの出力
import math

print("pi = {:6f}".format(math.pi))  # パイ 3.14159...
print("e = {:6f}".format(math.e))    # 自然対数の底 2.71828...
print("sin(180) = {:6f}".format(math.sin(math.pi)))  # 0.0
print("cos(30) = {:6f}".format(math.cos(math.pi/6))) # 0.866..
print("exp(0.1) = {:6f}".format(math.exp(0.1)))      # 1.105..
print("log10(0.1) = {:6f}".format(math.log10(0.1)))  # -1

# 逆関数, radianで値を返すので注意, math.degrees()で変換しても同じ
c = math.sqrt(3)/2
print("cos-1(sqrt(3)/2) = {:6f}".format(math.acos(c) * 180/math.pi))

数学関数以外のメソッドを4つだけ挙げます。

数学関数以外のメソッド¶
メソッド	機能
math.floor()	引数で実数を与えて、実数の切り捨て値(床)を返す。(1.2や1.9ならば1, -0.9ならば-1)
math.ceil()	引数で実数を与えて、実数の切り上げ値(天井)を返す。(1.2や1.9ならば2, -0.9ならば0)
math.degrees()	radianをdegreeに変換した結果を返す。
math.radian()	degreeをradianに変換した結果を返す。

floor()とceil()関数の例を示します。

example-08¶

# math.floor()の確認
print(math.floor(-2.9))  # -3
print(math.floor(-2.1))  # -3
print(math.floor(-0.9))  # -1
print(math.floor(0.1))   # 0
print(math.floor(1.2))   # 1
print(math.floor(1.9))   # 1

# math.ceil()の確認
print(math.ceil(-2.9))   # -2
print(math.ceil(-2.1))   # -2
print(math.ceil(-0.9))   # 0
print(math.ceil(0.1))    # 1
print(math.ceil(1.2))    # 2
print(math.ceil(1.9))    # 2

random (numpyで代用可)¶

擬似乱数(pseudo random number)を生成します。乱数とは、デタラメな数字のことです。乱数を使って1から6までのデタラメな数字を吐き出すことができれば、コンピュータにサイコロを振らせることを考えます。乱数を利用するために、randomモジュールを使います。擬似乱数の発生もnumpyで代用できます。

https://docs.python.jp/3.7/library/random.html

乱数を生成するために、seedを与えます。同じseedを与えれば、生成される乱数は、同じになります。seedを与えなければ、実行した日付と時刻からseedを与える(いつもunique)ので、常に異なる乱数が生成されます。

math.floor()と合わせてサイコロを10回ふる実験を行ってみます。

example-09¶

import random    # randomモジュールをimport
import math      # mathモジュールをimport

random.seed(10)  # seedとして10を与える。
for i in range(10):
    n = random.random()              # nは 0から1までの実数 [0, 6)
    n = n * 6                        # nは 0から6までの実数 [0, 6)
    p = math.floor(n)                # pは0, 1, 2, 3, 4, 5のどれか
    s = "{}回の目 = {}"              # 表示用の文字列
    print(s.format(i, p+1))          # 出力

re¶

正規表現とは、文字列の集合を一つの文字列で表現する方法です。文字列を柔軟に選択したり置換することができます。任意の文字列を表現する メタキャラクタ文字 、文字列の繰り返しを指定する 量指定子 、文字列の場所を指定する アンカー指定子 を組み合わせて柔軟に文字列の集合を表現することができます。詳細はリンクを参照してください。 https://docs.python.jp/3.7/library/re.html

メタキャラクタ文字の一覧¶
メタキャラクタ	意味
.	任意の1文字
w	英単語を構成する文字(a~z,A~Z,_,1~9)
W	英単語を構成する文字以外
s	空白文字(半角スペース,タブ,改行,キャリッジリターン)
S	空白文字以外
d	半角数字(0-9)
D	半角数字以外
[xyz]	x, y, zのどれかに一致
[a-z]	マッチする文字の範囲を指定する表現(aからzのどれか)

量指定子一覧¶
量指定子	意味
*	0回以上の繰り返し
+	1回以上の繰り返し
{n}	n回の繰り返し
{n,}	n回以上の繰り返し
{n,m}	n回以上、m回未満の繰り返し
?	0回または1回の繰り返し

アンカー指定子¶
アンカー指定子	意味
^	文字列の先頭
$	文字列の末尾

正規表現を使って、文字列を置換したり抜き出したりしてみます。

example-10¶

import re

s = """Chiba University (千葉大学 Chiba Daigaku) and it is also
abbreviated as Chibadai (千葉大) is a national university in the city
of Chiba, Japan. It offers Doctoral degrees in education as part of a
coalition with Tokyo Gakugei University, Saitama University, and
Yokohama National University. The university was formed in 1949 from
existing educational institutions in Chiba Prefecture, and absorbed
over a period of years Chiba Medical University (1923-1960), a
preparatory department of the Tokyo Medical and Dental University,
Chiba Normal School (1872-1951), Tokyo Polytechnic High School
(1914-1951), Chiba Horticultural High School, and others. Chiba
University was reincorporated in 2010 under the National University
Corporation Act.[1][2] Chiba University has been ranked 75th on the
Asia University Rankings 2013 Top 100 by "The Times Higher Education".
"""

lines = s.split("\n")

# ***[uU]niversityだけを表示
for i, l in enumerate(lines):
    o = re.search("(\S+?) [uU]niversity", l)
    if o is not None:
        print("{}: {}".format(i + 1, o.group(0)))

# [uU]niversityをPRISONに置換
for i, l in enumerate(lines):
    lines[i] = re.sub("(\S+?) [uU]niversity", "\\1 PRISON", l)
new_s = "".join(lines)
print(new_s)

# xxxx年のリストを取得
years = re.findall("[12]\d{3}", s)
for y in years:
    print(y)

urllib¶

web上のデータをPythonでダウンロードするためのモジュールです。ここでは、 web上のURLを開いて読むためのモジュールであるurllib.requestのみ扱います。通常ファイルを開く時に、関数open()でファイル識別子を生成して、read()でファイルの内容を読み込んだと思います。

urlopen()を使って、通常ファイルと同じようにファイル識別子を作成し、 read()でウェブ上のデータを読みこむことができます。読み込んだデータは、バイトオブジェクトになるので、文字型に変更します。

https://docs.python.org/ja/3.7/library/urllib.request.html#module-urllib.request

以下のURLにあるデータを読みこんで、文字型に変更し内容を表示または別名で保存するプログラム例です。

http://chem.tf.chiba-u.jp/gacb10/lecture.files/chem_computer/files/data.csv

example-11¶

import urllib.request

host = "http://chem.tf.chiba-u.jp"
path = "/gacb10/lecture.files/chem_computer/files/data.csv"
url = host + path

o = urllib.request.urlopen(url)  # ファイル識別子の生成
body = o.read()   # web上のdata.csvを読み込み, bodyはバイトオブジェクト
body = body.decode('utf-8')  # .decode()メソッドで文字型に変換
lines = body.split("\n")    # 1行1要素のデータに分割
print(lines[2])  # 3行目のデータを表示
# web上のdata.csvをhoge.dataとして保存
o = open("hoge.data", "w")
o.write(body)

クイズ¶

Q1¶

以下のプログラムを改造して、おみくじプログラムを完成させる。プログラムを実行した後、Returnを押すとおみくじの結果を表示させます。自分で使い方を調べてrandom.choice()を使っても良いです(重要なこと)。

import sys       # sysモジュールをimport
import random    # randomモジュールをimport
import math      # mathモジュールをimport

omikuji = ["大吉: 2018年度は明るい。お金も待ち人もザクザク。",
           "中吉: 2018年度はまずます。まずまず幸せでしょう。",
           "小吉: 2018年度はそこそこ。まぁ普通かな。",
           "吉:   2018年度は普通。何事もないでしょう。",
           "凶:   2018年度は不幸。家でじっとしておこう。",
           "大凶: 2018年度は絶望的。進級もあぶないぞ!"]

print("おみくじを引くために、Returnを押してください。")

Q2¶

水分子のxyzファイル を読んでH-O-Hの角度 $\theta$ を計算する。求めた $\theta$ は度(degree)で表示すること。なお、ファイルをopenする前に 水分子のxyzファイル の有無をos.path.exists()で確認する。H-O-Hの角度は、原子座標のベクトルより以下の内積の公式を使って計算できる。

\[ \begin{align}\begin{aligned}\vec{a}\cdot \vec{b} &= |\vec{a}||\vec{b}|\cos\theta\\\theta & = \cos^{-1}\left( \frac{\vec{a}\cdot \vec{b}}{|\vec{a}||\vec{b}|} \right)\end{aligned}\end{align} \]

答え

import os
import math      # mathモジュールをimport

xyzfile = "water.xyz"

if os.path.exists(xyzfile):
    pass
else:
    print("water.xyz is not found.")
    exit()

lines = open(xyzfile).readlines()
O = [float(v) for v in lines[2].split()[1:]]
H1 = [float(v) for v in lines[3].split()[1:]]
H2 = [float(v) for v in lines[4].split()[1:]]
v1 = [H1[0] - O[0], H1[1] - O[1], H1[2] - O[2]]    
v2 = [H2[0] - O[0], H2[1] - O[1], H2[2] - O[2]]
v1_ = math.sqrt(v1[0]**2 + v1[1]**2 + v1[2]**2)
v2_ = math.sqrt(v2[0]**2 + v2[1]**2 + v2[2]**2)
term1 = v1[0]*v2[0] + v1[1]*v2[1] + v1[2]*v2[2]
term2 = v1_ * v2_
theta = math.acos(term1/term2)
print("theta = {:.2f} deg.".format(theta*180/math.pi))

Q3¶

ユーザーと10回じゃんけんをし、勝ち、負け、引き分けの数を表示するプログラムを作成する。なおグー、チョキ、パーは、sys.stdinでユーザーにグー(a)、チョキ(b)、パー(c)として入力させ、sys.stdinで読み取る。

答え

import sys
import random

win, even, lose = 0, 0, 0

c = ["a", "b", "c"]
prompt = "a(グー), b(チョキ), c(パー)のいずれかを入力してください。"
d = {"a": "グー", "b": "チョキ", "c": "パー"}
r = {0: "引き分け", 1: "あなたの勝ち", 2: "あなたの負け"}

i = 0
while(i < 10):
    print("{}: {}".format(i + 1, prompt))
    sys.stdout.flush()
    s = sys.stdin.readline().strip()   # 人間の手出し
    u = random.choice(c)               # 乱数で決めた手出し
    if s == u: # 引き分けの場合
        flag = 0
    elif s == "a" and u == "b":
        flag = 1
    elif s == "a" and u == "c":
        flag = 2
    elif s == "b" and u == "a":
        flag = 2
    elif s == "b" and u == "c":
        flag = 1
    elif s == "c" and u == "a":
        flag = 1
    elif s == "c" and u == "b":
        flag = 2
    else:
        print("a b cいずれかを入力してください。 ")
        continue
    print("あなた:{} 相手:{} 結果{}".format(d[s], d[u], r[flag]))
    if flag == 0:
        even += 1
    if flag == 1:
        win += 1
    if flag == 2:
        lose += 1
    i = i + 1

print("引き分け数: {}".format(even))
print("あなたの勝ち数: {}".format(win))
print("あなたの負け数: {}".format(lose))

Q4¶

以下のURLにある株情報が記載されたstock.csvをimport urllib.requestを用いてダウンロードする(stock.csvはcp932でエンコードされています)。

url¶

http://chem.tf.chiba-u.jp/gacb10/lecture.files/chem_computer/files/stock.csv

さらにダウンロードしたファイルを読んで、始値と終値の変化量を求め、変化量が400円以上500円未満の日付を表示する。

答え

import urllib.request

url = "http://chem.tf.chiba-u.jp/gacb10/lecture.files/chem_computer/files/stock.csv"
o = urllib.request.urlopen(url)  # ファイル識別子の生成
body = o.read().decode('cp932')
lines = body.strip().split("\n")
for line in lines[2:]:
    line = line.replace('"', '')
    d = line.split(",")
    date = d[0]
    start = float(d[1])
    end = float(d[4])
    delta = start - end
    if 400 <= delta and delta < 500:
        print(delta, date)