mryksy.hatenablog.com Open in urlscan Pro
13.115.18.61  Public Scan

Form analysis
1 forms found in the DOM

GET https://mryksy.hatenablog.com/search

<form class="search-form" role="search" action="https://mryksy.hatenablog.com/search" method="get">
  <input type="text" name="q" class="search-module-input" value="" placeholder="記事を検索" required="">
  <input type="submit" value="検索" class="search-module-button">
</form>

Text Content

読者になる



PYTHONの勉強

この広告は、90日以上更新していないブログに表示しています。

2018-02-18


PANDASの使い方 〜列名や行名を取得する〜

Pandas Python

csvやtsvなどの行列データを扱うのに便利なライブラリであるpandasについて解説。データフレームの列名、行名の取得方法について。


動作環境の確認（必要なライブラリインポート）

pandasをimportする必要があります。以下を実行してエラーになった場合は、適宜インストールが必要です。anacondaをインストールするのが一番楽です。

import pandas as pd



注意事項

ここではjupyter notebookを用いて解説しています。jupyter
notebookとはどんなものかはJupyter事始めなどを参照。以下では"df1"と、変数だけで出力している箇所がありますが、通常のpythonでは"print
(df1)"といった形でprintをつけて実行する必要があります。

--------------------------------------------------------------------------------

本例で用いるInputFile_01.csvの中身は以下の通り。

index_col,col1,co2,col3
1/1,a,aa,aaa
1/2,b,bb,bbb
1/3,c,cc,ccc

df = pd.read_csv('inputFIle_01.csv', index_col= 0)
df


col1 co2 col3 index_col 1/1 a aa aaa 1/2 b bb bbb 1/3 c cc ccc


1. 列名を取得する場合

列名を取得したい場合、<データフレームの変数名>.columnsです。インデックスオプジェクトとして取得できます。

print df.columns


Index([u'col1', u'co2', u'col3'], dtype='object')


インデックスオブジェクトではなくリストにしたい場合は、<データフレームの変数名>.columns.valuesです。

print df.columns.values


['col1' 'co2' 'col3']



2.行名を取得する場合

行名WO取得したい場合、<データフレームの変数名>.indexです。列名と同様、インデックスオブジェクトとして取得できます。

print df.index


Index([u'1/1', u'1/2', u'1/3'], dtype='object', name=u'index_col')


リストにしたい場合、列と同様にvaluesをつけます。

print df.index.values


['1/1' '1/2' '1/3']


mryksy 3年前


pandasの使い方 〜列名や行名を取得する〜


広告を非表示にする

 * もっと読む

コメントを書く
2018-02-18


PANDASの使い方 〜CSV・TSVファイルの読み込み〜

Pandas Python

csvやtsvなどの行列データを扱うのに便利なライブラリであるpandasについて解説。まずはデータの読み込み方法について。

--------------------------------------------------------------------------------


動作環境の確認（必要なライブラリインポート）

pandasをimportする必要があります。以下を実行してエラーになった場合は、適宜インストールが必要です。anacondaをインストールするのが一番楽です。

import pandas as pd



注意事項

ここではjupyter notebookを用いて解説しています。jupyter
notebookとはどんなものかはJupyter事始めなどを参照。以下では"df1"と、変数だけで出力している箇所がありますが、通常のpythonでは"print
(df1)"といった形でprintをつけて実行する必要があります。

--------------------------------------------------------------------------------


1. CSVファイル取込の基本パターン

本例で用いるInputFile_01.csvの中身は以下の通り。

col1,col2,col3
a,b,1
aa,bb,20
aaa,bbb,3

csvファイルの取込みはpd.read_csv("ファイル名")。データフレーム型に格納した結果を返します。データフレーム型は２次元の配列とイメージは同じ。それに加え、行名、列名という概念があります。
取り込みたいファイル名だけを指定した場合、1レコード目のcol1、col2、col3が列名として使用され、行名は自動的に0から昇順に振られます。

df1 = pd.read_csv(u'InputFile_01.csv')
df1


col1 col2 col3 0 a b 1 1 aa bb 20 2 aaa bbb 3


2. ヘッダーのないCSVファイル

本例で用いるInputFile_02.csvの中身は以下の通り。

a,b,1
aa,bb,20
aaa,bbb,3

csvファイルの一行目からデータが収録されている場合（csvファイルにヘッダー、つまり列名が収録されていない場合）、header=Noneを指定します。その場合、列名は0から昇順に振られます。

df2_1 = pd.read_csv(u'InputFile_02.csv', header=None)
df2_1


0 1 2 0 a b 1 1 aa bb 20 2 aaa bbb 3

csv読み込みと同時に項目名を設定したい場合は、names=[u'項目名1', u'項目名2'・・]を指定します。

df2_2 = pd.read_csv(u'InputFile_02.csv', header=None, names=[u'col1', u'col2', u'col3'])
df2_2


col1 col2 col3 0 a b 1 1 aa bb 20 2 aaa bbb 3


3. 行名をCSVファイルのとある列から指定したい場合

本例で用いるInputFile_03.csvの中身は以下の通り。

col1,col2,col3
1,aa,aaa
2,bb,bbb
3,cc,ccc

csvの先頭列にシーケンシャルNoが付与されているなど、行名にcsvファイルのとある列を指定したい場合、index_col=<列番号>を指定します。列番号は0からカウントします。

df3 = pd.read_csv(u'InputFile_03.csv', index_col=0)
df3


col2 col3 col1 1 aa aaa 2 bb bbb 3 cc ccc


4. 先頭行をスキップして読み込みたい場合

本例で用いるInputFile_04.csvの中身は以下の通り。

2018-01-04 18:00:00
col1,col2,col3
a,aa,aaa
b,bb,bbb
c,cc,ccc

ファイルによっては一行目に制御系の情報(レコードサイズや業務日付)といった情報が収録されており、読み込みたくない場合があります。その場合はskiprows=<スキップする行数>
を指定します。

df4 = pd.read_csv(u'InputFile_04.csv', skiprows=1)
df4


col1 col2 col3 0 a aa aaa 1 b bb bbb 2 c cc ccc


5. 文字コードの指定

本例で用いるInputFile_05_s-jis.csv、InputFile_05_utf8.csvの中身は以下の通り。前者の文字コードはshift-jis、後者はutf8にて記載したものです。

名前,値段
きゅうり,100
茄子,120
トマト, 60

日本語も問題なく扱えますが、文字コード(windowsだとshift-jis、Linuxやmacはutf-8)が違う場合はencodingオプションで指定する必要あります。オプションを指定しない場合、文字化けします。オプションはencoding
= <文字コード>です。例えば、Linux環境でs-jisのファイルをオプション指定なしで開こうとした場合、以下のようになります。

df5_1 = pd.read_csv(u'InputFile_05_s-jis.csv')
df5_1


���O �l�i 0 ���イ�� 100 1 �֎q 120 2 �g�}�g 60

この場合、encoding='s-jis'を入れることで文字化けせずに読み込みできます。

df5_2 = pd.read_csv(u'InputFile_05_s-jis.csv', encoding='s-jis')
df5_2


名前 値段 0 きゅうり 100 1 茄子 120 2 トマト 60

InputFile_05_utf-8.csvはutf-8のファイルです。本実行環境はLinuxなので、utf-8ならオプションがなくても文字化けしません。

df5_3 = pd.read_csv(u'InputFile_05_utf-8.csv')
df5_3


名前 値段 0 きゅうり 100 1 茄子 120 2 トマト 60

encodingですが、's-jis', 'utf_8',
'utf_8_sig'の3つを覚えていれば困ることはないかと思います。'utf_8_sig'はこれまで説明していませんでしたが、UTF-8にはBOM付きとBOM無しの2パターン有ります。BOM付きは
'utf_8_sig'、BOM無しは'utf_8'です。ここでは両者の違いの説明は割愛しますが、サクラエディタなどのエディタでひらけばどの文字コードなのかが確認できるので、それに合わせてencodingを指定します。


6. 型の指定

本例で用いるInputFile_06.csvの中身は以下の通り。

col1,col2,col3
0001,aa,0111
0002,bb,1.0
3,cc,ccc,0.01

read_csvは各列の型を自動的に判定して定義してくれます。ですが、自分が期待しない型で定義されることもあります。例えば'0001'のような値の場合、数値型とみなされ1で取り込まれます。

df6_1 = pd.read_csv(u'inputFile_06.csv')
df6_1


col1 col2 col3 0 1 aa 111.000 1 2 bb 1.000 2 3 cc 0.001

データフレーム.dtypesで各列の型が確認できます。以下のように、col1はint型、col3はfloat型で取り込まれた結果、元のcsvとは異なる文字になってしまっています。

print df6_1.dtypes


col1      int64
col2     object
col3    float64
dtype: object


型を明示的に指定したい場合、dtype = { u'項目名1' : '型名', u'項目名2' : '型名'・・}とします。主な型名は以下の通りです。

文字列 整数型 浮動小数型 'object' 'int' 'float'

df6_2 = pd.read_csv(u'inputFile_06.csv', dtype = { u'col1' : 'object', u'col3' : 'object' })
df6_2


col1 col2 col3 0 0001 aa 0111 1 0002 bb 1.0 2 3 cc 0.001

print df6_2.dtypes


col1    object
col2    object
col3    object
dtype: object


意図せずデータが欠落するのを防ぐため、全項目を文字列型('object')で読み込み、あとで必要に応じて別な型に変換するといった場合、dtype =
'object'を使います。

df6_3 = pd.read_csv(u'inputFile_06.csv', dtype = 'object')
df6_3


col1 col2 col3 0 0001 aa 0111 1 0002 bb 1.0 2 3 cc 0.001

print df6_3.dtypes


col1    object
col2    object
col3    object
dtype: object



7. TSVファイルの取込み

col1 col2    col3
a   b   1
aa  bb  20
aaa bbb 3

tsvファイル（区切り文字がtab)を読み込む場合は、read_table("ファイル名")を使用します。

df7_1 = pd.read_table(u'inputFile_07.tsv')
df7_1


col1 col2 col3 0 a b 1 1 aa bb 20 2 aaa bbb 3

もしくはread_csvを使い、delimiter = '\t'(windowsだと'¥t')を指定します。delimiter
=は区切り文字を自由に指定できるので、,(カンマ)やタブ以外の区切り文字にも対応できます。

df7_2 = pd.read_csv(u'inputFIle_07.tsv', delimiter='\t')
df7_2


col1 col2 col3 0 a b 1 1 aa bb 20 2 aaa bbb 3

mryksy 3年前


pandasの使い方 〜csv・tsvファイルの読み込み〜


広告を非表示にする

 * もっと読む

コメントを書く
2018-02-18


PYTHONの基本

Python

他の言語は多少分かるけどPythonは初めて。という人向けに基本的な書き方を説明します。

--------------------------------------------------------------------------------


1. まずは HELLOW WORLD

Python2.x系では、print ('xx')でもprint 'xx'でもOK。3.x系だとprint
('xx')のみになります。文字列は、シングルクォート、もしくはダブルクォートで括ります。

print ('Hellow World')


Hellow World


print 'Hellow World'


Hellow World


print "Hellow World"


Hellow World



2. 変数の使い方

変数の宣言（int a)は不要。数値型で扱いたい場合は、数字を変数に代入します。

a = 1
a += 1
print (a)


2


変数の型を調べたい場合はtype()を使う。

print (type(a))


<type 'int'>


文字列型の変数にしたい場合は、代入する値をシングルクォートか、ダブルクォートで括る。

b = '1'
print (type(b))


<type 'str'>


数値→文字列は、str()。文字列→数値は、int()　もしくはfloat()。

print (type(a))
print (type(str(a)))
print (type(float(a)))


<type 'int'>
<type 'str'>
<type 'float'>



3. 四則演算

四則演算の記載方法は以下の通りです。

演算子 内容 例 * 乗算 5 * 10 = 50 / 除算 4 / 2 = 2 + 加算 3 + 2 = 5 - 減算 4 - 1 = 3

また、以下の演算子もあります。

演算子 内容 例 // 除算(小数点以下切り捨て) 5 // 2 = 2 % 剰余 5 % 3 = 2 ** べき乗 3 ** 2 = 27

print (5 * 10)


50


print (4 / 2)


2


print (5 / 2)


2


print (5 // 2)


2


print (5 % 3) 


2


print (5 ** 2)


25



4. 文字列＋数値型の変数を組み合わせたPRINT

name = 'test'
allcount = 10
count = 1
print (type(name))
print(type(allcount))
print (type(count))


<type 'str'>
<type 'int'>
<type 'int'>


一番便利なのが、format()。文章中、変数を表示させたい場所に{数字}を書き、format()のカッコ内に対応する変数を記述していきます。数字は0から昇順に採番。変数がどの型かを意識する必要はないです。

print ('プログラム名{0}：全{1}回目中、{2}回目の処理です'.format(name, allcount, count))


プログラム名test：全10回目中、1回目の処理です


数値の変数を見栄え良く、001、002・・と、頭0補填したい時があるかと思います。その場合は、{数字:書式}とすれば良いです。例えば、２桁に満たない場合は頭0補填する。という場合の書式は'02d'です。

print ('プログラム名{0}：全{1:03d}回目中、{2:02d}回目の処理です'.format(name, allcount, count))


プログラム名test：全010回目中、01回目の処理です


他の方法としては、全ての変数を文字列に変換した上で、文字列 + 文字列　で文字連結したものをprintする方法もあります。

print('プログラム名' + name + ':全' +  str(allcount) + '回目中、' + str(count) + '回目の処理です')


プログラム名test:全10回目中、1回目の処理です


zfill()で頭0埋めも可能です。

print('プログラム名' + name + ':全' +  str(allcount).zfill(3) + '回目中、' + str(count).zfill(2) + '回目の処理です')


プログラム名test:全010回目中、01回目の処理です


format()の方が型を意識しなくて済む上、可読性もformat()方式の方が優れていると思うので、format()オススメ。


5. IF文の書き方

if文は以下の通り。

if  条件式:  
    処理内容  
elif 条件式:  
    処理内容  
elif 条件式:  
    処理内容  
else:  
    処理内容  

条件式の最後にコロン（：）を忘れがちなので注意。また、if文やfor文など、どこまでの行を処理内容とするかはインデントにて制御します。
例えば、

if 条件式:　　  
    処理内容1  
    処理内容2  
処理内容3  

と書いた場合、ifの条件式に合致した場合にのみ実行されるのは処理内容1と処理内容2だけです。逆に処理内容3はifの条件に合致するorしないに関わらず実行される処理になります。
インデントはスペースでもタブでも良いですが、統一する必要があります。ちなみに、python推奨はスペース4つです。

条件式で使用する比較演算子は以下の通り。

演算子 記述例 意味 == a == b aとbが等しい != a != b aとbが等しくない > a > b aがbより大きい >= a >= b
aがb以上 < a < b bがaより大きい =< a <= b bがa以上

複数の条件式を記述したい場合に使用する論理演算子は以下の通り。

演算子 記述例 意味 and a and b aかつbが真の時、真 or a or b aまたはbが真の時、真 not not a aが偽の時、真

a = 100

if a == 100:
    print ("yes")
else:
    print("no")


yes


a = 100
b = 50

if a == 100 and b == 100:
    print('case1')
elif a == 100 and b == 50:
    print('case2')
else:
    print('error')


case2


a = 100
b = 50

if a == 100 and b != 50:
    print('case1')
elif a != 100 or b == 100:
    print('case2')
else:
    print('error')


error



6. 繰り返し文の書き方


6-1. FOR文の書き方

for文の書き方は以下の通り。

for 変数 in オブジェクト:
  実行する処理1
  実行する処理2

if文同様、オブジェクトの後にコロン(:)をつける点、繰り返し対象の処理はインデントをずらす（スペースでもタブでも良いが統一する）点がポイントです。処理イメージは、リスト型や文字列などのシーケンシャルなオブジェクトの要素を先頭から順に変数iに渡し、実行する処理を行う。というものです。ちょっとわかりづらいので、実際に試してみましょう。

list = ['test1','test2','test3','test4']
for i in list:
    print (i)


test1
test2
test3
test4


name = 'Hellow World'
for i in name:
    print ('get : {0}'.format(i))


get : H
get : e
get : l
get : l
get : o
get : w
get :  
get : W
get : o
get : r
get : l
get : d


10回繰り返したいだけなのに、わざわざlist用意するのめんどくさいな・・という時は、range()を使いましょう。

for i in range(10):
    print (i)


0
1
2
3
4
5
6
7
8
9


「for 変数 in
オブジェクト:」という書き方はちょっと特殊なので最初は戸惑いますが、だんだん便利に感じてくると思います。リスト分だけ繰り返し何かの処理を行う。ということが思ったより多いので、そういう場合、すごく直接的に書けます。


6-2. WHILE文の書き方

while文の書き方は以下の通りです。

while 条件式:
    処理内容1
    処理内容2

条件式の最後にコロン(:)を記述する点、繰り返し対象の処理は、インデントをずらす（スペース、タブどれでも良いが統一する）以外は特に注意点はありません。

i = 0
while i <= 3:
    print (i)
    i += 1


0
1
2
3


pythonの基本的な書き方は以上です。

mryksy 3年前


Pythonの基本


広告を非表示にする


 * KeitaYamada
   
   この記事を、僕のブログで紹介させてください。スキルを向上させる為に、勉強をしたいと思っている人達も多いし、働きながら、学士の資格を取ろうとしている人もいる。そんな人達に、有益な仲間が増えたらいいなと思い、そのチャンスを少しでも増やしたいなと思いましたから。
   記事URL
   https://keitayamada.hatenadiary.com/entry/2020/01/23/233522
   ブログURL
   https://keitayamada.hatenadiary.com/
    
   僕は、インターネットで、プログラミングの講習をいくつも受けてきました。一番最初の言語がpythonでした。Udacityと言うMOOCSで、講座で開発環境が提供されました。PCにインストールする開発環境は、ポータブルパイソンしかなかった。
   Googleが自社内用に採用したと言う事で、有名になったと当時は聞きました。高級言語だから、用途は限定的だろうと思っていました。大掛かりなシステムならば、高速のJAVAやC/C++だろうと思っていました。
   現在、AIにもPythonが使われていると聞いて、驚いています。
   
   1年前

 * もっと読む

コメントを書く
2018-02-17


PYTHONやAIなどのアレコレを書いていこうと思います

金融系の職場でSEとして大量かつ様々なフォーマット(CSV, EXCEL,
JSON・・)のデータを加工したり、テストしたりしています。また、個人的にAIとかブロックチェーンとかも勉強したり。勉強したそれらをアウトプットしていきたいと思います。

mryksy 3年前


PythonやAIなどのアレコレを書いていこうと思います


広告を非表示にする

 * もっと読む

コメントを書く

プロフィール
mryksy
読者です 読者をやめる 読者になる 読者になる
1
このブログについて
検索

カテゴリー
 * Pandas (2)
 * Python (3)

最新記事
 * pandasの使い方 〜列名や行名を取得する〜
 * pandasの使い方 〜csv・tsvファイルの読み込み〜
 * Pythonの基本
 * PythonやAIなどのアレコレを書いていこうと思います

月別アーカイブ
 * ▼ ▶
   2018 (4)
   * 2018 / 2 (4)

リンク
 * はてなブログ
 * ブログをはじめる
 * 週刊はてなブログ
 * はてなブログPro

Pythonの勉強

Powered by Hatena Blog | ブログを報告する



スターをつけました

引用をストックしました

ストック一覧を見る 閉じる

引用するにはまずログインしてください

ログイン 閉じる

引用をストックできませんでした。再度お試しください

閉じる

限定公開記事のため引用できません。

読者です 読者をやめる 読者になる 読者になる
1