Pythonで、e-Statの市区町村別の人口、面積、年齢データをCSVに変換する

-

本日はちょっとPython篇。なぜっていうと、Pythonしか使えないよーって人がいるから。こういうテーブルを加工する系はR（というかdplyr）のほうが断然使いやすいとは思いますが、まあバイリンガルになるのも良いでしょう。

例えば、欲しいのは市区町村別の人口や面積や平均年齢のデータ。で、e-Statに置いてあるのを発見するも（国勢調査 都道府県・市区町村別の主な結果 都道府県・市区町村別の主な結果 | ファイル | 統計データを探す | 政府統計の総合窓口）、ファイルがエクセルだわ、列名が自治体コードと都道府県名を連結した文字列だわで、なんとも使いづらい。ちゃちゃっと加工しちゃえばいいんでしょうが、全国のいろんなところで、いろんな人が同じような作業をするのが無駄なので、サンプルコードとそれで出力されたCSVファイルを置いておきます。

やっているのは、

  • "openpyxl"でエクセルファイルを読み込みデータフレームに変換
  • 必要な行や列を取り出す
  • 正規表現で列名を加工
  • CSVファイルに書き出し
あたりです。 
import os
import openpyxl
import pandas as pd

os.chdir(r'(エクセルファイルを置いたパス)')

# ワークブックを開いた後、ワークシートを指定する
# 読み込んでいるのは、e-Statの国勢調査データ
wb = openpyxl.load_workbook('major_results_2020.xlsx')
ws = wb['第１面事項_2020年']

df = pd.DataFrame(ws.values)

# データが入っているのは9行目以降
# 0, 1, 4, 10, 11, 12列にはそれぞれ
# 都道府県、市区町村、人口、面積、平均年齢が入っている
df  = df.loc[9:, [0, 1, 4, 10, 12]]
dic = {0:'都道府県', 1:'市区町村', 4:'人口', 10:'面積', 12:'平均年齢'}
df  = df.rename(columns=dic) # 列名をつける

# アンダースコアの前の部分が、
# 全国地方公共団体コード（5桁）らしいので、
# 正規表現で、任意の文字「.」の1文字以上の繰り返し「+」を抽出する。
# 括弧の中が抽出される
df['コード'] = df['市区町村'].str.extract('(.+)_') 

# 扱いやすいように、コードの数値部分は削除して、
# 都道府県名、市区町村名は列名は文字列のみにしておく
df['都道府県'] = df['都道府県'].str.extract('_(.+)')
df['市区町村'] = df['市区町村'].str.extract('_(.+)')

# 列の順番の変更
df = df[['都道府県', '市区町村', '人口', '面積', '平均年齢']]

# CSVファイルへ出力
df.to_csv('市区町村別の人口と面積と平均年齢.csv', index = False)

上記のコードで出力されたCSVがこれになります。

"市区町村別の人口と面積と平均年齢.csv"

コメント

コメントを投稿

このブログの人気の投稿

Rのグラフで軸の目盛りの刻み幅を変更する方法

-
イメージ
Rでplotなどを使ってグラフを描くとき、x軸やy軸の目盛りは勝手に調整してくれて、大抵の場合はそれで問題ないのですが、たまにちょっと変えたい時があります。そのたびに必死で検索して調べているような気がするので、ここに書き留めておきます。 （最初の方の例はcurve関数を使ってますが、plot関数でも同様の方法でいけます） もちろん、特に指定しなくても、目盛りと目盛りのラベル（例えば、x軸の -4, -2, 0, 2, 4）は書いてくれます↓ 指定しなくても目盛りは表示される # 目盛りの幅に関しては指定しない curve(dnorm, xlim=c(-4,4)) 上記では、2刻みになっていますが、例えば、1刻みにしたいなあという場合↓ 目盛りが1刻みになるように指定 # -4から4までを8区間に分ける（1刻み） curve(dnorm, xlim=c(-4, 4), xaxp=c(-4, 4, 8)) さらに刻みを細かくして0.5にしてみましたが、目盛りのラベルは適宜間引かれてしまうようです↓（作図領域を横に伸ばせばラベルが表示されるようになります） 目盛りが0.5刻みになるように指定 # 16区間に分けると0.5刻みになるが # すべての目盛りに数値ラベルが書かれるわけではない curve(dnorm, xlim=c(-4, 4), xaxp=c(-4, 4, 16)) いくつに分割するかちゃんと考えないと、↓こんなことになることも・・・ 割り切れないところに目盛りがきてしまう例 # 8の幅を9で割るとか・・・ curve(dnorm, xlim=c(-4, 4), xaxp=c(-4, 4, 9)) 次は違うやり方。 最初は軸の目盛りを書かないようにしておいて、あとから、axis関数をつかって目盛りを書き足すという方法です↓ axis関数で目盛りを後から追記したもの（見た目おんなじだけど・・・） curve(dnorm, xlim=c(-4, 4), xaxt="n") # 最初は目盛りを書かない axis(side=1, at=-4:4) # atに目盛りをベクトルで指定する side=1というのがx軸の意味で、y軸に追記したい場合はsi
続きを読む

Rで繰り返しを含む数列の生成（rep関数、seq関数）

-
Rで、「123123123...」とか「111222333...」とか「13579...」（奇数）とか「02468...」（偶数）とか、そんな感じの繰り返しを含むような数字の列を作りたい場合、1行でさらっと書けてしまいます。 【繰り返し】 > rep(7, 10)  [1] 7 7 7 7 7 7 7 7 7 7 「○を○個だけrepeat」って感じで。 【1ずつ増加】 > 1:7  [1]  1  2  3  4  5  6  7 コロンでつなげば「○から○までインクリメント」 【○ずつ増加】 > seq(1, 7, 2) [1]  1  3  5  7 sequence関数で、「○から○まで○ずつ増加」 【1ずつ増加する数列を繰り返す】   > rep(1:7, 3)  [1] 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 repeat関数の第1引数に、「1ずつ増加する数列」を指定すればOK。 【○ずつ増加する数列を繰り返す】 > rep(seq(1,7,2), 3)  [1] 1 3 5 7 1 3 5 7 1 3 5 7 repeat関数の第1引数に、「○ずつ増加する数列」を指定すればOK。 【それぞれ○個】   > rep(1:7, each=3)  [1] 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 【○ずつ増加、それぞれ○個】 > rep(seq(1,7,2), each=3)  [1] 1 1 1 3 3 3 5 5 5 7 7 7 コロンで指定していたところを、repにするだけなので簡単ですね。 【○ずつ増加、○回繰り返す、それぞれ○個】 > rep(seq(1,7,2), 2, each=3)  [1] 1 1 1 3 3 3 5 5 5 7 7 7 1 1 1 3 3 3 5 5 5 7 7 7 rep関数の第2引数は繰り返し回数で、「 rep(seq(1,7,2), times=2, each=3) 」と書いても同じ意味です。こう書いた方が、勘違いは少なそうですね。
続きを読む

reorderを使ってggplotの棒グラフの並び順を降順にする方法

-
イメージ
# サンプルデータの作成 fruits <- c("apple","durian","orange") count  <- c(2, 1, 3) df <- data.frame(fruits, count) df # 中身の確認   fruits count 1  apple     2 2 durian     1 3 orange     3 このデータを使って、ggplotで棒グラフを描いてみると、 library(ggplot2) ggplot(df, aes(x=fruits, y=count))   + geom_bar(stat="identity") 並び順はデータのまま 当然ながら、棒の順番はデータ通りに、２、１、３と並びますね。 これをソートしたい場合は、reorderを使います↓ ggplot(df, aes( x=reorder(fruits, count) , y=count)) +   geom_bar(stat="identity") reorderすると昇順に並ぶ x軸はfruitsなんだけど、reorder関数の第二引数であるcountの値で並べ替えてから使ってね、という指定です。 で、次の課題です。 reorderを使うと、昇順で１、２、３という並びになりましたが、これを降順の３、２，１という並びにしたいときは、どうやればいいか。 データフレームをソートするときなんかに使うorder関数でいうところの「decreasing=TRUE」みたいな指定があればいいのですが、reorder関数にはそのようなオプションはなさそうです。 で、実はごく簡単で、reorderの第二引数（count）の値の正負が逆になれば、順番も逆になるじゃんという理屈です。 ggplot(df, aes(x=reorder(fruits, -count ), y=count)) +   geom_bar(stat="identity") reorder関数の第二引数にマイナスをつければ降順にできる 無事、降順に並んでくれました。
続きを読む