ruby+selenium webdriverで使うCSVについていろいろ

2017年8月30日

別にseleniumじゃなくてもrubyで使うcsvライブラリ

rubyでCSVファイルを扱うための csvライブラリ。
CSVファイルを読み込んだり、CSVファイルを出力したりといろいろできます。

別にseleniumを使うために用意されたライブラリでは決してないのですが、
私が携わったselenium webdriverでの案件では本当に多用してきました。

テストでの利用シーンでは、CSVでデータをダウンロードできる機能でファイルの中身が正しいかどうかの検証。
ブラウザ自動操作では、テストアカウントの読み込みや入力するデータをCSVファイルに記載して、それを読み込んでの実行。
スクレイピングでは取得したデータをCSVファイルで出力するという機能。

selenium webdriverを使っていて欠かせない技術がCSVファイルの扱いになります。

今回は私が使って来たcsvライブラリ（クラス）の機能をいくつかご紹介したいと思います。

CSVファイルを読み込む

CSVファイルを読み込むにはまずcsvライブラリを読み込む必要があります。
csvライブラリはrubyに標準で付いているので特にインストールは要りません。
以下をコードに記載してライブラリを読み込みましょう。

require 'csv'

1	require 'csv'

例としてCSVファイルを用意してみます。

# input.csv
katsuya,saitama,36
emi,tokyo,24
taro,osaka,20

# input.csv

katsuya,saitama,36

emi,tokyo,24

taro,osaka,20

では、このファイルをinput.csvとして保存して読み込んでみましょう。
私が使うのはforeachとreadです（他にもあるのでしょうか）。

foreachの場合は、CSVファイルを読み込むために先に配列を宣言する必要があります。

require 'csv'

# 配列input_foreachを宣言
input_foreach = []

# input.csvの中身を行毎にinput_foreachの行に追加していく
CSV.foreach("input.csv") do |row|
  input_foreach << row
end

# input_forachの中身をプリント
p input_foreach

# => [["katsuya", "saitama", "36"], ["emi", "tokyo", "24"], ["taro", "osaka", "20"]]

require 'csv'

# 配列input_foreachを宣言

input_foreach = []

# input.csvの中身を行毎にinput_foreachの行に追加していく

CSV.foreach("input.csv") do |row|

input_foreach << row

end

# input_forachの中身をプリント

p input_foreach

# => [["katsuya", "saitama", "36"], ["emi", "tokyo", "24"], ["taro", "osaka", "20"]]

このように2次元配列で格納されているのがわかります。
わかっていると思いますが2行目の3列目を取得したい場合は

input_foreach[1][2]

1	input_foreach[1][2]

で取得できます。

readの場合は配列を宣言する必要がありません。

# input_readに2次元配列として格納される
input_read = CSV.read("input.csv")

p input_read

# => [["katsuya", "saitama", "36"], ["emi", "tokyo", "24"], ["taro", "osaka", "20"]]

# input_readに2次元配列として格納される

input_read = CSV.read("input.csv")

p input_read

# => [["katsuya", "saitama", "36"], ["emi", "tokyo", "24"], ["taro", "osaka", "20"]]

出力結果は同じですね。

行毎に何か加工したい場合はforeach、そのまま読み込みたい場合はreadを使えば良いのでしょうか？（そうなのかな）

ヘッダー有りのCSVファイルを読み込む

CSVファイルにわかりやすくヘッダーをつけてみましょう。

# input.csv

name,location,age
katsuya,saitama,36
emi,tokyo,24
taro,osaka,20

# input.csv

name,location,age

katsuya,saitama,36

emi,tokyo,24

taro,osaka,20

これを先程のまま読み込むと1行目にname,location,ageが入るだけですが、
headers:オプションをつけることによって、ヘッダー部分をハッシュのようにキーとして扱うことができます。
headers:オプションを付けた場合、一行目はカウントされないので注意です。

require 'csv'

input_read = CSV.read("input.csv", headers: true)

input_foreach = []
CSV.foreach("input.csv", headers: true) do |row|
  input_foreach << row
end

p input_read[0]["name"]
# => "katsuya"

p input_foreach[1]["age"]
# => "24"

require 'csv'

input_read = CSV.read("input.csv", headers: true)

input_foreach = []

CSV.foreach("input.csv", headers: true) do |row|

input_foreach << row

end

p input_read[0]["name"]

# => "katsuya"

p input_foreach[1]["age"]

# => "24"

ヘッダーがついているCSVファイルを扱う時には可読性が高くなって便利です。
CSVファイルは列が100行とかにもなるのでheaders:オプションを使うのはオススメです。

なお、headers: falseとするとヘッダー行を読み込まずに2行目以降を読み込んでくれます。

エンコードオプションを付けて読み込み

文字コードはデフォルトではutf-8で読み込む（と思う）のですが、
SJISで書き込まれたファイルを読み込む場合は以下でOKです。

input_read = CSV.read("input.csv", encoding: "SJIS")

input_foreach = []
CSV.foreach("input.csv", encoding: "SJIS") do |row|
  input_foreach << row
end

input_read = CSV.read("input.csv", encoding: "SJIS")

input_foreach = []

CSV.foreach("input.csv", encoding: "SJIS") do |row|

input_foreach << row

end

他のエンコードの場合はそれを指定すれば良いのはないのでしょうか（そんなことあるのかな）。

CSVファイルを出力

今までは読み込みをしてきたのですが、次はCSVファイルを出力してみましょう。

CSVファイルを作成、上書き保存

まずは1行のみのcsvファイルを作成してみましょう。

require 'csv'

CSV.open("output.csv","w") do |file|
  file << ["name", "location", "age"]
end

require 'csv'

CSV.open("output.csv","w") do |file|

file << ["name", "location", "age"]

end

ファイル名の後の引数 “w” がwriteを意味しています（たぶん）。
このコードを実装するとrbファイルと同じディレクトリに output.csv が作成されているのがわかります。
保存ディレクトリを変えたければ

CSV.open("./result/output.csv","w") do |file|
  file << ["name", "location", "age"]
end

CSV.open("./result/output.csv","w") do |file|

file << ["name", "location", "age"]

end

などの相対パスにすればOKです。

では、次のように実装した場合はどうなるでしょう。

require 'csv

CSV.open("output.csv","w") do |file|
  file << ["name", "location", "age"]
end

CSV.open("output.csv","w") do |file|
  file << ["katsuya", "saitama", "36"]
end

require 'csv

CSV.open("output.csv","w") do |file|

file << ["name", "location", "age"]

end

CSV.open("output.csv","w") do |file|

file << ["katsuya", "saitama", "36"]

end

このコードを実行すると以下のような output.csv が出力されてます。

"katsuya", "saitama", "36"

1	"katsuya", "saitama", "36"

つまり2度目の書き込みで上書き保存してしまっています。

ではCSVファイルに行を追加していく方法を紹介しましょう。

CSVファイルへの行追加

“w”ではファイルの上書きになってしまいましたが、
“a”にすることで、行の追加を行うことができます（”a”はaddの略でしょうね）。

require 'csv

CSV.open("output.csv","w") do |file|
  file << ["name", "location", "age"]
end

CSV.open("output.csv","a") do |file|
  file << ["katsuya", "saitama", "36"]
end

require 'csv

CSV.open("output.csv","w") do |file|

file << ["name", "location", "age"]

end

CSV.open("output.csv","a") do |file|

file << ["katsuya", "saitama", "36"]

end

このコードを実行するとちゃんと2行の output.csv が出力されているのがわかります。

CSVファイルの読み込みのコードと組み合わせると。

require 'csv'

input_read = CSV.read("input.csv")

input_read.each do |row|
  CSV.open("output.csv", "a") do |file|
    file << row
  end
end

require 'csv'

input_read = CSV.read("input.csv")

input_read.each do |row|

CSV.open("output.csv", "a") do |file|

file << row

end

input.csv のデータがそのまま output.csv に書き込まれましたね。

CSVのテーブル構造をオブジェクトとして取り込む

CSVファイルをオブジェクトとして取り込むこともできます。

私の利用シーンとしては、CSVファイルを入力し、そのデータを加工して出力する際などに使います。

読み込むにはこれだけ。

require 'csv'

table = CSV.table(input.csv, headers: true)

p table.class
# => CSV::Table

require 'csv'

table = CSV.table(input.csv, headers: true)

p table.class

# => CSV::Table

tableがCSV::tableクラスになっていることがわかりますね。
input.csv の中身が table にオブジェクトとして格納しています。
tableの中身は2次元配列で参照することができます。

では、今まで使ってきた input.csv の”taro”を”jiro”に変えて output.csv に出力しましょう。

require "csv"

table = CSV.table("input.csv", headers: true)
table[2][:name] = "jiro"

CSV.open("output.csv", "w") do |file|
  table.each do |line|
    file << line
  end
end

require "csv"

table = CSV.table("input.csv", headers: true)

table[2][:name] = "jiro"

CSV.open("output.csv", "w") do |file|

table.each do |line|

file << line

end

nameをhashで取り出していることに注意してください。
このコードを実行するとtaroがjiroになっていることがわかります。

書き込み先を input.csv にすれば input.csv を上書きできます。

おまけ：BOM付きCSVファイルの出力

スクレイピングなどでファイルを出力した時に、エクセルで開くと文字化けしてしまっているということがよくありました。
そのファイルをテキストエディタで開いてUTF-8のBOM付きで保存し直してから開いてくださいなんて頼むのは野暮です。
BOM付きのCSVファイルを作成することができます。

require 'csv'

bom = %w(EF BB BF).map { |e| e.hex.chr }.join
csv_file = CSV.generate(bom)  do |row|
  row << ["name", "location", "age"]
end

File.open("bom.csv","w") do |file|
  file.write(csv_file)
end

require 'csv'

bom = %w(EF BB BF).map { |e| e.hex.chr }.join

csv_file = CSV.generate(bom) do |row|

row << ["name", "location", "age"]

end

File.open("bom.csv","w") do |file|

file.write(csv_file)

end

CSV.generate でCSVのBOM付きのオブジェクトを作ってから、
File.openの”w”でBOM付きファイルを作成しています。

このファイルを”a”で上書きしていけば、BOM付きのままなので、エクセルで開いた時も文字化けせずに表示されます。

今回はselenium webdriverでよく使うCSVを紹介したのですが、
他にもCSVを扱うのに便利な方法があれば是非コメントしてください。

2017年8月30日

コメントを残すコメントをキャンセル

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。

・ ruby + selenium webdriverチュートリアル

・ windowsならruby + selenium webdriverも環境設定は15分で終わる

・リンクを別タブを開いてアクセスすればPageBackとか要らない

・ chromedriverのheadlessでファイルをダウンロードする

・ [GAS]GoogleSpreadSheetでのスクレイピング時にサイトにログインした後のソースを取得

katsulog