How to make datas our friends

「エンジニアは発信していくことが責務である」という言葉に感化されて始めた勉強したことを書き留めていく備忘録的なやつ。

2017-12-01から1ヶ月間の記事一覧

BigQueryでint32とint64の型の不一致で苦しんだ話

概要 CASE文を使って条件にマッチすればINT型のデータを、それ以外は0にしてSUMしようとしたら、型が違うと怒られたので、どう対処したかの備忘録。 要はこんな感じのクエリ。 SUM(CASE WHEN 条件 THEN 数(INT) ELSE 0 END) AS cnt ちなみにデータがない場合…

pandasでunix時間をdatetimeに変換する

概要 某計測ツールから落としてきたCSVファイルを pandas で読み込んでゴニョニョしていたのだが、日時情報がUNIX時間だったので、pandas で datetime に変換した備忘録。 やったこと to_datetimeを使用して変換しました。 import pandas as pd dataset = pd…

JupyterNotebookでboto3を使えるようにした話

概要 ローカルのJupyterNotebookからS3の操作をしたかったのでAWS SDKのboto3を入れたという話。 boto3に関してはこちらを参照: AWS SDK for Python | AWS ちなみにJupyterNotebookでと書いているが、普通にPythonのboto3をローカルに落として使えるように…