How to make datas our friends

「エンジニアは発信していくことが責務である」という言葉に感化されて始めた勉強したことを書き留めていく備忘録的なやつ。

Python

pandasでunix時間をdatetimeに変換する

概要 某計測ツールから落としてきたCSVファイルを pandas で読み込んでゴニョニョしていたのだが、日時情報がUNIX時間だったので、pandas で datetime に変換した備忘録。 やったこと to_datetimeを使用して変換しました。 import pandas as pd dataset = pd…

JupyterNotebookでboto3を使えるようにした話

概要 ローカルのJupyterNotebookからS3の操作をしたかったのでAWS SDKのboto3を入れたという話。 boto3に関してはこちらを参照: AWS SDK for Python | AWS ちなみにJupyterNotebookでと書いているが、普通にPythonのboto3をローカルに落として使えるように…

Python/Shellでtxtファイルの行数をカウントする

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと Pythonで以下URLのhightemp.txtを読み込み行数をカウントする。 同様にUnixコマンドでも行数の確認を行い、その際wcコマンドを使用する。http://www.cl.ecei.tohoku.ac.j…

Pythonで文章をTypoglycemia化する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと スペースで区切られた単語列に対して、各単語の先頭と末尾の文字は残しそれ以外の文字の順序をランダムに並び替えるプログラムを作成する。 ただし、長さが4以下の単語…

Pythonで文字列を文字コードに置換し暗号文化する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと 与えられた文字列の各文字を以下の仕様で変換する関数cipherを実装する。 英小文字ならば(219 - 文字コード)の文字に置換 その他の文字はそのまま出力 この関数を用い、…

Pythonでテンプレートによる文生成をおこなう関数を作成する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと 引数x, y, zを受け取り「x時のyはz」という文字列を返す関数を実装する。 さらに、x=12, y="気温", z=22.4として、実行結果を確認。 結果 Python3.6から新しく導入された…

Pythonで2つのbi-gramの集合を求める

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと "paraparaparadise"と"paragraph"に含まれる文字bi-gramの集合を、それぞれXとYとして求め、XとYの和集合・積集合・差集合を求める。 さらに、'se'というbi-gramがXおよ…

Pythonでn-gramを作成する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと 与えられたシーケンス(文字列やリストなど)からn-gramを作る関数を作成し、この関数を用い、"I am an NLPer"という文から単語bi-gram、文字bi-gramを得る。 結果 なん…

Pythonで文章を単語ごとに分解してn番目の単語は最初の1文字をそれ以外は2文字を切り出して連層配列を作成する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと "Hi He Lied Because Boron Could Not Oxidize Fluorine. New Nations Might Also Sign Peace Security Clause. Arthur King Can."という文を単語に分解し、1, 5, 6, 7, …

Pythonで文章を単語に分解し各単語の文字数を先頭から出現順に並べたリストを作成する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと Pythonで"Now I need a drink, alcoholic of course, after the heavy lectures involving quantum mechanics."という文章を単語に分解して各単語の(アルファベットの)…

Pythonで2つの文字列の文字を先頭から交互に連結する

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと Pythonで文字列"パトカー"と"タクシー"の文字を先頭から交互に連結して文字列"パタトクカシーー"にする。 結果 以下の方法で2つの文字列を先頭から交互に連結しました。 …

pythonで「パタトクカシーー」という文字列の1,3,5,7文字目を取り出して連結した文字列にする

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと Pythonで文字列"パタトクカシーー"の1,3,5,7文字目を取り出して連結した文字列にする。 (つまり"パトカー"になれば成功) 結果 以下の方法で1,3,5,7文字目を切り出して文…

Pythonで文字列を逆順にする

背景 言語処理100本ノック 2015を今やっているのでその備忘録的なやつ。 やりたいこと Pythonで文字列"stressed"を逆順で表示する。 (つまり"desserts"になれば成功) 結果 以下の方法で文字列を逆順にできました。 > str = 'stressed' > str[::-1] > 'desser…