転ばぬ先のプログラミングのノウハウ

pythonからtwitter apiにアクセスしてタイムラインを出力する方法を解説します。さらにwordcloudを作る方法も解説します。

意味的に近い単語の分布を知りたい。そんなときは、２次元の分布図を作成するのが有効です。 この記事では、pythonを使ってword2vecによる分散表現、PCA(主成分分析)による次元圧縮(N次元から２次元へ)を施し、単語を２次元の図にプロットする方法を解説します。

時間をかけないでpythonとmysqlの開発環境を作りたいかと思います。 今回は、Mac bookにdockerでpythonとmysqlを動かす環境を作ることを例にして解説します。

Pythonのライブラリdatasetを使っているときに起きた問題。 mysqlに接続するためにdatasetを使っていたらUnicodeEncodeErrorが出て、mysqlに書き込みができませんでした。対処方法がわかったので記事化します。

スクレイピングを使うと、自動でWEBサイトのデータをダウンロードできるので、情報を取り出すのが楽になります。 しかし、Javascript(ajax)など非同期に読み込まれるサイトではうまくデータが取れないこともあります。 seleniumを使うと、Javascript(ajaxによる非同期処理)による後からデータが読み込まれるタイプのサイト、iframe処理が施されたサイトでもスクレイピングが可能になります。 この記事では、seleniumを使い、javascriptによる非同期読み込み、iframe対策が必要になるサイトのスクレイピング方法を紹介します。