Posts tagged Python
DataFrameの特定の要素に特定の文字列を含む行の抽出と削除
- 21 10月 2023
pandasのDataFrameの特定の列の要素に指定した文字列を含む行を抽出する方法と、その行を削除する方法です。
Python（pandas）でExcelファイルを読み込んでDataFrameにする
- 20 2月 2023
PandasでExcelファイル（xlsx）にアクセスするときに、openpyxlなどの外部モジュールが必要になります。 pipなどでインストールしてください。
scikit-learnのサンプルデータセットを入手する
- 27 8月 2021
scikit-learnには、いくつかのデータセットが備わっています。大別すると、ToyデータセットとRealworldデータセットに分けられます。Realworldデータセットの方が、大規模なデータになります。
pandasとseabornでデータの可視化（散布図行列）
- 09 7月 2021
pandasとseabornを使って、簡単にデータの可視化をします。具体的には、散布図行列（ペアプロット）を作成します。
pandasの学習用のデータセットを入手する
- 08 7月 2021
Pythonでpandasの学習をしていると、お試し用のデータセットが欲しくなることがあります。pandasにはデータセットをダウンロードする機能はありませんが、seabornにDataFrameとしてデータをダウンロードする機能があります。
Pythonでpandas入門4（データの連結と結合）
- 03 7月 2021
Pythonのデータ分析で用いられるpandasの入門編です。データ（DataFrame）の連結や結合について解説します。
Pythonでpandas入門3（データの統計量の計算）
- 02 7月 2021
Pythonのデータ分析で用いられるpandasの入門編です。データ（DataFrame）の最大値や平均などの統計量の計算について解説します。
Pythonでpandas入門2（データの追加と削除および並び替え）
- 01 7月 2021
Pythonのデータ分析で用いられるpandasの入門編です。データ（DataFrame）の列と行の追加および削除と、データの並び替えについて解説します。
Pythonでpandas入門1（データの入力とデータへのアクセス）
- 30 6月 2021
Pythonのデータ分析で用いられるpandasの入門編です。データの入力と、入力されたデータから必要な部分の取り出しについて解説します。
PythonでPDFを画像に変換する（Windows10）
- 15 5月 2021
Windows10でPythonを使ってPDFを画像に変換するために、Windows10にPopplerとpdf2imageをインストールします。
Pythonで写真の中の線を抽出してみた
- 12 9月 2020
Pythonでグレースケールの写真に書き込まれた線を抽出してみました。イメージとしては、X線写真の後処理で書き込まれた線を取り出してみるという感じです。
Pythonでマスク画像を作る方法（３選）
- 11 9月 2020
Pythonを使って画像をマスクします。Pillowを使う方法とOpenCVを使う方法、およびOpenCVとNumPyを組み合わせる方法です。
PythonのMatplotlibのグラフに領域を指示して最大値と最小値を取得する（GUI版）
- 26 6月 2020
PythonのMatplotlibでtkinterに描画したグラフに対して、マウスでここからここまでという領域を指定して、その領域内のグラフの最大値と最小値を取得してみます。
PythonのMatplotlibのグラフに領域を指示して最大値と最小値を取得する
- 21 6月 2020
PythonのMatplotlibで描画したグラフに対して、マウスでここからここまでという領域を指定して、その領域内のグラフの最大値と最小値を取得してみます。
PythonでPDFファイルのページ編集（結合、挿入、抜き出し、分割）をする
- 01 6月 2020
PythonのPyPDFモジュールを使って、PDFファイルのページ毎の分割や結合などの編集をしてみます。
PythonからWindows RuntimeのAPIを使ってみる
- 16 5月 2020
Microsoftが公開しているモジュールを使って、PythonからWindows Runtime APIを呼び出してみました。
PyTorch チュートリアルにトライ 4 （GPUを使う）
- 06 5月 2020
PyTorchへの入門として、公式のチュートリアルをなぞってみました。 PyTorch本家のチュートリアル のCIFAR-10の画像分類を、GPUで実行してみたいと思います。
PyTorch チュートリアルにトライ 3 （画像分類）
- 05 5月 2020
PyTorchへの入門として、公式のチュートリアルをなぞってみました。 PyTorch本家のチュートリアル に従って、CIFAR-10の画像分類をしてみたいと思います。
PythonでPSDファイルをJPEGやPNGに変換する
- 18 4月 2020
PythonでPSDファイルを読み込んで、別のファイルフォーマットで出力してみました。Pillow（PIL）やOpenCVを経由する方法も試してみました。
Pythonでグラフ（Matplotlib）を表示して動的に変更する
- 16 9月 2019
PythonのmatplotlibのグラフをtkinterのGUIに表示して、そのグラフをプログラムの側から動的に変更してみます。具体的にはスライダーで数式のパラメーターを変更して、その結果をグラフにリアルタイムに反映させます。
PythonでApacheのログを読む
- 09 9月 2019
PythonでApache（httpd）のログをパースして読んでみます。もっと具体的に言うと、さくらインターネットのレンタルサーバーのログです。
Pythonでオブジェクトを選択してクロップするツールを作ってみた
- 08 9月 2019
Pythonで、図の中のオブジェクトを選択してクロップする範囲を決める、クロップツールを作ってみました。GUIはtkinterです。
Chainerが出力するネットワーク構造図をGraphvizで見る
- 24 6月 2019
ChainerのTrainerが出力するネットワーク構造図（dotファイル）をGraphvizで可視化してみました。
Sphinx（ablog）の後処理をする
- 16 7月 2018
Sphinx（ablog）で出力したHTMLのドキュメントファイルに対して、bashとPythonを使って後処理をしました。具体的には、タグの属性の書き換えです。
Pythonでテキストファイルを読み込んだときに、行毎に分割したリストにする
- 14 7月 2018
Pythonでテキストファイルを読み込んでデータを処理する際に、１行毎に分割してリストにすると便利な場合がありますので、分割してみます。
PythonのxmlモジュールのElementTreeのルート要素を取得する
- 07 7月 2018
PythonのxmlまたはdefusedxmlモジュールのElementTreeオブジェクトのルート要素を、Elementオブジェクトとして取得します。
PythonのxmlモジュールのElementからElementTreeを作る
- 06 7月 2018
PythonのxmlまたはdefusedxmlモジュールのElementオブジェクトから、ElementTreeオブジェクトを作ってみました。
Pythonでグラフ（Matplotlib）のアニメーションを作る（FuncAnimation編）
- 01 7月 2018
Pythonのmatplotlibを使って、グラフのアニメーションを作ります。ここでは、グラフを描く関数を続けて呼び出してアニメーションを作ってみます。また、アニメーションをPillowで出力します。
Pythonのcanvasに表示した四角形を変形する
- 25 6月 2018
Pythonのtkinterのcanvasに四角形を表示して、それを変形させます。領域を選択するときによく使われる枠のようなものです。
Pythonのtkinterのcanvasにクリップボードから画像をペーストする
- 20 6月 2018
PythonでPillowを使ってクリップボードから画像データを取得します。そして、取得したデータをtkinterのcanvasに貼り付けます。
PythonからWindowsのクリップボードに画像をコピーする
- 19 6月 2018
PythonのPillowモジュールのイメージオブジェクトを、Windows10のクリップボードにビットマップ画像としてコピーします。
Pythonのtkinterのcanvasに表示する画像を切り替える
- 14 6月 2018
PythonのGUI（tkinter）モジュールのcanvasウィジェットに表示する画像を、プログラムの側から切り替えてみました。
Pythonでグラフのアニメを作る（OpenCVでmp4ファイルを出力編）
- 06 6月 2018
Pythonのmatplotlibで描いたグラフをOpenCVを使ってmp4ビデオファイル出力します。
PythonでGIFアニメを作る（PILでアニメーションファイルを出力編）
- 05 6月 2018
Pythonのmatplotlibで描いたグラフをPillowを使ってGIFアニメーション出力します。
PythonのMatplotlibのグラフをNumPy行列に変換してOpenCVやPillowで使う
- 04 6月 2018
PythonのMatplotlibで描いたグラフを、NumPyのndarrayに変換して、OpenCVやPillowで使えるようにします。
Pythonで文字の内容から真偽値の判定をする
- 03 6月 2018
Pythonで真偽値の判定をするとき、偽と定義されていないオブジェクトは真と判定されます。Falseという文字列も真になります。そこで、文字列の中身から真偽値を判定します。
Pythonのコマンドライン引数の説明の表示を追加する（argparse編）
- 02 6月 2018
Pythonのargparseモジュールでコマンドライン引数を読み取るスクリプトの、ヘルプで表示されるコメントを増やしてみました。
PythonでOpenCVの画像データをMatplotlibで表示する
- 22 5月 2018
PythonのOpenCV（cv2）モジュールの画像データを、Matplotlibのpyplotで表示してみます。
Pythonで画像を回転する（Pillow編）
- 15 5月 2018
PythonのPillow（PIL）モジュールを使って、画像を回転します。単純に回転するだけではなく、回転の背景を任意の色（白色）にしてみます。
Pythonで画像の大きさやフォーマットを調べる（Pillow編）
- 14 5月 2018
PythonでPillow（PIL）モジュールを使うときの画像のオブジェクト（Imageオブジェクト）から、画像のサイズやフォーマットの情報を調べてみます。
PythonでGIFアニメを作る（PILでファイルをつなげる編）
- 12 5月 2018
PythonでGIFアニメを作ります。今回は、Pillow（PIL）を使って連番の画像ファイルからGIFファイルを作ります。
Pythonで画像の色に合わせたワードクラウドを作ってみた
- 11 5月 2018
Pythonでワードクラウドを作ってみました。今回は、画像の色に合わせたワードクラウドです。プロ生ちゃんに実験台になっていただきました。
Pythonで画像の形に合わせたワードクラウドを作ってみた
- 10 5月 2018
Pythonでワードクラウドを作ってみました。今回は、画像の形に合わせたワードクラウドです。プロ生ちゃんに実験台になっていただきました。
PythonでWord Cloudを作ってみた（単語を予め分けておく編）
- 08 5月 2018
PythonでWord Cloudを作ってみました。今回は、ワードクラウドに表示する単語を予め分けておく方法です。
PythonでTSVファイルの読み込みと書き出しをする
- 30 4月 2018
Pythonでcsvモジュールを使って、TSVデータ（タブでフィールドを区切ったデータ）をファイルから読み込んだりファイルに書き出したりしてみます。
Pythonでパス名を結合する
- 24 4月 2018
Pythonでパス名を結合します。文字列として結合するとディレクトリ区切り文字を自分で入れないといけませんが、そのあたりを自動で処理してくれます。
Pythonの時刻の基準を調べてみる
- 16 4月 2018
プログラムで時間を扱っていると、システムの中で基準値を決めていてそこからの経過時間を絶対値としてとらえて、それを我々に分かり易いように変換して表示していることがあったりします。Pythonの場合の時刻の基準はいつになっているのでしょうか。調べてみました。
Pythonで2次元メッシュを作る
- 07 4月 2018
Pythonで2次元のメッシュを作ります。メッシュと言っても、実際に作るのは行列です。3次元グラフを描く際の、各要素のX成分とY成分を準備するようなイメージです。
Pythonでグラフ（Matplotlib）のアニメーションを作る（ArtistAnimation編）
- 05 4月 2018
Pythonのmatplotlibを使って、グラフのアニメーションを作ります。ここでは、アニメーションに使うデータをあらかじめ準備しておく方法を説明します。パラパラアニメの要領ですね。
Pythonでグラフを描く
- 02 4月 2018
Pythonではmatplotlibモジュールを使うと、グラフを描きます。ここでは、matplotlibでグラフを描くときの基本となるメソッドについて説明します。
テキストで記録している作業ログから最近のログを抽出できるようにしてみた
- 31 3月 2018
作業ログから直近のログを抽出して週報にしているのですが、ログがたまってきて抽出作業が面倒になったので、Pythonに抽出してもらうようにしてみました。
PythonのNumPyの行列の書き換えを禁止したり許可したりする
- 25 3月 2018
Pythonで使うNumPyのndarrayは、オブジェクトのプロパティを設定することで、書き換えを許可したり禁止したりできます。
Pythonでハミング窓関数を作る（SciPy編）
- 24 3月 2018
PythonでFFT用にハミング窓（hamming window）を作ってみます。いくつか作り方があるようですが、ここではSciPy.signalを使ってみます。
PythonのBeautifulSoup4でHTMLの要素の囲いを外す
- 21 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLドキュメントの要素の囲いを外してみます。
PythonのBeautifulSoup4でHTMLの要素を新しい要素で囲う
- 20 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLドキュメントの要素を別の要素で囲ってみました。
PythonのBeautifulSoup4でHTMLの要素を削除する
- 18 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLドキュメントの特定の要素を削除してみます。
PythonのBeautifulSoup4でHTMLの要素を抜き出す
- 17 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLドキュメントから特定の要素を抜き出してみます。
PythonのBeautifulSoup4でHTMLの要素の内容を削除する
- 16 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLドキュメントの要素（タグ）の内容を削除します。
PythonのBeautifulSoup4でHTMLの要素を検索する
- 15 3月 2018
PythonのBeautifulSoup4モジュールを使って、HTMLファイルの中から指定したタグの要素を見つけてみます。
PythonでHTMLを加工する
- 13 3月 2018
PythonでHTMLを加工したりHTMLからデータを抜き出したりするときに便利なモジュールとして、Beauriful Soup 4というモジュールがあります。このモジュールを使ってみます。
Pythonのprint関数で改行せずに出力する
- 11 3月 2018
Pythonで標準出力に文字列等の出力するときに組み込み関数のprintを使うことはよくあると思いますが、改行しないようにしてみます。
Pythonの文字列の先頭（末尾）の文字列を削除する
- 09 3月 2018
Pythonで文字列の先頭の数文字を取り除きたいときや末尾の数文字を取り除きたいときに、スライスを使うと簡易に取り除けます。
Pythonのリストや辞書をファイルに保存する
- 08 3月 2018
Pythonのリストやタプルや辞書などのオブジェクトを、CSVやJSONやXMLなどに変換することなく、そのままファイルに保存します。
Excelで読みやすいCSVの日付と時刻の形式を考えてみる
- 01 3月 2018
Excelには、CSVという拡張子のファイルを読み込むときに、各列の書式を解析して自動的にセルに書式を割り振るという便利な機能があります。これが便利なときもありますが、かえって邪魔な場合もあります。それなのにこの機能をOFFにすることができません。
PythonのCSVモジュールのExcel的書式の中身を確認してみた
- 24 2月 2018
Pythonのcsvモジュールでは、csvファイルの書式を一つ一つ指定することもできますが、ある程度まとめた形で指定することもできます。 readerオブジェクトとwriterオブジェクトの既定値はexcelになっていますので、それぞれの設定がどうなっているのか確認してみました。
Pythonで文字列をdatetimeオブジェクトに変換する
- 13 2月 2018
Pythonで日付や時刻の計算をするにはdatetimeオブジェクトで行うのが楽なので、日付や時刻を表す文字列をdatetimeオブジェクトに変換します。
Pythonで日付を書式を指定して文字列に変換する
- 12 2月 2018
日付や時刻（datetimeオブジェクト）をprintメソッドなどで出力させると、マイクロ秒が0のときに省略されたりします。それでは困りますので、書式を決めて文字列に変換してみます。
PythonでCSVファイルの特定の文字が含まれる行とその前後を抜き出してみる
- 11 2月 2018
割と行数の大きいcsvファイルがありまして、その中の要素にある文字列が含まれる行を中心にして前後に数行のデータを抜き出したいという場合があります。
Pythonでファイル名を名前部分と拡張子に分ける
- 10 2月 2018
Windowsではファイル名の多くはxxxxxx.zzzのようにドットを拡張子を表現するために１つだけ使うことが多いと思います。 ところが、最近はxxxxxx.yy.zzzのように複数のドットをファイル名に含むパターンが多くなりました。 このファイル名の文字列から、名前部分と拡張子を別々に取り出してみます。
Pythonのコマンドライン引数（sys.argv編）
- 08 2月 2018
Pythonのスクリプトで何かの処理をするときに、スクリプトにコマンドラインから引数を与えたいことがあります。 例えば、処理の対象になるファイル名を指定するとか、スイッチやオプションの指定などですね。
Pythonのリストの要素を式で作る
- 01 2月 2018
決まった法則で連続する要素のリストを作るとき、C#ですと要素を作ってlistにaddを繰り返したりしますが、Pythonの場合はリスト自体に式を使って要素を指定できます。 リストの内包表記と言うそうです。
Pythonでランダムに選ぶ
- 28 1月 2018
ある集合の中から１つだけをランダムに選びたい。そういうことはよくありますよね。 ということで、Pythonで集合（シーケンス）から要素をランダムに選んでみます。
自作のモジュールをインポートする
- 24 1月 2018
ちょっとしたアプリケーションを作ろうとすると、いくつかの関数を定義したりします。それを全て一つの実行ファイルに書くのも良いですが、ファイルを分けたくなる場合もあります。ということで、関数を別のファイルに記述して、インポートしてみます。
仮想マシンにCentOS7をインストールしてApache2.4とDjango2.0をセットアップする
- 20 1月 2018
vmware workstationにCentOS7 minimal をインストールして、Apache2.4でDjango2.0を動かしてみます。 さくらVPSの練習です。
Pythonでモジュールをインポートする
- 17 1月 2018
Pythonは機能をいろいろとモジュールに分割していて、そのモジュールをインポートすることで使えるようにします。 C#の参照やusingのようなイメージです。
文字列の前後の空白を除去する
- 13 1月 2018
人が読みやすいように文字列の前後に空白を付けることは、ままあります。ところが、それをプログラムで扱うとなると前後の空白が邪魔になります。ということで、stripで取っ払ってみます。
ダウンロードしたファイルのチェックサムをPythonで確認してみた
- 24 10月 2017
インターネットでダウンロードしたファイルが正しくダウンロードできたかどうか、ダウンロードサイトにSHA-256のハッシュが書いてありましたので、Pythonを使って確認してみました。