みんなのPython勉強会#77 パッケージングしよう

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

パッケージングしよう
Start Python Club みんなの Python 勉強会#77
Atsushi Odagiri
2022-01-27

はじめに

お前誰よ
▶ aodag
▶ Atsushi Odagiri
▶ 株式会社オープンコレクター
▶ python1.5 とかから

アジェンダ
▶ Python パッケージングのエコシステム
▶ パッケージングして配布する

Python パッケージングのエコシステム

PyPA
▶ Python Packaging Authority
▶ パッケージング関連の PEP(Python Enhancement Proposal)
を提案
▶ パッケージング関連ツールの保守

PyPA が提供するツール
▶ pip
▶ setuptools
▶ wheel
▶ twine
▶ build, pep517.build
▶ PyPI(warehouse)

PyPA が提供するツール

配布物の形式
▶ ソースディストリビューション (sdist)
▶ tar ball
▶ zip
▶ バイナリディストリビューション (bdist)
▶ wheel

sdist
▶ ソースコードやドキュメントやメタデータファイルなどその
まま含まれる
▶ ビルド前の外部言語によるソース
▶ wheel を作成するための情報
▶ インストールされないドキュメントなどの情報
▶ テストコード

bdist
▶ 今は wheel のことだけ考えといてください
▶ そのまま zip 解凍などで展開するだけの状態
▶ インストールされるファイルだけが入っている

pip インストーラー
▶ PyPI や find-links から配布物 (sdist や bdist) をダウンロードし
てインストール
$ python get-pip.py
$ pip install pyramid

pip がどこにインストールするか
▶ pip の場所を pip --version で確認
▶ pip が入っている site-packages ディレクトリにインストー
ルされるはずです
▶ python で site.getsitepac...

setuptools, wheel パッケージャー
▶ 配布物を作成する
▶ PEP517 に対応しているため build で配布物を作成可能
▶ PEP517 対応 (pyproject.toml) については後述
[build-system...

build, pep517.build ビルダー
▶ 配布物を作成する
▶ プロジェクトごとに異なる作成方法に対応する
▶ pyproject.toml に書かれているツールを呼び出す
$ pip install build
$ python ...

twine アップローダー
▶ PyPI に配布物をアップロードする
▶ アップロード前のチェックや PyPI へのプロジェクト登録な
どもこれで
$ pip install twine
$ twine check `dist/*`
$ twi...

PyPI パッケージインデックス
▶ Python Package Index
▶ 配布物のインデックスや配布物自体をホスティング
▶ 昔はインデックスだけで別途ホスティングしてある配布物の
ダウンロードリンクを登録していた
▶ https:/...

パッケージングして配布する

配布物を作る（パッケージング）
▶ メタデータが必要
▶ sdist と bdist(wheel) の両方を PyPI に上げてくれるとユー
ザーはうれしい
▶ C 拡張を含む話はしません

ファイル
▶ 実際に配布したい Python モジュール以外に必要なファイル
▶ setup.py
▶ setup.cfg
▶ pyproject.toml
▶ MANIFEST.in
▶ README.{md,rst}
▶ LICENSE

setup.py
▶ 昔はここにメタデータを含めて必要なことを全部書いていた
▶ もうこれで十分
from setuptools import setup
setup()

setup.cfg metadata
▶ パッケージメタデータを書く
[metadata]
name = aodag_super_util
version = 0.1
author = Atsushi Odagiri
author_email ...

setup.cfg options
▶ 配布物のオプションを書く
▶ 主に依存関係
[options]
packages = find:
install_requires =
pyramid
pyramid_jinja2

setup.cfg extras_require
▶ 追加の依存関係
[options.extras_require]
testing =
pytest
pytest-randomly
doc =
sphinx

setup.cfg find
▶ インストール対象のモジュールに関する情報
▶ ここでの package とは Python モジュールをまとめた
__init__.py を持つディレクトリのほう
[options.packages.find]...

依存関係
install_requires
▶ 依存ライブラリを書く
▶ バージョンを直接指定しないように
▶ 最低限必要なバージョンなどの範囲指定に留めましょう
extras_require
▶ 追加機能としての依存ライブラリを書く
▶ デフ...

pyproject.toml
▶ PEP517 のビルドフローで setuptools を利用するための設定
[build-system]
requires = ["setuptools", "wheel"]
build-backend = "...

MANIFEST.in
▶ sdist に含めたい (含めたくない) ファイルを設定
recursive-include aodag/specialutils/templates *.html
exclude *.swp *~

MANIFEST.in のオプション
▶ 主なものだけ distutils から抜粋
Command Description
include pat1 pat2 … マッチするファイルを全部含める
exclude pat1 pat2 … マッチ...

README を setup.cfg に活かす
▶ README{.md,.rst} の内容をメタデータの description に使う
[metadata]
...
description = file: README.md
descrip...

README{.md,.rst}
▶ markdown か reStructured text か？
▶ デフォルトは reStructured text
▶ PEP 566 でフォーマットを指定できるようになった
▶ PyPI では mark...

LICENSE
▶ 必ずつけましょう
▶ メタデータにも書いておきましょう
▶ ライセンスごとの identifier は spdx を参照してください
[metadata]
...
license = MIT

どうしてこんなにファイルが必要？
▶ 歴史的経緯です＞＜
▶ distutils から setuptools 導入当初 setup.py に全部書く
▶ setuptools の改善メタデータは setup.cfg に書く
▶ PEP517...

もういらない？
▶ setup.py
▶ editable インストールに必要
▶ PEP660 で解決される予定
▶ setup.cfg
▶ パッケージメタデータを書くのに必要
▶ PEP621, PEP631 で解決される予定
▶ MANI...

setuptools_scm
▶ scm(git など) で管理しているファイルを sdist に含めるよう
になる
▶ scm(git など) のタグやリビジョンを元に version を生成して
くれる
# pyproject.toml
[...

package data
▶ こういうソースコード以外のファイルもありますよね？
▶ HTML テンプレート
▶ サンプルデータやシード
▶ setuptools_scm を使わない場合、MANIFEST.in に書かないと
sdist に入ら...

package data を参照する方法
▶ pkg_resource を使う
▶ pkg_resources は setuptools に含まれることに注意
▶ __file__ からファイルパスを導出する

package data を pkg_resources で読み込む
▶ pkg_resources の resource_string や resource_stream
を使って読み込む
▶ pkg_resources は setuptoo...

package data を __file__ を使って読み込む
▶ __file__ を使うなら標準モジュールのみで実現できます
▶ pathlib を使うのも良いでしょう
here = os.path.dirname(__file__)
w...

editable インストール
▶ 開発対象のソースコードが site-packages にコピーされな
いようにします
▶ 開発中は editable install で依存ライブラリをインストールで
きます
$ pip install -e...

配布物を作る前に
▶ テストはしておきましょう
▶ テスト用の依存関係は testing などの名前で extras-require に
しておくと楽です
▶ 様々な python バージョンに対してテストする場合は tox や
nox の利用...

build で配布物を作る
▶ build を使って配布物を作成します
▶ dist ディレクトリ以下に sdist と wheel が作成されます
$ python -m build .
$ ls dist

配布する
▶ 大きく公開する場合は twine を使って PyPI にアップロードし
ます
▶ 事前に PyPI アカウントを作っておきましょう
▶ プライベートリリースなどでは simple repository にすると面
倒が減るかもしれ...

まとめ

まとめ
▶ パッケージングのアクションごとに別々のツールが提供され
ている
▶ PEP 標準に準拠するように setuptools もがんばっている
▶ setuptools が持っていた機能を PEP で練り直して標準化して
いる

参考文献
▶ Python Packaging User Guide
▶ setuptools Documentation
▶ Distributing Python Modules (Legacy version)
▶ SPDX Licens...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1006941 views
Storytelling For The Web: Integrate... by Chiara Aliotta 913966 views
Artificial Intelligence, Data and C... by OECD Directorate ... 810077 views
How to Leverage AI to Boost Employe... by SocialHRCamp 337931 views
2024 State of Marketing Report – by... by Marius Sescu 193320 views
Everything You Need To Know About C... by Expeed Software 217170 views

View on Slideshare

13 of 46 Ad

View on Slideshare

13 of 46 Ad