みんなのPython勉強会#19 Talk3 人気上昇中のプログラム言語 Python に関わる様々な統計データをビジュアライズに紹介しつつ、他の言語と比較をしながら、Pythonがどのような特徴を持つか探っていきます。これに合わせてライブラリやツールのダウンロード集計から、どのようなアプリケーションでPythonはよく利用されているか？Pythonの定番ツールは何か？など入門の次に生じる疑問にデータから答えていきます。

1. PYTHON STATS
Yusuke KATO
2016/12/7(WED)

2. 撮影: ジュンク堂池袋本店

3. Q1. Pythonは人気上
昇中なのか？

4. 陳列面積を数える @有隣堂 ヨドバシAKIBA店
データ分析/機械
学習/AI
19%
java
18%
C/C++/C#
13%
python
13%
PHP
5%
Ruby
3%
Perl
0%
その他
29%
陳列⾯積
データ分析/機械学習/AI java C/C++/C# python PHP Ruby Perl その他

5. 出版数の変化 @Amazon.JP
Python と Ruby のキーワードに関連す
る書籍
(Python/Rubyの各言語が書籍で出ているもののみ)
感じた通り？2016年はたくさんの
Python本が出版されていた！

6. 機械学習 x Python @ジュンク堂池袋本店
2016年 出版数 39冊
内訳
機械学習 x Python : 17冊
データ分析 x Python : 8冊
半数はデータ分析と機械学習関
連でPython本が出版されている

7. PYPL : PopularitY of Programming
Language 2016
■ PYPL Index
– http://pypl.github.io/PYPL.html
– Google検索でのプログラミング入門に関
する検索数

8. PYPL 人気の変化

9. A1. Pythonは人気上昇中！
1. 世界でPythonへの関心が増加
2. →Google検索数の増加
3. →近年のPythonの本の出版数の増加
4. →書店での陳列面積の増加
5. →Pythonの人気上昇を肌で感じる
6. (→Python勉強会に足を運ぶ)

10. Q2. Pythonはどのように
使われているのか？

11. パッケージ数の比較
(Module Counts)
■ Module Counts
– http://www.modulecounts.com/
– 各プログラミング言語のパッケージ数の
時系列変化
■ Pythonのパッケージは10万近く

12. PyPI : the Python Package Index
■ PyPI
– https://pypi.python.org/pypi
– Pythonで利用可能なパッケージを中央管理しているシステム
■ pip
– PyPIに登録されているパッケージをPCにインストールするための
ツール
注) pip以外にも企業が提供している
condaというパッケージ管理ツールもあります

13. 比較と集計方法
■ PyPI(Python)
– BigQueryにあるPyPIのダウンロードログを元に半年分を集計し、分
類
– the-psf:pypi.downloads (BigQuery上の公開テーブル)
– Top 500, 上位70%のみ
■ Gem(Ruby)
– BestGems に載っている通算のダウンロード集計を元に分類
– Top 200, 上位60%のみ
注) 期間が異なります。また厳密な意味でのカテゴリー分類ではありません

14. 開発
17%
インフラ
14%
ライブラリ
10%
JSON関連
10%
ユーティリティ
8%
ライブラリ(ネットワー
ク)
7%
ライブラリ(テキスト)
6%
WEB
4%
ライブラリ(⽇付)
4%
ライブラリ(暗号)
3%
ツール
3%
コマンドラインツール
3%
データ分析
2%
ライブラリ(スレッド)
2%
クラウドサービス
2%
データベース
2%
ライブラリ(Enum)
1%
ライブラリ(画像)
1%
ライブラリ(エクセル関
連)
0%
ライブラリ(型ヒント)
0%
上位70%のカテゴリー分類(Python)
開発 インフラ ライブラリ
JSON関連 ユーティリティ ライブラリ(ネットワーク)
ライブラリ(テキスト) WEB ライブラリ(⽇付)
ライブラリ(暗号) ツール コマンドラインツール
データ分析 ライブラリ(スレッド) クラウドサービス
データベース ライブラリ(Enum) ライブラリ(画像)
ライブラリ(エクセル関連) ライブラリ(型ヒント)
WEB
26%
開発
18%
ライブラリ
10%
ライブラリ(テキスト)
8%
ライブラリ(ネットワー
ク)
8%
データベース
5%
JSON関連
5%
ユーティリティ
5%
コマンドラインツール
4%
クラウドサービス
2%
ツール
2%
ライブラリ(スレッド)
2%
ライブラリ(⽇付)
2%
インフラ
1%
ライブラリ(暗号)
1%
ライブラリ(画像)
0%
上位60%のカテゴリー分類(Ruby)
WEB 開発 ライブラリ
ライブラリ(テキスト) ライブラリ(ネットワーク) データベース
JSON関連 ユーティリティ コマンドラインツール
クラウドサービス ツール ライブラリ(スレッド)
ライブラリ(⽇付) インフラ ライブラリ(暗号)
ライブラリ(画像)

15. 注意点
■ サーバの数の方がPythonのユーザーよりも多いので、Webサービスなどで利用される
パッケージの方がダウンロード数は多くなります
■ パッケージには依存関係があり、有名なツールで利用されるライブラリはダウンロード
数が多くなります
■ Pythonで利用可能なパッケージのすべてがPyPIで配布されている訳ではありません
(例: 商用のツールなど)

16. 開発
17%
インフラ
14%
ライブラリ
10%
JSON関連
10%
ユーティリティ
8%
ライブラリ(ネットワー
ク)
7%
ライブラリ(テキスト)
6%
WEB
4%
ライブラリ(⽇付)
4%
ライブラリ(暗号)
3%
ツール
3%
コマンドラインツール
3%
データ分析
2%
ライブラリ(スレッド)
2%
クラウドサービス
2%
データベース
2%
ライブラリ(Enum)
1%
ライブラリ(画像)
1%
ライブラリ(エクセル関
連)
0%
ライブラリ(型ヒント)
0%
上位70%のカテゴリー分類(Python)
開発 インフラ ライブラリ
WEB
26%
開発
18%
ライブラリ
10%
ライブラリ(テキスト)
8%
ライブラリ(ネットワー
ク)
8%
データベース
5%
JSON関連
5%
ユーティリティ
5%
コマンドラインツール
4%
クラウドサービス
2%
ツール
2%
ライブラリ(スレッド)
2%
ライブラリ(⽇付)
2%
インフラ
1%
ライブラリ(暗号)
1%
ライブラリ(画像)
0%
上位60%のカテゴリー分類(Ruby)
FACT 0: 開発向けパッケージは共に上
位を占める

17. 開発向けパッケージ
■ Python
– setuptools(4), pip(7), docutils(11) などのパッケージを構成するツール
– virtualenv(30), pyflakes(57) などの開発支援ツール
– pytest-runner(33), mock(38), nose(39) などのテストツール
■ プロジェクトとしてパッケージを作る為のツールは利用され、ダウンロー
ド数が多い
※ 括弧内はダウンロード数の順位

18. 開発
17%
インフラ
14%
ライブラリ
10%
JSON関連
10%
ユーティリティ
8%
ライブラリ(ネットワー
ク)
7%
ライブラリ(テキスト)
6%
WEB
4%
ライブラリ(⽇付)
4%
ライブラリ(暗号)
3%
ツール
3%
コマンドラインツール
3%
データ分析
2%
ライブラリ(スレッド)
2%
クラウドサービス
2%
データベース
2%
ライブラリ(Enum)
1%
ライブラリ(画像)
1%
ライブラリ(エクセル関
連)
0%
ライブラリ(型ヒント)
0%
上位70%のカテゴリー分類(Python)
開発 インフラ ライブラリ
WEB
26%
開発
18%
ライブラリ
10%
ライブラリ(テキスト)
8%
ライブラリ(ネットワー
ク)
8%
データベース
5%
JSON関連
5%
ユーティリティ
5%
コマンドラインツール
4%
クラウドサービス
2%
ツール
2%
ライブラリ(スレッド)
2%
ライブラリ(⽇付)
2%
インフラ
1%
ライブラリ(暗号)
1%
ライブラリ(画像)
0%
上位60%のカテゴリー分類(Ruby)
FACT 1: Pythonはインフラ、RubyはWeb
アプリが利用される

19. Django
(Python)
7.2M
Ruby on
Rails
(Ruby)
13.2M
x 1.83
Webフレームワーク
※ 半年のダウンロード数

20. クラウドサービスとPython
■ クラウドコンピューティングツールと
して利用されている
– awscli(8) を始めとした、各クラウドコン
ピューティングサービスの管理ツール
としての利用が多い
– Amazon Web Service, Google
Cloud Platform, Azureなど
■ オープンソースのOpenStackは
Pythonで記述されている

21. インフラ構築とPython
■ サービスを構成するためのツールが豊富
– redis(71), kombu(90), amqp(93) などのキャッシュを構成するツール
– supervisor(84), celery(122), ansible(155) などのサーバ管理ツール
■ Pythonはクラウド上のサーバ構築、管理をするツールとして良く利用さ
れている
※ 括弧内はダウンロード数の順位

22. 開発
17%
インフラ
14%
ライブラリ
10%
JSON関連
10%
ユーティリティ
8%
ライブラリ(ネットワー
ク)
7%
ライブラリ(テキスト)
6%
WEB
4%
ライブラリ(⽇付)
4%
ライブラリ(暗号)
3%
ツール
3%
コマンドラインツール
3%
データ分析
2%
ライブラリ(スレッド)
2%
クラウドサービス
2%
データベース
2%
ライブラリ(Enum)
1%
ライブラリ(画像)
1%
ライブラリ(エクセル関
連)
0%
ライブラリ(型ヒント)
0%
上位70%のカテゴリー分類(Python)
開発 インフラ ライブラリ
WEB
26%
開発
18%
ライブラリ
10%
ライブラリ(テキスト)
8%
ライブラリ(ネットワー
ク)
8%
データベース
5%
JSON関連
5%
ユーティリティ
5%
コマンドラインツール
4%
クラウドサービス
2%
ツール
2%
ライブラリ(スレッド)
2%
ライブラリ(⽇付)
2%
インフラ
1%
ライブラリ(暗号)
1%
ライブラリ(画像)
0%
上位60%のカテゴリー分類(Ruby)
FACT 2: Pythonはデータ分析、Rubyは
言語系ツールが特徴

23. データ分析、機械学習とPython
■ 科学計算用のパッケージが豊富
– numpy(56), scikit-learn(113), scipy(116), pandas(127), sklearn(198),
matplotlib(212) などの科学計算ツールが豊富で良く利用される
– 歴史的には科学系パッケージや生物系の計算(Bioinfomatics)で発
展し、近年では機械学習(特に深層学習)のツールでデファクトスタ
ンダードとなった
■ 科学系ツールとしての利用
– iPython(現Jupyter)としてノートブック型プログラミングを定着させた

24. A2. Pythonは色んな場所で活躍してい
ます！
■ 最近ではインフラ系とデータ分析で多く利用されます
が、スクリプト言語として様々なライブラリがあります
のでお宝探しをしてみてください
Awesome Python : https://python.libhunt.com/

25. メジャー(らしい)ツールの紹介
■ xlrd - http://www.python-excel.org/
– エクセルデータを操作できるライブラリ
■ ReportLab - http://www.reportlab.com/opensource/
– PDFを操作できるライブラリ
■ execnet - http://codespeak.net/execnet/
– 複数のPython環境にタスクを分散するためのツール(テストの分散実行など)
■ CRAWLERA - https://crawlera.com/
– Webクロール時にBanされたときにIPを入れ替えて再送するサービス
– Scrapy - https://scrapy.org/ (クロールツール)のお供に
■ coala - https://coala.io/
– Pythonで実装された汎用スタイルチェッカー
■ Yarg - https://yarg.readthedocs.io/
– PyPIの情報を得るツール

26. おまけ (パッケージの多様性の例)
■ コマンドラインツールを作るライブラリ
– argparse(35), click(50), docopt(54), pexpect(92), blessings(111), configparser(115),
wcwidth(142), prompt-toolkit(152), positional(165), python-gflags(179), configobj(189),
cmd2(194), configargparse(221), argh(231), python2-pythondialog(275), termcolor(283),
python-augeas(299), parse-type(307), clint(473), args(481)
– 引数操作、ターミナル出力操作など
■ JSONを扱う為のライブラリ
– simplejson(2), jmespath(12), jsonschema(45), ujson(105), anyjson(107), jsonpointer(245),
jsonpatch(246), hjson(336), jsonpath-rw(439), jsonfield(499)
※ 括弧内はダウンロード数の順位 ※ Top 500は月間ダウンロード数 10万回 以上のパッケージ