PyCon2020 Pythonで競プロをしよう！〜入門者が知っておくべき高速化Tips〜

Copyright（C） Nowcast, Inc. All rights reserved.
Nowcast
Pythonで競プロをしよう！
〜入門者が知っておくべき高速化Tips〜
2020年8月28日
株式会社ナウキャスト
大野巧作
PyCon JP 2020
#pyconjp_4

Copyright（C） Nowcast, Inc. All rights reserved. 2
● 自己紹介
● 標準入力
● 基本的なデータ構造の計算量
● Listの効率的な使い方
● Sort関連
● PythonとPyPy
アジェンダ

● 名前：大野巧作
● 所属：株式会社ナウキャスト
○ データサイエンティスト・データエンジニア
● Python歴：3年
● 好きな標準ライブラリ：itertools
● AtCoderアカウント：Kevinrobot34
自己紹介

競プロでは実行速度の早いC++がメジャーですが、近年Pythonでの参加者も増えています。
Pythonは書きやすさが人気の一つですが、やはり実行速度はC++に比べると遅いです。
このセッションではPythonで競プロをする際に、知っておくとそれだけで実行時間を短く
できたりするようなテクニックを紹介していきます！
紹介すること
■ Pythonで競プロをする上で気をつけた方が良い書き方
■ PyPyを用いた高速化
紹介しないこと
■ numpyやnumbaを用いた高速化
Overview
5

■ 個人のMacBookProを利用して実験
■ 基本的にはPythonのtimeitを使って10回繰り返し実行し、計測時間を観察した
■ 一部shellのtimeコマンドも利用
■ AtCoderへの提出した際の実行時間のことも
時間の計測方法について
6

標準入力
7

組み込み関数のinput()はかなり遅い！
標準入力
inputとsys.stdin.readline
n = int(input())
a = [int(input()) for _ in range(n)]
import sys
input = sys.stdin.readline
n = int(input())
8
1000000
1
2
3
4
...

組み込み関数のinput()はかなり遅い！
標準入力
inputとsys.stdin.readline
n = int(input())
import sys
input = sys.stdin.readline
n = int(input())
9
2077ms
310ms
基本的には
sys.stdin.readlineを
利用した方が良い！
※末尾の改行文字などは
　取り除かれないことに
　注意

基本的なデータ構造の計算量
10

lを長さnのListとする
■ ランダムアクセスはO(1)
● O(1)といいつつ遅いのでなるべく避けた方が良い（後述）
■ 末尾へのAppend / 末尾のPopは早いが、その他の場所のAppendやPopは遅い
■ inやmin、maxといった操作は直感的に書くことができ便利だが、O(n)
Listの各種操作の計算量
11
Operation Code example Average Case
Append l.append(x) O(1)
Pop last l.pop() O(1)
in x in l O(n)
min, max min(l), max(l) O(n)

lを長さnのListとする
■ ランダムアクセスはO(1)
● O(1)といいつつ遅いのでなるべく避けるとよい（後述）
■ 末尾へのAppend / 末尾のPopは早いが、その他の場所のAppendやPopは遅い
■ inやmin、maxといった操作は直感的に書くことができ便利だが、O(n)
Listの各種操作の計算量
12
Append l.append(x) O(1)
Pop last l.pop() O(1)
in x in l O(n)
min, max min(l), max(l) O(n)
SetやDictを
検討しよう！

sをSet、dをDictとする
■ SetとDictはいわゆるハッシュテーブルというデータ構造
● C++の平衡二分探索木の Setとはまったく別物であることに注意！
● inが早い
• Listはinが遅いので、inを多用したい場合は Set / Dictでの実装が要検討
Set / Dictの各種操作の計算量
13
in x in s O(1)
Add s.add() O(1)?
in x in d O(1)
Get item d[x] O(1)
Set item d[x] = y O(1)
Set Dict

Listの効率的な使い方
14

Listのindexを使ったアクセス（ランダムアクセス）は非常に遅い。
indexによるアクセスは遅い
15
for i in range(n):
a[i]
for ai in a:
ai
for i, ai in enumerate(a):
ai
n = 10**7; a = list(range(n));
？
それぞれ実行時間は
何秒になるでしょう？

Listのindexを使ったアクセス（ランダムアクセス）は非常に遅い。
indexによるアクセスは遅い
16
for i in range(len(a)):
a[i]
for ai in a:
ai
for i, ai in enumerate(a):
ai
n = 10**7; a = list(range(n));
ランダムアクセスはこのように
非常に遅い！
基本的には中段の書き方が
おすすめ！
indexが必要な場合は下段の
enumerateを使った書き方も。

Sort関連
17

ListのListなどのソートは遅いが、keyの指定の仕方で工夫できる
ListのListのソートにはoperator.itemgetter
18
a.sort(key=lambda x: x[1])
from operator import itemgetter
a.sort(key=itemgetter(1))
？
それぞれ実行時間は
何秒になるでしょう？
n = 10**6
a = [[random(), random(), random()] for i in range(n)]

ListのListなどのソートは遅いが、keyの指定の仕方で工夫できる
ListのListのソートkeyにはoperator.itemgetter
19
a.sort(key=lambda x: x[1])
from operator import itemgetter
a.sort(key=itemgetter(1))
n = 10**6
a = [[random(), random(), random()] for i in range(n)]
ListのListの要素が文字列
だったりするとさらに遅く
なるので、keyにitemgetter
などを利用して高速化を
図るのが良い

PythonとPyPy
20

■ 安定したJIT(=Just In Time)コンパイラで、ほとんどすべての組み込みモジュールが提供されてい
る
■ Numpyなどは使用できないが、競技プログラミングでは基本的な制御構文とデータ構造を組み合
わせたコードを書くことが多いので、Pythonで書いたコードをそのままPyPyとして提出するだけ
で速度が上がることが多々ある
■ AtCoderで現在提供されているPyPy3 (7.3.0)はPython3.6.9と互換性のあるもの
PythonとPyPy
PyPyとは？
21
3.6.9 (7.3.0+dfsg-1~ppa1~ubuntu18.04, Dec 24 2019, 08:12:19)
[PyPy 7.3.0 with GCC 7.4.0]
https://www.pypy.org/index.html よりhttps://www.python.jp/pages/about.html より

pyenvを使うと自分のパソコンで複数のPythonのバージョンを管理することができる。
以下のコマンドで切り替えができる。
詳細についてはpyenvのGithubをチェックしてみてください！！
PythonとPyPy
local環境へのinstall
22
$ pyenv local 3.8.2 # set to Python3.8
$ pyenv local pypy3.6-7.3.0 # set to PyPy3
$ pyenv install 3.8.2
$ pyenv install pypy3.6-7.3.0

forやwhileが二重以上になるような場合、PyPyを使った方が明らかに早い。
PythonとPyPy
PyPyを使うと早くなる例
23
n, k = map(int, input().split())
h = tuple(map(int, input().split()))
dp = [10**10] * n
dp[0] = 0
for i in range(1, n):
dp[i] = min(dp[j] + abs(h[j] - h[i])
for j in range(max(0, i - k), i))
print(dp[n - 1])
EDPC B - Frog 2 (n <= 10**5, k <=100)
EDPC B - Frog 2
DPの問題で、制約は以下
■ n <= 10**5
■ k <= 100
左のようなO(nk)の二重ループの
コードをPython3とPyPy3両方で提
出するとどうなるか？

forやwhileが二重以上になるような場合、PyPyを使った方が明らかに早い。
PythonとPyPy
PyPyを使うと早くなる例
24
n, k = map(int, input().split())
h = tuple(map(int, input().split()))
dp = [10**10] * n
dp[0] = 0
for i in range(1, n):
dp[i] = min(dp[j] + abs(h[j] - h[i])
for j in range(max(0, i - k), i))
print(dp[n - 1])
EDPC B - Frog 2 (n <= 10**5, k <=100)
Python3 : 1713 ms
vs.
PyPy3 : 343 ms
このようにまったく同じコード
でも、PyPyにするだけでかなり高速
化できる！

基本的にはPyPyを使うだけでかなりの高速化が見込めるが、一部遅い処理もある
■ 再帰関数を用いた処理
■ 文字列に関連した処理
心配な場合は、local環境やAtCoderのコードテストで両言語で試してみてから早い法を提出するなど
すると良いと思います。
PythonとPyPy
Pythonの方が早い場合
25

■ ハイパフォーマンスPython
■ Effective Python
■ https://wiki.python.org/moin/TimeComplexity
■ https://github.com/pyenv/pyenv
今回のコードはGithubで公開しています
■ https://github.com/Kevinrobot34/cp_python_tips/tree/master/pycon2020
References
26

皆さんも是非Pythonで競プロを始めましょう！
本日の内容は後日加筆して
弊社テックブログ( https://medium.com/finatext )に
投稿予定です。そちらもよろしくお願いします！
Nowcast for Actionable Insights

PyCon2020 Pythonで競プロをしよう！〜入門者が知っておくべき高速化Tips〜

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to PyCon2020 Pythonで競プロをしよう！〜入門者が知っておくべき高速化Tips〜

Similar to PyCon2020 Pythonで競プロをしよう！〜入門者が知っておくべき高速化Tips〜 (20)

Recently uploaded

Recently uploaded (14)