More Related Content
Similar to 型ヒントとテストを追加している話
Similar to 型ヒントとテストを追加している話 (20)
Recently uploaded
Recently uploaded (20)
型ヒントとテストを追加している話
- 5. お前誰よ 名前: Makoto Mochizuki 所属: 株式会社DataSign 居住地: 静岡県静岡市 型ヒント、テストの経験: 1年半くらい
- 6. プロダクトの宣伝&紹介
- 7. 技術スタック ● Django ● Celery ● Crawler(requests + Headless Chrome)
- 8. プロダクトの特徴 ● 管理画面 ○ スキャンしたいサイトを入力 ○ スキャンしたサイトを管理 ● クローラー ○ Webサイトをクロール ● サービス解析機能 ○ 入手した複数のHARを使って外部サービスを検出
- 9. 型ヒント
- 10. 簡単に型ヒントをおさらい 型ヒント # before def sum(num, num2): return num1 + num2 # after def sum(num1: int, num2: int) -> int: return num1 + num2
- 11. 実行エラーをなんとかしたい 型ヒント # cat test.py def sum(num1: int, num2: int) -> int: return num1 + num2 sum(1, "1") # error
- 12. mypy CI に組み込もう! 型ヒント # cat test.py def sum(num1: int, num2: int) -> int: return num1 + num2 sum(1, "1") # error # mypy test.py error: Argument 2 to "sum" has incompatible type "str"; expected "int"
- 15. 型ヒント自動生成ツール ● PyAnnotate ● MonkeyType ○ こっちを使いました(特に理由は無い) ■ mypyのドキュメントに初めに書いてあった ■ MonkeyType の方がスター数が多かった 型ヒント
- 17. プロダクト問題を型ヒントで解決していく ● 引数の数が多い ○ 何があるか把握にしくい ○ どんな型か把握しにくい ● dictの構造が判り辛い
- 18. 型ヒント ● 引数の数が多い ○ 何があるか把握にしくい ○ どんな型か把握しにくい → dataclassで用途ごとに引数をまとめる
- 19. 型ヒント from dataclasses import dataclass @dataclass class Item: name: str price: int item = Item(name="item", price=1) print(item.name) # item print(item.price) # 1
- 20. # dataclass を使った場合 @dataclass class Item: name: str price: int @dataclass class Person: name: str age: int def create(item: Item, person: Person): create_x(item) create_y(item, person) 型ヒント # dataclass を使わない場合 def create(item_name: str, item_price: int, person_name: str, person_age: int): create_x(item_name, item_price) create_y(item_name, item_price, person_name, person_age)
- 21. dataclass と mypy を組み合わせる 型ヒント # cat test.py from dataclasses import dataclass @dataclass class Item: name: str price: int item = Item(name=1, price=1) # mypy test.py error: Argument "name" to "Item" has incompatible type "int"; expected "str"
- 22. dataclass ≠ dict
- 23. 型ヒント item = Item(name="item", unit_price=1) item_dict = {“name”: “item”, “unit_price”: 1} item == item_dict # False
- 24. 型ヒント ● dictの構造が判り辛い → TypedDict を使う
- 25. 型ヒント # とても辛い x: dict[str, Union[int, dict[str, Optional[str]]]] x = {"key1": 1, "key2": {"key3": "val"}}
- 26. 型ヒント TIPS TypedDict from typing import TypedDict class ItemDict(TypedDict): name: str price: float item_dict = ItemDict(name="item", price=1) item_dict == {'name': 'item', 'price': 1} ＃True
- 27. TypedDict と mypy を組み合わせる 型ヒント # mypy test.py Incompatible types (expression has type "int", TypedDict item "name" has type "str") # cat test.py from typing import TypedDict class Item(TypedDict): name: str price: int item = Item(name=1, price=1)
- 28. 型ヒント class Item(TypedDict): name: str price: float Item(name="name", hoge="hoge") # mypy test.py Extra key 'hoge' for TypedDict "Item"
- 29. 型ヒント Typed Dictだと何が嬉しいのか - データの参照方法が変わらない - item[“name”] のまま - celery にタスクを投げる時そのまま渡せる - accept_content = [“pickle”] は避けたい
- 30. 型ヒント Q: 全部 Typed Dict にするの辛いんだけど？ A: 弊チームも全部 Typed Dict にしてません。他は dict にしてます。
- 31. ちなみに
- 33. 型ヒント そもそもHARとは? HTTP Archive format (HAR)は、ウェブブラウザとサイトと のやり取りを記録するためのJSON形式のアーカイブファイ ルフォーマットです。これらのファイルの一般的な拡張子 は.harです。 https://en.wikipedia.org/wiki/HAR_(file_format)
- 35. 型ヒント class Item(TypedDict): name: str price: float class Person(TypedDict): name: str item: Item class Data(TypedDict): person: list[Person] json_str = """ { "person":[ { "name":"person1", "item":{"name": "item1", "price": 1.1} }, { "name": "person1", "item": {"name": "item2", "price": 1.1} } ] } """ data: Data = json.loads(json_str)
- 36. ● とりあえずmypy を入れる ● 既存コードが多い場合は 自動で型ヒントをつけるツ ールを検討 ● dataclass, Typed Dict を使ってデータをまとめていく ● とりあえずmypy を入れる 型ヒントまとめ
- 37. テストを書く
- 38. ツール ● Testing tool: pytest ● pytest-plugin: pytest-django ● カバレッジ計測: pytest-cov ちなみに celeryで実行するタスクは、celery経由でテストしていません。 pytest でテストしています。
- 40. どこからテストを書くか
- 41. どこからテストを書くか ● 管理画面 ○ スキャンしたいサイトを入力 ○ スキャンしたサイトを管理 ● クローラー ○ Webサイトをクロール ● サービス解析機能 ○ 入手した複数のHARを使って外部サービスを検出
- 42. どこからテストを書くか ● 管理画面 ○ スキャンしたいサイトを入力 ○ スキャンしたサイトを管理 ● クローラー ○ Webサイトをクロール ● サービス解析機能 ○ 入手した複数のHARを使って外部サービスを検出 一般的なViewの機能 プロダクトの肝となる機能は無い
- 43. どこからテストを書くか ● 管理画面 ○ スキャンしたいサイトを入力 ○ スキャンしたサイトを管理 ● クローラー ○ Webサイトをクロール ● サービス解析機能 ○ 入手した複数のHARを使って外部サービスを検出 クローラー、解析機能が重要
- 44. どうやってテストを書くか
- 45. どうやってテストを書くか ● メソッドのユースケースごとに書く ○ カバレッジはそこまで気にしない ● テスト対象の内部で実行しているメソッドにテストがない時 ○ とりあえず放置 ○ リファクタ or 機能追加で変更する時に書く ● リファクタ or 機能追加の時はテストを追加してから カバレッジ 40% → 80% に🎉
- 46. 1年程テストを書いた感想
- 47. 1年ほどテストを書いた感想 ● テスト怖い → テスト安心 ● 自分のコードの質を確認する1つの指標になった ○ テスト容易性 ● 失敗したこと ○ yaml などでデータ生成を行う ■ なぜ ● どのようなデータでテストしているのか不透明 ● カラム変更の追従が辛い ■ どう修正したか ● コードでデータ生成する
- 48. テストまとめ ● とりあえず pytest を入れる ● プロダクトの肝となる機能からテストを追加する ● 機能改修する部分だけテストを追加すると良いかも ● テストは怖くない
- 49. おわり
Editor's Notes
- テスト怖い 実装の変更とテストも変更しないといけない、億劫。 でも、安心。 自分では気づかないところでテストが失敗。デグレが起こっていた可能性。