직렬화 포맷 개량과 라이브러리 구현 - PyCon Korea 2020
•
0 likes•358 views
'직렬화 포맷 개량과 라이브러리 구현 - PyCon Korea 2020' 발표의 발표자료 입니다. 암호학적 해시나 디지털 서명 등의 입력으로 직렬화된 데이터를 쓰려면, 해당 입력 데이터는 같은 의미에 대해서는 일관된 표현을 가져야 합니다. 하지만 JSON 등 널리 쓰이는 직렬화 포맷은 "a"와 "\x61"과 같이 하나의 의미를 여러 방식으로 표현할 수 있기 때문에, 의미는 같은데 해시나 서명이 달라지는 일이 발생하게 됩니다. 이런 문제를 해결하기 위해 여러 직렬화 포맷을 서베이하고, 그 중에서 가장 적절한 것을 좀더 개량한 뒤 Pythonic하게 구현한 경험을 공유합니다.
Recommended
More Related Content
Similar to 직렬화 포맷 개량과 라이브러리 구현 - PyCon Korea 2020
Similar to 직렬화 포맷 개량과 라이브러리 구현 - PyCon Korea 2020 (10)
직렬화 포맷 개량과 라이브러리 구현 - PyCon Korea 2020
- 1. 직렬화 포맷 개량과 라이브러리 구현 플라네타리움 <planetariumhq.com> 이도건 <github.com/moreal>
- 5. [
- 7. 동등한값은그해시도같아야한다 항목 값 Nonce 642 PublicKey 028763f8ada886a8df32bdd2893e1e086… Signer 0xFe16BDed1DFB806FA6Ca6326dF2876cd1f0514A7 Timestamp 2020-08-11073109.094UTC
- 8. 직렬화의대명사JSON { "nonce": 642, "publicKey": "028763f8ada886a8df32bdd2893e1e086…", "signer": "fe16bded1dfb806fa6ca6326df2876cd1f0514a7", "timestamp": "2020-08-11T07:31:09.094Z" } $ sha1sum tx.json 02c14c49e16c142b3ef0746751004eb79599179a tx.json
- 9. 직렬화의대명사JSON은같은값도다르게표현할수있다 { "timestamp": "2020-08-11T07:31:09.094Z", "signer": "fe16bded1dfb806fa6ca6326df2876cd1f0514a7", "publicKey": "028763f8ada886a8df32bdd2893e1e086…", "nonce": 642 } $ sha1sum tx.json e3e07657b7ac147eb5cbae3ac3bee013786961f6 tx.json
- 13. 입력ː출력 직렬화포맷 입력ː출력 pickle 1∶N JSON 1∶N BSON 1∶N msgpack 1∶N
- 16. 입력ː출력 직렬화포맷 입력ː출력 pickle 1∶N JSON 1∶N BSON 1∶N msgpack 1∶N bencode 1∶1
- 17. Bencode의시대적한계 2001년에비트토렌트와함께만들어진포맷. 빈값( None )지원안함. 불논리값( True 또는 False )지원안함. →파이썬에 bool 타입이2002년에야들어와서(PEP285). 문자열은모두바이트배열( b"..." ). 유니코드쓰려면알아서인코딩해야함( u"...".encode(...) ). →당시파이썬3는나오기도전이라기본문자열은바이트배열이었다.
- 20. Bencodex의모든자료형은파이썬에도빌트인으로있다 자료형 Bencodex Python 없음 n None 불 t / f True / False 정수 i3e 3 바이트열 4:spam b"Spam" 유니코드문자열 u6:단팥 u"단팥" 목록 l4:spamu4:eggse [b"spam", u"eggs"] 사상(사전) du4:spaml1:au1:bee {u"spam": [b"a", u"b"]}
- 21. 파이썬직렬화모듈API marshal → pickle → json 등으로이어져온사실상의표준 dump(obj: Any, file: IO[bytes]) -> None dumps(obj: any) -> bytes load(file: IO[bytes]) -> Any loads(string: bytes) -> Any
- 23. 타입검사 from bencodex import dump with open("file.dat", "wb") as f: dump(f, "value") # 인자 순서 틀림 # error: Argument 2 to "dump" has incompatible type "str"; expected "BinaryIO"
- 25. bencodex/types.py @1.0.1 from typing import Any __all__ = 'BValue', BValue = Any # Mypy currently does not support recursive types. # https://github.com/python/mypy/issues/731
- 26. Mypy는현재재귀타입미지원 BValue 는 bool , int 같은스칼라값외에도목록이나사전처럼복잡한값을포함. 그러나이를타입으로표현하려면 Sequence[BValue] 나 Mapping[Union[str, bytes], BValue] 와같이타입정의안에다시 BValue 라는이름이등장할수있어야함. 타입정의안에정의하려는타입( BValue )을쓸수있게해주는게recursivetypes (예: BValue = Union[..., Sequence[BValue]] ). Mypy는아직이기능을미지원해서일단 BValue = Any 로정의해둘수밖에없었다. 그러나mypy측에서해당문제해결가능성도보임! <github.com/python/mypy/issues/731>
- 28. bencodex/writer.py @1.0.1 elif isinstance(value, collections.abc.Mapping): … items = [ (u, k.encode('utf-8') if u else k, v) for k, v in value.items() for u in [is_unicode(k)] ] items.sort() …
- 31. bencodex/test.py @1.0.1 def load_testsuite_data() -> Generator[Tuple[str, object, bytes], None, None]: … for filename in resource_listdir(pkg, 'spec/testsuite'): if not filename.lower().endswith(('.yaml', '.yml')): continue yaml_filename = 'spec/testsuite/' + filename data_filename = suffix_re.sub('.dat', yaml_filename) if not resource_exists(pkg, data_filename): continue yaml = load_yaml(resource_string(pkg, yaml_filename).decode('utf-8')) …