若手エンジニアとして今年頑張ったこと

1. 若手エンジニアとして
今年頑張ったこと💪
株式会社ディーネット
クラウドビジネス部 アーキテクト課 大向井 司

2. 自己紹介

3. 2
自己紹介
⚫大向井 司
⚫株式会社ディーネット所属(クラウドビジネス部アーキテクト課 入社3年目)
⚫好きなAWSサービス
→AWS Glue
⚫Twitter(@omk_pudding)
⚫DENET 技術ブログ
技術ブログ
Twitter

4. 今年頑張ったこと

5. 4
今年頑張ったこと
AWS Glueを用いた
ETL環境の構築

6. AWS Glueに注力
することとなった経緯

7. 6
AWS Glueに注力することとなった経緯
当社→WEBサーバ環境向けのインフラの設計構築運用がメイン
幅広い用途における
クラウド活用の「知見」と「実績」を獲得していきたい💪💪

8. 7
AWS Glueに注力することとなった経緯
そんな中データレイク環境のインフラ設計のご依頼が
ご相談当初はデータレイク用のS3バケットの設計や
データセンターからのデータ連携用のネットワークの話だったのに
データ変換用のETLスクリプトを書くことに……

9. 8
AWS Glueに注力することとなった経緯
「ETLミリしらですが
今日からGlue頑張ります！！😇」
※1ミリも知らない

10. 構成図

11. 10
構成図

12. 案件期間

13. 12
案件期間
2022年1月
稼働開始
2022年7月
本番稼働開始
2022年12月
開発完了
ETL用ソースコード作成 パフォーマンス改善
処理詳細確認
インフラ設計
念のためマスクしていますが、
丸1年間ETL処理の作成と改善に対応しています。

14. 頑張ったポイント

15. 14
頑張ったポイント
Sparkでの処理の実装

16. 15
頑張った結果できたこと
◆案件を最後まで走り切ることが出来た
◆Glueと仲良くなれた
◆AWS認定 Data Analytics - Specialtyを取得できた

17. 16
さいごに
新たな分野への取り組みんでみたら
好きな技術分野・サービスが増えた良い1年でした！！
来年もよろしくお願いします！