re:Growth 2020 onlineについての詳細は下記URL https://dev.classmethod.jp/news/201218-regrowth-online/

1. データ分析系新サービス・アップデート
ピックアップ
2020/12/18
データアナリティクス事業本部 甲木洋介

2. 2自己紹介
甲木 洋介（@yokatsuki）
データアナリティクス事業本部プリセールスアーキテクト
データ分析お悩み相談～システム妄想～設計
～見積～提案～プロジェクト引き渡し、運営

3. 3
データ分析にまつわる
周辺環境の変化

4. 4※個人的観測範囲による主観です※
データレイクとデータウェアハウスの進化
• 振興ベンダーの台頭
• データレイクとデータウェアハウスのボーダーレス化
外部連携強化
• 機械学習サービスとの連携
• データウェアハウスをまたいだデータ分析の必要性
BIの進化
• より人間側に寄り添った進化

5. 5
AWS re:Invent 2020 online
データ分析系新サービス
ピックアップ

6. 6Amazon Redshift！ １
• AQUA（プレビュー）
• RA3インスタンス専用の高速キャッシュレイヤー
• 2021.1 GA予定
• RA3.xplus（GA）
• vCPU x4 : RAM 32GiB : 32TB/node（最大1PB）
• RA3.4xlarge（$3.836/hour*node）の1/3
• AZリロケーション（GA）
• 障害を自動検知、別のAZでクラスタ復帰
• 注：RA3限定

7. 7Amazon Redshift！ ２
• Data Sharing（プレビュー）
• Redshiftクラスタ間で任意のデータベースオブジェクトを共有
• 注：RA3限定
• Amazon Redshift Performance Tuning – Automated（GA）
• 機械学習を用いソートキーと分散キーを自動的設定
• 半構造化データ（プレビュー）
• 新データ型「SUPER」にJSONデータをそのまま格納
• クエリ時に要素名で検索可能
• 直接マテリアライズドビュー作成でETL処理を軽減

8. 8データレイク周辺 １
• Amazon S3
• オブジェクト更新直後でも常に強い整合性が実現（GA）
• 結果整合性→データ格納後すぐに参照可能
• AWS Lake Formation
• トランザクション（プレビュー）
• トランザクション対応設定とAPI
• 行レベルのセキュリティポリシー（プレビュー）
• データアクセス設定 行/列ポリシー
• アクセラレーション（プレビュー）
• レイク上の大量小ファイルをバックグランドで結合（コンパクション）

9. 9データレイク周辺 ２
• Amazon Kinesis Data Stream
• データ保存期間7日→1年（GA）
• Kinesisをデータレイクとして考える事が可能に？
• Amazon EMR
• EMR Studio （パブリックプレビュー）
• 統合開発環境（IDE）
• R、Python、Scala、PySpark開発
• Amazon EMR on Amazon EKS（一部GA）
• Apache Spark、Hive、Hudi、Prestoなどがコンテナ上で動作
• EKSクラスターに自作のEMR利用アプリケーションをデプロイ可能

10. 10外部連携
• Amazon S3
• 複数の宛先バケットに対するS3レプリケーション（GA）
• イベントだのLambdaだのの準備が不要に
• AWS Glue
• AWS Glue Elastic Views（プレビュー）
• 各種データベースへのマテリアライズドビューを自動管理
• Amazon Redshift
• Amazon Redshift Federated Query MySQL対応（プレビュー）
• RedshiftからRDS MySQLやAurora MySQLへパススルークエリ
• 他ML系
• Redshift ML（パブリックプレビュー)
• Neptune ML（GA）

11. 11BI周辺
• Amazon QuickSite
• QuickSite Q（プレビュー）
• 自然言語（ただし英語）でグラフ自動作成
• Amazon ElasticsearchServiceからのデータを視覚化（GA）
• データロード処理不要
• グラフタイプを追加（GA）
• 箱ひげ図
• 塗りつぶしマップ