MonotaRO社内のグループLT会で利用したスライドです。 公開用に一部編集を加えています。 MonotaROのTechBlogはこちらをご覧ください。 https://tech-blog.monotaro.com/ MonotaROでは、社内のSlackやスライドにかわいいネコチャン絵文字を利用しています。 著作権者のしかまつ様、TechBlogへの掲載許可をいただきまして誠にありがとうございました。 しかまつ様note: https://note.com/shikamatsu/n/n8818bb5ebea1

1. 本番環境で
やらかしちゃった選手権

2. 参加者向けの説明
ページを自由に追加してください。

3. ○○をやらかした（名前）
（やらかした内容を書く）
テンプレート
アレだったら
匿名でも大丈夫です。
きっともう時効なので、
何を書いても大丈夫です。

4. ls したら本番サーバが落ちた
ファイルが山盛り入っているディレクトリで
files=`ls`
したらメモリを使い果たして本番サーバが落ちた。
[解説]
変数 files にはファイル名しか入らないし・・と油断していたら、
ファイル名が多過ぎてメモリが足りなくなりました。

5. 本番 DB で DELETE して全行消した
手順1:
本番 DB と開発 DB にそれぞれ接続してターミナルを左右に並べる。
手順2:
本番 DB のテーブルを見ながら開発 DB で試行錯誤する。
手順3:
開発 DB と間違えて本番 DB で DELETE を実行する。
気持ちよく Enter をターンッ → 綺麗に本番 DB のレコードが全部消えた

6. 本番システムに攻撃しちゃった
サイトのXSS修正リリースを本番に出した
→本番のテストアカウントでテストのために攻撃データ仕込む。
→サイトは大丈夫だったけど、社内システムで Stored XSSが発火

7. OSLサイト 一時間ぐらい全断しちゃった
リリーススクリプトの修正を行った
(pipパッケージをクリーンインストールしていたものをpipenv syncで差分更新するようにする
→Pipenv syncだと古いパッケージが消えない
→削除されないと動作しないパッケージが削除されず、OSLサイトのほぼ全ページが500エラーに

8. まだ使っているAMIテンプレートを消してデプロイ止めた
● wapi Python3.6EOL対応をして、不要になったものを削除依頼した
● 誤って削除対象に今も使っているテスト用wapiのAMIテンプレートが入って
いた
● 反省点
○ 本番環境への作業依頼にも関わらず
自明だからとチーム内レビューとばしたこと
○ レビューコストと問題対応のコストを考えると
間違いなくやるべきだった

9. 無限ループでファイル生成させてしまって本番環境がディ
スクフル
● 学生時代phpのWebアプリを作るアルバイトをしていました
○ 画面で入力された情報をもとに、HTMLファイルを生成するもの
● 小さなところで、本番環境しか実行環境はありませんでした
○ 開発用サーバーもないし、開発用のPCもない
● ループ条件をミスって書いて無限ループ発生しました→本番サーバーがディ
スクフルでHPが見れない
● 知見
○ 環境はきっちりわけましょう
○ 開発環境大事！（わりと今でも大切にしていることになっています）

10. (10年以上前の話です)
● 本番環境のSolrに開発環境のデータから作成したインデックスを食わせた
○ 0円祭り(だったような気がするが記憶を盛ってるかも)
○ 開発/本番環境分離のきっかけ
● 某サービスとのユーザー連携がサイトに組み込まれていた頃、本番環境で
誤ってユーザー登録してしまい連携先企業に登録メールが流れた
○ 開発PC/OAPC 2台持ちのきっかけ
● 「誤って本番環境のデータを変更してしまいました」という報告が毎月のよ
うに届いた
○ 当時は権限管理がちゃんとされていなかった
● 障害発生中に手作業でDB接続定義ファイルを変更したがtypoで延焼
○ 元々のエラーログの流れが速すぎてたぶん誰にも気づかれていない(夜間の緊急対応だったの
でワンオペだった。そしてZoomもない)

11. BigQueryの権限を意図せず削除してしまった
● BigQueryの権限(IAM)をTerraformで管理しようとしたら設定するリソースを間違え
ていてとあるプロジェクトの権限をふっとばしてしまった
● またほぼ同時期に同じくBigQueryのTerraform管理でIAMを触ったらAuthorized
Viewという設定を意図せず剥がしていた
● 反省点
○ Terraform上でBigQueryのIAMのリソースについて説明されているがちゃんと読んでなかった
■ IAM policy for BigQuery Table - hashicorp/google
○ Terraformはクラウドにおけるリソースの操作をやってくれるが、
とはいえTerraformがどういう挙動をするかは知っておいたほうがいいなと思った

12. 本番環境の CFn スタック消した
CloudFormation で管理されている本番環境のスタックを変更中、誤ってスタッ
クごと消した
- 削除保護設定のないもの以外は基本的に削除された
- EC2 インスタンスは状態を持たない運用であったのでバックアップから復元
- RDS インスタンスは、削除保護機能により削除を免れた
今後も認識しておきたいこと
- スタック削除保護+リソースの削除保護+バックアップは超大事
- 状態を持つリソースは、構築だけ IaC としても良い
- 適切な権限を持つ IAM で操作することが大事という超基本的な話