Recommended
More Related Content
What's hot
What's hot (14)
Similar to 最弱オセロ
Similar to 最弱オセロ (20)
Recently uploaded
Recently uploaded (8)
最弱オセロ
- 2. !2© 株式会社AVILEN 自己紹介 会社情報 株式会社AVILEN CTO 吉田 拓真 誕生 1994/7 東京大学工学部化学システム工学科卒業 2018/3 東京大学大学院入学 2018/4 株式会社AVILEN創業(崔・大川・吉田) 2018/8 C++深層強化学習ライブラリ開発 2016/10 オセロ等強化学習AI開発 2016/12 FX株価予測モデル開発 2017/9 細胞3Dシミュレーション研究・学会発表 2018/4 ディープラーニング講師・教材制作 2018/5 DLを用いたチャットボット開発 2018/8 リクルートテクノロジーズデータサイエンス 2018/10 鉄加工図面認識AI開発プロジェクトリード 2018/11 日本ディープラーニング協会公式 E資格認定プログラム代表講師 2019/5 画像自動処理AI開発プロジェクトリード 2019/4 最弱オセロリリース 2019/7
- 5. !5© 株式会社AVILEN 最弱オセロ 会社情報 Game*Spark記事 7/26 16:00 ツイート 7/25 22:52
- 8. !8© 株式会社AVILEN 会社名 株式会社AVILEN(アヴィレン) 代表取締役 崔 一鳴 スタッフ数 50名 所在地 本社 〒101-0032 東京都千代田区岩本町3-5-14 リベラ岩本町6階 セミナールーム 〒110-0016 東京都台東区台東1-11-4 誠心Oビル3階 連絡先 info@avilen.co.jp 事業内容 AI・機械学習に関するセミナー事業 AI・機械学習に関するコンサルティング事業 AI・機械学習に関するシステム開発事業 会社情報 会社情報 会社ロゴ 人類の進化の過程を表現したブランド ロゴ。「全人類がわかる」というキー ワードを基軸にわかりやすい講座やAI サービスのデザインを行う。
- 12. !12 社内の組織編成 会社事業について © 株式会社AVILEN ビジネス推進チーム 深層学習の様々なモデルを理解 し、正しくプロジェクトの進行 を導くコンサルタントチーム Engineer EducationBusiness モデル開発チーム 深層学習を理論から理解し、工夫を 施した複雑なモデル実装を行うエン ジニアチーム(I Tスペシャリストを含 む) 教育研修チーム 開発とビジネスの知見を持ちつ つ、コミュニケーション力を持 ち合わせた教育チーム
- 13. !13© 株式会社AVILEN 様々な業務効率化に対応可能 会社事業について データ分析 ・購買行動予測 ・レコメンデーション ・需要/売上予測 自然言語処理 ・文書の自動タグ付け/分類 ・文書の意味把握 ・固有表現の抽出 ・チャットボット 画像処理 ・画像データから物体検出 ・書類の目視チェックの自動化 ・不良品の外観検査自動化 ・画像生成 1.案件定義 2.モデル開発 3.システム導入 4.運用/研修 ・ヒアリング ・データ前処理支援 ・見積もり/戦略策定 ・運用サポート ・定期メンテナンス ・技術教育研修 ・Webアプリ開発 ・インフラ整備 ・セキュリティ保守 ・評価指標の策定 ・PoCテスト ・開発レポート提出
- 23. !23© 株式会社AVILEN 代表社員紹介 主要メンバー 代表取締役 崔 一鳴 学生時代に全人類がわかる統計学を立ち 上げ、株式会社AVILENを創業。深層学習 を用いた自然言語処理を専門とする。自 然言語データ、画像データ、医薬データ を対象にしたデータ分析・AIモデルの作 成及びコンサルティング案件の経験が豊 富。現在も現役のデータサイエンティス トとして、実務に取り組むと共に会社経 営を行う。 取締役 大川遥平 株式会社AVIELNの共同創業者。自然言 語処理を専門とする。日本統計学会(ス ポーツデータ分析コンペティション優秀 賞受賞)やNLP若手の会、IEEE bigdataな どにおいて学会発表も積極的に行う。社 内では、自然言語処理/AWSインフラ構 築/バックエンド/フロントエンドなどの エンジニアチームをリード。エンジニア としての活躍の場は広い。 最高技術責任者 吉田拓真 株式会社AVIELNの共同創業者。東京大 学大学院時代に深層学習を活用。CTOと してAIを用いた図面読み取り・異常検 知・Webアプリなど数々の開発プロジェ クトをリードしてきた。同時に日本 ディープラーニング協会認定E資格対応 講座代表講師を務め、開発・教育・企画 に及ぶ全事業の技術的支柱を成す。
- 24. !24© 株式会社AVILEN 代表社員紹介 主要メンバー 取締役 AIコンサルタント 高橋 光太郎 AI導入での課題解決を中心に，様々な分 野にコンサルティングを行う。また、プ ロジェクトマネジメントで案件全体を リードすることが多く、機械学習/ディー プラーニング/Web系サーバサイド等の開 発も行う。東京大学大学院でニューラル ネットワークの基礎研究やビッグデータ 分析の研究に従事。 取締役 デザイナー 高橋 香輝 デザインや広報全般をはじめ、AVILENの ブランドデザインを統括している。 AVILENが開発するAIシステムのUI・UX デザインを手がける。千葉大学大学院に てサービス・プロダクトデザインを専攻 し、大手電機メーカーとの共同開発プロ ジェクトも行う。映像制作等の経験も持 つ。 AI事業推進部マネージャー 落合 達也 AI事業推進部として企画・開発・営業と 幅広く業務に従事。Pythonエンジニアと しての経験や専門の統計学の知識を生か したコンサルティング業務を推進。その 他、教育事業の責任者として、セミナー や研修の全てを統括している。
- 25. !25© 株式会社AVILEN サポート社員紹介 専門分野に特化したプレイヤーが集まっています。 AIスペシャリスト 吉川 武文 東京大学大学院修了。学部では生物情報 科学を専攻。生物から得られるビッグ データの解析や生物学における理論のシ ミュレーション、モデリングなどにも精 通。東京大学理科二類最高点合格、日本 生物学オリンピック金賞・本選一位など の受賞歴を持つ。深層学習を用いた実案 件に携わると共に、データ分析・深層学 習の講座全般を担当する。 AIスペシャリスト 柳浜 万里 DeNAのエンジニア。kaggle(データ分析 コンペ)にてメダル獲得経験あり。 AVILENではデータ分析講座の講師リー ダーを務める。深層学習を応用したプロ ジェクトにも携わりつつ、法人研修の講 師なども積極的に行う。京都大学大学院 修了。大学院では世界初のモデルとなる 機械学習を用いた地震予測手法の開発に 従事。 ITスペシャリスト 川瀬 拓実 Python/TypeScript/react.js/vue.js/go/ C/C++など様々な言語を使いこなし、IT 全般の技術のキャッチアップに余念が無 い。フロントエンド/サーバサイド/イン フラ構築を得意とし、様々なタイプのア プリケーションの開発を行っている。ま た、機械学習や深層学習の実装能力も高 く、多くの開発に参加するフルスタック エンジニア。
- 27. 強いオセロAI １
- 29. •CNNベースの深層強化学習 •Policy Network（方策） ＋ Value Network（価値） •モンテカルロ木探索 １ ３年前 出典 - AlphaGo
- 32. •深層ニューラルネットワークで盤面価値を予測 •アルファベータ探索で6 14手先までの盤面を読む •ランダム性を持って良い手を選ぶ •これをAI同士の対戦で強化学習させる １ AIアルゴリズム
- 34. 弱いオセロAIへの道 ２
- 41. 弱いオセロAI誕生 ３
- 45. •おそらく世界で一番弱い •最弱オセロに負ける人間もしくはAIを募集中 Github↓ https://github.com/Taku0728/ yothello ３ 負けられるひと（AI）募集
- 46. 強化学習アルゴリズム ４
- 47. • 現在の盤面の「価値」(良さ)を予測する • 一歩先のすべての盤面を列挙し、最も価値の高い盤 面を選択する • AIどうしで対戦した結果から、盤面価値を学習する • 探索による先読みと組み合わせることで性能の高い 方策を実現できる ３ 価値関数ベースのイメージ 出典 - AlphaGo
- 48. • Q(s, a)：状態行動価値 • 状態sで行動aをとった後、方策πに従っ て行動したときの、先の利得値 ３ Q学習
- 49. • ボルツマン分布を利用し、状態行動価値Q(s, a)を基準に行 動を選択する方策 • Q(s, a)が高いほどaが選ばれる確率が高い • 正の定数T(温度)を適切に設定することによって、確率に対 するQ値の影響を制御する • 全行動の集合Aから行動aが選択される確率π(s, a)は以下の 式に従う ３ ソフトマックス法
- 50. • Q学習ではmaxQを求めるためとりうる すべての状態を網羅する必要がある。 状態数が多すぎる、最適なQ値がわから ない • Deep Neural Networkを用いてQ関数 を近似して対処 ３ DQN
- 51. • 終盤の真の値は全探索によってわかる • アルファベータ法によって真の値を学習する（約ラスト 16手） • 中盤序盤の手はその6 8手先の一番良い盤面を学習する • 動的計画法に近い • 後ろから前に向けて学習するということで「真値の逆伝 播」と呼んでいる ３ ショートカット１
- 52. • モデルは330x16x16x16x16x16x1の全結合層 • 330は盤面情報＋計算による特徴量 • 特徴量 • 手の数 • 各ユニーク位置のコマ数 • 開放度 • 固定石の個数 • 形 • ストナーなど • このことを「力技特徴量NN」と呼んでいる ３ ショートカット２
- 55. Thank you