SlideShare a Scribd company logo
D E E P L E A R N I N G L A B - 自 然 言 語 処 理 ナ イ ト
NLPソリューション開発の最前線
I S I D の 最 新 最 新 文 書 A I ソ リ ュ ー シ ョ ン : T e x A I n t e l l i g e n c e / テ ク サ イ ン テ リ ジ ェ ン ス の 概 要 を 紹 介 、
ソ リ ュ ー シ ョ ン 内 で の A z u r e 活 用 方 法 の 解 説 、 そ し て 自 然 言 語 処 理 分 野 で 実 施 し て い る 弊 社 研 究 開 発 の 紹 介
2020年7月2日
株式会社 電通国際情報サービス
X(クロス)イノベーション本部 AIテクノロジー部
【本資料は公開されます】
本日の
発表概要
# 目次 登壇者
0 はじめに ISID)
深谷勇次1 ISID の最新文書AIソリューション:
TexAIntelligence/テクサインテリジェンスの
概要紹介
2 ソリューション内でのAzure活用方法の解説 ISID)
小川雄太郎
3 自然言語処理分野で実施している
弊社研究開発の紹介
ISID)
ファイサル
ハディプトラ
[#0]
はじめに
• ISIDは、株式会社電通と米国General Electric Company(GE)との合弁で1975年に設立された企業です。
• 業界・ソリューション別に4つの事業セグメント(製造、金融、ビジネス、コミュニケーション)でビジネスを展開しています。
4
株式会社電通国際情報サービス(略称:ISID)
情報セキュリティマネジメントシステム(ISMS)
- 「ISO/IEC27001:2013」
- 「JISQ27001:2014」
プライバシーマーク
環境マネジメントシステム(EMS)
- 「ISO14001:2015」
- 「JISQ14001:2015」
企業情報 各種認証
IS 598941 / ISO(JIS Q)27001
会社名 株式会社電通国際情報サービス(略称:ISID)
英文社名 Information Services International-Dentsu, Ltd.
代表者 代表取締役社長 名和 亮一
本社所在地 東京都港区港南2-17-1
支社 関西支社/中部支社/豊田支社/広島支社
設立 1975年12月11日
資本金 81億8050万円
従業員数 連結2,783名/単体1,457名(2018年12月末現在)
連結子会社数15社(国内8社、海外7社)
URL www.isid.co.jp
事業内容 コンサルティングからシステムの企画・設計・開発・運用
・メンテナンスまで、一貫したソリューションを提供
• ISIDは、2020年2月に全社にまたがる部門横断の新組織として、
「AIトランスフォーメーションセンター」を設置しました。
• 人工知能に関する人材と知見を集約し、客先に対するデジタル変革「DX」支援で全社の力を結集し、
製造業の設計開発への適用などで先駆けてきたAIソリューションや深層学習などの技術を全社ビジネス
に横展開し、お客様の新規事業創出のご支援を行っています。
5
AIトランスフォーメーションセンター 設立について
https://www.isid.co.jp/news/release/2020/0210.html
6
ISID、AI-3製品を2020年5月にリリース済
https://www.isid.co.jp/news/release/2020/0423.html
[#1]
ISID の
最新文書AI
ソリューション:
TexAIntelligence
/テクサインテリ
ジェンスの概要紹介
8
自己紹介
深谷 勇次 (Fukaya Yuji)
所属
株式会社 電通国際情報サービス X(クロス)イノベーション本部
AIテクノロジー部 AIコンサルティンググループ マネージャー
AIトランスフォーメーションセンター
業務
AIプロジェクトのリードから、プロジェクトマネージャとして、お客様へのビジネスのAI適用を包括的に推進
ISIDのAI製品の企画、プロジェクトマネジメント
AI技術を中心とした研究開発、新規ビジネス開発
その他
東北大学工学研究科修士卒。長年様々な業種のデータ分析や、データ分析システム構築のプロジェクトマネージャを担当。
昨今は、自社だけではなく、MS様との共同セミナーや、Webinarなどを多数企画・実施。ゆるふわなビジネス課題をAIで支援し
ていくためのメソドロジを開発。AIの実社会への実装を1つでも増やし、社会に貢献するため日々奮闘中。
9
「ロボットは東大に入れるか(東ロボ)」プロジェクト
https://21robot.org/index.html
「ロボットは東大に入れるか(東ロボ)」プロジェクト(2011年開始)
10
文書系AIの進化(2016年の記事)
AIは国語が苦手
東ロボは、問題を解き、正解も出すが、読んで理解しているわけではない。
現段階のAIにとって、文章の意味を理解することは、不可能に近い。
そうすると、特に難しいのが国語と英語だ
国語では、2016年のセンター試験模試(進研模試 総合学力マーク模試・6月)では、
200点中96点しかとれなかった。
偏差値は49.7。
5科目8教科全体の偏差値が57.1だったことを踏まえると、かなり低く、
これらの教科は苦手だということがはっきりした。 https://news.yahoo.co.jp/byline/yuasamakoto/20161114-00064079/
11
(参考)ロボットは東大に入れるか2016結果概況
https://21robot.org/progress.html
30
35
40
45
50
55
60
65
70
東ロボ偏差値
12
ところが、文書系AIの進化(2019年の記事)
https://xtech.nikkei.com/atcl/nxt/mag/nc/18/120400145/120400002/
AIに文章読解は不可能――。数年前までこれが常識だった。
日本の国立情報学研究所が2011年に始めた「ロボットは東大に入れるか(東ロボ)」プロ
ジェクトでも、AIは大学入試センター試験の英語試験で長文読解問題や単語の並べ替え問題
に全く歯が立たなかった。東ロボのAIが2016年にセンター試験の英語問題を解いた際の偏
差値は「45.1」。東大合格はとうてい不可能なレベルだった。
ところが米グーグルが2018年10月に発表した新技術で常識が一変した。文章読解問題を
人間より高い正答率で解いたからだ。
スタンフォード大学が人間の被験者に問題を解かせたところ、元の文章から正答を完全一
致で抜き出せたスコア(正答率)は82.304%。部分一致で抜き出せたスコアは91.221%
だった。対するBERTのスコアは完全一致が87.433%、部分一致が93.160%とどちらも人
間を上回った。
13
【市場動向】
AI分野で言語解析の需要が拡大中
AI主要6市場規模推移および予測(2017~2023年度)
https://www.itr.co.jp/report/marketview/M19002200.html
高い伸び率を
示しているのが、
言語解析
14
ISIDのNLPを利用したケーススタディー
ケーススタディー①「過去の製品不具合に関する文書から似たものを探し出す」
ケーススタディー②「文書を読んで分類する工数削減、人の誤りを減らす」
15
ISID ケーススタディー①
「過去の製品不具合に関する文書から似たものを探し出す」
品質保証部門
日々発生している過去の不具合レポート文書を読み
過去の不具合レポート文書から似た不具合を探す。
調査結果や対策が紐付いている、過去のレポートの内容を元に、
今発生している不具合の現象を把握し、解析を検討したり、関係者に連絡
している
お客様の業務
過去に似た現象があったのか、過去の文書データの中から探し出し、似たも
のがあれば原因や対策内容について知ったうえで早期の対策につなげたい。
また、似た現象がないことも知りたい。もし新規の現象の場合は、より深く
調査する必要がある。
• お客様の業務
16
ISID ケーススタディー②
「文書を読んで分類する工数削減、人の誤りを減らす」
製品開発
・企画部門
顧客の不満やニーズを把握し製品開発や企画に役立てるために顧客満足度調査の
データを分析している。数値やカテゴリを選択する回答であれば分析しやすいが、
自由記述欄の文書回答欄に何が書かれているかは人が読まなければわからない。
年間約10万件ある文書のうちの半数の文書回答欄を人が読んで、不満やニーズの種
類で人が分類してタグ付けし、機種ごとにどのような不満やニーズがあるかを調べ
ている
過去の分類結果を用いて分類作業を人と同じ分け方で自動化できないか
今まで存在しなかったニーズをいち早く見つけたい
人による分類ラベルのわり振り方の誤りを減らし重要な問題の見逃しを
減らせないか
17
文書系AIソリューションの開発背景
NLP・言語分野の
AI技術力の向上
AI・NLP技術を用いた
業務システム案件の増加
• ISID独自の自然言語処理(NLP)ソリューション
• お客様の課題・ニーズからスタートし、実プロジェクトの経験を活かしたAIシステム
• Webシステムのため、ユーザーはWebブラウザだけで利用可能
18
TexAIntelligenceコンセプトビデオ
• TexAIntelligenceに興味がある方は、
• https://isid-industry.jp/product_and_service/detail/AI_implementation/TexAIntelligence
• を参照ください。
19
TexAIntelligenceに関して
[#2]
ソリューション内で
のAzure活用方法の
解説
21
小川 雄太郎
 所属:電通国際情報サービス クロスイノベーション本部 AIテクノロジー部
 業務:深層強化学習やDL解釈性などの案件、自社AIソフトの開発リーダ、研究&学会発表、外部講演
 兼職:早稲田大学 非常勤講師、日本ディープラーニング協会 委員
 詳細:https://github.com/YutaroOgawa/about_me
 Twitter:https://twitter.com/ISID_AI_team
 出版: PyTorchによる発展ディープラーニング、深層強化学習、機械学習入門、因果分析
自己紹介
[#2-1]
自然言語処理
ソフトウェア
「TexAIntelligence」
でのAzureの活用実態
1. フロントエンド
2. アプリケーションサーバ
3. マシンラーニング・サービス
23
システムのインフラ構成図
Resource Group
Internet
Machine Learning Service
Blob Storage
for Media Data
Azure Database for
PostgreSQL
as Application DB
Blob Storage
for Trained Models
User Storage
Account
for Static Site
Virtual
Machine
for ML
computing
Log Analytics
Virtual Machine
for Application
Server
※ML : Machine
Learning
※各IP制限やNSG(ネットワークセキュリティグループは省略)
フロントエンド
24
フロントエンドの3つの特徴
・Azure Storageの静的Webサイトホスティングを利用※
特徴1:Azure Blob Storageにフロントエンドのサイトを配置
(※参考)Azure Storage での静的 Web サイト ホスティング
https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blob-static-website
・サーバーサイドレンダリングはせず、SPA (シングルページアプリケーションモード)
で、フロントエンドのHTMLを構築(静的サイト)
特徴2:Vue.js & Nuxt.jsフレームワークで静的サイトを構築
特徴3:フロントエンドとバックエンドを分離したアーキテクチャ
・フロントとバックは疎結合に。axios(Ajax)によるAPI通信でやりとり
・これによりフロントエンドは、リッチでUIの良いサイトを構築しやすい
F B
25
システムのインフラ構成図
Resource Group
Internet
Machine Learning Service
Blob Storage
for Media Data
Azure Database for
PostgreSQL
as Application DB
Blob Storage
for Trained Models
User Storage
Account
for Static Site
Virtual
Machine
for ML
computing
Log Analytics
Virtual Machine
for Application
Server
※ML : Machine
Learning
※各IP制限やNSG(ネットワークセキュリティグループは省略)
アプリケーションサーバ
26
アプリケーションサーバの6つの特徴 その1
・VMにDocker Composeをインストールし、マルチコンテナ環境上にAPサーバを構築
・Azure Container Instances (ACI)も検討したが、マルチコンテナの運用が困難
特徴1:Azure Virtual Machines(IaaS)を利用
・APサーバーでも自然言語処理のAI系処理がしやすいようJavaでなくPythonを採用
・フロントと疎結合にRESTを構築できる、Django REST frameworkを採用
特徴2:APサーバにはPythonとDjango REST frameworkを採用
特徴3:非同期処理にはCeleryとRabbitMQを利用
・機械学習の訓練やバッチ推論を実施すると時間がかかるので、Webレスポンスは当
分返ってこない。タイムアウトするので非同期処理を実現する必要あり
・非同期処理の内容を生成・実施するプロデューサー&ワーカーとしてCelery、非同
期処理のタスク管理ブローカーとしてRabbitMQを採用
27
アプリケーションサーバの6つの特徴 その2
・メンテナンスしやすいクラウドDBであるAzure Database for PostgreSQLを採用
特徴4:データベースは外部DBとしてAzure PostgreSQL
・Log Analyticsで運用監視と、サーバーからのログ収集を実施
・Azure Logic Appsで、定期的にサーバーログの回収し任意の場所へ保存させる
特徴5:運用監視とログ収集はAzure Log Analytics & Azure Logic Apps
特徴6:Docker Composeによるマルチコンテナで管理・運用
・WebサーバであるNginx、APサーバ機能のDjango REST framework、APサーバの
背後で利用されるCeleryとRabbitMQはマルチコンテナ環境上にまとめ、
一括で起動・停止(次ページに絵)
28
アプリケーションサーバの6つの特徴 構成図
バックエンド
29
システムのインフラ構成図
Resource Group
Internet
Machine Learning Service
Blob Storage
for Media Data
Azure Database for
PostgreSQL
as Application DB
Blob Storage
for Trained Models
User Storage
Account
for Static Site
Virtual
Machine
for ML
computing
Log Analytics
Virtual Machine
for Application
Server
※ML : Machine
Learning
※各IP制限やNSG(ネットワークセキュリティグループは省略)
マシンラーニング・サービス
30
マシンラーニング・サービスの2つの特徴
・GPU搭載のData Science Virtual Machine (DSVM)※をAzure MLサービスに紐づけ
・APサーバから、MLサービスを経由し、DSVMにPythonファイルと引数を投げて実行
・MLサービスに紐づいているBlob Storageに訓練用データや学習済みモデルを保存
(次ページに絵)
特徴1:Azure MachineLearning サービスを利用
・計算用VMはアプリから自動で起動&停止させる
・長時間DSVMを使用していない場合はAzure Active DirectoryとAzureのPython SDK
の連携&関数を利用し、VMをシャットダウン(コスト削減)。
・再度、DSVMに計算タスクが投げられた時に起動させる
特徴2:Azure Active DirectoryとPython SDKでDSVMの起動を制御
(※参考)Linux および Windows 用の Azure Data Science Virtual Machine とは
https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual-machine/overview
31
マシンラーニング・サービスの2つの特徴 構成図
マシンラーニング・サービス
32
システムのインフラ構成図
Resource Group
Internet
Machine Learning Service
Blob Storage
for Media Data
Azure Database for
PostgreSQL
as Application DB
Blob Storage
for Trained Models
User Storage
Account
for Static Site
Virtual
Machine
for ML
computing
Log Analytics
Virtual Machine
for Application
Server
※ML : Machine
Learning
※各IP制限やNSG(ネットワークセキュリティグループは省略)
マシンラーニング・サービスアプリケーションサーバ
フロントエンド
[#2-2]
AIソフトウェアの
アジャイル開発過程
における
Azure活用方法
1. Azure DevOps Services
2. 実装の流れ
34
Azure DevOps Services
アジャイル(スクラム)を実施するにあたり、ツールとしてはAzure DevOps Servicesを利用
35
実装のながれ 2つの特徴
・各自の開発用PCに、Docker Composeに
よる開発用コンテナ環境を用意し(DBもコ
ンテナ化)、そこで、実装 & 動作確認
特徴1:各自ローカル環境にコンテナ
・実装が完了し、動作確認したらPRを送る
・レビュー後にMergeされる
・Mergeされると自動で、Azure DevOpsの
CI/CDが実行され、本番環境が更新
①Nuxt.jsのフロント用静的ファイル作成
②フロント用ストレージにファイル・コピー
③APサーバのDjangoファイルを上書き
④APサーバのDockerComposeを再起動
特徴2:CI/CDの自動化
36
実装のながれ
おおまかなCI/CDのイメージ(開発環境、本番環境の違いを意識せず、ストレスなく開発できた)
37
実装のながれ
開発チケットのステータス変化やプルリクエストなど、開発状況をTeamsに自動で投稿するよう設定
状況が把握しやすかった
38
実装のながれ
SIerであり、皆、案件を複数持つため、週に3日&場所固定。アジャイルスペースに集まって開発
・外部パートナーや外部発注は使用せず。有識者を社内横断的に集め、完全内製化のスクラム体制。
[#2-3]
ISID:
AIトランスフォーメー
ションセンター
:開発部隊の目指す
ところ
40
開発部隊の目指すところ
[1] プロトタイプ・本番開発、どちらにおいても、高速開発&高速カイゼンを可能にするために、
SIerには珍しく外部人材に依存せず原則内製。
そのためメンバ各人に高度なIT&ビジネス技術が身につく環境を
https://www.amazon.co.jp/dp/4296104489/
元MSの中島さんの言葉
“日本はプログラミング軽視。自分でプログラミングをして、プロトタイプ
を作って、それを基に同じ人が設計し直して改善していかないと、新しい物
はできない。
例えば、料理人はレシピを作って、自分で味見をして作り直す。
これと同じことがなぜか日本のIT業界ではできていないと言う。”
41
開発部隊の目指すところ
[2] アジャイル開発にあたり、各メンバは複数領域をカバーできるポリバレント人材を目指す
※ポリバレントとは、サッカー日本代表などで導入されている、複数ポジションをこなせるメン
バのこと。複数領域をカバーできるポリバレント人材を集める&育てる方針
- AI:機械学習&ディープラーニングのアルゴリズム知識、研究能力、開発・実装力
- IT:フロントエンド、バックエンド、インフラ&DevOps、クラウド、セキュリティ
- Biz: PM、PdM、デザイン思考UX&UI、ビジネスクリエーション
[3] 最近の私の考え(AI×IT×Biz)はQiitaなどにまとめています
「AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ」
https://twitter.com/ISID_AI_team/status/1271992560479645697?s=20
42
開発部隊の目指すところ
私たちと一緒に働いていただけるコンサルタント、エンジニアを募集中
ご興味をお持ちの方は以下サイトをご覧ください。
●データサイエンス・ビジネス開発エンジニア(本日の開発チーム)
https://www.isidgroup.com/u/job.phtml?job_code=430
●AIビジネスプロジェクトマネージャ
https://www.isidgroup.com/u/job.phtml?job_code=532
以上、ご清聴ありがとうございました。
製品開発の次は、研究のお話へ
[#3]
自然言語処理分野で
実施している弊社研
究開発の紹介
所属
電通国際情報サービス クロスイノベーション本部 AIテクノロジー部
業務
自然言語処理を中心とした研究開発、自社のAIソフトウェアの開発、ソフ
トウェアアーキテクチャー設計、情報検索ソリューションの開発、
Pytorch/Tensorflowでディープラーニング。
その他
インドネシア出身、バンドン工科大学卒、ソフトウェア工学専攻
趣味でクラウド技術(Azure、AWS)、コンテナー技術(Docker,
Kubernetes)、Javascript(Vue.js, React)など
自己紹介
44
ファイサル ハディプトラ
(FAISAL HADIPUTRA)
@faisal_putra
目次
ISIDオリジナルALBERT学習済みモデルの構築
1. BERTのおさらい
2. BERTの高速化方法
3. ALBERTの概要
4. ISIDのALBERTオリジナルモデルの構築
• 2018年10月、TransformersベースのBERTモデルの公開
• 英語の自然言語理解タスクのSOTA(State-of-the-arts)
• 多言語対応のモデル
• bert-base-multilingual-cased(Google AI Research)
• だが、日本語では性能がでない・・・
• 日本語版のBERTを各種企業が公開
• Yohei Kikuta氏: yoheikikuta/bert-japanese (BERT-base w/ SentencePiece)
• 株式会社ホットリンク: hottoSNS-BERT(SNSデータ, BERT-base w/SentencePiece)
• 京都大学: BERT日本語Pretrainedモデル (BERT-base&BERT-large w/ Jumanpp+BPE)
• 東北大学: cl-tohoku/bert-japanese (BERT-base w/ MeCab+WordPiece & MeCab+Char)
• 情報通信研究機構: NICT_BERT (BERT-base w/ MeCab+Juman辞書 & Mecab+Juman辞書+BPE)
• Laboro.AIオリジナル日本語版BERTモデル(webデータ, BERT-base w/SentencePiece)
BERTのおさらい
46
• 2019年通年、BERTをベースと
するモデルがたくさん登場
• RoBERTa
• XLNet
• DistilBERT
• ALBERT
• StructBERT
• など
• 研究の方向性
• 精度を高く
• 速度を速く(サイズを小さく)
• 英語以外の言語に適用
• 構造化データとの統合
• マルチモーダル
• など
BERTをベースとしたモデル
47
業務の課題
48
• 機械学習モデルをシステムに組み込む際の課題
• CPU/GPUリソースの制限 → 大きいモデル使用不可
• パフォーマンスの要求 → 大きいモデルの推論時間が達成で
きない
• 解決の方向性:
• モデルの速度を速く(モデルのサイズを小さく)
方法名 学習 推論 備考
最適化アルゴリズムの改良
- LAMB Optimizer ◯ X 大きいバッチサイズ(4096)での学習を効率化
モデルアーキテクチャの改良
- Progressive Stacking Layer ◯ X レイヤーを徐々に追加する
- ALBERT ◯ ◯ パラメータを共通化、埋め込み行列の因数分解
モデルを圧縮
- Quantization(量子化) X ◯ 学習: FP32 → 推論: FP16
例:Tensorflow Lite, Tensor RT, Pytorch>=1.3, Q-BERT
- Pruning(枝刈り) X ◯ 不要な重みを削除
モデルの蒸留
- DistillBERT X ◯ 学習済みBERTモデルから小さいのモデルに知識を蒸留
- TinyBERT X ◯ DistillBERTより、知識を蒸留するための立派な誤差を提案
BERT高速化方法
49
ALBERT
50
• ALBERT (A Lite BERT)はBERTの軽量版
• 2019年10月23日、公開
• メインポイント
• 因数分解埋め込みパラメーター
• クロスレイヤーパラメーター共有
• NSPの代わりに、Sentence-Order Predictionの
新補助タスク
• その他
• LAMB 最適化アルゴリズム使用
• 大きいバッチで学習
• n-gramマスキング
• SentencePiece対応
BERT vs ALBERT
51
• ALBERTのパラメータが少ないが、精度がかなり良い。
• BERT-large → BERT-xlargeの場合、精度が悪くなる
• ALBERT-large → ALBERT-xxlargeでは精度が良くなる
→ BERTより、ALBERTのモデル構造の方がよりスケール可能
• alinear-corp/albert-japanese
• URL: https://github.com/alinear-corp/albert-japanese
• トークナイザー: SentencePiece
• モデルの設定: H=768、L=12、A=12、Max. Seq Length=512
• Yohei Kikuta氏のモデルをベースとする。
• 課題
• 実際の業務文書は長さの512で入っていない。
• SentencePieceを使用しているが、日本語版のBERTの結果に従い、SentencePieceより、形態素解析を事前に
行った方がモデルの精度が良くなる。
• 参考: https://alaginrc.nict.go.jp/nict-bert/index.html
• Sudachiという形態素解析機がTexA Intelligenceで使用してかなり良い結果が得られるので、このライブラリを
使い続けたい。
ALBERTの日本語版
52
トークナイザ
例文: 明日、新宿御苑に行きます。
トークナイザーとWhole Word Masking (WWM)
53
['▁', '明日', '、', '新宿', '御', '苑', 'に行き', 'ます', '。']
alinear/albert-japanese (SentencePiece)
bert-base-japanese (MeCab + WordPiece)
['明日', '、', '新宿', '御', '##苑', 'に', '行き', 'ます', '。']
['明日', '、', '新宿', '##御', '##苑', 'に', '行き', 'ます', '。']
Sudachi + WordPiece
Whole Word Masking(WWM): Pieceではなく、単語全体を隠す
'明日', '、', '新宿', [MASK], '##苑', 'に', [MASK], 'ます', '。'
'明日', '、', [MASK], [MASK], [MASK], 'に', '行き', 'ます', '。'
(WWMなし)
(WWMあり)
• モデル設定
• コーパス: Wikipedia日本語
• トークナイザー: Sudachi(モードC) + Wordpiece
• 辞書の単語数(32000語)
• WWMあり
• max_seq_length: 1024、H: 768, A: 12, L: 12
• 学習設定
• 公開されたコード(Tensorflow)を使う
• 最初の100万ステップは、128単語(バッチサイズ: 32)
で学習、
• 次の4万スップは、1024単語(バッチサイズ: 4)で学
習。
• 最適化アルゴリズム: AdamW
• 学習済みモデルのサイズ
• 46.31 MB (BERT-baseの場合は 424.4MB) → 90%削減
ISIDのオリジナルALBERTモデル
54
*** Eval Results ***​
global_step=1400000
loss = 2.4073303​​
masked_lm_accuracy = 0.5859618
masked_lm_loss = 2.3573806​
sentence_order_accuracy = 0.965
sentence_order_loss = 0.0828039
*** Eval Results ***​
global_step=1400000
loss = 3.690914
masked_lm_accuracy = 0.4285665
masked_lm_loss = 3.4951706
sentence_order_accuracy = 0.898
sentence_order_loss = 0.24268238
参考: alinear-corp/albert-japanese
livedoorニュースでファインチューニング※
55
※記事タイトルを使用しない
モデル accuracy 学習時間
(1枚K80)
推論時間
(1500件)
alinear-corp/albert-japanese 89.27%​ 57分 3分50秒
yoheikikuta/bert-japanese 94.16%​ 1時間20分 4分10秒
cl-tohoku/bert-base-japanese-whole-
word-masking
93.21%​ 1時間20分 4分15秒
albert-sudachi(ISIDオリジナル) 94.30% 1時間5分 4分3秒
ISIDオリジナル
• BERTの軽量版、ALBERTのモデルを紹介しました。
• 因数分解の埋め込み行列とクロスパラメータ共有で、精度を守ったままパラメータ数の削減ができる。
• 日本語版のALBERT、ISIDで新しく作成しました。
• Sudachi使用
• 文の最長の長さを1024に
• 今後の課題
• 最長の長さを1024にしたため、推論時間に影響がある。
• ナレッジ蒸留手法(DistilBERTなど)の検討、Sparse Attentionの使用
• TexA Intelligenceに組み込む際のパフォーマンス検証。
まとめ
56
57
問い合わせ先
【お問い合わせ先】
• 株式会社 電通国際情報サービス
• X(クロス)イノベーション本部
AIテクノロジー部
• E-mail:g-isid-ai@group.isid.co.jp
【参考】ISID、AIを搭載際した3製品を発表
https://www.isid.co.jp/news/release/2020/0423.html
CONFIDENTIAL

More Related Content

What's hot

ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
Shohei Hido
 
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
Deep Learning Lab(ディープラーニング・ラボ)
 
CVPR 2020報告
CVPR 2020報告CVPR 2020報告
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
Recruit Technologies
 
AI人材育成の落とし穴と実務的なアドバイス
AI人材育成の落とし穴と実務的なアドバイスAI人材育成の落とし穴と実務的なアドバイス
AI人材育成の落とし穴と実務的なアドバイス
Deep Learning Lab(ディープラーニング・ラボ)
 
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
Deep Learning Lab(ディープラーニング・ラボ)
 
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイントリクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
 
機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み
Shintaro Fukushima
 
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
 
LT(自由)
LT(自由)LT(自由)
LT(自由)
Recruit Technologies
 
超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0
正善 大島
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
Recruit Technologies
 
CDLEおすすめ書籍
CDLEおすすめ書籍CDLEおすすめ書籍
Jisa simposium 120614 selected slides
Jisa simposium 120614 selected slidesJisa simposium 120614 selected slides
Jisa simposium 120614 selected slides
Takayuki Hagihara
 
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
Preferred Networks
 
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかリクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
Recruit Technologies
 
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
Deep Learning Lab(ディープラーニング・ラボ)
 

What's hot (20)

ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
 
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
深層学習を製造業の課題解決に用いた経験から学んだ、深層学習の社会実装が進まない理由
 
CVPR 2020報告
CVPR 2020報告CVPR 2020報告
CVPR 2020報告
 
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
 
AI人材育成の落とし穴と実務的なアドバイス
AI人材育成の落とし穴と実務的なアドバイスAI人材育成の落とし穴と実務的なアドバイス
AI人材育成の落とし穴と実務的なアドバイス
 
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
[Track2-5] CPUだけでAIをやり切った最近のお客様事例 と インテルの先進的な取り組み
 
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイントリクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
 
機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み機械学習品質管理・保証の動向と取り組み
機械学習品質管理・保証の動向と取り組み
 
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
 
LT(自由)
LT(自由)LT(自由)
LT(自由)
 
超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
 
CDLEおすすめ書籍
CDLEおすすめ書籍CDLEおすすめ書籍
CDLEおすすめ書籍
 
Jisa simposium 120614 selected slides
Jisa simposium 120614 selected slidesJisa simposium 120614 selected slides
Jisa simposium 120614 selected slides
 
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
Playgram開発秘話_2022年1月プログラミングシンポジウム招待講演_西澤勇輝、岡本雄太
 
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかリクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
 
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
[Track1-7] COVID19ワクチン開発に向けた、AIの挑戦 ~深層学習が導く、新領域との接点~
 

Similar to NLPソリューション開発の最前線_DLLAB_自然言語処理ナイト_200702

[Japan Tech summit 2017] MAI 001
[Japan Tech summit 2017]  MAI 001[Japan Tech summit 2017]  MAI 001
[Japan Tech summit 2017] MAI 001
Microsoft Tech Summit 2017
 
自然言語処理紹介(就職編)
自然言語処理紹介(就職編)自然言語処理紹介(就職編)
自然言語処理紹介(就職編)
長岡技術科学大学 自然言語処理研究室
 
プログラムデザイン
プログラムデザインプログラムデザイン
プログラムデザイン
大輔 浅井
 
2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap
Sony Network Communications Inc.
 
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)Yuya Unno
 
大規模データ時代に求められる自然言語処理
大規模データ時代に求められる自然言語処理大規模データ時代に求められる自然言語処理
大規模データ時代に求められる自然言語処理
Preferred Networks
 
GitLabのAutoDevOpsを試してみた
GitLabのAutoDevOpsを試してみたGitLabのAutoDevOpsを試してみた
GitLabのAutoDevOpsを試してみた
富士通クラウドテクノロジーズ株式会社
 
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
Daiyu Hatakeyama
 
Low-Codeプログラミングシステム Node-REDとその応用
Low-CodeプログラミングシステムNode-REDとその応用Low-CodeプログラミングシステムNode-REDとその応用
Low-Codeプログラミングシステム Node-REDとその応用
HiroyasuNishiyama1
 
20190922_6_設備保全におけるディープラーニングの活用
20190922_6_設備保全におけるディープラーニングの活用20190922_6_設備保全におけるディープラーニングの活用
20190922_6_設備保全におけるディープラーニングの活用
IoTビジネス共創ラボ
 
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
Rakuten Group, Inc.
 
『ハイブリッドクラウド研究会』創立について
『ハイブリッドクラウド研究会』創立について『ハイブリッドクラウド研究会』創立について
『ハイブリッドクラウド研究会』創立について
Masahiko Ebisuda
 
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
Masanori Kaneko
 
Databricks触ってみた.pdf
Databricks触ってみた.pdfDatabricks触ってみた.pdf
Databricks触ってみた.pdf
Yuji Kanemoto
 
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
小川 雄太郎
 
2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console
Sony Network Communications Inc.
 
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hubMachine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
Junya Kamura
 
エンジニアのキャリアを考える
エンジニアのキャリアを考えるエンジニアのキャリアを考える
エンジニアのキャリアを考える
MKT International Inc.
 
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
NTT DATA Technology & Innovation
 

Similar to NLPソリューション開発の最前線_DLLAB_自然言語処理ナイト_200702 (20)

[Japan Tech summit 2017] MAI 001
[Japan Tech summit 2017]  MAI 001[Japan Tech summit 2017]  MAI 001
[Japan Tech summit 2017] MAI 001
 
自然言語処理紹介(就職編)
自然言語処理紹介(就職編)自然言語処理紹介(就職編)
自然言語処理紹介(就職編)
 
プログラムデザイン
プログラムデザインプログラムデザイン
プログラムデザイン
 
Ossaj seminar usi 20120118 print
Ossaj seminar usi 20120118 printOssaj seminar usi 20120118 print
Ossaj seminar usi 20120118 print
 
2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap2018/07/26 Game change by Deep Learning and tips to make a leap
2018/07/26 Game change by Deep Learning and tips to make a leap
 
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
 
大規模データ時代に求められる自然言語処理
大規模データ時代に求められる自然言語処理大規模データ時代に求められる自然言語処理
大規模データ時代に求められる自然言語処理
 
GitLabのAutoDevOpsを試してみた
GitLabのAutoDevOpsを試してみたGitLabのAutoDevOpsを試してみた
GitLabのAutoDevOpsを試してみた
 
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
テクノアカデミー郡山 現役ソフトウェアエンジニアが語る。IT の今と未来
 
Low-Codeプログラミングシステム Node-REDとその応用
Low-CodeプログラミングシステムNode-REDとその応用Low-CodeプログラミングシステムNode-REDとその応用
Low-Codeプログラミングシステム Node-REDとその応用
 
20190922_6_設備保全におけるディープラーニングの活用
20190922_6_設備保全におけるディープラーニングの活用20190922_6_設備保全におけるディープラーニングの活用
20190922_6_設備保全におけるディープラーニングの活用
 
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
グローバル企業の中で「変化」を仕掛ける楽天技術研究所 Rakuten Institute of Technology の挑戦
 
『ハイブリッドクラウド研究会』創立について
『ハイブリッドクラウド研究会』創立について『ハイブリッドクラウド研究会』創立について
『ハイブリッドクラウド研究会』創立について
 
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
医療機器ソフトウェア開発を対象とした包括的アセスメントのケーススタディ
 
Databricks触ってみた.pdf
Databricks触ってみた.pdfDatabricks触ってみた.pdf
Databricks触ってみた.pdf
 
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた_Deep Learning Digital Confere...
 
2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console2018/3/23 Introduction to Deep Learning by Neural Network Console
2018/3/23 Introduction to Deep Learning by Neural Network Console
 
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hubMachine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
 
エンジニアのキャリアを考える
エンジニアのキャリアを考えるエンジニアのキャリアを考える
エンジニアのキャリアを考える
 
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
AI/ML開発・運用ワークフロー検討案(日本ソフトウェア科学会 機械学習工学研究会 本番適用のためのインフラと運用WG主催 討論会)
 

NLPソリューション開発の最前線_DLLAB_自然言語処理ナイト_200702