SlideShare a Scribd company logo
“マルチメディア機械学習”の
取り組み
Yusuke FUJISAKA, CyberAgent, inc.
自己紹介
● 藤坂 祐介(ふじさか ゆうすけ)
○ 秋田県出身
● 技術本部 秋葉原ラボ所属
● 2012年新卒入社
○ からずっと秋葉原ラボ
● 開発案件
○ 検索エンジン
○ →Content Moderationシステム
○ →画像その他認識基盤
2
CAのメディアサービス
決算資料より抜粋 3
CAのメディアサービス
● 各サービスとメディア種類の関係性
📃テキスト/🎨画像/🎥動画 🎥動画
📃テキスト/🎨画像
🎥動画
♫音楽
4
CAのメディアサービス
● 各サービスとメディア種類の関係性
📃テキスト/🖼画像/🎥動画 🎥動画
📃テキスト/🎨画像
🎥動画
♫音楽
● 多種多様なサービスが存在
● メディアの種類も多種多様
● サービスからの要望も様々
○ ひとつの方法で解決できるわけでもない
5
今までのマルチメディア機械学習の取り組み
[サービスイン]
● アメブロ画像のカテゴライズ
● スパム画像検知
[検証段階]
● ピグアバター生成
● マッチングプロフィール評価
● 楽曲の盛り上がり検知
[知識習得]
● 全社ゼミ→深層学習ゼミ
6
プロジェクト1: アメブロ画像カテゴライズ(1/4)
[課題]
● Ameba公式ジャンル https://blogger.ameba.jp/ のカテゴライズを
自動化したい
→自然言語解析+投稿画像解析
7
プロジェクト1: アメブロ画像カテゴライズ(2/4)
[概念図]
× 300k
+ 🔖(64)
+🔖 ResNet-18
人力による
ラベル付与
API
学習
推論
🔖
8
プロジェクト1: アメブロ画像カテゴライズ(2/4)
[概念図]
🖼
+ 🔖(64)
+🔖
🔖
ResNet-18
API
投稿/画像抽出
Category
Text classification
テキスト解析と
組合わせてカテゴライズ
× 300k
9
プロジェクト1: アメブロ画像カテゴライズ(3/4)
● ラベル付け管理ツール(内製)
10
プロジェクト1: アメブロ画像カテゴライズ(4/4)
[結果]
● 右図: t-SNE
● Top-1 accuracy: 82.73%
○ Top-5: 97.12%
● 判然としないカテゴリもあるが
概ね良好な結果
○ プロデューサー側とのカテゴリの
すり合わせが必要
11
プロジェクト2: スパム画像検知(1/6)
カスタマーサービスに関わる種々の問題を解決する
[課題1]
● Content moderation(コンテンツ健全化)のシステムも担当している
● スパム画像(エログロなど)の検出を自動化したい
○ 一般にスパム画像が全投稿画像に占める割合は0.1%前後
○ しかしそのために多くの画像を有人でチェックしなければならない
0.15
%
12
[概念図] 1: スパム画像フィルタ
プロジェクト2: スパム画像検知(2/6)
🖼
👮
⭕ ❌
🔖🔖
ResNet
API
{“score”: 0.01234…}
Thresholding
⭕/❌
13
DB監視システム
[概念図] 1: スパム画像フィルタ
プロジェクト2: スパム画像検知(2/6)
🖼
👮
⭕ ❌
🔖
DB
🔖
ResNet
🖼
API
{“score”: 0.01234…}
Thresholding
⭕/❌
有人監視
4年分/約400万枚
14
[概念図] 1: スパム画像フィルタ
プロジェクト2: スパム画像検知(2/6)
🖼
👮
⭕ ❌
🔖
DB
🔖
ResNet
🖼
API
{“score”: 0.01234…}
Thresholding
⭕/❌
監視オペレータの補助
15
プロジェクト2: スパム画像検知(3/6)
[結果]
● 右図: t-SNE SPAM(エログロ)/HAM
○ 判然としない…
○ スパムと一口に言っても幅広い
● →データセットの整備が難しい
● →後述する類似画像検知も使える?
16
プロジェクト2: スパム画像検知(4/6)
[概要2]
● マッチングアプリ等において、プロフィール画像を使いまわすユーザを
検知したい
○ 事例1: 一般人を騙って登録し、弊社アプリから他社アプリに誘導する者
○ 事例2: 悪質な出会い目的で複数のアカウントを駆使する者
業者画像DB
👨
業者判定に利用
?
17
プロジェクト2: スパム画像検知(5/6)
[概念図] 2: 類似画像フィルタ
⭕ / ❌DB
64次元のベクトルに圧縮
(dhash)
Thresholding
18
プロジェクト2: スパム画像検知(5/6)
[概念図] 2: 類似画像フィルタ
⭕ / ❌DB
Thresholding
ベクトルのHamming距離で
類似画像かどうか判断
19
プロジェクト2: スパム画像検知(6/6)
[結果]
● 実験により、ハミング距離=
7 or 8 bitでF値最大
○ n=17,849
● 悪質な業者のあぶり出しに貢献
20
プロジェクト3: 楽曲の盛り上がり検知(1/3)
[課題]
● 楽曲のサビ部分を自動で検出したい
● 楽曲の波形情報を活用する方法を探る
21
Free Planでは
30秒だけ再生
プロジェクト3: 楽曲の盛り上がり検知(2/3)
[概念図]
🎶 音楽データ+タグ
🔪 STFT
〰 周波数強度
Decode
〰 波形 % 出力(カテゴリ確率)
CNN 12層
22
プロジェクト3: 楽曲の盛り上がり検知(2/3)
[概念図]
🎶 音楽データ+タグ
🔪 STFT
〰 周波数強度
Decode
〰 波形 % 出力(カテゴリ確率)
CNN 12層
start,0.5564
tempo,108
i,0
c,8
l,40
v,56
b,88
t,104
c,108
l,140
v,156
...
---
タグ×100曲
23
プロジェクト3: 楽曲の盛り上がり検知(2/3)
[概念図]
🎶 音楽データ+タグ
🔪 STFT
〰 周波数強度
Decode
〰 波形 % 出力(カテゴリ確率)
CNN 12層
24
プロジェクト3: 楽曲の盛り上がり検知(3/3)
[結果]
● 3クラス(メロディ・サビ・その他)の分類について調査
● サンプル周波数その他を色々いじる
● →分類精度 51% ❌
● 高精度化したいけど…
Intro Verse Bridge
Inter-
lude
Chorus Verse Bridge Chorus Elision Chorus Outro
25
まとめ☺
● マルチメディア(主に画像・音楽の)機械学習の実例を示した
● 今後も同様の機械学習に対する需要は伸びていくと考えられる
○ 動画に関わる機械学習(AbemaTV, FRESH!, OpenREC, etc.)
○ マルチメディア検索
○ 最新技術のキャッチアップ
○ 既存のレコメンドなどの高精度化
○ などなど…
26
Thank you!
27

More Related Content

Similar to "マルチメディア機械学習" の取り組み

TouchDesigenr Beginners' workshop vol.003
TouchDesigenr Beginners' workshop vol.003TouchDesigenr Beginners' workshop vol.003
TouchDesigenr Beginners' workshop vol.003
Dan Imagineer
 
やってみよう!ユーザーテスト
やってみよう!ユーザーテストやってみよう!ユーザーテスト
やってみよう!ユーザーテスト
ke_shira
 
HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話
Jun Iio
 
Prototype in Service Design
Prototype in Service DesignPrototype in Service Design
Prototype in Service Design
Hiiro Kato
 
【アドテクにおける画像圧縮技術】
【アドテクにおける画像圧縮技術】【アドテクにおける画像圧縮技術】
【アドテクにおける画像圧縮技術】
Kengo Shimada
 
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
Daiki Hirozawa
 
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
schoowebcampus
 
情報システム・ユーザビリティの評価改善手法
情報システム・ユーザビリティの評価改善手法情報システム・ユーザビリティの評価改善手法
情報システム・ユーザビリティの評価改善手法
Jun Iio
 
Cshack20180627 timeticket
Cshack20180627 timeticketCshack20180627 timeticket
Cshack20180627 timeticket
春菜 大底
 
目的を持って楽しく仕事をしよう Let's work with objectives happily
目的を持って楽しく仕事をしよう Let's work with objectives happily目的を持って楽しく仕事をしよう Let's work with objectives happily
目的を持って楽しく仕事をしよう Let's work with objectives happily
YOSHITSUGU MIYAZAKI
 
経営関連学会
経営関連学会経営関連学会
経営関連学会
Yuriko Sawatani
 
20130215 movable type_seminar
20130215 movable type_seminar20130215 movable type_seminar
20130215 movable type_seminar
Six Apart
 
顧客体験のデザイン〜そのサービスに“願い”はあるか?
顧客体験のデザイン〜そのサービスに“願い”はあるか?顧客体験のデザイン〜そのサービスに“願い”はあるか?
顧客体験のデザイン〜そのサービスに“願い”はあるか?
Masaya Ando
 
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
Toshiki Sakai
 
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
Hiro Sakuma
 
Itプロジェクトにおけるuxデザインの実践的適用方法
Itプロジェクトにおけるuxデザインの実践的適用方法Itプロジェクトにおけるuxデザインの実践的適用方法
Itプロジェクトにおけるuxデザインの実践的適用方法
Roy Kim
 
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Masakazu Sano
 
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用玉腰泰三 個人事務所
 

Similar to "マルチメディア機械学習" の取り組み (20)

ネイティブ原理主義
ネイティブ原理主義ネイティブ原理主義
ネイティブ原理主義
 
TouchDesigenr Beginners' workshop vol.003
TouchDesigenr Beginners' workshop vol.003TouchDesigenr Beginners' workshop vol.003
TouchDesigenr Beginners' workshop vol.003
 
やってみよう!ユーザーテスト
やってみよう!ユーザーテストやってみよう!ユーザーテスト
やってみよう!ユーザーテスト
 
HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話HCDの教育をHCDで考えた話
HCDの教育をHCDで考えた話
 
Prototype in Service Design
Prototype in Service DesignPrototype in Service Design
Prototype in Service Design
 
【アドテクにおける画像圧縮技術】
【アドテクにおける画像圧縮技術】【アドテクにおける画像圧縮技術】
【アドテクにおける画像圧縮技術】
 
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
#インスタサミット 「アカウント運用の基礎」アライドアーキテクツ株式会社 藤田さま
 
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」  先生:平石 大祐
約1000サービスの実績から見えた「UXを可視化するユーザーテストの極意」 先生:平石 大祐
 
情報システム・ユーザビリティの評価改善手法
情報システム・ユーザビリティの評価改善手法情報システム・ユーザビリティの評価改善手法
情報システム・ユーザビリティの評価改善手法
 
Cshack20180627 timeticket
Cshack20180627 timeticketCshack20180627 timeticket
Cshack20180627 timeticket
 
目的を持って楽しく仕事をしよう Let's work with objectives happily
目的を持って楽しく仕事をしよう Let's work with objectives happily目的を持って楽しく仕事をしよう Let's work with objectives happily
目的を持って楽しく仕事をしよう Let's work with objectives happily
 
経営関連学会
経営関連学会経営関連学会
経営関連学会
 
20130215 movable type_seminar
20130215 movable type_seminar20130215 movable type_seminar
20130215 movable type_seminar
 
顧客体験のデザイン〜そのサービスに“願い”はあるか?
顧客体験のデザイン〜そのサービスに“願い”はあるか?顧客体験のデザイン〜そのサービスに“願い”はあるか?
顧客体験のデザイン〜そのサービスに“願い”はあるか?
 
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
論文紹介:Ambient Sound Provides Supervision for Visual Learning(CV勉強会ECCV2016読み会)
 
Goalist会社概要
Goalist会社概要Goalist会社概要
Goalist会社概要
 
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
【新卒採用】Webセミナー大全。過去と現在、そして未来まで by レプモス
 
Itプロジェクトにおけるuxデザインの実践的適用方法
Itプロジェクトにおけるuxデザインの実践的適用方法Itプロジェクトにおけるuxデザインの実践的適用方法
Itプロジェクトにおけるuxデザインの実践的適用方法
 
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
 
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用
インターネット通販のソーシャルメディア/レコメンド/フラッシュマーケティング活用
 

More from cyberagent

WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
WWW2019で見るモバイルコンピューティングの技術と動向    山本悠ニWWW2019で見るモバイルコンピューティングの技術と動向    山本悠ニ
WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
cyberagent
 
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
Web フィルタリング最前線: 「「検閲回避」回避」    角田孝昭Web フィルタリング最前線: 「「検閲回避」回避」    角田孝昭
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
cyberagent
 
WebにおけるHuman Dynamics 武内慎
WebにおけるHuman Dynamics    武内慎WebにおけるHuman Dynamics    武内慎
WebにおけるHuman Dynamics 武内慎
cyberagent
 
Webと経済学 數見拓朗
Webと経済学    數見拓朗Webと経済学    數見拓朗
Webと経済学 數見拓朗
cyberagent
 
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組みData Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
cyberagent
 
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
cyberagent
 
AbemaTVにおける推薦システム
AbemaTVにおける推薦システムAbemaTVにおける推薦システム
AbemaTVにおける推薦システム
cyberagent
 
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポートAbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
cyberagent
 
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
cyberagent
 
インターネットテレビ局「AbemaTV」プロダクトの変遷
インターネットテレビ局「AbemaTV」プロダクトの変遷インターネットテレビ局「AbemaTV」プロダクトの変遷
インターネットテレビ局「AbemaTV」プロダクトの変遷
cyberagent
 
番組宣伝に関するAbemaTV分析事例の紹介
番組宣伝に関するAbemaTV分析事例の紹介番組宣伝に関するAbemaTV分析事例の紹介
番組宣伝に関するAbemaTV分析事例の紹介
cyberagent
 
WWW2018 論文読み会  Webと経済学
 WWW2018 論文読み会  Webと経済学 WWW2018 論文読み会  Webと経済学
WWW2018 論文読み会  Webと経済学
cyberagent
 
WWW2018 論文読み会 WebにおけるHuman Dynamics
WWW2018 論文読み会 WebにおけるHuman DynamicsWWW2018 論文読み会 WebにおけるHuman Dynamics
WWW2018 論文読み会 WebにおけるHuman Dynamics
cyberagent
 
WWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and MiningWWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and Mining
cyberagent
 
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
cyberagent
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
 
Orion an integrated multimedia content moderation system for web services
Orion  an integrated multimedia content moderation system for web servicesOrion  an integrated multimedia content moderation system for web services
Orion an integrated multimedia content moderation system for web services
cyberagent
 
Orion an integrated multimedia content moderation system for web services
Orion  an integrated multimedia content moderation system for web servicesOrion  an integrated multimedia content moderation system for web services
Orion an integrated multimedia content moderation system for web services
cyberagent
 
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
cyberagent
 
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
 

More from cyberagent (20)

WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
WWW2019で見るモバイルコンピューティングの技術と動向    山本悠ニWWW2019で見るモバイルコンピューティングの技術と動向    山本悠ニ
WWW2019で見るモバイルコンピューティングの技術と動向 山本悠ニ
 
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
Web フィルタリング最前線: 「「検閲回避」回避」    角田孝昭Web フィルタリング最前線: 「「検閲回避」回避」    角田孝昭
Web フィルタリング最前線: 「「検閲回避」回避」 角田孝昭
 
WebにおけるHuman Dynamics 武内慎
WebにおけるHuman Dynamics    武内慎WebにおけるHuman Dynamics    武内慎
WebにおけるHuman Dynamics 武内慎
 
Webと経済学 數見拓朗
Webと経済学    數見拓朗Webと経済学    數見拓朗
Webと経済学 數見拓朗
 
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組みData Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
Data Engineering Meetup #1 持続可能なデータ基盤のためのデータの多様性に対する取り組み
 
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
継続的な開発スタイル AbemaTVのiOSアプリを週1でリリースしている話
 
AbemaTVにおける推薦システム
AbemaTVにおける推薦システムAbemaTVにおける推薦システム
AbemaTVにおける推薦システム
 
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポートAbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
AbemaTV レコメンド開発エンジニアによる RecSys 2018 参加レポート
 
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
機械学習エンジニアを見せたAWSの再:発明とは? 〜re:Invent 2018 参加レポート〜
 
インターネットテレビ局「AbemaTV」プロダクトの変遷
インターネットテレビ局「AbemaTV」プロダクトの変遷インターネットテレビ局「AbemaTV」プロダクトの変遷
インターネットテレビ局「AbemaTV」プロダクトの変遷
 
番組宣伝に関するAbemaTV分析事例の紹介
番組宣伝に関するAbemaTV分析事例の紹介番組宣伝に関するAbemaTV分析事例の紹介
番組宣伝に関するAbemaTV分析事例の紹介
 
WWW2018 論文読み会  Webと経済学
 WWW2018 論文読み会  Webと経済学 WWW2018 論文読み会  Webと経済学
WWW2018 論文読み会  Webと経済学
 
WWW2018 論文読み会 WebにおけるHuman Dynamics
WWW2018 論文読み会 WebにおけるHuman DynamicsWWW2018 論文読み会 WebにおけるHuman Dynamics
WWW2018 論文読み会 WebにおけるHuman Dynamics
 
WWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and MiningWWW2018 論文読み会 Web Search and Mining
WWW2018 論文読み会 Web Search and Mining
 
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018
 
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについてログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
 
Orion an integrated multimedia content moderation system for web services
Orion  an integrated multimedia content moderation system for web servicesOrion  an integrated multimedia content moderation system for web services
Orion an integrated multimedia content moderation system for web services
 
Orion an integrated multimedia content moderation system for web services
Orion  an integrated multimedia content moderation system for web servicesOrion  an integrated multimedia content moderation system for web services
Orion an integrated multimedia content moderation system for web services
 
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018
 
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
 

Recently uploaded

遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
 

Recently uploaded (12)

遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
 

"マルチメディア機械学習" の取り組み

Editor's Notes

  1. こんばんは、多くの皆様にお越しいただきありがとうございます。 ということで、皆さま秋葉さんのお話を楽しみにされているところかと思いますが、 その前に、私藤坂のほうから「マルチメディア機械学習の取り組み」というテーマでお話させていただきたいと思います
  2. まず自己紹介から。 わたくし藤坂ともうします。 弊社技術本部秋葉原ラボに2012年より勤めております。 それで今まで何をしてきたかと申しますと、入社当初は検索エンジンの開発、そのあと、コンテントモデレーションシステム、コンテントモデレーションとはいわゆるスパム投稿であるとか、犯罪に関わる投稿を排除するための、例えばフィルタリングや人手による監視といった業務のことを指します。 そして、現在は、今回お話させていただく、画像認識、あとは画像に限らず音楽などの処理を行う、いわゆるマルチメディア機械学習の基盤開発にシフトしてきました。
  3. さて、我々が所属する秋葉原ラボですが、弊社の様々な事業のうち、とりわけ、赤で囲ったメディア事業に対して様々な技術を提供するお仕事をしております。 かといって、他の事業にまったく関わらない、というわけではないのですが。
  4. それで、そのメディア事業の各サービスを俯瞰して見ていきますと、 アメブロに代表されるAmeba事業は、皆様テキストと画像、あとは最近では動画もつかってブログを投稿していただいています。 それから、AbemaTVですとかFresh!はいわずもがな、動画サービスです。 右下のAWAは音楽サービス、 あと最後にタップル誕生など、最近増えているマッチングサービスについてはプロフィールのテキストの他に、本人を表すプロフィール画像の投稿が肝要になっています。
  5. それらメディアサービスとメディアの種類の関係性について、特徴をあげていきますと、 ・まずは方向性の異なる多種多様なサービスが存在しています。 ・それから、メディアの種類もテキストから動画まであります。 ・ゆえに、サービスからの開発要望も幅広く、ひとつの方法で解決できる範囲はそれほど大きくない、ということもあります。
  6. ということで、今までに我々が取り組んだプロジェクトを簡単に一覧にまとめました。 今回はそのうち下線を引いた3つのプロジェクトについて、成功・失敗様々ありましたので、ざっくり説明できればと思います。 その他のプロジェクトについては、ご興味がありましたら後ほど聞いていただければと思います。 (pause) よろしいでしょうか、では先に進みます。
  7. ではまず最初のプロジェクトから。 アメブロの各ブログは元々ユーザ様の自己申告のみでジャンルを決めてもらっていましたが、実際の記事との乖離があったりしてうまく機能していない、という状況がありました。 それで、昨年ごろより公式ジャンルというページを設けて、各ジャンルことのブログを記事を解析して、できるだけ自動でジャンル分けしよう、というプロジェクトが走り始めた、というわけです。 で、そこで投稿された画像も解析しよう、ということでプロジェクトに参加しました。