データマイニングや機械学習をやるときによく問題となる「リーケージ」を防ぐ方法について論じた論文「Leakage in Data Mining: Formulation, Detecting, and Avoidance」(Kaufman, Shachar, et al., ACM Transactions on Knowledge Discovery from Data (TKDD) 6.4 (2012): 1-21.)を解説します。
主な内容は以下のとおりです。
・過去に起きたリーケージの事例の紹介
・リーケージを防ぐための2つの考え方
・リーケージの発見
・リーケージの修正
データマイニングや機械学習をやるときによく問題となる「リーケージ」を防ぐ方法について論じた論文「Leakage in Data Mining: Formulation, Detecting, and Avoidance」(Kaufman, Shachar, et al., ACM Transactions on Knowledge Discovery from Data (TKDD) 6.4 (2012): 1-21.)を解説します。
主な内容は以下のとおりです。
・過去に起きたリーケージの事例の紹介
・リーケージを防ぐための2つの考え方
・リーケージの発見
・リーケージの修正
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
Variational Template Machine for Data-to-Text Generationharmonylab
公開URL:https://openreview.net/forum?id=HkejNgBtPB
出典:Rong Ye, Wenxian Shi, Hao Zhou, Zhongyu Wei, Lei Li : Variational Template Machine for Data-to-Text Generation, 8th International Conference on Learning Representations(ICLR2020), Addis Ababa, Ethiopia (2020)
概要:Table形式の構造化データから文章を生成するタスク(Data-to-Text)において、Variational Auto Encoder(VAE)ベースの手法Variational Template Machine(VTM)を提案する論文です。Encoder-Decoderモデルを用いた既存のアプローチでは、生成文の多様性に欠けるという課題があります。本論文では多様な文章を生成するためにはテンプレートが重要であるという主張に基づき、テンプレートを学習可能なVAEベースの手法を提案します。提案手法では潜在変数の空間をテンプレート空間とコンテンツ空間に明示的に分離することによって、正確で多様な文生成が可能となります。また、table-textのペアデータだけではなくtableデータのないraw textデータを利用した半教師あり学習を行います。
Towards Knowledge-Based Personalized Product Description Generation in E-comm...harmonylab
出典:Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou, Jie Tang : Towards Knowledge-Based Personalized Product Description Generation in E-commerce, Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD2019), Anchorage, Alaska, USA, (2019)
公開URL:https://arxiv.org/abs/1903.12457
概要:ECサイトにおける商品説明文の自動生成に関する論文です。商品タイトルから商品説明文を生成するEncoder-Decoderモデル(Base lineモデル)を考えます。このBase lineモデルによって生成される文章は一般的で曖昧な記述をすることが多くあまり使い物にならないとされています。商品説明文に必要な要素は次の2点であると本論文では主張しています。1.顧客の興味を促進するために、商品説明文は顧客の好みに基づいてパーソナライズされる必要があるとされています。2.顧客の意思決定に役立つ説明文には、商品の関連知識が含まれている必要があります。本論文では、パーソナライズされた情報量の多い説明文を生成するために、ユーザカテゴリや外部の知識ベースから取得してきた知識に基づいて商品紹介文を生成するKnowledge Based Personalizedモデルを提案します。
Neural Models for Information Retrieval
Bhaskar Mitra, Nick Craswell
(Submitted on 3 May 2017)
Neural ranking models for information retrieval (IR) use shallow or deep neural networks to rank search results in response to a query. Traditional learning to rank models employ machine learning techniques over hand-crafted IR features. By contrast, neural models learn representations of language from raw text that can bridge the gap between query and document vocabulary. Unlike classical IR models, these new machine learning based approaches are data-hungry, requiring large scale training data before they can be deployed. This tutorial introduces basic concepts and intuitions behind neural IR models, and places them in the context of traditional retrieval models. We begin by introducing fundamental concepts of IR and different neural and non-neural approaches to learning vector representations of text. We then review shallow neural IR methods that employ pre-trained neural term embeddings without learning the IR task end-to-end. We introduce deep neural networks next, discussing popular deep architectures. Finally, we review the current DNN models for information retrieval. We conclude with a discussion on potential future directions for neural IR.
ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
23. • A. 1. 対称なアーキテクチャ
▪ A. 1. 1. シャムニューラルネットワーク
• Huang et al. Learning deep structured semantic models for web search
using clickthrough data. In CIKM, pages 2333–2338, 2013.
▪ A. 1. 2. 対称交互作用ネットワーク
• Hu et al. Convolutional Neural Network Architectures for Matching Natural
Language Sentences. In NIPS, pages 2042–2050, 2014.
• A. 2. 非対称なアーキテクチャ
▪ A. 2. 1. クエリ分割方式
• Guo et al. A deep relevance matching model for ad-hoc retrieval. In CIKM,
pages 55–64, 2016.
▪ A. 2. 2. 文書分割方式
• Fan et al. Modeling diverse relevance patterns in ad-hoc retrieval. In SIGIR,
pages 375–384, 2018.
対称性に基づく分類[1][2] 23
[1] B. Mitra, N. Craswell, et al. An introduction to neural information retrieval. Foundations and Trends® in Information Retrieval, 13(1):1–126, 2018.
[2] Guo et al. A deep look into neural ranking models for information retrieval. Information Processing & Management, page 102067, 2019.
24. • クエリも文書も同じネットワーク構造で処理
• 例:DSSM(Deep Structured Semantic Model)
▪ Huang et al. Learning deep structured semantic models for web
search using clickthrough data. In CIKM, pages 2333–2338, 2013.
A. 1. 1. シャムニューラルネットワーク 24
文書
京都 観光
クエリ
Bag-of-words的な
高次元の疎ベクトル
⨂
予測された
適合度
0.34
ベクトル
表現
ベクトル
表現
…
…
内積計算
低次元な
密ベクトル
前向きNN
前向きNN
31. • B. 1. 初期結合モデル
▪ Guo et al. A deep relevance matching model for ad-hoc retrieval. In
CIKM, pages 55–64, 2016.
▪ 特徴: クエリ・文書中の単語間の交互作用を捉えられるが効率に課題
• B. 2. 末期結合モデル
▪ Huang et al. Learning deep structured semantic models for web
search using clickthrough data. In CIKM, pages 2333–2338, 2013.
▪ 特徴: クエリ・文書中の単語間の交互作用を捉えられないが高効率
結合時期に基づく分類[1][2] 31
[1] B. Mitra, N. Craswell, et al. An introduction to neural information retrieval. Foundations and Trends® in Information Retrieval, 13(1):1–126, 2018.
[2] Guo et al. A deep look into neural ranking models for information retrieval. Information Processing & Management, page 102067, 2019.
32. Guo et al. A deep relevance matching model for ad-hoc retrieval. CIKM 2016.
• クエリと文書中の単語ごとに内積計算を行い
その結果に基づいて適合度を予測
B. 1. 初期結合モデルの例: DRMM (Deep Relevance Matching Model)
文書
京都 観光
クエリ
単語
ベクトル
⨂
予測された
適合度
0.34
各語を
ベクトル
表現 クエリ中の各語ごとに
文書中の全単語との
内積計算を行う
各語を
ベクトル
表現
前向きNN
クエリ中の語ごとの
内積の値の
分布を表すベクトル
0.62
0.12
集約
クエリ中の語ごとの
予測された
適合度
初期結合
前向きNN
33. Huang et al. Learning deep structured semantic models for web search using clickthrough
data. CIKM 2013.
• クエリと文書をベクトルで表現しそれらの内積で適合度を予測
B. 2. 末期結合モデルの例: DSSM(Deep Structured Semantic Model)
文書
京都 観光
クエリ
Bag-of-words的な
高次元の疎ベクトル
⨂
予測された
適合度
0.34
ベクトル
表現
ベクトル
表現
…
末期結合
…
内積計算
低次元な
密ベクトル
前向きNN
前向きNN
34. ニューラルネットワークで「真の性能向上」があったか? 1/2 34
図は Yang et al. Critically Examining the “Neural Hype”: Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. SIGIR
2019. から引用
Robust04というテストコレクション(ベンチマーク)における平均適合率の時間
推移.赤が非ニューラルネットワーク,青がニューラルランキングモデル.
横軸は年であり,経年による向上が見られない.
35. • 単純なベースラインBM25には
DRMMが単体で勝つも有意差なし
• 強いベースラインである
BM25+RM3にはDRMMは負ける
(有意差なし)
• BM25+RM3にDRMMを合わせて
初めてDRMMが有意な改善を見せる
• 他のニューラルランキングモデルで
は有意な性能向上は見られず・・・
ニューラルネットワークで「真の性能向上」があったか? 2/2 35
表は Yang et al. Critically Examining the “Neural Hype”: Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models. SIGIR
2019. から引用
37. • 多くのNLPタスクで高い性能が報告されるBERTはIRでも有効
• ただし,遅い
BERT in IR 37
図は Khattab and Zaharia. ColBERT: Efficient and Effective Search via Contextualized Late Interaction over BERT. SIGIR 2020. より引用
MS MARCO Ranking(パッセージ検索タスク)におけるEffectiveness(MRR@10)とEfficiency (latency)
38. • Khattab and Zaharia. ColBERT: Efficient and Effective Search via
Contextualized Late Interaction over BERT. SIGIR 2020.
• 末期結合モデルにおけるクエリと文書の埋め込みをBERTに変えたような方法
ColBERT: BERTの高速化 38
図は Khattab and Zaharia. ColBERT: Efficient and Effective Search via Contextualized Late Interaction over BERT. SIGIR 2020. より引用
末期結合モデル
(文書の索引付け可能)
初期結合モデル
(文書の索引付け不可)
BERTの単純な適用
(文書の索引付け不可)
ColBERT
(文書の索引付け可能)