Implement Custom Analyzer inherit from ActiveStorage::Analyzer

1. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
ActiveStorage
::Analyzer
鍋太郎

2. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
自己紹介
プログラマー✓
Debian JP 事務局✓
小市若者連 委員長 (留任)✓
https://about.me/nabetaro✓

3. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
Webでファイルをアップ
ロード
Railsでは
ActiveStorage✓
paperclip (depricated)✓
etc...✓
✓

4. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
ActiveStorage
Rails5.2以降✓
ローカルディスク・S3・
Azure・GCS
✓
オブジェクトにファイル添付✓
2テーブル✓

5. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
ファイルを添付すると
画像ファイルの場合、画像の縦横
ピクセルを解析
✓
active_storage_blobs の
metadata に
✓
ActiveJobで非同期実行✓
いつのまにか解析するAnalyzer

6. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
要件
ファイルの全文検索✓
テキストを検索インデックスに✓
Office対応✓

7. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
方針
テキストファイルはそのまま✓
PDFはPopplerで✓
LibreOfficeでPDF化✓

8. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
抽出をカスタムAnalyzerで
self.accept?(blob)
trueになるファイル(blob)が対象✓
✓
metadata
metadataに格納するHashを返す✓
✓

9. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
カスタムAnalyzer登録
Rails.application.config.activ
e_storage.analyzers に追加
✓
Rails.application.config.active_storage.analyzers.append カスタムAnalyzer名

10. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
実装例
class ExtractTextAnalyzer < ActiveStorage::Analyzer
# 画像以外が対象
def self.accept?(blob)
!blob.image?
end
def metadata
read_file do |file|
{ content_text: extract_text_from_file(file) }
end
end
private
# 添付ファイルを一時ディレクトリに読み出す
def read_file
download_blob_to_tempfile do |file|
yield file
end
end
# snip...
end
Rails.application.config.active_storage.analyzers.append ExtractTextAnalyzer

11. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
便利メソッド
download_blob_to_tempfile
対象ファイルを取り出しTempfileに✓
ストレージがローカルディスクとは
限らない
✓
✓

12. ActiveStorage::Analyzer Powered by Rabbit 3.0.0
まとめ
アップロードしたファイルの内
容を解析
✓
標準の解析で足りなければ、カ
スタムAnalyzer
✓
重い処理も非同期実行
でもそのメタデータがすぐに使えな
い
✓
即時はanalyzeメソッド✓
✓