Submit Search
Upload
PostgreSQL画像データ収集・格納
•
Download as PPTX, PDF
•
1 like
•
5,249 views
Ayumi Ishii
Follow
2015/12/12 PostgreSQLアンカンファレンス講演資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 20
Download now
Recommended
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
大規模な組合せ最適化問題に対する発見的解法
大規模な組合せ最適化問題に対する発見的解法
Shunji Umetani
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
Takuya Akiba
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
Recruit Technologies
何となく勉強した気分になれるパーサ入門
何となく勉強した気分になれるパーサ入門
masayoshi takahashi
5分で解るセキュアコーディング
5分で解るセキュアコーディング
Yasuo Ohgaki
SIGMOD 2019 参加報告
SIGMOD 2019 参加報告
Masafumi Oyamada
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
Recommended
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
大規模な組合せ最適化問題に対する発見的解法
大規模な組合せ最適化問題に対する発見的解法
Shunji Umetani
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
Takuya Akiba
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
Recruit Technologies
何となく勉強した気分になれるパーサ入門
何となく勉強した気分になれるパーサ入門
masayoshi takahashi
5分で解るセキュアコーディング
5分で解るセキュアコーディング
Yasuo Ohgaki
SIGMOD 2019 参加報告
SIGMOD 2019 参加報告
Masafumi Oyamada
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
PostgreSQLアンチパターン
PostgreSQLアンチパターン
Soudai Sone
マイクロサービス化に向けて
マイクロサービス化に向けて
HIRA
データベース設計徹底指南
データベース設計徹底指南
Mikiya Okuno
なかったらINSERTしたいし、あるならロック取りたいやん?
なかったらINSERTしたいし、あるならロック取りたいやん?
ichirin2501
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
Tetsuya Sodo
第22回オープンデータトーク 地理データ形式のこれから
第22回オープンデータトーク 地理データ形式のこれから
IWASAKI NOBUSUKE
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
数独のアルゴリズムを考える ― 各種法の改善と高速化
数独のアルゴリズムを考える ― 各種法の改善と高速化
atmarksharp
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
Preferred Networks
GeoPackageを使ってみた(おざき様)
GeoPackageを使ってみた(おざき様)
OSgeo Japan
SQLアンチパターン メンター用資料
SQLアンチパターン メンター用資料
Hironori Miura
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
yoku0825
平面グラフと交通ネットワークのアルゴリズム
平面グラフと交通ネットワークのアルゴリズム
Takuya Akiba
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
Youichiro Miyake
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
Works Applications
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Mitsutoshi Kiuchi
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
Yoshitaka Kawashima
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
PostgreSQL監査
PostgreSQL監査
Ayumi Ishii
Scaling MongoDB on AWS
Scaling MongoDB on AWS
Yasuhiro Matsuo
More Related Content
What's hot
PostgreSQLアンチパターン
PostgreSQLアンチパターン
Soudai Sone
マイクロサービス化に向けて
マイクロサービス化に向けて
HIRA
データベース設計徹底指南
データベース設計徹底指南
Mikiya Okuno
なかったらINSERTしたいし、あるならロック取りたいやん?
なかったらINSERTしたいし、あるならロック取りたいやん?
ichirin2501
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
Tetsuya Sodo
第22回オープンデータトーク 地理データ形式のこれから
第22回オープンデータトーク 地理データ形式のこれから
IWASAKI NOBUSUKE
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
数独のアルゴリズムを考える ― 各種法の改善と高速化
数独のアルゴリズムを考える ― 各種法の改善と高速化
atmarksharp
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
Preferred Networks
GeoPackageを使ってみた(おざき様)
GeoPackageを使ってみた(おざき様)
OSgeo Japan
SQLアンチパターン メンター用資料
SQLアンチパターン メンター用資料
Hironori Miura
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
yoku0825
平面グラフと交通ネットワークのアルゴリズム
平面グラフと交通ネットワークのアルゴリズム
Takuya Akiba
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
Youichiro Miyake
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
Works Applications
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Mitsutoshi Kiuchi
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
Yoshitaka Kawashima
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
What's hot
(20)
PostgreSQLアンチパターン
PostgreSQLアンチパターン
マイクロサービス化に向けて
マイクロサービス化に向けて
データベース設計徹底指南
データベース設計徹底指南
なかったらINSERTしたいし、あるならロック取りたいやん?
なかったらINSERTしたいし、あるならロック取りたいやん?
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
第22回オープンデータトーク 地理データ形式のこれから
第22回オープンデータトーク 地理データ形式のこれから
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
数独のアルゴリズムを考える ― 各種法の改善と高速化
数独のアルゴリズムを考える ― 各種法の改善と高速化
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
[GTCJ2018]CuPy -NumPy互換GPUライブラリによるPythonでの高速計算- PFN奥田遼介
GeoPackageを使ってみた(おざき様)
GeoPackageを使ってみた(おざき様)
SQLアンチパターン メンター用資料
SQLアンチパターン メンター用資料
MySQLで論理削除と正しく付き合う方法
MySQLで論理削除と正しく付き合う方法
平面グラフと交通ネットワークのアルゴリズム
平面グラフと交通ネットワークのアルゴリズム
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
生成系ニューラルネットワークまとめ Summary of Generative Neural Network
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
SpotBugs(FindBugs)による 大規模ERPのコード品質改善
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Viewers also liked
PostgreSQL監査
PostgreSQL監査
Ayumi Ishii
Scaling MongoDB on AWS
Scaling MongoDB on AWS
Yasuhiro Matsuo
マイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPC
disc99_
PostgreSQL JSON型と Facebook APIを使ってwebアプリ開発をした話
PostgreSQL JSON型と Facebook APIを使ってwebアプリ開発をした話
Ayumi Ishii
Dev back
Dev back
Michaël Bruniaux
Develipers.IO 2016 E-1 「AWS Configを使ったAWS環境の見える化」
Develipers.IO 2016 E-1 「AWS Configを使ったAWS環境の見える化」
morisshi
PMIS Selection Matrix
PMIS Selection Matrix
Crystal Guliford
Section 1a d lessons learned_guliford as of 21_apr15
Section 1a d lessons learned_guliford as of 21_apr15
Crystal Guliford
Gestão para a qualidade - um exemplo
Gestão para a qualidade - um exemplo
IsabelSa
Raspberry Pi를 이용한 얼굴 표정과 감정인식 시스템 개발
Raspberry Pi를 이용한 얼굴 표정과 감정인식 시스템 개발
Hyunmin Kim
Los Fármacos Drogas y Adicciones
Los Fármacos Drogas y Adicciones
Luis David Rosales Osuna
Hotel Del Coronado Custom Gifts by Classic Legacy
Hotel Del Coronado Custom Gifts by Classic Legacy
Classic Legacy Custom Gifts
MySQL 5.7 InnoDB 日本語全文検索(その2)
MySQL 5.7 InnoDB 日本語全文検索(その2)
yoyamasaki
An overview of Amazon Athena
An overview of Amazon Athena
Julien SIMON
Phantom Type in Scala
Phantom Type in Scala
Yasuyuki Maeda
ビーコンをつかうIoTアプリケーション
ビーコンをつかうIoTアプリケーション
CRI Japan, Inc.
Optimize Your VMware SDDC with IBM Infrastructure
Optimize Your VMware SDDC with IBM Infrastructure
Paula Koziol
Impression of realm java
Impression of realm java
Ryutaro Miyashita
CAPとBASEとEventually Consistent
CAPとBASEとEventually Consistent
Yohei Yamamoto
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
Uptime Technologies LLC (JP)
Viewers also liked
(20)
PostgreSQL監査
PostgreSQL監査
Scaling MongoDB on AWS
Scaling MongoDB on AWS
マイクロサービスバックエンドAPIのためのRESTとgRPC
マイクロサービスバックエンドAPIのためのRESTとgRPC
PostgreSQL JSON型と Facebook APIを使ってwebアプリ開発をした話
PostgreSQL JSON型と Facebook APIを使ってwebアプリ開発をした話
Dev back
Dev back
Develipers.IO 2016 E-1 「AWS Configを使ったAWS環境の見える化」
Develipers.IO 2016 E-1 「AWS Configを使ったAWS環境の見える化」
PMIS Selection Matrix
PMIS Selection Matrix
Section 1a d lessons learned_guliford as of 21_apr15
Section 1a d lessons learned_guliford as of 21_apr15
Gestão para a qualidade - um exemplo
Gestão para a qualidade - um exemplo
Raspberry Pi를 이용한 얼굴 표정과 감정인식 시스템 개발
Raspberry Pi를 이용한 얼굴 표정과 감정인식 시스템 개발
Los Fármacos Drogas y Adicciones
Los Fármacos Drogas y Adicciones
Hotel Del Coronado Custom Gifts by Classic Legacy
Hotel Del Coronado Custom Gifts by Classic Legacy
MySQL 5.7 InnoDB 日本語全文検索(その2)
MySQL 5.7 InnoDB 日本語全文検索(その2)
An overview of Amazon Athena
An overview of Amazon Athena
Phantom Type in Scala
Phantom Type in Scala
ビーコンをつかうIoTアプリケーション
ビーコンをつかうIoTアプリケーション
Optimize Your VMware SDDC with IBM Infrastructure
Optimize Your VMware SDDC with IBM Infrastructure
Impression of realm java
Impression of realm java
CAPとBASEとEventually Consistent
CAPとBASEとEventually Consistent
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
PostgreSQL画像データ収集・格納
1.
2.
目次 問題意識 仮説 ターゲット 実装 まとめ
3.
問題意識 変化の激しい世の中において、常に技術を追いかけ 高いパフォーマンスが求められる 仕事でより高いパフォーマンスを上げるために、癒 しが必要 自宅のうさぎが癒し業をボイコット中
4.
仮説 うさぎ画像をみれば癒される!? googleうさぎ検索!!
5.
6.
やりたいこと うさぎ検索結果から画像を抜き出す ↓ ローカルに画像を保存 ↓ PostgreSQLで画像情報を管理する!
7.
ターゲット 非営利目的での再利用が許可された画像に限定 取得した画像は、個人でただ、癒されるためだけに利 用
8.
9.
10.
↑このときのURLに検索条件が入っている!
11.
12.
画像を自動で抜き出す 地道に正規表現でがんばる <img height="90" src="https://encrypted- tbn2.gstatic.com/images?q=tbn:ANd9GcTwTK9 5XZfQyU-HGdMSgxUy78nhw- XdpkcA3qwL0fv7sBJm-EOuZ1Nnicw" width="136"
alt="「うさぎ」の画像検索結果"> →リンクから、画像をローカルにダウンロード!
13.
14.
画像をどうやって管理する? 方法は基本3つ 説明 検索性能 備考 bytea
PostgreSQLの型の 1つ。バイナリを保 存する。 △ データ量が多くなる と性能劣化。 ラージオブジェクト 大きなデータを扱 うための仕組み ◯ lo_import()などを使 う。 外部ファイル 画像自体はDBに保 存せず、画像への パスを保存。 ◯ 画像自体の更新は DBで管理できない。
15.
bytea vs large
Object https://www.microolap.com/products/connectivity/postgresdac/help/tipsandtrick s_byteavsoid.htm
16.
今回実施した手順 ラージオブジェクトのOID保存テーブルを作成 =# create table
image(object_id oid); ファイルからラージオブジェクトをimport =# insert into image values (lo_import('/home/postgres/1'));
17.
<?php $filename="https://www.google.co.jp/search?as_st=y&tbm=isch&hl=ja&as_q=%E3%81%86%E3%81% 95%E3%81%8E&as_epq=&as_oq=&as_eq=&cr=&as_sitesearch=&safe=images&tbs=sur:f#q=%E3%8 1%86%E3%81%95%E3%81%8E&as_st=y&hl=ja&tbs=sur:f,qdr:w&tbm=isch&imgrc=_"; $pattern = '/img
height=".*?" src=.*?alt="「うさぎ」の画像検索結果"/'; $html = file_get_contents($filename); $path = '/home/postgres/'; mb_language("Japanese"); $subject = mb_convert_encoding($html,'UTF-8','auto'); preg_match_all($pattern, $subject, $matched); for( $i = 0; $i < count($matched[0]) ; $i++){ $yobun = '/" width=".*?" alt="「うさぎ」の画像検索結果"/'; $yobun2 = '/img height=".*?" src="/'; $data = preg_replace($yobun, "", $matched[0][$i]); $data = preg_replace($yobun2, "", $data); $image = file_get_contents($data); file_put_contents($path.$i,$image); $con = pg_connect("dbname=postgres user=postgres"); $sql = "INSERT INTO image VALUES(lo_import('".$path.$i."'));"; pg_set_client_encoding($con, "UTF-8"); $res = pg_query($con,$sql); pg_close($con); }
18.
結果 画像フォルダがうさぎ画像でいっぱいに!! 今回の取り組みの結果、たとえオフラインでも、 googleが突然使えなくなっても手元にうさ画像があ る
19.
広がる夢 「常に最新のうさぎ画像」を集めるべく収集対象を 最新の画像に絞るという夢 cron等の自動実行により確実に収集するという夢 可愛いうささんだけ集めたいという夢
20.
おわり ZZZ
Download now