セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
8. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
ホットペッパーグルメAction概要
・エリア、利用用途、日付、ジャンル、予算、時間、人数等を条件にマッチした飲食店を提案
・より詳しく知りたい場合は、提案された飲食店をクリックすると『ホットペッパーグルメ』のサ
イトに遷移し、そのままネット予約することも可能
・画面ありデバイスと画面なしデバイスでは挙動が全く違う (Conversation branching)
9. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
ホットペッパーグルメAction概要
10. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
ホットペッパーグルメAction概要
12. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
デザイン/ペルソナ
コンシェルジュをイメージ
具体的な使用例を書く
13. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
デザイン/ペルソナ
14. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
デザイン/ペルソナ
コンシェルジュをイメージ
具体的な使用例を書く
アプリから切らない
15. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
デザイン/ペルソナ
コンシェルジュをイメージ
具体的な使用例を書く
アプリから切らない
何を認識できたか言い換えて表現する
Chat Bubbleを表示してよくある回答例を提示する
16. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
18. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
構成
そのままJSONでやり取りをしている
中はjsではないのでActionsSDKも使ってない…
Dialogflow(旧名api.ai)は使用していない
WebhookからJSONのやり取りのみをしている
GCPを使用
とてもベタな構成
19. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
構成
ZONE B
Content Server
Compute Engine
Autoscaling
ZONE A
Content Server
Compute Engine
Autoscaling
Cloud Load
Balancing
Cloud
DNS
Redis Server
Compute Engine
Autoscaling
Chat
Backend
20. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
開発体制(AoG部分)
新規事業プロダクト開発
UX、開発系全般
広報連携
ホットペッパーグルメ商品企画担当
UX、文言、ブランド全般
22. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
STT(Speech to Text)が意図しない言葉を拾ってくる
バイアスも何故かかからない
長い文章はとても良く拾ってくれる
例:
「よにん(4人)」→「余人」
「ない」 →「ナイン」、「9」、「できない」、「4」
どうしても仕方ないときは除き、4文字以上の言葉をユーザに発話してもらうようにする
23. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
TTS(Text to Speech)をちゃんと調教しないといけない
「11月21日(火)ですね」→「じゅういちがつ にじゅういちにち かっこ ひ ですね」
怪しそうな表記をする場合は textToSpeech, displayText両方適切に設定する
24. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
UIで次のアクションを促すのではなく、対話的に次のアクションを提示する
・あくまでBotとユーザの会話
・そうしないとレビューが通らない
25. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
←もともとなかったが追加
26. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
←もともとは
「お店の詳細情報です」
としか書いてなかったが追記
27. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
ngrok 最強
ローカルのサーバに URLを振ってインターネットからアクセスできるようにする
Request, Responseをモニタリング管理ページがある
ngrok Rocks!!
28. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
29. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
Brand Verificationをする
We reserve major brand names as invocation names for developers who prove they're affiliated with that
brand. For example, if you want to use the name “Personal Chef,” you must first connect your app with
www.personalchef.com and verify your affiliation.
今後どうなるかわからないので
“Major brand names”に該当するかはさておき、
Brand Verificationを一応しておく
30. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
歯車 -> Project settings -> BRAND VERIFICATIONタブ
31. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
歯車 -> Project settings -> BRAND VERIFICATIONタブ
32. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
気づき
ログ監視を監視する
どのように使われているか、どんなクエリが来ているか、何が認識されていて、何がご認識されているか
を監視する
33. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
Botとユーザの会話ログ
←チームメンバのコメント
Botとユーザの
会話ログ
←管理Botにメンション
←チケット作成完了
すると絵文字で返信
35. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
今後
36. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
今後
Handoff機能の実装
もしユーザが、画面を持ち、 Assistantが使えるデバイスを持っている場合、
そのデバイスに誘導することができる機能
37. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
今後
38. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
というわけでデモ
と、言いたいところだが
39. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
なぜか動かない…
宿題にしたいと思います
すみません…
40. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
まとめ
できるだけ具体的に、例文として会話文を書いて考える
Actions SDKを使うと、TTS, STT, その他情報をそのまま渡してくれる
多分Dialogflowのfulfillment使っても同等だとは思う
新機能が続々と出てきたり、パラメータが増えたり、頻繁にアップデートが行われている
ngrok おすすめ
41. Source: Lorem ipsum dolor sit amet, consectetur adipiscing elit. Duis non erat sem
ご清聴ありがとうございました
株式会社リクルートライフスタイル
エンジニア
株式会社オートマタ
CEO & CTO
@kumakumakkk
arakawa@r.recruit.co.jp
arakawa@automata.life