オープンAPIによるLAシステムインテグレーションの事例 - ロボットアーム「COBOTTA」と顕微鏡「OpenScope」の統合によるバイオ実験の自動化

1. オープンAPIによるLAシステムインテグレーショ
ンの事例
ロボットアーム「COBOTTA」と顕微鏡「OpenScope」の統合によるバイオ
実験の自動化
2024年3月30日
Laboratory Automation月例勉強会
森 啓太、石川 玲 /合同会社embrio
菅野 淳子 /株式会社デンソーウェーブ

2. 1. OpenScope製品説明
2. COBOTTA製品説明
3. OpenScopeとCOBOTTAのインテグレーション事例
4. デンソーウェーブによるオープン化取り組み
5. embrioによるオープン化取り組み
6. 最後に
本日の流れ

3. OpenScope製品説明

4. 明視野倒立顕微鏡
APIサーバを備えておりHTTPリクエストで制御可能
● 撮像
● オートフォーカス
● ステージ移動
SBS規格対応ステージ
WebAPIを公開し自在に制御できる顕微鏡
OpenScopeを開発

5. HTTPリクエストにより制御できるので
どのプログラミング言語からでも制御できる
WebAPIを公開し自在に制御できる顕微鏡OpenScope
import requests
# get current position
HOST_URL = "http://openscope:5000/api/v1"
res = requests.get(f"{HOST_URL}/stage/current_position")
Python
// get current position
const HOST_URL = "http://openscope:5000/api/v1";
fetch(`${HOST_URL}/stage/current_position`)
.then(response => response.json())
.then(data => console.log(data))
.catch(error => console.error('Error:', error));
JavaScript

6. COBOTTA製品説明

7. 人協働ロボット COBOTTA
7

8. 人協働ロボット COBOTTA ～コンセプト～
safety design
安全仕様ISO 10218-1:2011
ISO/TS 15066:2016
ISO 13849-1:2015 PLd Cat.3
速度とトルクを監視する
「SAFETY BOARD」を開発
鋭利な部分をつくらず，指を挟みこまない構造
portable body
小型軽量化のためのアーム構造
アーム＋コントローラ一体構造
総重量の大幅削減：約4kg
easy to use
誰でも・簡単に・仕事が作れる、「10分でワークプリ
open platform
8

9. OpenScopeとCOBOTTAの
インテグレーション事例

10. 2023年9月 10月 11月
初対面 2days
LADEC2023にて両社と
も機器展示をしていた中
で、LAシステム連携にお
けるAPIオープン化の重
要性について意見交換
チュートリアル 1day
デンソーウェーブ刈谷
FAセンターにて、
COBOTTAの使い方をレ
クチャーいただく
デモ作成 0.5day
デンソーウェーブ様より
貸与いただいた
COBOTTAのセットアッ
プから、連携デモ作成ま
で半日(約5h)で完了
LADECでお会いし、短期間で連携が実現

11. 培養中のプレートをラック
に設置（動画では既に設置
済）
プレートを顕微鏡へ移動
培地交換の必要性の有無を
判定
培地交換の必要性の有無に
応じて、所定の場所へ移動
判定結果を通知
マウスiPSC継代培養における培地交換判定への活用例

12. デンソーウェーブのオープン化取り組み

13. 2006 2007 2022
2021
2014 2018
2010
ORiNによるPC制御(欧州)
2015
初のラボラトリオートメー
ション
LabVIEW Library
2016
コンパクト自動細胞培養
人協働ロボットCOBOTTA
COBOTTA×ROS
株式会社アールティと
業務提携
耐H2O2仕様
耐 35%過酸化水素
分析装置COBOTTA×IoT
ラボラトリオートメーション
システム開発・販売
2019～
ROS対応
13
© DENSO WAVE INCORPORATED All Rights Reserved.
「オープン化」によるラボラトリーオートメーション開拓の歩み

14. 人協働ロボット COBOTTA ～オープンプラットフォーム～
Sub Main
Dim caoCtrl As Object
Dim caoRob As Object
Dim caoVarSrvo as Object
Dim vRes As Variant
set caoCtrl = cao.AddController("sr1", "CaoProv.XXXX,"","conn=com:2:9600:o:8:1:1,)
set caoRob = caoCtrl.AddRobot("rob1")
set caoVarSrvo = caoRob.AddVariable("@SRVO")
vRes = caoRob.Execute("srvo", 1)
caoRob.Move 1, array(150, 150, 10)
設備記述言語 PacScript
JIS B 8439
Application
Engine
Provider
14

15. 人協働ロボット COBOTTA ～外部PCからの制御～
15
Ethernet
ROSパッケージ
（ROSノード ソー
ス）
Ethernet
Ethernet
外部PCからでも全ての機能が使える

16. デンソーウェーブプライベート展2024 COBOTTA LAB ~混合・攪拌~
16
© DENSO WAVE INCORPORATED All Rights Reserved.

17. OpenScopeの製品思想と技術 /
embrioのオープン化取り組み

18. 大学院時代に線虫の行動観察を自動化することを考えた
動物の行動パターンの観察を自動化し大量にデータを取得したい
自作することはハードルが高かった. 設計やモータ選定も大変…
プログラミングはできるけど装置を作るところまでは手に負えない…
個人的な経験から自動制御がしやすい実験装置の開発へ
OpenScopeがあれば・・・
プログラミングができればすぐに制御コードを書ける（学習コスト０）
通信プロトコルが汎用的なので他の機器との接続が容易
（Wifiや有線LANでOK!）

19. HTTPリクエストにより制御できるので
どのプログラミング言語からでも制御できる
WebAPIを公開し自在に制御できる顕微鏡OpenScope
import requests
# get current position
HOST_URL = "http://openscope:5000/api/v1"
res = requests.get(f"{HOST_URL}/stage/current_position")
Python
// get current position
const HOST_URL = "http://openscope:5000/api/v1";
fetch(`${HOST_URL}/stage/current_position`)
.then(response => response.json())
.then(data => console.log(data))
.catch(error => console.error('Error:', error));
JavaScript

20. # LED ON
http://<server>:<port>/api/v1/led/off
# LED OFF
http://<server>:<port>/api/v1/led/on
# オートフォーカス
http://<server>:<port>/api/v1/camera/autofocus
# 画像撮影
http://<server>:<port>/api/v1/camera/capture
# サーバから画像を取得
http://<server>:<port>/api/v1/camera/fetch/{id}
# ステージ座標取得
http://<server>:<port>/api/v1/stage/current_position
# ステージの移動
http://<server>:<port>/api/v1/stage/move_to/motor_gcode/?x=30?y=50?z=10
# 保存したxyz座標を読み込み
http://<server>:<port>/api/v1/points/read/{name}
# xyz座標を保存読み込み
http://<server>:<port>/api/v1/points/write/{name}
API一覧

21. ラックのプレートを
OpenScopeに移動さ
せ、画像判定結果に基
づいて所定の位置に戻
す
プレートを受け取った後
、
観察対象のウェルに移動、
画像を撮影し、
COBOTTAへの受け渡し
位置に移動
司令PC
OpenScope
制御PC
デモの裏側
Robot1.Move(1,f"@0 {positions}")
res = requests.get(
f"{HOST_URL}/camera/capture")
COBOTTA

22. WebAPIで制御できるから他にもこんなことも
ーリモート制御・観察ー

23. スマホから顕微鏡を制御・データを確認
● 家や居室から細胞の様子を確認
● 継代に行く前に細胞の様子を確認
SlackやDiscordに通知することも
WebAPIで制御できるから他にもこんなことも
ーリモート制御・観察ー

24. スマホから顕微鏡を制御・データを確認
● 家や居室から細胞の様子を確認
● 継代に行く前に細胞の様子を確認
SlackやDiscordに通知することも
WebAPIで制御できるから他にもこんなことも
ーリモート制御・観察ー

25. WebAPIで制御できるから他にもこんなことも
ーリモートデータ確認ー

26. 機器からデータを簡易取得
（USBでの転送不要）
居室や家からでもデータを取得可能
プログラムによるバッチ取得や
データベースへのアップロードも
WebAPIで制御できるから他にもこんなことも
ーリモートデータ取得ー

27. プログラムによるバッチ取得やデータベースへのアップロードも数行で
WebAPIで制御できるから他にもこんなことも
ーリモートデータ取得ー
import requests
import cv2
import numpy as np
list_id = []
for id_ in list_id:
res = requests.get(f'http://openscope:5000/api/v1/camera/fetch/{id_}')
# convert with OpenCV
img_ = cv2.imdecode(np.frombuffer(res.content, np.uint8), cv2.IMREAD_COLOR)
cv2.imwrite(f'openscope_{id_}.png', img_)
# upload to s3
upload_to_s3(f'openscope_{id_}.png')

28. ChatGPTの普及によりプログラミングのハードルが大幅に低下
ウェット実験者も手軽にプログラミングができる時代に
生成AI を使うことによりコーディングが ほぼ不要 に
● OpenScope用のGPTs（β）を公開
● Web開発で広く利用されているWebAPIはドキュメントが多く精度良
く生成することが可能
生成AI時代はさらに楽に

29. 開発におけるTips
● ソフトウェアエンジニアリングの巨人の肩に乗る
● RESTful API
● APIの冪等性
複数の Dockerコンテナ を協調させて制御
ミドルウェアに ROS を採用
顕微鏡以外の実験装置の ソフトウェア化 の対応が容易
OpenScope開発の裏側紹介
“ハードウェアをソフトウェア化する”

30. 最後に

31. ● 自動化したい作業があれば自動化のお手伝いさせてください
一緒に自動化に取り組ませてください
● 他の機器との連携実証をさせてください
● 顕微鏡以外の実験装置のオープン化を手伝います
● PoCを想定した技術支援付きの機器レンタルも受付中
contact@embrio.dev

32. Appendix

33. 会場ではデモを実施いたしました