Microsoft Intelligent Data Platform -データ活用のための最新技術-Daiyu Hatakeyama
SENDAI IT COMMUNE meetup #02:
デジタルデータの加速度的な増加に伴い、データベースに求められる要件も大きく変わっています。RDBMSだけではない、NoSQL型のデータストア。OLTP/バッチだけではない、ニアリアルタイムの処理。そして、グローバルスケールのパフォーマンスなど。Azure はそうした多様なデータをセキュアに管理できるプラットフォームとして活用できます。ここでは、AI (Artificial Intelligence) なども交えて最新のプラットフォームの概要と、その活用事例についてご紹介します。
Microsoft Intelligent Data Platform -データ活用のための最新技術-Daiyu Hatakeyama
SENDAI IT COMMUNE meetup #02:
デジタルデータの加速度的な増加に伴い、データベースに求められる要件も大きく変わっています。RDBMSだけではない、NoSQL型のデータストア。OLTP/バッチだけではない、ニアリアルタイムの処理。そして、グローバルスケールのパフォーマンスなど。Azure はそうした多様なデータをセキュアに管理できるプラットフォームとして活用できます。ここでは、AI (Artificial Intelligence) なども交えて最新のプラットフォームの概要と、その活用事例についてご紹介します。
DB TechShowcase Tokyo - Intelligent Data PlatformDaiyu Hatakeyama
AI (Artificial Intelligence) が様々なアプリケーション/サービスに組み込まれ始めて、それをうみだす原動力ともいえるデータプラットフォームもその立ち位置を変えてきています。次期SQL Server 2017には、Machine Learning Servicesが同梱され、まさに次世代のデータプラットフォームの一つの形といえるでしょう。このセッションでは、System of Record から、System of Insight へとその価値を変えていく最新のData Platformの世界をご紹介します。
DB TechShowcase Tokyo - Intelligent Data PlatformDaiyu Hatakeyama
AI (Artificial Intelligence) が様々なアプリケーション/サービスに組み込まれ始めて、それをうみだす原動力ともいえるデータプラットフォームもその立ち位置を変えてきています。次期SQL Server 2017には、Machine Learning Servicesが同梱され、まさに次世代のデータプラットフォームの一つの形といえるでしょう。このセッションでは、System of Record から、System of Insight へとその価値を変えていく最新のData Platformの世界をご紹介します。
ソフトウェア業界ではワクワクする新しいテクノロジーがどんどん生まれ、それが世の中で使われるまでも早くなっています。2018年に革新があった Deep Learning は、既に民主化・日常化もしてます。この講演では、そのソフトウェアの今を俯瞰し、今後どうなっていくのか? その未来予想とともに。職業として20年以上の経験を得た私の学びをお伝えします。
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
26. Azure Data Lake service
Big Data as a Services
無限にデータをストア・管理
Row Data を保存
高スループット、低いレイテンシの分析ジョ
ブ
セキュリティ、アクセスコントロール
Azure Data Lake store
HDInsight & Azure Data Lake Analytics
33. R & Python ベースの
AI の ストアドプロシージャ
MicrosoftML Library の組み込み
Graph モデルのサポートによる
より複雑な関係を分析
クエリ 処理の最適化による
比類なき パフォーマンス
AI を組み込んだ最初の商用データベース
SQL Server
2017
34. • SQL Server, CNTK & R/Python – それぞれの強い部分を連携させた
エンタープライズ グレードの AI アプリケーション
• データを移動させる必要がないため、セキュリティと効率化が向上
• GPU による、処理能力の向上
Featurization
classifier model
での スコアリング
Web App
Diagnosis: 35% certainty
Python / R で実装した ストアドプロシージャ ストアド
プロシージャ
の
呼び出し
Model table,
Features table,
New Images table
SQL Server
35. execute sp_execute_external_script
@language = N'R'
, @script = N'
x <- as.matrix(InputDataSet);
y <- array(dim1:dim2);
OutputDataSet <- as.data.frame(x %*% y);'
, @input_data_1 = N'SELECT [Col1] from MyData;'
, @params = N'@dim1 int, @dim2 int'
, @dim1 = 12, @dim2 = 15
WITH RESULT SETS (([Col1] int, [Col2] int, [Col3] int, [Col4] int));
‘R’ もしくは ‘Python’
R file や Python file の
読み込みも
入力データ。 T-SQL SELECT も使
えるスクリプト用のパラメーター。”OUTPUT” もサポー
ト。
トレーニング済みのモデルには varbinary(max) を
使用
Result set のバインド(Optional)
STDOUT や STDERR と一緒に
メッセージ文字列も
R dataframe もしくは
Python Pandas dataframe
36. launchpad.exe
sp_execute_external_script
sqlservr.exe
Named pipe
それぞれの SQL インスタ
ンスがlaumchpad.exe を持
つ
SQLOS
XEvent
MSSQLSERVER Service MSSQLLAUNCHPAD Service
“何を” そして “どう”
“実行” するか
“launcher”
Bxlserver.exe
sqlsatellite.dll
Bxlserver.exe
sqlsatellite.dll
Windows Satellite
Process
sqlsatellite.dll
Run your “query”
AI is not about creepy robots creating assembly-line healthcare. It is about systems that assist and support the wisdom and experience of well-trained clinicians in making better data-driven decisions and taking actions that best support the needs of those they serve. It does this by gathering and crunching massive amounts of data quickly and intelligently to identify patterns often overlooked or undiscovered in the traditional practice of care. The opportunity for AI in healthcare isn’t just about making doctors and healthcare providers more efficient in their work; it’s about making the lives of the patients better and saving lives. <click>
Today’s health organizations need solutions that can help them engage patients in their health <click>, empower care teams <click>, optimize clinical operations <click>, transform the care continuum <click> and enhance security and compliance.
Transition: AI can help you proactively engage your patients in their health.
<click>
Improve the patient experience throughout the care journey by empowering care teams with streamlined, 360-degree interactions. Through modern, patient-centered communications and efficient processes, health organizations can increase satisfaction and save time for patients and staff alike, while lowering costs. <click>
Enable intelligent tools to recommend next best actions for individual care plans
Reaching an accurate diagnosis can sometimes be a challenge even for the most skilled providers. However, the mass digitization of patient data via EMR and EHR systems opens the door for AI and machine learning to help augment the diagnostic process to build effective individual care plans. Through analysis of the patient’s digital health footprint, such as lab results, history and reported symptoms, advanced analytics tools can surface potential diagnoses and recommend the next best actions for care.
Customer Story: https://customers.microsoft.com/en-US/story/delivering-data-to-doctors-to-enable-the-best-decisions-at-the-point-of-care
Demonstration: (link)
Products: Text Analysis API, Translator Text API, Recommendations API, ML Server
<click>
Engage digital assistants to record and transcribe patient history and chart notations
Dictation tools have come a long way since the Dictaphone, and it’s not uncommon to find some type of dictation tool packaged into EMR or EHR systems. However, voice-to-text powered by AI is transforming the way providers can transcribe patient histories and chart notations. With blazingly fast voice-to-text and instant translation capabilities, AI can provide vital time-saving assistance to busy providers on-the-go, and across any device.
Customer Story: (link)
Demonstration: (link)
Products: Translator Text API, Language Understanding Intelligent Service (LUIS)
<click>
Provide remote patient monitoring while applying analytics to generate care team alerts
Remote monitoring via connected devices has changed the way that patients interact with their care teams. The ability to track biometrics with sensors allows patients to rest in the comfort of their own home, yet remain in a provider’s constant care. AI tools can further enhance the remote monitoring process by engaging chatbots to push notifications directly to care teams based on defined biometric triggers, enabling them to respond in real-time to changes in a patient’s status.
Customer Story: https://customers.microsoft.com/en-US/story/zionchina
Demonstration: (link)
Products: Bot Framework, Text Analytics API, Translator Text API, Azure IoT Suite
Transition: With AI solutions, you take steps to further optimize your organization for effectiveness.
<click>
Today’s AI technology has made massive leaps forward, and few industries have felt that more keenly than healthcare. Continued investment in AI technology is enabling modern health organizations to transform the care continuum in ways they never thought possible. <click>
Enable virtual nursing assistants to remotely assess patient symptoms and decrease unnecessary visits
When seeking medical care, patients are often required to see their provider in person for even minor concerns. A digital health organization can help lessen the number of unnecessary patient visits through AI. Using natural language, nursing assistant chatbots can interact with the patient and help assess their symptoms by asking decision-tree questions such as “Do you have a fever?” or “Are you coughing?” The chatbot can then route the conversation directly to a care provider or create a live telehealth session in order for the provider to make a determination on next steps for the patient. Cognitive capabilities can further expand virtual nursing services by providing real-time translation localized to where the patient lives.
Customer Story: (link)
Demonstration: (link)
Products: Bot Framework, Text Analysis API, Translator Text API, Bing Speech API, Computer Vision API, Recommendations API, ML Server
<click>
Employ advanced learning models to expedite the medical imaging workflow and identify potential findings
Today, one of the biggest problems facing physicians and clinicians in general is the overload of too much patient information to sift through. This is where AI can play a key role. AI will not be diagnosing patients and replacing doctors — it will be augmenting their ability to find the key, relevant data they need to care for a patient and present it in a concise, easily digestible format. When a radiologist calls up a scan to read, the AI will review the image and identify potential findings immediately—from the image and also by combing through the patient history related to the particular anatomy scanned—in order to suggest possible findings.
Customer Story: (link)
Demonstration: (link)
Products: Text Analysis API, Computer Vision API, Recommendations API, ML Server
<click>
Combine cognitive robotic capabilities with medical records to guide and enhance physician instrument precision
Cognitive robotics is still a newer field, but its advancing rapidly, and the impact to surgical teams could be significant. Cognitive robots use machine learning and other forms of AI, and can integrate information from pre-op medical records with real-time operating metrics to physically guide and enhance the physician’s instrument precision. The technology incorporates data from actual surgical experiences to inform new, improved techniques and insights. Using cognitive robotics can result not only in better outcomes but also reduce the length of patient hospital stays for health organizations.
Customer Story: (link)
Demonstration: (link)
Products: Vision API, Text Analytics API, Entity Linking API, ML Server
Transition: AI solutions can strengthen trust in security and compliance across the care continuum
<click>