Local Applications of Large Language Models based on RAG.pptx
Smirf的概念
1. 原文链接<br />SMIRF<br />From HL7Wiki<br />Jump to: navigation, search<br />Rationale<br />The concept documented on this page was created based on current experiences with OLAP style databases (where versioning is based on individual objects, and where conceptually the persistence layer is an object graph). This turns out to have various disadvantages: it is too fine grained to be useful as a unit for processing and versioning. The well known alternative (OLTP, persisting a stack of messages) has drawbacks as well: message is too coarse in terms of granularity. <br />Definition<br />A SMall Isolated Rim Fragment (SMIRF) is a logical data model that has the following characteristics: <br />It is a SIM, with 1 entry point. In terms of the HDF it is an 'expressed model'. <br />Note: a SMIRF-graph is not an object-graph, given that a single SMIRF is mainly transactional in nature. <br />A SMIRF only has Acts with fixed moodCodes. If one needs an Act in a different moodCode, it's a different SMIRF. A SMIRF only has Entities with a fixed determinerCode. If one needs an Entity with a different determinerCode, it's a different SMIRF. <br />An SMIRF instance is 'externally identifiable' by means of the identifier of its entry object, none of the other identifiers for other objects serve to identify an SMIRF instance. An SMIRF may contain identifiers (as references) to other SMIRFs. <br />Context has been resolved <br />Conducted context is present in the data model <br />Conducted context is pointed to from the data model (as a separate SMIRF, by reference (patient Id, authorId, etc.). Because there will be many Observations (in a clinical statement model) and most of them will have the same context, we do not advocate copying the context by value into each SMIRF for persistence. Instead it would be more efficient to have each SMIRF point to it's context object (which itself may be a context SMIRF) by reference. <br />An SMIRF instance will contain a fully resolved updated version of the SMIRF if update mode was used. <br />An SMIRF instance will contain a fully resolved version of objects that were included 'by reference' <br />The context determines how objects are to be identified; see issues discussed on the Object identity page. Notably for Roles some kind of agreement between creator/sender and processor/receiver has to be in place. <br />SMIRF is used as the atomic persistence model; SMIRF-instances are versioned; they are locked/read/replaced as a whole <br />In a services environment Entity-level services exist based on SMIRFs. Business services are composed of those Entity-level services. <br />DISCUSSION: Peter thinks of SMIRFs as being 'self contained, quot;
safe for queryingquot;
clinical statementsquot;
. Ewout doesn't have this as a requirement, he's seeking for modeling patterns. Currently a Safe SMIRF is a subset of all possible SMIRFs; or a Safe SMIRF is a composition of more granular SMIRFs. <br />Criteria for splitting a larger data model (DIM/SIM) in SMIRFs, i.e. criteria for the scope of SMIRFs include: <br />Any association where propagation is turned off forms a boundary <br />Any participation with a CMET forms a boundary <br />A change of context (e.g. different subject/patient, different author) <br />Relation with DCM<br />Note that the boundaries in a DCM are drawn for different reasons, there might probably be an assessment scale SMIRF, while this would be used for many DCMs, so then there is clearly no 1-1 relationship. A DCM could be a template for an instance of a SIM which could be 1 or more SMIRFs. <br />参考译文：<br />原理<br />这篇文章中提到的概念是基于目前OLAP类型的数据库 见附录I(版本控制是基于独立的对象，而概念上持久层是一个对象图)的经验。这就有很多的缺点：过于细粒度对于运行处理和版本控制不是很有用。众所周知OLTP也有缺点：消息的尺寸又过于粗糙。<br />定义<br />SMIRF就是拥有以下特点的逻辑数据模型：<br />它是一个SIM,见附录II拥有一个entry。在HDF中，它就是一个‘表达模型’<br />备注：一个SMIRF图并不是一个对象图，本质上来讲一个单独的SMIRF主要是一个事务性的。<br />一个SMIRF只含有固定moodCodes值的Act。如果你需要一个不同的moodCode的Act时，它就是另一个SMIRF.一个SMIRF只含有固定deteminerCode值的Entities。如果你需要一个有不同deteminerCode值的Entity时，它也是另一个SMIRF。<br />一个SMIRF实例上通过它的entry对象的标识符来“外部识别的”，没有任何其他对象的标识符用来识别一个SMIRF实例。一个SMIRF可能包含其他SMIRF的标识符(作为引用)<br />语境已经被分解了<br />首先管理语境在数据模型中<br />其次管理语境指向数据模型(一个独立的SMIRF，通过引用(病人ID，作者id等等))。因为(clinicalstatement model中)会有很多Observation，大多数Observation都有相同的语境，我们不提倡把每个语境的值复制到SMIRF来持久化。相反地如果让每个SMIRF指向它的语境对象(它本身可能就是一个语境SMIRF)的话会来的更有效率。<br />如果使用更新mode的话SMIRF实例将包含一个完全分解的更新版本的SMIRF。<br />SMIRF实例将包含完全分解版本的对象，这个对象包含“通过引用”<br />语境决定对象如何标识，参考Object identity。值得注意的是对于role creator/sender和processor/receiver之间某些协议必须要有<br />SMIRF被用作原子化持久模型。SMIRF实例是有版本的。它们是作为整体来locked/read/replace的。<br />在服务的环境中 Entity-层的服务商基于SMIRF的。业务服务是由这种Entity-层服务构成的<br />讨论：peter认为SMIRF就像是self contained 安全查询的clinical statement。Ewout认为这不是必须的，他在探索建模模型。目前safe SMIRF是所有可能的SMIRF的子集，抑或safe SMIRF是更加细粒度的SMIRF的组成部分。<br />把一个大点的数据模型DIM/SIM切分成SMIRF的标准，比如SMIRF scope包含的标准:<br />Any association where propagation is turned off forms a boundary <br />Any participation with a CMET forms a boundary <br />A change of context (e.g. different subject/patient, different author) <br />和DCM的关系<br />值得注意的是 在DCM中为了不同原因而有了边界，<br />Note that the boundaries in a DCM are drawn for different reasons, there might probably be an assessment scale SMIRF, while this would be used for many DCMs, so then there is clearly no 1-1 relationship. A DCM could be a template for an instance of a SIM which could be 1 or more SMIRFs.<br />附录I<br />OLAP介绍联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。 OLTP OLAP 用户 操作人员,低层管理人员 决策人员,高级管理人员 功能 日常操作处理 分析决策 DB 设计 面向应用 面向主题 数据 当前的, 最新的细节的, 二维的分立的 历史的, 聚集的, 多维的集成的, 统一的 存取 读/写数十条记录 读上百万条记录 工作单位 简单的事务 复杂的查询 用户数 上千个 上百个 DB 大小 100MB-GB 100GB-TB OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是quot;
维quot;
这个概念。 “维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。 OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）和切块（dice）、以及旋转（pivot）、drill across、drill through等。 钻取是改变维的层次，变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而drill down则相反，它从汇总数据深入到细节数据进行观察或增加新维。 切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个，则是切块。 旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。 OLAP有多种实现方法，根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。 ROLAP表示基于关系数据库的OLAP实现（Relational OLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了quot;
星型模式quot;
。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为quot;
雪花模式quot;
。 MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP）。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成quot;
立方块（Cube）quot;
的结构,在MOLAP中对quot;
立方块quot;
的quot;
旋转quot;
、quot;
切块quot;
、quot;
切片quot;
是产生多维数据报表的主要技术。 HOLAP表示基于混合数据组织的OLAP实现（Hybrid OLAP）。如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。 还有其他的一些实现OLAP的方法，如提供一个专用的SQL Server，对某些存储模式（如星型、雪片型）提供对SQL查询的特殊支持。 OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如，一个企业在考虑产品的销售情况时，通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础，可形式化表示为（维1，维2，……，维n，度量指标），如（地区、时间、产品、销售额）。多维分析是指对以多维形式组织起来的数据采取切片（Slice）、切块（Dice）、钻取（Drill-down和Roll-up）、旋转（Pivot）等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据，从而深入理解包含在数据中的信息。 根据综合性数据的组织方式的不同，目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织和存储数据，ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。 <br />附录II<br />SIM<br />From HL7Wiki<br />Jump to: navigation, search<br />A Serializable Information Model (SIM) [which used to be known up to mid 2010 as a Constrained Information Model (CIM)] is a constraint on a DIM which has a single entry point and can therefore be serialized, and used in information systems. This type of model is defined in the HDF. <br />Currently this type of model is better known as a R-MIM, or a Message Type. In due time these terms may/will be replaced by SIM. <br />SIM序列化信息模型(直到2010年中一直作为CIM 限制式信息模型)是对DIM的限制，它只有一个单独的entry点，因此是可序列化的，常常用在信息系统中。这种类型的模型是在HDF中定义的。<br />目前这种模型被认为是RMIM或者MT，不久的将来这些术语将会被SIM取代。<br />附录III<br />DCM<br />
![原文链接<br />SMIRF<br />From HL7Wiki<br />Jump to: navigation, search<br />Rationale<br />The concept documented on this page was created based on current experiences with OLAP style databases (where versioning is based on individual objects, and where conceptually the persistence layer is an object graph). This turns out to have various disadvantages: it is too fine grained to be useful as a unit for processing and versioning. The well known alternative (OLTP, persisting a stack of messages) has drawbacks as well: message is too coarse in terms of granularity. <br />Definition<br />A SMall Isolated Rim Fragment (SMIRF) is a logical data model that has the following characteristics: <br />It is a SIM, with 1 entry point. In terms of the HDF it is an 'expressed model'. <br />Note: a SMIRF-graph is not an object-graph, given that a single SMIRF is mainly transactional in nature. <br />A SMIRF only has Acts with fixed moodCodes. If one needs an Act in a different moodCode, it's a different SMIRF. A SMIRF only has Entities with a fixed determinerCode. If one needs an Entity with a different determinerCode, it's a different SMIRF. <br />An SMIRF instance is 'externally identifiable' by means of the identifier of its entry object, none of the other identifiers for other objects serve to identify an SMIRF instance. An SMIRF may contain identifiers (as references) to other SMIRFs. <br />Context has been resolved <br />Conducted context is present in the data model <br />Conducted context is pointed to from the data model (as a separate SMIRF, by reference (patient Id, authorId, etc.). Because there will be many Observations (in a clinical statement model) and most of them will have the same context, we do not advocate copying the context by value into each SMIRF for persistence. Instead it would be more efficient to have each SMIRF point to it's context object (which itself may be a context SMIRF) by reference. <br />An SMIRF instance will contain a fully resolved updated version of the SMIRF if update mode was used. <br />An SMIRF instance will contain a fully resolved version of objects that were included 'by reference' <br />The context determines how objects are to be identified; see issues discussed on the Object identity page. Notably for Roles some kind of agreement between creator/sender and processor/receiver has to be in place. <br />SMIRF is used as the atomic persistence model; SMIRF-instances are versioned; they are locked/read/replaced as a whole <br />In a services environment Entity-level services exist based on SMIRFs. Business services are composed of those Entity-level services. <br />DISCUSSION: Peter thinks of SMIRFs as being 'self contained, quot;
safe for queryingquot;
clinical statementsquot;
. Ewout doesn't have this as a requirement, he's seeking for modeling patterns. Currently a Safe SMIRF is a subset of all possible SMIRFs; or a Safe SMIRF is a composition of more granular SMIRFs. <br />Criteria for splitting a larger data model (DIM/SIM) in SMIRFs, i.e. criteria for the scope of SMIRFs include: <br />Any association where propagation is turned off forms a boundary <br />Any participation with a CMET forms a boundary <br />A change of context (e.g. different subject/patient, different author) <br />Relation with DCM<br />Note that the boundaries in a DCM are drawn for different reasons, there might probably be an assessment scale SMIRF, while this would be used for many DCMs, so then there is clearly no 1-1 relationship. A DCM could be a template for an instance of a SIM which could be 1 or more SMIRFs. <br />参考译文：<br />原理<br />这篇文章中提到的概念是基于目前OLAP类型的数据库 见附录I(版本控制是基于独立的对象，而概念上持久层是一个对象图)的经验。这就有很多的缺点：过于细粒度对于运行处理和版本控制不是很有用。众所周知OLTP也有缺点：消息的尺寸又过于粗糙。<br />定义<br />SMIRF就是拥有以下特点的逻辑数据模型：<br />它是一个SIM,见附录II拥有一个entry。在HDF中，它就是一个‘表达模型’<br />备注：一个SMIRF图并不是一个对象图，本质上来讲一个单独的SMIRF主要是一个事务性的。<br />一个SMIRF只含有固定moodCodes值的Act。如果你需要一个不同的moodCode的Act时，它就是另一个SMIRF.一个SMIRF只含有固定deteminerCode值的Entities。如果你需要一个有不同deteminerCode值的Entity时，它也是另一个SMIRF。<br />一个SMIRF实例上通过它的entry对象的标识符来“外部识别的”，没有任何其他对象的标识符用来识别一个SMIRF实例。一个SMIRF可能包含其他SMIRF的标识符(作为引用)<br />语境已经被分解了<br />首先管理语境在数据模型中<br />其次管理语境指向数据模型(一个独立的SMIRF，通过引用(病人ID，作者id等等))。因为(clinicalstatement model中)会有很多Observation，大多数Observation都有相同的语境，我们不提倡把每个语境的值复制到SMIRF来持久化。相反地如果让每个SMIRF指向它的语境对象(它本身可能就是一个语境SMIRF)的话会来的更有效率。<br />如果使用更新mode的话SMIRF实例将包含一个完全分解的更新版本的SMIRF。<br />SMIRF实例将包含完全分解版本的对象，这个对象包含“通过引用”<br />语境决定对象如何标识，参考Object identity。值得注意的是对于role creator/sender和processor/receiver之间某些协议必须要有<br />SMIRF被用作原子化持久模型。SMIRF实例是有版本的。它们是作为整体来locked/read/replace的。<br />在服务的环境中 Entity-层的服务商基于SMIRF的。业务服务是由这种Entity-层服务构成的<br />讨论：peter认为SMIRF就像是self contained 安全查询的clinical statement。Ewout认为这不是必须的，他在探索建模模型。目前safe SMIRF是所有可能的SMIRF的子集，抑或safe SMIRF是更加细粒度的SMIRF的组成部分。<br />把一个大点的数据模型DIM/SIM切分成SMIRF的标准，比如SMIRF scope包含的标准:<br />Any association where propagation is turned off forms a boundary <br />Any participation with a CMET forms a boundary <br />A change of context (e.g. different subject/patient, different author) <br />和DCM的关系<br />值得注意的是 在DCM中为了不同原因而有了边界，<br />Note that the boundaries in a DCM are drawn for different reasons, there might probably be an assessment scale SMIRF, while this would be used for many DCMs, so then there is clearly no 1-1 relationship. A DCM could be a template for an instance of a SIM which could be 1 or more SMIRFs.<br />附录I<br />OLAP介绍联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的比较。 OLTP OLAP 用户 操作人员,低层管理人员 决策人员,高级管理人员 功能 日常操作处理 分析决策 DB 设计 面向应用 面向主题 数据 当前的, 最新的细节的, 二维的分立的 历史的, 聚集的, 多维的集成的, 统一的 存取 读/写数十条记录 读上百万条记录 工作单位 简单的事务 复杂的查询 用户数 上千个 上百个 DB 大小 100MB-GB 100GB-TB OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是quot;
维quot;
这个概念。 “维”是人们观察客观世界的角度,是一种高层次的类型划分。“维”一般包含着层次关系,这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。 OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）和切块（dice）、以及旋转（pivot）、drill across、drill through等。 钻取是改变维的层次，变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而drill down则相反，它从汇总数据深入到细节数据进行观察或增加新维。 切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个，则是切块。 旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。 OLAP有多种实现方法，根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。 ROLAP表示基于关系数据库的OLAP实现（Relational OLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了quot;
星型模式quot;
。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为quot;
雪花模式quot;
。 MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP）。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成quot;
立方块（Cube）quot;
的结构,在MOLAP中对quot;
立方块quot;
的quot;
旋转quot;
、quot;
切块quot;
、quot;
切片quot;
是产生多维数据报表的主要技术。 HOLAP表示基于混合数据组织的OLAP实现（Hybrid OLAP）。如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。 还有其他的一些实现OLAP的方法，如提供一个专用的SQL Server，对某些存储模式（如星型、雪片型）提供对SQL查询的特殊支持。 OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如，一个企业在考虑产品的销售情况时，通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础，可形式化表示为（维1，维2，……，维n，度量指标），如（地区、时间、产品、销售额）。多维分析是指对以多维形式组织起来的数据采取切片（Slice）、切块（Dice）、钻取（Drill-down和Roll-up）、旋转（Pivot）等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据，从而深入理解包含在数据中的信息。 根据综合性数据的组织方式的不同，目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织和存储数据，ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。 <br />附录II<br />SIM<br />From HL7Wiki<br />Jump to: navigation, search<br />A Serializable Information Model (SIM) [which used to be known up to mid 2010 as a Constrained Information Model (CIM)] is a constraint on a DIM which has a single entry point and can therefore be serialized, and used in information systems. This type of model is defined in the HDF. <br />Currently this type of model is better known as a R-MIM, or a Message Type. In due time these terms may/will be replaced by SIM. <br />SIM序列化信息模型(直到2010年中一直作为CIM 限制式信息模型)是对DIM的限制，它只有一个单独的entry点，因此是可序列化的，常常用在信息系统中。这种类型的模型是在HDF中定义的。<br />目前这种模型被认为是RMIM或者MT，不久的将来这些术语将会被SIM取代。<br />附录III<br />DCM<br />](https://image.slidesharecdn.com/smirf-110111063322-phpapp01/85/Smirf-1-320.jpg)
