Документ представляет собой введение в библиотеку Slick для работы с базами данных на языке Scala, описывая ее основные возможности, такие как поддержка различных СУБД, работа с схемами и запросами. В нем представлены примеры использования SQL и DSL для создания, обновления и удаления записей, а также особенности архитектуры библиотеки и механизмы расширения ее функциональности. Библиотека Slick позволяет использовать функциональные подходы при работе с реляционными базами данных, что значительно упрощает разработку.

1. Расширение библиотеки Slick
Slick – библиотека для работы с БД на Scala
Арсений Жижелев

2. 1. ВВЕДЕНИЕ SLICK
Небольшое введение в работу с БД с помощью
библиотеки Slick
2

3. Основные возможности
 Схема БД на Scala
◦ Стандартные и пользовательские типы
◦ Первичные и внешние ключи
◦ Индексы
◦ Ограничения
 Текстовый SQL (sql"SELECT * FROM users")
 DSL, напоминающий коллекции
◦ Select, where
◦ Join (включая авто-join по foreign key)
◦ Update, Delete (отобранных записей)
◦ Insert (включая server-side, bulk insert)
 Поддержка всех основных СУБД
 Расширяемая архитектура
3

4. Схема
4
class Suppliers(tag: Tag) extends
Table[(Int, String, String)](tag, "SUPPLIERS") {
def id = column[Int]("SUP_ID",
O.PrimaryKey, O.AutoInc)
def name = column[String]("NAME")
def city = column[String]("CITY")
def * = (id, name, city)
}
val suppliers = TableQuery[Suppliers]
http://slick.typesafe.com/talks/2014-09-24_ScalaCamp/Introduction_to_Slick_2.1_and_2.2.pdf

5. Подключение к БД
5
import scala.slick.driver.H2Driver.simple._
val db = Database.forURL("jdbc:h2:mem:test1",
driver = "org.h2.Driver")
db.withSession { implicit session =>
// suppliers.ddl.create // – создание схемы
// Use the session:
val result = myQuery.run
}

6. Структура запроса
6

7. Простые текстовые запросы
7
def personsMatching(pattern: String)(conn: Connection) = {
val st = conn.prepareStatement(
"SELECT id, name FROM person WHERE name LIKE ?")
try {
st.setString(1, pattern)
val rs = st.executeQuery()
try {
val b = new ListBuffer[(Int, String)]
while(rs.next)
b.append((rs.getInt(1), rs.getString(2)))
b.toList
} finally rs.close()
} finally st.close()
}
JDBC

8. Простые текстовые запросы
8
def personsMatching(pattern: String)(implicit s: Session) =
sql"SELECT id, name FROM person WHERE name LIKE $pattern“
.as[(Int, String)].list
Sql-interpolation

9. Поддерживаемые СУБД
Slick
 PostgreSQL
 MySQL
 H2
 Hsqldb
 Derby / JavaDB
 SQLite
 Access
Slick Extension$
 Oracle
 DB2
 SQL Server
9

10. Ссылки
 Stefan Zeiger 2014-09-24 Introduction
to Slick 2.1 and 2.2 / ScalaCamp #7,
Kraków, Poland
(http://slick.typesafe.com/talks/2014-
09-
24_ScalaCamp/Introduction_to_Slick_
2.1_and_2.2.pdf)
 И др. на странице Slick@Typesafe
http://slick.typesafe.com/docs/
10

11. 2. АРХИТЕКТУРА SLICK
Послойное рассмотрение архитектуры Slick
11

12. Компоненты
Пользовательский уровень
 Запросы
◦ Lifted (DSL для формирования запросов)
◦ Direct (на макросах)
◦ SQL-interpolation - текстовые запросы
 Схема БД: Table и TableQuery
Системный уровень
 AST – синтаксическое дерево будущего запроса
 QueryCompiler – компилятор запросов
Runtime
 Driver
 Session management – подключение к БД
12

13. 2.0. КОНЦЕПЦИЯ
Comprehension
13

14. SQL ~ functional
Relational Model
 Relation
 Attribute
 Tuple
 Relation Value
 Relation Variable
14
http://slick.typesafe.com/talks/2014-09-24_ScalaCamp/Introduction_to_Slick_2.1_and_2.2.pdf

15. SQL ~ functional
Relational Model
 Relation
 Attribute
 Tuple
 Relation Value
 Relation Variable
15
http://slick.typesafe.com/talks/2014-09-24_ScalaCamp/Introduction_to_Slick_2.1_and_2.2.pdf
case class Coffee(
name: String,
supplierId: Int,
price: Double
)
val coffees = Set(
Coffee("Colombian", 101, 7.99),
Coffee("French_Roast", 49, 8.99),
Coffee("Espresso", 150, 9.99)
)

16. Set-comprehension
 Конструктор множества
◦ Исходное множество – генератор
◦ Фильтр
◦ Отображение
16
 712,|2
 xxx
for { x <- 1 to 10
if 2*x+1<7
} yield math.pow(x,2)
SELECT x^2
FROM sequence(1,10)
WHERE 2*x+1<7

17. 2.1. AST
Структура запросов
AST – abstract syntax tree (forest)
17

18. AST: Node
 Node
◦ SimpleExpression – простой SQL
◦ SimpleFunction
◦ TableNode, TableExpansion – таблица
◦ …
 mix-in’s
◦ DefNode
◦ TypedNode (обычно Rep[T])
◦ SimplyTypedNode (имеет непосредственный тип)
 N-кратные узлы
◦ NullaryNode
◦ UnaryNode
◦ BinaryNode
 Comprehension – полное выражение select, включающее источник,
фильтры, порядок, группировку, список колонок, смещение и размер
страницы
 Insert – выражение insert (update и delete выражаются через
comprehension)
18

19. AST: Symbol
 Symbol – представляет имена в
запросе
◦ Library – объект, содержащий экземпляры
Symbol для стандартных операторов и
функций
◦ AnonSymbol – уникальное имя
 DefNode – узел, вводящий новое имя
19

20. AST: Type
 AtomicType (простой тип)
 ProductType (кортеж)
 StructType («запись» с полями)
 CollectionType (тип коллекции, на
основе CanBuild)
 MappedScalaType (содержит
двусторонний конвертер)
 implicit TypedType[T] – почти везде
20

21. 2.2. LIFTED (DSL)
Язык построения запросов на основе Rep[T], for-
comprehension и множества implicit’ов, которые
конструируют AST
21

22. Rep[T]
 Column[T] – методы расширения для
колонок разных типов
 Query[T] – методы, оперирующие
запросами
◦ for-comprehension (map, flatMap, filter)
◦ join’ы, zip’ы,
◦ sort, group by, order by, union,
◦ take (aka limit), drop (aka offset)
 MappedProjection – client-side
конвертация в пользовательские классы
22

23. Shape
 Конструируемый запрос
Query[T, RepT, _]
 T и RepT – сильно связаны
implicit Shape[Level, _, T, RepT]
 primitiveShape
 RepShape
◦ optionShape
 ProductNodeShape
◦ TupleShape (tuple1..tuple22 shapes)
◦ MappedProductShape
◦ MappedScalaProductShape
 HListShape
 CaseClassShape
23

24. Nullable колонки (1):
OptionMapperDSL
 B1 – базовый тип T, P1 – базовый T
или Option[T]
24
object OptionMapperDSL {
type arg[B1, P1] = {
type to[BR, PR] = OptionMapper2[B1, B1, BR, P1, P1, PR]
type toSame = OptionMapper2[B1, B1, B1, P1, P1, P1]
type arg[B2, P2] = {
type to[BR, PR] = OptionMapper2[B1, B2, BR, P1, P2, PR]
type arg[B3, P3] = {
type to[BR, PR] = OptionMapper3[B1, B2, B3, BR, P1, P2, P3, PR]
}
}
}
}
val om = OptionMapperDSL
om#arg[B1,P1]#arg[B2,P2]#to[BR,PR]

25. Nullable колонки (2)
 Тип результата – Option, если хотя бы
один аргумент – Option. Иначе –
базовый тип
25
trait ColumnExtensionMethods[B1, P1] extends Any
with ExtensionMethods[B1, P1] {
protected[this] def c: Column[P1]
def === [P2, R](e: Column[P2])(implicit om: o#arg[B1, P2]#to[Boolean, R]) =
om.column(Library.==, n, e.toNode)
}

26. Abstract table, Tag
AbstractTable
◦ Объявления колонок, индексов, foreignKey,
primaryKey
◦ def *
 Источник колонок для DDL
 ProvenShape (увязывает колонки в record type,
Shape и конвертер <>)
 Tag – связь с AST (цепочка переходов,
приводящая к текущей таблице)
◦ BaseTag – сама таблица
◦ RefTag – узел AST, имеющий тип таблицы
26

27. 2.3. ДРАЙВЕР
Все возможности Slick представлены через API,
реализуемое драйвером БД
27

28. Cake pattern для драйвера
 Component
◦ BasicInvokerComponent,
BasicInsertInvokerComponent,
BasicExecutorComponent,
BasicActionComponent
◦ RelationalTableComponent,
RelationalSequenceComponent,
RelationalTypesComponent,
RelationalActionComponent
 Profile (наследуется от профиля + несколько
компонентов)
 Driver (реализует профиль, возможно, путём
подмешивания компонентов с реализацией)
28

29. Драйвер Postgres
29
trait BasicProfile extends BasicInvokerComponent
with BasicInsertInvokerComponent with BasicExecutorComponent
with BasicActionComponent
trait RelationalProfile extends BasicProfile with RelationalTableComponent
with RelationalSequenceComponent with RelationalTypesComponent
with RelationalActionComponent
trait SqlProfile extends RelationalProfile with SqlExecutorComponent
with SqlTableComponent with SqlActionComponent
trait BasicDriver extends BasicProfile
trait RelationalDriver extends BasicDriver with RelationalProfile
trait SqlDriver extends RelationalDriver with SqlProfile with SqlUtilsComponent
trait JdbcDriver extends SqlDriver with JdbcProfile
with JdbcStatementBuilderComponent with JdbcMappingCompilerComponent
trait PostgresDriver extends JdbcDriver

30. Драйвер: SimpleQL
 Каждый компонент может перекрыть
SimpleQL и добавить элементы в user-
scope (import …Driver.simple._)
30
trait SomeComponent extends BasicProfile {
override val simple: SimpleQL = new SimpleQL {}
trait SimpleQL extends super.SimpleQL {
type MyType = MyClass
val someVal
def doSomething
}
class MyClass
}

31. Драйвер: capability
 Возможности драйвера реализуются и
декларируются компонентами
31
object RelationalProfile {
object capabilities {
/** Supports default values in column definitions */
val columnDefaults = Capability("relational.columnDefaults")
…
val all = Set(columnDefaults)
}}
trait ColumnDefaultsComponent {
override protected def computeCapabilities =
super. computeCapabilities ++ capabilities.all
}

32. 2.4. КОМПИЛЯЦИЯ
Компилятор запросов
32

33. Преобразование запроса
33
Lifted
Embedding
Direct
Embedding
Slick AST
Scala AST
Scala
Compiler
Slick
Macros
Slick AST
Query
Compiler
Result
Executor
DB

34. Фазы компиляции
(state => state)/rewrite
CleanUp
 inline
 assignUniqueSymbols
 expandTables
 inferTypes
 createResultSetMappings
 forceOuterBinds
FlattenColumns
 expandRefs
 replaceFieldSymbols
 rewritePaths
 relabelUnions
 pruneFields
 assignTypes
SQL Shape (not in memory
driver)
 resolveZipJoins
 convertToComprehensions
 fuseComprehensions
 fixRowNumberOrdering
 hoistClientOps
Generate Code
 codeGen (driver specific)
34

35. 3. РАСШИРЕНИЕ SLICK
Встроенная возможность расширения
функциональности Slick
35

36. Механизмы расширения
 Базовые возможности
◦ Пользовательские функции в БД
◦ Простые типы-обёртки (MyId)
◦ Пользовательские типы результатов
(MappedProjection <>)
◦ Композитные типы (PgComposite)
 Расширения в драйвере
◦ ColumnOption – метаинформация к колонкам
◦ TableDDLBuilder – создание таблиц
 Расширения в компиляторе
◦ Новые типы узлов, фазы rewrite, генерация
SQL
36

37. Пользовательские функции
37
trait AgeFunctionTrait extends DatabaseSchema {
val getAgeFName = "get_age"
override val ddl = super.ddl ++ DDL(List(s"""
|CREATE FUNCTION $getAgeFName(date_of_birth DATE)
| RETURN NUMBER
|AS BEGIN
| RETURN
| TRUNC(MONTHS_BETWEEN(SYSDATE, date_of_birth)/12);
|END;
""".stripMargin
), List(),
List(s"DROP FUNCTION $getAgeFName"), List())
val getAge = SimpleFunction.unary[Date, Int](getAgeFName)
}

38. Пользовательские функции (2)
38
val ageHistogram = for {
(age, q) <- persons
.map(p => (getAge(p.dateOfBirth),
p.id))
.groupBy(_._1)
} yield (age, q.size)

39. Простые типы-обёртки
39
case class MyID(value: Long) extends MappedTo[Long]
class MyTable(tag: Tag)
extends Table[(MyID, String)](tag, "MY_TABLE")
{
def id = column[MyID]("ID")
def data = column[String]("DATA")
def * = (id, data)
}

40. Пользовательские типы (<>)
40
trait PersonSchema extends DatabaseSchema {
val personTableName = "person"
case class Person(id:Int,
name:String,
dateOfBirth:Option[Timestamp])
class PersonTable(tag:Tag)
extends Table[Person](tag, personTableName){
def id = column[Int] ("id", O.AutoInc)
def name = column[String]("name")
def dateOfBirth = column[Option[Timestamp]]
("date_of_birth")
def * = (id, name, dateOfBirth) <>
(Person.tupled, Person.unapply)
}
val person = TableQuery[PersonTable]
}

41. Композитные типы (SlickPg)
41
trait MyPointTrait extends DatabaseSchema {
type Driver <: PgCompositeSupport
val myPointTName = "my_point"
override val ddl = super.ddl ++ DDL(List(
s"CREATE TYPE $myPointTName(x int, y int)"
), List(),
List(s"DROP TYPE $myPointTName"), List())
case class MyPoint(x: Int, y:Int)
implicit val myPointTypeMapper =
createCompositeJdbcType[MyPoint](myPointTName)
}

42. Slick-pg
Типы
 Array
 Date/Time (включая Joda, ThreeTen)
 Range
 Enum
 Json (включая Play Json)
 HStore,
 LTree
 Text (full text search – tsquery, tsvector)
 PostGis geometry
 Inet/MacAddr
Возможности Postgres
 CompositeType
 Наследование
42

43. Расширение драйвера (1)
43
import slick.driver.PostgresDriver
import com.github.tminglei.slickpg._
trait MyPostgresDriver extends PostgresDriver
with PgCompositeSupport {
override lazy val Implicit = new Implicits {}
override val simple = new SimpleQL {}
trait Implicits extends super.Implicits
with MyImplicits
trait SimpleQL extends super.SimpleQL
with Implicits
with MyQL
trait MyQL {
def myFavouriteMethod
}
}
object MyPostgresDriver extends MyPostgresDriver

44. Расширение драйвера (2)
44
trait MyColumnOptComponent { driver : JdbcPostgresDriver =>
trait ColumnOptions extends super.ColumnOptions {
def MyMetaData (data: String) =
MyColumnOptions.MyMetaData(data)
}
override val columnOptions: ColumnOptions =
new ColumnOptions {}
}
object MyColumnOptions {
case class MyMetaData(data:String)
extends ColumnOption[Nothing] //Для колонок любого типа
}
// abstract class ColumnOption[+T]

45. Расширение драйвера (3)
45
trait MyTableComponent { driver : JdbcPostgresDriver =>
override def createTableDDLBuilder(table: Table[_]) =
new TableDDLBuilder(table)
override def createColumnDDLBuilder(column: FieldSymbol,
table: Table[_]) = new ColumnDDLBuilder(column)
class TableDDLBuilder(table: Table[_])
extends super.TableDDLBuilder(table) {
override def createPhase1 =
super.createPhase1.mkString("").
replaceAll("CREATE TABLE", "CREATE TEMPORARY TABLE")
}
}
object MyPostgresDriver extends MyPostgresDriver
with MyTableComponent

46. Генерация SQL (ILIKE)
46
trait ILikeComponent { driver : JdbcPostgresDriver =>
override def createQueryBuilder(n: Node,
state: CompilerState) = new QueryBuilder(n, state)
class QueryBuilder(tree: Node, state: CompilerState)
extends super. QueryBuilder(tree, state) {
override def expr(n: Node,
skipParens: Boolean = false) = n match {
case Library.ILike(l, r) => b"($l ilike $r)“
case _ => super.expr(n, skipParens)
}
}
}
final class ILikeStringColumnExtensionMethods[P1](val c: Column[P1])
extends AnyVal with ExtensionMethods[String, P1] {
def ilike[P2, R](e: Column[P2], esc: Char = 'u0000')(implicit om:
o#arg[String, P2]#to[Boolean, R]) =
if(esc == 'u0000')
om.column(Library.ILike, n, e.toNode)
else
om.column(Library.ILike, n, e.toNode, LiteralNode(esc))
}
object Library {
val ILike = new FunctionSymbol(“ILike")
}

47. Ключевые особенности Slick
 Functional Relational Mapping
 Целостная архитектура
 Модульность и расширяемость
 Новый строго типизированный язык
запросов (по-видимому,
эквивалентный по выразительности
SQL)
47
http://slick.typesafe.com/
https://github.com/slick/slick/

48. Welcome
Slick
http://slick.typesafe.com/
https://github.com/slick/slick/
SynapseGrid
https://github.com/Primetalk/SynapseGrid/
'ru.primetalk:synapse-grid-core_2.10:1.3.5'
Open source - BSD
Жижелев Арсений
zhizhelev@primetalk.ru
48https://github.com/Primetalk/SynapseGrid/