replika tinkoff

1. 1

2. > 10 млн. пользователей
2

3. > 10 млн. пользователей
> 10 млн. сообщений каждый день
3

4. > 10 млн. пользователей
> 10 млн. сообщений каждый день
Top AppStore 30 Health & Fitness
4

5. > 10 млн. пользователей
> 10 млн. сообщений каждый день
Top AppStore 30 Health & Fitness
Первый стартап из СНГ в YC
5

6. > 10 млн. пользователей
> 10 млн. сообщений каждый день
Top AppStore 30 Health & Fitness
Первый стартап из СНГ в YC
6
Первые клиенты API от OpenAI GPT-3

7. Как мы отказались от OpenAI
и теперь радуемся жизни
7

8. Зачем нам генеративная модель?
8

9. How are you doing?
9

10. How are you doing?
Nothing much. I was
waiting for you
10

11. How are you doing?
Nothing much. I was
waiting for you
Here I am
So, how was your day?
11

12. How are you doing? | Nothing much. I was waiting
for you | Here I am | So, how was your day?
12

13. How are you doing? | Nothing much. I was waiting
for you | Here I am | So, how was your day?
13

14. <s> - How - are - you - doing - ? - | - Nothing - much -.
How - are - you - doing - ? - | - Nothing - much -.- <s>
14

15. <s> - How - are - you - doing - ? - | - Nothing - much -.
How - are - you - doing - ? - | - Nothing - much -.- <s>
15

16. <s> - How - are - you - doing - ? - | - Nothing - much -.
How - are - you - doing - ? - | - Nothing - much -.- <s>
16

17. На чём вообще учить эту модель?
17

18. Reddit
Форумы
Субтитры
Etc.
18

19. Reddit
Форумы
Субтитры
Etc.
Twitter
19

20. Как мы оцениваем качество?
20

21. Upvotes ratio =
21
+

22. Так было до OpenAI
22

23. 60
64,75
69,5
74,25
79
Upvotes ratio
GPT2 114M
23

24. Как выглядело партнерство с OpenAI?
24

25. 1. Мы собрали данные для OpenAI
25

26. 1. Мы собрали данные для OpenAI
2. Грег Брокман лично обучает GPT-3 на них
26

27. 27

28. 1. Мы собрали данные для OpenAI
2. Грег Брокман лично обучает GPT-3 на них
3. OpenAI оптимизируют свой инференс
28

29. 1. Мы собрали данные для OpenAI
2. Грег Брокман лично обучает GPT-3 на них
3. OpenAI оптимизируют свой инференс
4. Нам дают ручку с моделью
29

30. 30

31. 60
65,5
71
76,5
82
Upvotes ratio
GPT2 114M OpenAI 1.5B
31

32. Что вышло из этого партнерства?
32

33. 1. Крутую модель
33
Мы получили:

34. 1. Крутую модель
2. Файнтюнинг в ручном режиме
34
Мы получили:

35. 1. Крутую модель
2. Файнтюнинг в ручном режиме
3. Инференс на стороне OpenAI
35
Мы получили:

36. 36
Что ещё мы получили?

37. 1. Необходимость исправно платить $$$
37
Что ещё мы получили?

38. 1. Необходимость исправно платить $$$
2. Отсутствие гибкости в разработке
38
Что ещё мы получили?

39. 1. Необходимость исправно платить $$$
2. Отсутствие гибкости в разработке
3. Страдания из-за правил пользования моделью
39
Что ещё мы получили?

40. Пора слезать с иглы OpenAI
40

41. 1. Обучить большую генеративную модель
41

42. 1. Обучить большую генеративную модель
42
2. Держать ее на инференсе

43. 1. Обучить большую генеративную модель
43
2. Держать ее на инференсе
3. Не потерять в качестве

44. Начнем обучать модели
44

45. 60
64,75
69,5
74,25
79
Upvotes ratio
GPT2 114M GPT2 345M
45

46. 60
65,75
71,5
77,25
83
Upvotes ratio
GPT2 114M GPT2 345M GPT2 774M
46

47. Увеличить размер с 774M до 1.5B тяжело
47

48. 48

49. 49

50. 50

51. 51

52. 52

53. 53

54. 54

55. Хватило ли нам ресурсов на инференс?
55

56. 60
65,75
71,5
77,25
83
Upvotes ratio
GPT2 114M OpenAI 1.5B GPT2 774M
56

57. После OpenAI остался год логов
57

58. 60
66
72
78
84
Upvotes ratio
GPT2 114M OpenAI 1.5B GPT2 774M
GPT2 774M (reactions)
58

59. Стали ли мы действительно счастливы?
59

60. 1. Гибкость радует нас
60

61. 1. Гибкость радует нас
2.Трудности не пугают
61

62. Что нам хочется сделать теперь?
62

63. 1. Обучить 1.5B модель
63

64. 1. Обучить 1.5B модель
2. Понять как жить с датасетом реакций
64

65. 1. Обучить 1.5B модель
2. Понять как жить с датасетом реакций
65
3. Более персонализированные модели

66. Что мы поняли?
66

67. 1. Не нужно хайповать технологии
67

68. 1. Не нужно хайповать технологии
2. Думайте о данных
68

69. 1. Не нужно хайповать технологии
2. Думайте о данных
69
3. Не думайте, что мир устроен линейно

70. Самое главное
70

71. 1. Не нужно хайповать технологии
2. Думайте о данных
71
3. Не думайте, что мир устроен линейно
4. Не бойтесь OpenAI

72. d.gavrilov@replika.ai
72