Разновидности поисковых систем в Интернетеobstinate
Презентация посвящена поисковым системам. Дано определение поисковой системы, а также приведена классификация. Показаны примеры поисковых систем по каждому типу из классификации. Представлен слайд со статистическими данными по использованию самых популярных поисковых систем.
Дистанционный курс «Куратор содержания - 4» (3 неделя обучения)Julia Glavcheva
Відкритий дистанційний курс "Куратор змісту–4"
за підтримки грантової програми «Нарощування цифрового потенціалу громадянського суспільства» Відділу преси, освіти та культури Посольства США в Україні.
Подібності та відмінності між універсальними і спеціалізованими пошуковими системами, електронні каталоги і бібліотеки, рух Відкритого Доступу, достовірні джерела інформації.
Современное программное обеспечение в работе психологаKyrylo Zakharov
Презентация к докладу "Современное программное обеспечение в работе психолога". Возможно, не все будет понятно, так как многое показывалось непосредственно на самом семинаре. :)
Generalized capital investment planning of oil-refineries using CPLEX-MILP an...Alkis Vazacopoulos
Performing capital investment planning (CIP) is traditionally done using linear (LP) or nonlinear (NLP) models whereby a gamut of scenarios are generated and manually searched to make expand and/or install decisions. Though mixed-integer nonlinear (MINLP) solvers have made significant advancements, they are often slow for industrial expenditure optimizations. We propose a more tractable approach using mixed-integer linear (MILP) model and input-output (Leontief) models whereby the nonlinearities are approximated to linearized operations, activities, or modes in large-scaled flowsheet problems. To model the different types of CIP's known as revamping, retrofitting, and repairing, we unify the modeling by combining planning balances with the scheduling concepts of sequence-dependent changeovers to represent the construction, commission, and correction stages explicitly. Similar applications can be applied to process design synthesis, asset allocation and utilization, and turnaround and inspection scheduling. Two motivating examples illustrate the modeling, and a retrofit example and an oil-refinery investment planning are highlighted.
Разновидности поисковых систем в Интернетеobstinate
Презентация посвящена поисковым системам. Дано определение поисковой системы, а также приведена классификация. Показаны примеры поисковых систем по каждому типу из классификации. Представлен слайд со статистическими данными по использованию самых популярных поисковых систем.
Дистанционный курс «Куратор содержания - 4» (3 неделя обучения)Julia Glavcheva
Відкритий дистанційний курс "Куратор змісту–4"
за підтримки грантової програми «Нарощування цифрового потенціалу громадянського суспільства» Відділу преси, освіти та культури Посольства США в Україні.
Подібності та відмінності між універсальними і спеціалізованими пошуковими системами, електронні каталоги і бібліотеки, рух Відкритого Доступу, достовірні джерела інформації.
Современное программное обеспечение в работе психологаKyrylo Zakharov
Презентация к докладу "Современное программное обеспечение в работе психолога". Возможно, не все будет понятно, так как многое показывалось непосредственно на самом семинаре. :)
Generalized capital investment planning of oil-refineries using CPLEX-MILP an...Alkis Vazacopoulos
Performing capital investment planning (CIP) is traditionally done using linear (LP) or nonlinear (NLP) models whereby a gamut of scenarios are generated and manually searched to make expand and/or install decisions. Though mixed-integer nonlinear (MINLP) solvers have made significant advancements, they are often slow for industrial expenditure optimizations. We propose a more tractable approach using mixed-integer linear (MILP) model and input-output (Leontief) models whereby the nonlinearities are approximated to linearized operations, activities, or modes in large-scaled flowsheet problems. To model the different types of CIP's known as revamping, retrofitting, and repairing, we unify the modeling by combining planning balances with the scheduling concepts of sequence-dependent changeovers to represent the construction, commission, and correction stages explicitly. Similar applications can be applied to process design synthesis, asset allocation and utilization, and turnaround and inspection scheduling. Two motivating examples illustrate the modeling, and a retrofit example and an oil-refinery investment planning are highlighted.
Time Series Estimation of Gas Furnace Data in IMPL and CPLEX Industrial Model...Alkis Vazacopoulos
Presented in this short document is a description of how to estimate a deterministic and stochastic time-series transfer function models in IMPL using IBM’s CPLEX applied to industrial gas furnace data. The methodology of time-series analysis involves essentially three (3) stages (Box and Jenkins, 1976): (1) model structure identification, (2) model parameter estimation and (3) model checking and diagnostics. We do not address (1) which requires stationarity and seasonality assessment, auto-, cross- and partial-correlation, etc. to establish the transfer function polynomial degrees. Instead we focus only on the parameter estimation and diagnostics. These types of parameter estimation problems involve dynamic and nonlinear relationships shown below and we solve these using IMPL’s nonlinear programming algorithm SLPQPE which uses CPLEX 12.6 as the QP sub-solver.
Reimagine your enterprise: Make Human Centered Design the Heart of Your Digit...Kenneth Kwan
Companies in every industry are trying to find new sources of value
through digital technology. But most of their efforts have not translated
into enough market impact and growth. They need something bolder
and more disruptive, but still very simple. They need reimagination.
Reimagination means putting the user at the center of everything
your company does — strategy, product development, operations,
marketing, sales, and customer service. It means using the full power
of digital media and technology to build empathy with that user, and
weaving that relationship into the fabric of your company. This practice
is known as “human centered design” (HCD): the reshaping of an entire
enterprise and its capabilities system around the customer or user
experience.
HCD represents a new way of life for business. It evokes many of the
attributes of a startup — creativity, speed, bias for action, flexibility
with risk, and radical collaboration. To achieve this entrepreneurial
vigor in your company, you may have to consciously break down long
established internal barriers. You must embrace five basic principles:
Embed human centered design in everything you do, build brand value
holistically, design for three years out (but build for today), stand up
new structures and teams, and nurture your existing digital culture.
eCosway – одна из самых быстроразвивающихся компаний мира, которая даже в кризисные 2009-2011 гг кризисные 2009 – 2011 годы компания показывает устойчивый рост – до 40 % в год. Основные активы компании расположены в самых густонаселенных районах Азии, которые меньше всего затронул финансовый кризис США и Европы, стихийные бедствия потрясшие экономику Японии, революции в Африке.
Какие бизнес-задачи решает логическая витрина данных? Как ее построить? В чем преимущества витрины данных, построенной с использованием концептуального моделирования, и онтологических (семантических) технологий?
О современном состоянии дел в Data Science (в Украине и в мире). О задачах, которые решают специалисты по анализу данных и планах ЖГТУ по подготовке таких специалистов.
Семинар 24-25 апреля 2014 г. «R + TABLEAU. ПРОГНОЗИRОВАНИЕ И BIG DATA АНАЛИЗ»АНАЛИТИКА ПЛЮС
Публикуем небольшую часть раздаточных материалов нашего семинара «R + TABLEAU. ПРОГНОЗИRОВАНИЕ И BIG DATA АНАЛИЗ», который прошел 24-25 апреля 2014 г. в Москве. Подробнее о семинаре, отзывы участников семинара см. здесь: http://analytikaplus.ru/?page_id=2122
DSL is the research & development organization that builds smart solutions for information personalization, search and filtration of social information, which connects math, information technologies, big data and digital humilities or digital sociology.
Applying bleeding edge technologies of data analysis and big data processing we are building solutions for the digital marketing of the next stage, RTB systems, social search and social scoring tools.
Лаборатория Цифрового Общества (DSL) - Российская независимая частная исследовательская компания, специализирующаяся на проведении академических исследований в социальных сетях и в интернете в целом. Лаборатория обладает уникальным составом исследователей и аналитиков, сотрудничает с ведущими мировыми экспертами США и Европы.
DSL создает инновационные решения для цифрового маркетинга, персонализации информации и социального поиска в Интернет и Социальных Медиа. DSL использует последние достижения в науке и технологиях анализа данных, Big Data, математики и социологии.
WHAT IS BIG DATA? AND HOW IT APPLIED IN MODERN MARKETINGAndzhey Arshavskiy
Что такое Большие Данные? Где лежит та грань, что отделяет большие данные от обычных? Является ли размер данных, скорость их поступления или разнообразие форматов критерием их дифференцирующим? Как применяются технологии Больших Данных в современном маркетинге?
I gave this prsentation for the Open Skolkovo University on Aprtil 10. It covers the modern trades we see in intensive computations with Big Data in Clouds and describes the technology and skills gap which pitfalls Big Data analysis revolution. Presentation is also describes how new Microsoft porduct that has been partly developed in Russia (Cloud Numerics) could adress those gaps
5. Идея платформы OpenSNAP
Идея
Мы хотим построить универсальную систему работы с данными
социальных сетей. Систему, ориентированную на накопление и
параллельную обработку данных о взаимодействиях пользователей
ряда соцсетей. Эта система станет ядром платформы для упрощения
социального анализа и осуществления сложных аналитических запросов
к социальным графам.
6. Примеры вопросов на которые поможет ответить OpenSNAP
Примеры аналитических запросов:
• «Найти ТОП2000 социально влиятельной аудитории, которая
проводит в соцсетях более 2 часов в день со следующими
параметрами < мужчины>,<30-45>,<средний достаток>.В ответе
указать статистику временной и тематической активности в
различных СС.»
• «Показать как изменялась структура сети и модель общения за
последний год в русскоязычном facebook и сравнить эти изменения с
тем, что происходило в “моем мире”
• «Провести подсчет индикаций вкусовых предпочтений в Вконтакте
по кино и книгам у заданной списком имен и доп. параметров
аудитории»
7. Стратегия монетизации монетизация
Бизнес модель:
Предоставление вычислительных и информационных услуг
исследователям, рекламным компаниям и компаниям
развивающим интернет проекты. Мы дадим возможность
исследователям и стартапам анализировать данные
социальных сетей на универсальной площадке с готовой
инфраструктурой. 4 ступеней модели>>
8. Четыре ступени бизнес модели
👬
👬 👬 👬
👬 👬 👬
👬 👬
👬 Среда работы Аналитический
внешних инструмент
👬 исследователей маркетологов
+
Инструмент Рынок данных и
Программируемая социолога алгоритмов
полуавтоматическая
платформа
13. OpenSNAP в конкурентном ландшафте: данные
Небольшие, 1000 «Плоские» файлы в памяти
собранные в ручную данные узлов
Средние данные, SQL базы данных
10^6
Снимки сетей через API
Big Data Big Data технологии
Данные для обработки 10^9
в реальном времени
Наборы данных собранные в ручную или результаты предварительных
выборок могут поместиться в памяти. Графы в 1,000 узлов (с
вероятностью связности 0.8 = 800,000 связей) потребуют 100MB без учета
атрибутов. Такой же граф в 2,000 узлов (и почти 2М связей) потребует
500MB. В общем случае связность оценивается в O(n)=n +n2=n(n+1).
14. OpenSNAP зачем нам нужны Big Data решения?
1. Средства анализа и визуализации графов существуют уже в большом количестве и
разнообразии
2. Мы можем занять нишу коллекторов больших объемов данных с возможностями
ретроспективных временных срезов
3. Мы также можем построить технологии запуска вычислительных задач на наших
системах и это будет единственным живым решением для аналитиков во всем мире, т.к.
скачать их будет невозможно, если конечно они не инвестируют значительное время и
ресурсы для того, чтобы сделать ту работу, которую хотим взять на себя мы. Это также
обычно не задача исследователей + на инфраструктурные работы у них нет ресурсов
“…Going back to Twitter as an example, we can scan the 1% sample stream for general
trends and topics—anything important enough to generate at least a hundred messages
will probably show up. Or, since we are interested in networks, the very active people
will make a blip on our radar and we can even see some connections. If that is all we
want, storing even a few hundred gigs worth of traffic (in this example, equivalent to a
few months time) is no big deal. But what if we wanted to explore trends among the
lesser active participants over a few years? The answers would lie in some pretty big
data, and to get them, we would have to store and process it somehow.
Now that we have some idea of the scope of the problem, what do we do with a
terabyte of social chatter a day?
–Maksim Tsvetovat
15. Collaboration
Сотрудничество + платформа, дадут
возможность широкому кругу
исследователей сосредоточиться на
научных задачах вместо того, чтобы тратить
свое время на инфраструктуру вычислений
и работу с данными
16. I2 Social Network Analysis
Примеры того что сейчас есть Позволяет визуально представить структуру взаимоотношений в социальных
сетях путем расчета betweenness, closeness, degree and eigenvector hubs and
authorities centrality measures.
>video
17. DataSift
Примеры того что сейчас есть
Позволяет получить базу Твитов или подключиться к онлайн потоку, настроить фильтр и
визуализировать информацию. Для сторонних разработчиков выступает в роли
платформы для написания и встраивания своих фильтров.
>video
18. NetworkX
Примеры того что сейчас есть Библиотека на Python для анализа графов
>http://networkx.github.com
19. NodeXL
Примеры того что сейчас есть Приложение + Excel plugin для анализа графов
визуализации.
http://nodexl.codeplex.com
http://www.smrfoundation.org
20. Stanford Large Network Dataset Collection
Примеры того что сейчас есть
Коллекция данных Лесковца
http://snap.stanford.edu/data/
21. Nodus Lab
Примеры того что сейчас есть
Лаборатория типа того что мы хотели бы стать)
http://noduslabs.com/about/
http://www.facebook.com/noduslabs
Editor's Notes
http://jarens.ru/анализ-социальных-сетей-в-i2-analyst-notebook/:Продукция компании i2 является весьма популярной в различных аналитических службах. И как следствие — дорогой. Особенно распиарена их платформа Analyst Notebook, предназначенная для анализа связей (Link Analysis). А также в неё есть некоторый функционал для анализа социальных сетей (Social Network Analysis). Предлагаемый по ссылке вебинар смотреть я не стал и, так как инструмент был под руками, решил его опробовать.Для начала построил картинку по данным диссера:На вид она весьма читаема за счёт удачного расположения узлов. Однако, если приглядеться, то можно увидеть, что веса исходящих и входящих связей на ней отображены отдельно. Возможно, в каких-то ситуациях это и является преимуществом, если бы не одно “но”. Суммировать эти веса AnalystNotebook не умеет. Вроде бы и тривиальная вещь, а тем не менее.Из сетевых метрик есть только классические показатели центральности: degree, closeness, betweenness и eigenvector. Всё. На этом функционал сетевого анализа заканчивается. Разве что масштабирование размеров узлов есть в зависимости от центральности. Но это уже больше к визуализации относится.Вообще, меня не покидает ощущение, что программы подобного класса по сути продают воздух. Вся их ценность, на мой взгляд, заключается только в семантическом слое, который позволяет создавать запросы к БД перетаскиванием иконок. Кстати, функционал БД у них тоже дублируется приложением iBase, смысл которого мне тем более не понятен, т.к. AnalystNotebook умеет подключаться к MS SQL Server напрямую.Впрочем, такую бедность инструментария AnalystNotebook можно списать на основные цели программы. Всё таки LinkAnalysis предназначен в основном для поиска связей между сущностями, в то время как анализ социальных сетей предназначен для изучения уже имеющихся связей. Поэтому вполне разумно использовать эти методологии и соответствующие им инструменты последовательно, в связке: LA -> SNA. Если у меня получится подобный кейс — расскажу.