StormCrawler presentation given at the Bristech meetup on 6/10/2016. Covers the main concepts and functionalities of Apache Storm, then describes StormCrawler with a step by step approach to building a scalable web crawler. Finally we saw 3 real users of StormCrawler, illustrating the versatility of the project.
Introduction to Storm Crawler [ https://github.com/DigitalPebble/storm-crawler], a collection of resources for building low-latency, large scale web crawlers on Storm available under Apache License.
Fast Feather talk given at ApacheCon EU 2014 Budapest
Storm-Crawler is a collection of resources for building low-latency, large scale web crawlers on Apache Storm. We will compare with similar projects like Apache Nutch and present several use cases where the storm-crawler is being used. In particular we will see how the Storm-crawler can be used with ElasticSearch and Kibana for crawling and indexing web pages.
Low latency scalable web crawling on Apache StormJulien Nioche
In this talk I will introduce Storm-Crawler https://github.com/DigitalPebble/storm-crawler, a collection of resources for building low-latency, large scale web crawlers on Apache Storm. We will compare with similar projects like Apache Nutch and present several use cases where the storm-crawler is being used. In particular we will see how the Storm-crawler can be used with ElasticSearch and Kibana for crawling and indexing web pages.
This talk will give an overview of Apache Nutch, its main components, how it fits with other Apache projects and its latest developments.
Apache Nutch was started exactly 10 years ago and was the starting point for what later became Apache Hadoop and also Apache Tika. Nutch is nowadays the tool of reference for large scale web crawling.
In this talk I will give an overview of Apache Nutch and describe its main components and how Nutch fits with other Apache projects such as Hadoop, SOLR or Tika.
The second part of the presentation will be focused on the latest developments in Nutch and the changes introduced by the 2.x branch with the use of Apache GORA as a front end to various NoSQL datastores.
Large Scale Crawling with Apache Nutch and FriendsJulien Nioche
This session will give an overview of Apache Nutch. I will describe its main components and how it fits with other Apache projects such as Hadoop, SOLR, Tika or HBase. The second part of the presentation will be focused on the latest developments in Nutch, the differences between the 1.x and 2.x branch and what we can expect to see in Nutch in the future. This session will cover many practical aspects and should be a good starting point to crawling on a large scale with Apache Nutch and SOLR.
StormCrawler presentation given at the Bristech meetup on 6/10/2016. Covers the main concepts and functionalities of Apache Storm, then describes StormCrawler with a step by step approach to building a scalable web crawler. Finally we saw 3 real users of StormCrawler, illustrating the versatility of the project.
Introduction to Storm Crawler [ https://github.com/DigitalPebble/storm-crawler], a collection of resources for building low-latency, large scale web crawlers on Storm available under Apache License.
Fast Feather talk given at ApacheCon EU 2014 Budapest
Storm-Crawler is a collection of resources for building low-latency, large scale web crawlers on Apache Storm. We will compare with similar projects like Apache Nutch and present several use cases where the storm-crawler is being used. In particular we will see how the Storm-crawler can be used with ElasticSearch and Kibana for crawling and indexing web pages.
Low latency scalable web crawling on Apache StormJulien Nioche
In this talk I will introduce Storm-Crawler https://github.com/DigitalPebble/storm-crawler, a collection of resources for building low-latency, large scale web crawlers on Apache Storm. We will compare with similar projects like Apache Nutch and present several use cases where the storm-crawler is being used. In particular we will see how the Storm-crawler can be used with ElasticSearch and Kibana for crawling and indexing web pages.
This talk will give an overview of Apache Nutch, its main components, how it fits with other Apache projects and its latest developments.
Apache Nutch was started exactly 10 years ago and was the starting point for what later became Apache Hadoop and also Apache Tika. Nutch is nowadays the tool of reference for large scale web crawling.
In this talk I will give an overview of Apache Nutch and describe its main components and how Nutch fits with other Apache projects such as Hadoop, SOLR or Tika.
The second part of the presentation will be focused on the latest developments in Nutch and the changes introduced by the 2.x branch with the use of Apache GORA as a front end to various NoSQL datastores.
Large Scale Crawling with Apache Nutch and FriendsJulien Nioche
This session will give an overview of Apache Nutch. I will describe its main components and how it fits with other Apache projects such as Hadoop, SOLR, Tika or HBase. The second part of the presentation will be focused on the latest developments in Nutch, the differences between the 1.x and 2.x branch and what we can expect to see in Nutch in the future. This session will cover many practical aspects and should be a good starting point to crawling on a large scale with Apache Nutch and SOLR.
Українська середня освіта вкрай застарілаPublic Debate
www.debaty.org. Короткий звіт Публічних дебатів, які Фонд "Ефективне управління" проводив у м. Львові 29 листопада 2012 року. Обговорювалось питання якості середньої освіти в Україні. Спікери: Дмитро Шимків (генеральний директор "Майкрософт Україна"), Айна Мулліс (виконавчий директор Міжнародного учбового центру TIMSS&PIRLS), Олексій Греков (співзасновник та директор зі стратегічного розвитку школи "Афіни") та Олег Березюк (директор департаменту гуманітарної політики Львівської міської ради). Модератором виступив відомий український журналіст та телеведучий Андрій Данилевич.
BBC дебаты_Проведение крупных спортивных мероприятий укрепляет экономику страны
1. www.debaty.org
КРАТКИЙ ОТЧЕТ О ДЕБАТАХ
ПРОВЕДЕНИЕ КРУПНЫХ СПОРТИВНЫХ МЕРОПРИЯТИЙ
УКРЕПЛЯЕТ ЭКОНОМИКУ СТРАНЫ
16 июня 2011
Национальный академический драматический театр имени Ивана Франка,
Киев, Украина
2. www.debaty.org
Фонд «Эффективное управление» в партнерстве с британским Intelligence2 провели вторые по счету
широкомасштабные дебаты, которые охватили публику не только Украины, но и 76 миллионную
аудиторию 225 стран мира. Дебаты на тему «Проведение крупных спортивных мероприятий укрепляет
экономику страны» транслировались телекомпанией ВВС World News. Модератором дебатов выступила
всемирно известная телеведущая Зейнаб Бадави.
В апреле 2007 года Украина получила право на проведение Евро-2012. Изначально этот факт
рассматривался как повод для гордости, шанс открыть себя инвесторам и туристам со всего мира,
неоценимый стимул для быстрой модернизации в секторах инфраструктуры, спорта и туризма. Однако
следом возникают сомнения: готова ли страна на проведение столь масштабного и дорогого
мероприятия, перевешивают ли выгоды все риски, которые могут всплыть на этапах подготовки и
проведения, и главное – какое наследие останется в долгосрочной перспективе? Для того чтобы
спрогнозировать, насколько полезным для экономики и имиджа страны может стать проведение
чемпионата, важно тщательно изучить опыт стран, которые уже принимали у себя подобные крупные
мероприятия.
Участники дебатов сошлись во мнении, что тщательное планирование и анализ потенциальных рисков
являются важными факторами успешного влияния результатов организации чемпионата на
экономическое развитие страны. Основной спор возник вокруг вопроса, может ли отдельное событие
стать панацеей для решения социально-экономических проблем страны. Сторонники темы дебатов
утверждали, что проведение чемпионата позволит заявить о себе мировому сообществу, повысить свою
узнаваемость, а модернизированная инфраструктура будет прибыльным активом и по завершению
чемпионата. Спикеры, выступающие против темы дебатов, говорили о том, что проведение крупного
события - не самый лучший способ оживить экономику страны. Те деньги, которые могут быть потрачены
на развитие, будут направлены в крупные города для решения менее приоритетных задач, а рост
экономики и приток инвестиций будут имеют кратковременный эффект. Кроме того, с таким
масштабным движением капитала возникает огромное поле для коррупции.
Результаты голосования показали, что панель ПРОТИВ была более убедительной и ее поддержали 52%
аудитории.
Публичные дебаты – это общественная платформа для обсуждения вопросов, актуальных для
развития экономики Украины. Целью этого проекта является повышение культуры ведения
конструктивной и аргументированной дискуссии и содействие обществу в формировании
осведомленной позиции относительно ключевых проблем экономического развития страны.
Панель ЗА Панель ПРОТИВ
Достопочтенный Лорд Лиеполло Лебоханг Пхеко
Питер Мендельсон Общественный деятель, директор по
Член Палаты Лордов, влиятельный вопросам политики и внешних связей
британский политик, бывший торговой ассоциации The Trade
европейский комиссар по торговле, Collective, ЮАР
Великобритания
Маркиян Лубкивский Мани Шанкар Айяр
Директор Турнира УЕФА ЄВРО-2012 в Министр по делам молодежи и спорта
Украине 2006-2009 годов, член Верхней палаты
Парламента, Индия
3. www.debaty.org
Ключевые высказывания
Лорд Питер Мендельсон: «Евро-2012 даст нужный Мани Шанкар Айяр: «Не нужно связывать
импульс, он станет катализатором для инвестиций, инфраструктурные и инвестиционные проекты с
которые будут потрачены на возведение новых мостов, толканием мяча по футбольному полю. Это задачи
дорог, железнодорожных путей, воздушного сообщения, национального развития. Их нужно выполнять в любом
а также гостиниц и других объектов инфраструктуры, случае. На проведение Игр Содружества в Нью-Дели было
которые будут служить еще долгие годы по завершению потрачено 18 млрд дол. Но что досталось остальной
чемпионата». Индии? А ведь 900 млн индусов живут на 16 грн в день!».
Маркиян Лубкивский: «Евро-2012 даст бесценный опыт Лиеполло Лебоханг Пхеко: «Деньги потраченные на
проведения мероприятий европейского масштаба, строительство инфраструктуры к Кубку мира в Южной
позволит переломать устаревшие стандарты и Африке могли бы обеспечить жилищное строительство
подходы, доставшиеся нам еще со времен Советского на 10 лет. За деньги на 7 пластиковых сидений на
Союза. Чемпионат станет важным шагом на пути стадионах можно было бы построить школьную
интеграции нашей страны с европейским обществом и библиотеку. Относительно притока инвестиций, это
позволит получить столь необходимые уже сейчас краткосрочный эффект и связан лишь с развитием
деньги на модернизацию инфраструктуры». туристического и гостиничного сектора.
Стремительный рост промышленного производства,
который был спровоцирован развитием
инфраструктурных проектов моментально упал с
завершением игр».
Ответы на вопросы аудитории
В: «Какие риски несет с собой проведение крупных спортивных мероприятий?»
О: Лиеполло Пхеко: «Южная Африка, Греция, Китай столкнулись с проблемой так называемых «белых слонов»:
большинство построенных стадионов не используются, но требуют расходов на свое содержание. Следовательно, очень
важно тщательно взвесить все затраты на этапе подготовки к мероприятиям».
В: «Должна ли была Украина отказаться от права принимать у себя эти игры?»
О: Мани Шанкар Айяр: «Скажу одно: проводить такие мероприятия для того, чтобы укрепить экономику страны – это
все равно, что лечить аспирином больного СПИДом».
О: Лорд Питер Мендельсон: «Если Украина откажется от проведения Евро-2012 – это будет полной катастрофой для
страны. Что необходимо Украине – так это энергетический толчок для ее экономики. Украина должна показать миру, что
здесь живут приветливые люди, открытые к бизнесу, готовые работать с инвестициями и создавать рабочие места, а
это все то, что обеспечат предстоящие игры».
О: Маркиян Лубкивский: «Мы не говорим проводить ли Евро-2012 в Украине или нет. Этот вопрос решен. Я абсолютно
уверен, что это мероприятие пройдет очень хорошо, такой шанс дается раз в жизни, и Украина не должна его упустить».
В: «Было сказано, что спорт должен быть отделен от бизнеса. Разве плохо получать прибыль в спорте?»
О: Мани Шанкар Айяр: «Если вы вкладываете деньги в бизнес, вы надеетесь на прибыль. Но о чем мы говорим: о спорте или
о бизнесе? Гораздо важнее превратить Индию в спортивную нацию, чем в нацию, известную проведением спортивных
событий. 95% наших детей формально не имеют доступа к организованному спорту. При этом у нас хватает денег на то,
чтобы создать абсолютно лживый имидж процветающей Индии».
Результаты голосования Проведение крупных спортивных мероприятий укрепляет
экономику страны
Детальная информация о проекте и анонс
дальнейших дебатов доступны на сайте:
www.debaty.org
Фонд «Эффективное управление»
ул. Ильинская, 8, VIII подъезд, 5-й этаж
Киев, 04070, Украина
Тел.: +380 44 501 41 00
feg@feg.org.ua