Standards and Standartization in Program Engineering. Why Would You Care?
Nikolay Pakulin, ISP RAS, Moscow
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Multi-Module Application Tracing in z/OS EnvironmentIosif Itkin
Multi-Module Application Tracing in z/OS Environment
Rostislav Efremov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...Iosif Itkin
Automated Testing of Multi-thread Data Structures Solutions Linerializability
Anton Evdokimov, Dmitry Tsitelov, Roman Elizarov, Vitaly Trifanov, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The Application of Static Analysis to Optimize the Dynamic Detecti...Iosif Itkin
The Application of Static Analysis to Optimize the Dynamic Detection of Race Conditions
Yakov Roskoshnyy, Dmitry Tsitelov, Vitaly Trifanov, Roman Elizarov,Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...Iosif Itkin
The dynamic analysis of executable code in ELF format based on static binary instrumentation
Mikhail Yermakov,ISP RAS
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Formal Methods in Robotics
Dmitry Mordvinov, Yury Litvinov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Multi-Module Application Tracing in z/OS EnvironmentIosif Itkin
Multi-Module Application Tracing in z/OS Environment
Rostislav Efremov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...Iosif Itkin
Automated Testing of Multi-thread Data Structures Solutions Linerializability
Anton Evdokimov, Dmitry Tsitelov, Roman Elizarov, Vitaly Trifanov, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The Application of Static Analysis to Optimize the Dynamic Detecti...Iosif Itkin
The Application of Static Analysis to Optimize the Dynamic Detection of Race Conditions
Yakov Roskoshnyy, Dmitry Tsitelov, Vitaly Trifanov, Roman Elizarov,Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...Iosif Itkin
The dynamic analysis of executable code in ELF format based on static binary instrumentation
Mikhail Yermakov,ISP RAS
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Formal Methods in Robotics
Dmitry Mordvinov, Yury Litvinov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Tools & Methods of Program Analysis (TMPA-2013)
Tsytelov, D., Trifanov, V., Devexperts LLC, St. Petersburg State University
Search of Race Conditions in Java Programs Based on Synchronization Contracts
TMPA-2015: Automated process of creating test scenarios for financial protoco...Iosif Itkin
Automated process of creating test scenarios for financial protocols and connectivity testing
Anna Toropova, Sergey Pavlov, Andrey Soloviev, Alexander Bormotin, Iosif Itkin, Exactpro Systems
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...Iosif Itkin
Tools & Methods of Program Analysis TMPA-2013
Senov, А , Kostroma State Technological University
Applying OLAP and MapReduce Technologies for Performance Testing Results Processing
TMPA-2013 Itsykson: Java Program AnalysisIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Andrianova, А., Itsykson, V., St. Petersburg State Polytechnic University
Automated Test Synthesis for Java Programs Based on Program Analysis and Contract Inventory
TMPA-2013: Shipin System-C Control PointsIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Shipin, А.А., Sokolov, V.А., Chaliy, D.U., Yaroslavl State University
The Usage of Check Points for System-C Program Verification
Netpeak Group продолжает серию образовательных мероприятий — #NetpeakTalks в Одессе.
В рамках этих встреч у тебя будет возможность обсудить с практикующим спикером наболевшие темы, связанные с R&D, дизайном, менеджментом, интернет-маркетингом, QA, Customer Success, аналитикой и др. (все темы от встречи к встрече не повторяются и отличаются друг от друга).
Тема#3: Масштабируемое приложение на PHP
Краткий план:
1. Теория принципов и паттернов проектирования.
2. Примеры использования принципов и паттернов в коде (разберём какие "плюшки" даёт каждый случай).
3. Важность слабосвязанного кода (IoC).
4. Как "под капотом" работают IOC контейнера.
_____________________
Информацию об этом и следующих мероприятиях ты можешь отследить:
FaceBook: https://www.facebook.com/NetpeakTalks/
Телеграм: https://t.me/netpeaktalks
__________
Плейлист с выступлениями на YouTube: https://www.youtube.com/playlist?list=PL8LIMl0TjrcDtSS_lM5jqH-huK5FCq44A
__________
TMPA-2015: Information Support System for Autonomous Spacecraft Control Macro...Iosif Itkin
Information Support System for Autonomous Spacecraft Control Macro-Programming
Andrew Tyugashev, Anton Nasekin, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
Anti-fraud solutions in RTB / Вадим Антонюк (IPONWEB)Ontico
Во вступлении мы рассмотрим, какие виды фрода существуют в RTB (bots, ad stacking, spoof sites).
Далее поговорим о том, что из вышеперечисленного мы умеем ловить алгоритмически, и дадим общее описание подхода к кластеризации бид-реквестов на "хорошие" (люди) и "плохие" (боты) с использованием методов machine learning. Обсудим, какой из способов обучения лучше подходит для данной задачи, по каким ключевым признакам кластеризуем, каким методом.
В технической части обсудим область параметров, при которых решалась задача, а именно: размер learning sample 200 млрд. строк бид запросов, при реализации на Hadoop расчет велся в GCE на 140 машинах класса n1-highmem-8 и занимал 22 расчетных часа. Реализация достаточно ресурсозатратная как с точки зрения времени, так и денег, поэтому встал запрос на вычислительную оптимизацию.
В оптимизационной части мы обсудим, как при переходе на Spark framework уже на первой фазе получилось достигнуть выигрыша в производительности в 3 раза по сравнению с Hadoop framework и это далеко не предел. Сейчас проект перехода в активной фазе и к моменту доклада мы ожидаем довести этот показатель до ~10 раз.
TMPA-2015: ClearTH: a Tool for Automated Testing of Post Trade SystemsIosif Itkin
ClearTH: a Tool for Automated Testing of Post Trade Systems
Anna Toropova, Ekaterina Dimova, Iosif Itkin, Exactpro Systems
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Применение статического анализа кода в преподавании и в разработке свободного ПОAndrey Karpov
В своём докладе я расскажу, как использование татического анализа может помочь преподавателям и студентам обучать и обучаться. Также я расскажу, как именно стоит наладить процесс анализа для использования в студенческих роектах разработки СПО, чтобы удовлетворить специфике работы в рамках учебного заведения.
Использование отладочных стендов является естественным шагом при внедрении модельно-ориентированного проектирования. Мы хотим показать как быстро и эффективно строить стенды реального времени для проведения безопасных испытаний систем управления.
TMPA-2015: Implementing the MetaVCG Approach in the C-light SystemIosif Itkin
Alexei Promsky, Dmitry Kondtratyev, A.P. Ershov Institute of Informatics Systems, Novosibirsk
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: A Need To Specify and Verify Standard FunctionsIosif Itkin
A Need To Specify and Verify Standard Functions
Nikolay Shilov, A.P. Ershov Institute of Informatics Systems, Novosibirsk
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Tools & Methods of Program Analysis (TMPA-2013)
Tsytelov, D., Trifanov, V., Devexperts LLC, St. Petersburg State University
Search of Race Conditions in Java Programs Based on Synchronization Contracts
TMPA-2015: Automated process of creating test scenarios for financial protoco...Iosif Itkin
Automated process of creating test scenarios for financial protocols and connectivity testing
Anna Toropova, Sergey Pavlov, Andrey Soloviev, Alexander Bormotin, Iosif Itkin, Exactpro Systems
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...Iosif Itkin
Tools & Methods of Program Analysis TMPA-2013
Senov, А , Kostroma State Technological University
Applying OLAP and MapReduce Technologies for Performance Testing Results Processing
TMPA-2013 Itsykson: Java Program AnalysisIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Andrianova, А., Itsykson, V., St. Petersburg State Polytechnic University
Automated Test Synthesis for Java Programs Based on Program Analysis and Contract Inventory
TMPA-2013: Shipin System-C Control PointsIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Shipin, А.А., Sokolov, V.А., Chaliy, D.U., Yaroslavl State University
The Usage of Check Points for System-C Program Verification
Netpeak Group продолжает серию образовательных мероприятий — #NetpeakTalks в Одессе.
В рамках этих встреч у тебя будет возможность обсудить с практикующим спикером наболевшие темы, связанные с R&D, дизайном, менеджментом, интернет-маркетингом, QA, Customer Success, аналитикой и др. (все темы от встречи к встрече не повторяются и отличаются друг от друга).
Тема#3: Масштабируемое приложение на PHP
Краткий план:
1. Теория принципов и паттернов проектирования.
2. Примеры использования принципов и паттернов в коде (разберём какие "плюшки" даёт каждый случай).
3. Важность слабосвязанного кода (IoC).
4. Как "под капотом" работают IOC контейнера.
_____________________
Информацию об этом и следующих мероприятиях ты можешь отследить:
FaceBook: https://www.facebook.com/NetpeakTalks/
Телеграм: https://t.me/netpeaktalks
__________
Плейлист с выступлениями на YouTube: https://www.youtube.com/playlist?list=PL8LIMl0TjrcDtSS_lM5jqH-huK5FCq44A
__________
TMPA-2015: Information Support System for Autonomous Spacecraft Control Macro...Iosif Itkin
Information Support System for Autonomous Spacecraft Control Macro-Programming
Andrew Tyugashev, Anton Nasekin, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
Anti-fraud solutions in RTB / Вадим Антонюк (IPONWEB)Ontico
Во вступлении мы рассмотрим, какие виды фрода существуют в RTB (bots, ad stacking, spoof sites).
Далее поговорим о том, что из вышеперечисленного мы умеем ловить алгоритмически, и дадим общее описание подхода к кластеризации бид-реквестов на "хорошие" (люди) и "плохие" (боты) с использованием методов machine learning. Обсудим, какой из способов обучения лучше подходит для данной задачи, по каким ключевым признакам кластеризуем, каким методом.
В технической части обсудим область параметров, при которых решалась задача, а именно: размер learning sample 200 млрд. строк бид запросов, при реализации на Hadoop расчет велся в GCE на 140 машинах класса n1-highmem-8 и занимал 22 расчетных часа. Реализация достаточно ресурсозатратная как с точки зрения времени, так и денег, поэтому встал запрос на вычислительную оптимизацию.
В оптимизационной части мы обсудим, как при переходе на Spark framework уже на первой фазе получилось достигнуть выигрыша в производительности в 3 раза по сравнению с Hadoop framework и это далеко не предел. Сейчас проект перехода в активной фазе и к моменту доклада мы ожидаем довести этот показатель до ~10 раз.
TMPA-2015: ClearTH: a Tool for Automated Testing of Post Trade SystemsIosif Itkin
ClearTH: a Tool for Automated Testing of Post Trade Systems
Anna Toropova, Ekaterina Dimova, Iosif Itkin, Exactpro Systems
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Применение статического анализа кода в преподавании и в разработке свободного ПОAndrey Karpov
В своём докладе я расскажу, как использование татического анализа может помочь преподавателям и студентам обучать и обучаться. Также я расскажу, как именно стоит наладить процесс анализа для использования в студенческих роектах разработки СПО, чтобы удовлетворить специфике работы в рамках учебного заведения.
Использование отладочных стендов является естественным шагом при внедрении модельно-ориентированного проектирования. Мы хотим показать как быстро и эффективно строить стенды реального времени для проведения безопасных испытаний систем управления.
TMPA-2015: Implementing the MetaVCG Approach in the C-light SystemIosif Itkin
Alexei Promsky, Dmitry Kondtratyev, A.P. Ershov Institute of Informatics Systems, Novosibirsk
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: A Need To Specify and Verify Standard FunctionsIosif Itkin
A Need To Specify and Verify Standard Functions
Nikolay Shilov, A.P. Ershov Institute of Informatics Systems, Novosibirsk
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The Verification of Functional Programs by Applying Statechart Dia...Iosif Itkin
The Verification of Functional Programs by Applying Statechart Diagrams Construction Method
Andrew Mironov, IPI, Moscow
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Expanding the Meta-Generation of Correctness Conditions by Means o...Iosif Itkin
Expanding the Meta-Generation of Correctness Conditions by Means of Semantic Markup
Dmitry Kondratyev, A.P. Ershov Institute of Informatics Systems, Novosibirsk
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
FPGA-Based Low Latency Sponsored Access
Valery Florov, Pavel Garin, Pavel Smirnov, Maxim Metelkov, Exactpro Systems
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin
Multi-Platform Approach to Reverse Debugging of Virtual Machines
Pavel Dovgalyuk, Maria Klimushenkova, Denis Dmitriev and Vladimir Makarov, Novgorod State University
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Lexical analysis of dynamically formed string expressionsIosif Itkin
Lexical analysis of dynamically formed string expressions
Marina Polubelova, Semyon Grigorev, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: The Application of Parameterized Hierarchy Templates for Automated...Iosif Itkin
The Application of Parameterized Hierarchy Templates for Automated Program Code Defect-Fixing
Artyom Aleksyuk, Vladimir Itsykson,Peter The Great Saint Petersburg Polytechnic University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Software Engineering Education: The Messir ApproachIosif Itkin
Software Engineering Education: The Messir Approach
Nicolas Guelfi , University of Luxembourg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Towards a Usable Defect Prediction Tool: Crossbreeding Machine Lea...Iosif Itkin
Towards a Usable Defect Prediction Tool: Crossbreeding Machine Learning and Heuristics
Vladimir Kovalenko, Galina Alperovich , JetBrains
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
TMPA-2015: Generation of Test Scenarios for Non Deterministic and Concurrent ...Iosif Itkin
Generation of Test Scenarios for Non Deterministic and Concurrent Telecommunication Applications
Pavel Drobintsev, Vsevolod Kotlyarov, Nikita Voinov, Peter The Great Saint Petersburg Polytechnic University, Saint Petersburg
TMPA-2017: Modeling of PLC-programs by High-level Coloured Petri NetsIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
Modeling of PLC-programs by High-level Coloured Petri Nets
Dmitriy Ryabukhin, Egor Kuzmin, Valery Sokolov, Yaroslavl State University
For video follow the link: https://youtu.be/XJoKuCNrTi0
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: Functional Parser of Markdown Language Based on Monad Combining an...Iosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
Functional Parser of Markdown Language Based on Monad Combining and Monoidal Source Stream Representation
Georgy Lukyanov, Artem Pelenitsyn, Southern Federal University
For video follow the link: https://youtu.be/fDGG46gnOi0
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: A Survey of High-Performance Computing for Software VerificationIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
A Survey of High-Performance Computing for Software Verification
Ilja Zakharov, Institute for System Programming
For video follow the link: https://youtu.be/ray7HXnOYss
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: Layered Layouts for Software Systems VisualizationIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
Layered Layouts for Software Systems Visualization
Alexey A. Mitsyuk, Yaroslav V. Kotylev, Higher School of Economics
For video follow the link: https://youtu.be/NFsgWQpMQjs
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: Evolutionary Algorithms in Test Generation for digital systemsIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
Evolutionary Algorithms in Test Generation for digital systems
Yuriy Skobtsov, Vadim Skobtsov, St.Petersburg Polytechnic University
For presentation follow the link: https://www.youtube.com/watch?v=gUnKmPg614k
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: The Quest for Average Response TimeIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
The Quest for Average Response Time
Thomas A. Henzinger (President, IST, Austria Institute of Science and Technology)
For video follow the link: https://youtu.be/bCMj2toH1b4
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
TMPA-2017: Stemming Architectural Decay in Software SystemsIosif Itkin
TMPA-2017: Tools and Methods of Program Analysis
3-4 March, 2017, Hotel Holiday Inn Moscow Vinogradovo, Moscow
Stemming Architectural Decay in Software Systems
Nenad Medvidovic (Professor, USA University of Southern California, ACM SIGSOFT Executive Committee Chair)
For video follow the link: https://youtu.be/D7ZVSifyJoA
Would like to know more?
Visit our website:
www.tmpaconf.org
www.exactprosystems.com/events/tmpa
Follow us:
https://www.linkedin.com/company/exactpro-systems-llc?trk=biz-companies-cym
https://twitter.com/exactpro
Решения для мониторинга ИТ-инфраструктуры. Как правильно сделать выбор? Часть 1СвязьКомплект
На что следует обращать внимание при мониторинге ИТ-инфраструктуры? Основные источники получения информации.
Докладчик: Игорь Панов, ведущий проекта http://www.NetworkGuru.ru
Создание и развитие отечественной платформы с открытым программным кодом для ...ARCCN
Доклад в рамках Международной конференции «Управление сетями электросвязи. Программно-конфигурируемые сети и виртуализация сетевых функций – SDN&NFV Russia 2016».
QA Fest 2015. Владимир Скляр. Организация тестирования встроенных систем в ко...QAFest
Когда наша компания стала поставлять системы на базе ПЛК на рынке атомной энергетики, возник вопрос подтверждения соответствия процессов разработки и тестирования различным стандартам в области безопасности. Мы создали и обучили команду тестировщиков, владеющую практиками статического анализа кода, функционального и структурного тестирования (как для этапа юнит-тестов, так и интеграции), а также симуляции физических сигналов. Вот как мы решили эту непростую задачу.
Сергей Смирнов (Altair Engineering Inc.) | Организация работы распределенной ...RIF-Technology
В рамках доклада рассмотрим вопросы формирования команды с помощью модели МакКинси 7с (McKinsey 7s), поговорим о процессах разработки программного продукта, системе релизов, системном инжиниринге и рекомендациях по системе управления процессами.
Выступление будет интересно руководителям команд разработчиков, особенно тем, кто фокусируется на предсказуемости сроков и качестве создаваемого решения.
Similar to TMPA-2015: Standards and Standartization in Program Engineering. Why Would You Care? (20)
Foundations of Software Testing Lecture 4Iosif Itkin
This lecture is a part of the online course on Software Testing for Complex Intelligent Systems and Autonomous Vehicles. The course lectures provide the theoretical basics of testing autonomous systems based on artificial intelligence.
The fourth lecture of the course entitled Foundations of Software Testing reviews the ‘absence-of-errors fallacy’ and other principles of software testing, as well as the types and levels of software testing. The lecture also provides a fuller picture of the understanding of test objectives and methodologies by different schools of thought within the software testing domain.
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...Iosif Itkin
Speaker: Iosif Itkin, co-CEO & co-founder, Exactpro Systems
9th November 2021
Hilton Canary Wharf
Exactpro is an independent software testing business focused on mission-critical financial market infrastructures, primarily exchanges and clearing houses. In his presentation, Iosif will give a brief overview of research on the concept of model-based testing and the principal challenges of its application while testing complex distributed systems. He will also outline the broader context of interaction between humans and complex computer models.
Exactpro FinTech Webinar - Global Exchanges Test OraclesIosif Itkin
Global Exchanges series webinar to discuss Test Oracles. A test oracle is a mechanism for determining whether a test has passed or failed. The use of oracles involves comparing the output(s) of the system under test for a given test-case input, to the output(s) that the oracle determines the product should have. We will review various types of test oracles using examples from Exactpro’s Global Exchanges division projects and protocol-based interactions in trading systems.
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolIosif Itkin
Exactpro’s Global Exchanges Division training session on FIX Trading Protocol.
The essence of the FIX protocol and its place in the overall structure of network protocols, FIX message attributes and the internal data types of the protocol.
Operational Resilience in Financial Market InfrastructuresIosif Itkin
A4Q World Congress 13-16 April 2021
Iosif Itkin
Exactpro provides independent software testing services for mission critical technology that underpins global financial markets – exchanges and clearing houses. Half of the top 20 global exchange groups on all continents around the globe rely on processes, platforms and people from Exactpro to improve their quality and reliability. The company has spent the last 11 years studying operational resilience in this crucial sector. The presentation will outline the key principles for software testing of the systems that process hundreds of millions of orders per day with roundtrip latencies below one hundred microseconds.
20 Simple Questions from Exactpro for Your Enjoyment This Holiday SeasonIosif Itkin
Warmest wishes for a happy holiday season and a wonderful New Year!
We look forward to our continued collaboration in 2020. Thank you for your support.
QA-Financial Forum 2019 in New York
13 November
Iosif Itkin, CEO and co-founder
Elena Treshcheva, Business Development Manager and Researcher
An October 2019 survey by BoE and FCA found that ML in financial organizations has already passed an initial development phase, and the usage of live ML applications is about to dramatically increase over the next three years. Artificial Intelligence systems are used in market surveillance, they are providing intellectual analysis of news feeds, and they are an important part of the conversational agents facing users and helping them with their business needs from identity verification to trading and portfolio management. How to ensure that an AI-powered system is up to its task? And what would that mean from the software testing perspective?
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresIosif Itkin
On Complex Software Systems Testing — Alexey Zverev, co-CEO & co-founder, Exactpro
Software Testing and Machine Learning
Mind the Gap. Applying Process Mining
Learning from Failure is not just for Humans
Dancing with Whales. Adaptive Log Classification System
On Traceability and the Illusion of Control
Building Partnerships
Demystifying DLT Testing One Network at a Time
Get the MOST from FIX
Georgia on My Mind
Build Software to Test Software — Iosif Itkin, co-CEO & co-founder, Exactpro
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...Iosif Itkin
Synchronize Europe
18th June 2019
Iosif Itkin, co-CEO and co-founder, Exactpro
Using the ISDA CDM Swaps application, simultaneously execute multiple end-to-end scenarios for DAML applications in capital markets - validate with actual contract data on ledger.
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiIosif Itkin
Ivan Shamray, Senior NFT Analyst, Exactpro
20 April 2019 EXTENT Talks, Tbilisi, Georgia
Tbilisi QA Community
EXTENT Talks is a meeting place for IT specialists working in various industries and seeking professional growth, practitioners from IT firms, as well as Quality Assurance enthusiasts of all backgrounds interested in actively participating in local IT events.
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenIosif Itkin
EXTENT Talks is a meeting place for IT specialists working in various industries and seeking professional growth, practitioners from IT firms, as well as Quality Assurance enthusiasts of all backgrounds interested in actively participating in local IT events. The first EXTENT Talks were held in Tbilisi on 22 February 2019, initiating the creation a QA Community in Tbilisi and laying a foundation for an international platform for exchanging experience and knowledge in the field of software testing, development and IT. The program of the inaugural event included presentations on ISTQB, Software Testing, and Agile methodology from senior specialists. The next EXTENT Talks in Tbilisi will take place on 20 April 2019.
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...Iosif Itkin
The First IEEE International Conference On Artificial Intelligence Testing (2019 IEEE AITest)
Iosif Itkin, Anna Gromova, Anton Sitnikov, Elena Treshcheva, Rostislav Yavorskiy, Evgenii Tsymbalov, Andrey Novikov and Kirill Rudakov
1 Exactpro, UK, Georgia, USA, Russia
2 Skolkovo Institute of Science and Technology, Russia
3 Higher School of Economics, Russia
Speakers: Iosif Itkin, CEO and Co-Founder and Elena Treshcheva, Business Development Manager and Researcher - Exactpro
Exactpro provides software testing services for mission-critical technology that underpins global financial markets. Exactpro clients are regulated by FCA, Bank of England and their counterparts from other countries. During this session, Elena and Iosif will talk about end-to-end software testing for post-trade systems in financial market infrastructures. What are the key challenges in quality assurance at this scale? What kind of cognitive biases affect SDLC? How precise is the knowledge about the systems under test? What constitutes good test evidence? How to deal with complexity in regulated environments?
Behaviour Driven Development: Oltre i limiti del possibileIosif Itkin
The QA Financial Forum: Milan 2019
23 January at the Excelsior Hotel Gallia.
Anna-Maria Lukina, Exactpro Business Development Director
The QA Financial Forum: Milan is one of the leading fintech conferences in Italy. The event focuses on the latest achievements in software risk management and automation of software testing. The predominant theme of the Milan event will be Quality Assurance for the entire Software Development Life Cycle (SDLC).
The topics under discussion will feature:
- Technologies for Automation & AI
- DevOps & CI/CD
- Value Stream Management
- Test Data Management
- Regulatory Compliance
- App Security & DevSecOps
- Testing and quality assurance of Blockchain platforms
The official language of the event is Italian.
On 17th January 2018 Exactpro successfully completed a management buyout from London Stock Exchange Group (LSEG), signed a new multi-year master services agreement with LSEG, and opened its head office in London.
What else has happened in 2018?
I wanted to take the opportunity to reflect on what has been an unusual year for Exactpro.
Integration front to back - Mr. Custodian tear down that wall
The scope of the application level has been continuous extended over the years, albeit with a focus on the area of pre-trade and trade.
Recently, there has been an increased interest to move further into the area of post-trade which is predominantly driven by the ISO 20022 standard. Is there really a need for new FIX messages in areas such as payments and
what are the integration problems needing a resolution?
Panellists
- Iosif Itkin, CEO, Exactpro
- Jim Northey, Co-Chair Global Technical Committee, Americas Region, FIX Trading Community, Chair Elect, ISO TC68 Financial
Services Technical Committee, and Consultant and Industry Standards Liaison, Itiviti
- Barry Young, Director, Aladdin Product Manager, BlackRock
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)Iosif Itkin
Exactpro is supporting the 3rd annual IT-conference YouCon to take place on 14th October in Saratov, Russia. Over 900 programmers, systems engineers and architects, software QA engineers, and marketing specialists will gather to discuss the latest trends in programming technology. It is the largest IT industry event in Saratov.
Iosif Itkin, CEO of Exactpro, part of London Stock Exchange Group, will deliver a "BDD. The Outer Limits" presentation named after Iosif's favorite Sci-Fi series.
The topics to be covered are:
Behavior Driven Development concepts
Applying BDD in trading and clearing systems
Specification by Example and using production data
Combining Model-based testing and BDD
The Outer Limits
There will be an opportunity to ask questions, share thoughts and expertise in BDD, or just chat with a representative at the Exactpro stand at any time during the event.
Don't miss out, stop by and ask how you can get your Exactpro souvenir :)
We look forward to meeting you there!
#Exactpro #Youconsaratov
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
TMPA-2015: Standards and Standartization in Program Engineering. Why Would You Care?
1. Стандарты и стандартизация
в Software Engineering.
Какое дело до этого Вам?
Николай Пакулин npak@ispras.ru
Институт системного программирования РАН, Москва
2. Стандарты, они везде!
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
RFC 1738
URL format
RFC 2616
HTTP
ISO 3166
Country
Codes
RFC 1035
Domain
Names
TCP/IP
stack
IEEE 802
(WiFi ,
Ethernet)
W3C
HTML,
CSS3
W3C DOM
ECMA-262
ECMAScript
RFC 2618
HTTP
Secure
FIPS 197
AES
RSA
specification,
ECC
IEEE
1003.1
POSIX
ISO/IEC
15948
(W3C) PNG
Unicode
2
3. Зачем стандарты?
What is
your name?
这是什么?
Не совместимы: не могут
понимать речь друг друга
Kio estas
via nomo?
Mia nomo estas
Xiao
Совместимость!
Стандарты обеспечивают общий язык для взаимодействия
3
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
4. Зачем стандарты?
Основная цель: если две реализации соответствуют
стандарту, они могут взаимодействовать
Реализация 1 Реализация 2Совместимость
4
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
5. Зачем стандарты?
Стандарты открывают дорогу к
стекам технологий
Технологии в стеках могут быть
реализованы независимыми
производителями
Стандарты обеспечивают
совместимость между слоями
различных производителей
Стандарты - модульность
HTML
HTTP
POSIX API
TCP/IP
WiFi, etc.
5
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
6. Один поставщик
Зачем стандарты?
Стандарты –
открытый мир
Совместимость
между
компонентами
от различных
поставщиков
Vendor lock-in
Open System
Interconnection
– с 1980х
Browser ServerVendor lock-in
Firefox IIS
Совместимость
Apache
nginx
Tomcat
Explorer
Safari
Chrome
Open Systems
6
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
8. Зачем стандарты?
Как установить соответствие стандарту?
Реализация 1 Реализация 2Совместимость
8
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
9. Ответ для большинства случаев
TMPA-2015, Санкт-Петербург, 13 ноября 2015 г.
9
Тестирование соответствия
Conformance testing
Такое же тестирование, как и всегда,
Но есть нюансы!
Тест
Реализация Вердикт
10. 10
Особенности тестирования соответствия
ISO 9646
Тестовый набор состоит из
формально заданных тестов, не
привязанных к реализации.
Цели тестирования (test purposes)
описывают ситуации, подлежащие
проверке. Цель тестирования
реализуется в одном или нескольких
тестах.
Реализация считается
соответствующей спецификации,
если все цели тестирования успешно
проверены.
Тестовый
набор
Тесты
TP
TP
TP
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
11. Особенности тестирования
соответствия - прослеживаемость
Тесты проверяют поведение, как оно описано в
стандарте
11
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
12. Особенности тестирования соответствия:
внешне наблюдаемое поведение
12
Стандарт Реализация
… An implementation is not required to have them in the exact
form described here, so long as its external behavior is
consistent with that described in this document. …
RFC 2461
13. Что тестировать?
Тестируется интерфейс, а не
внутренности
Тест не зависит от того, какой
алгоритм реализован
Структуры данных и интерфейсы
должны быть описаны!
Не тестируются
нефункциональные ограничения
(если их нет в стандарте)
Производительность, память, и т.д.
Тесты на некорректные входные
данные
Только если об этом сказано в
стандарте?
Дополнительный вопрос –
тестирование поведения,
зависящего от реализации
Sort
Unsorted list
Sorted list
Comparator
13
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
14. Утверждения о соответствии
В современных
стандартах Вводятся
отдельные секции:
Conformance
Даётся определение
что считать
«реализацией
соответствующей
стандарту»
Но во многих случаях
сводится к
тривиальному:
«Должна
удовлетворять всем
требованиям»
Стандарт
14
Введение
Нормативная
часть
Conformance
TMPA 2015, Санкт-Петербург, 13 ноября 2015 г.
16. Жизнь и смерть программ
16
- "Работает?" - "Да". - "Каждый день работает?" - "Да". - "Тогда сынок,
ради бога, ничего не трогай!».
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
17. Жизненный цикл
17
Стандарты
ЖЦ вводят
требования к
организации
процессов
Цели,
задачи
Работы,
роли
Артефакты
Требования
Проектирование
РазработкаТестирование
Эксплуатация
18. Зачем стандарты на жизненный
цикл?
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
18
Все и так всё знают:
Придумал, написал, потестил, отдал заказчику
Тест
Код Баги
В сложных/критических системах это не работает
Измерять качество продукта по тестам слишком
поздно
19. Проблемы разработки сложного ПО
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
19
Время: сдаются с опозданием графика
Деньги: сдаются с превышением бюджета
Функциональность: сдаются с неполной
функциональностью и/или не той
функциональностью
Успех: не завершаются!
20. Зачем стандарты жизненного
цикла?20
Главный посыл:
Качество результата
разработки
определяется
качеством процесса
разработки
Состав работ
Управление процессом
Верификация
Требования
Проектирование
РазработкаТестирование
Эксплуатация
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
21. Эволюция стандартов ЖЦ
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
21
ISO 9000-3
ISO 12207
CMM
ISO 15506
Common
Criteria
Делайте только так!
И будет хорошо
Один процесс
Так – это как?
Процессы и подпроцессы
Слона есть по кусочкам!
Уровни зрелости
Не верю!
Доверие оценке
DO-178
DAL
IEC 61508,
ISO 26262
SIL
22. Стандарты ЖЦ и TMPA
22
Верификация
Требования
проектирова
ние
Разработка
Поставка
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
The subtlest bugs cause the greatest damage and problems.
Bugs will appear in one part of a working program when an 'unrelated' part is modified.
A working program is one that has only unobserved bugs.
24. Модель жизненного цикла
ISO 1220724
Поставка и приобретение ( 2)
Управление ЖЦ, инфраструктурой, портфелями
проектов, людьми, качеством
Управление проектом, оценки рисков, мониторинг,
управление конфигурациями (и ещё 3)
технические процессы: требования (2), реализация,
тестирование, эксплуатация, сопровождение (и ещё 5)
подпроцессы реализации— 7
подпроцессы поддержки — 8
подпроцессы повторного применения (3)
23 Процесса, 95 работ, 325 задач, 224 артефакта
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
25. Стандарты ЖЦ: кому?
25
Стандарты регламентируют активности
жизненного цикла
Документирование или Бюрократия
Дополнительные подпроцессы или
Дополнительные кадры
Требования, проектирование или Долгий путь к
коду
Что тут думать, трясти надо!
Тщательная верификация или Дополнительные
расходы
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
26. Стандарты ЖЦ для критических
систем26
Ошибка ошибке не ровня!
Катастрофа – отказ может привести к смертям людей,
крупным материальным потерям
Авария – отказ приводит к существенным негативным
эффектам функциональности или травмам людей
Критический - отказ приводит к существенному
снижению эксплуатационных характеристик
Малозначимый - отказ создает неудобство, но
дальнейшая эксплуатация возможна
Пренебрежимый – отказ не влияет на
эксплуатационные характеристики
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
27. Оценка качества для критических
систем27
Программы
(ЖЦ ПО )
Оборудование
(ЖЦ апп.)
Системная разработка
Оценка
безопасности
надежности
• Архитектура
• Критичность
Требования Требования
Тесты Тесты
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.
28. Уровни доверия
28
Процессы создания ПО для малозначимых
функций - relaxed
ПО для критических функций должно
разрабатываться по всей строгости!
Все процессы
Дополнительные требования к верификации
Строгий дизайн
Формальные модели
Исчерпывающее тестирование
Safety integrity level (машиностроение),
Design Assurance Level (авиация)
TMPA-2015, Санкт-Петербург , 13 ноября 2015 г.