Tools & Methods of Program Analysis (TMPA-2013)
Shipin, А.А., Sokolov, V.А., Chaliy, D.U., Yaroslavl State University
The Usage of Check Points for System-C Program Verification
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...Iosif Itkin
Tools & Methods of Program Analysis TMPA-2013
Senov, А , Kostroma State Technological University
Applying OLAP and MapReduce Technologies for Performance Testing Results Processing
TMPA-2015: The Application of Static Analysis to Optimize the Dynamic Detecti...Iosif Itkin
The Application of Static Analysis to Optimize the Dynamic Detection of Race Conditions
Yakov Roskoshnyy, Dmitry Tsitelov, Vitaly Trifanov, Roman Elizarov,Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Использование отладочных стендов является естественным шагом при внедрении модельно-ориентированного проектирования. Мы хотим показать как быстро и эффективно строить стенды реального времени для проведения безопасных испытаний систем управления.
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...Iosif Itkin
Tools & Methods of Program Analysis TMPA-2013
Senov, А , Kostroma State Technological University
Applying OLAP and MapReduce Technologies for Performance Testing Results Processing
TMPA-2015: The Application of Static Analysis to Optimize the Dynamic Detecti...Iosif Itkin
The Application of Static Analysis to Optimize the Dynamic Detection of Race Conditions
Yakov Roskoshnyy, Dmitry Tsitelov, Vitaly Trifanov, Roman Elizarov,Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Использование отладочных стендов является естественным шагом при внедрении модельно-ориентированного проектирования. Мы хотим показать как быстро и эффективно строить стенды реального времени для проведения безопасных испытаний систем управления.
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
На данном докладе мы познакомимся с новейшими методами проектирования сложных междисциплинарных систем (на примере РЛС), и посмотрим, как Модельно-Ориентированное Проектирование (МОП) помогает создавать подобные системы с меньшими трудозатратами.
TMPA-2015: Multi-Module Application Tracing in z/OS EnvironmentIosif Itkin
Multi-Module Application Tracing in z/OS Environment
Rostislav Efremov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Завершающий доклад дня будет посвящён реализации и верификации разработанных алгоритмов обработки сигналов на конечных целевых платформах. Мы продемонстрируем современный подход к решению этой задачи в рамках концепции МОП, подразумевающий активное использование поведенческой модели алгоритма, а также автоматизацию многих этапов разработки и тестирования.
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...Iosif Itkin
Automated Testing of Multi-thread Data Structures Solutions Linerializability
Anton Evdokimov, Dmitry Tsitelov, Roman Elizarov, Vitaly Trifanov, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Мы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
· Различные подходы построения модели
· Новые возможности импорта, обработки и визуализации данных
· Работа с облаком ThingSpeak для интернета вещей
· Создание графических приложений с App Designer
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...Iosif Itkin
Standards and Standartization in Program Engineering. Why Would You Care?
Nikolay Pakulin, ISP RAS, Moscow
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
В рамках этого доклада мы продемонстрируем преимущества сквозного моделирования систем связи, рассмотрим методики повышения точности описания компонентов модели, а также познакомимся с платформами программно-определяемого радио (SDR).
Когда говорят о машинном обучении, обычно рассматривают его в контексте создания спам-фильтров, рекомендательных систем, распознавания текста, лиц и голоса. В данном докладе машинное обучение будет рассмотрено применительно к фармацевтике, а именно drug discovery. Доклад условно разделён на 3 части. В первой части Андрей на реальном примере рассмотрит реализацию и основные стадии пайплайна, который используется в drug discovery. Во второй части доклада применительно к C++ будут рассмотрены возможности, которые можно использовать для организации параллельных вычислений. В третьей части Андрей расскажет, как можно использовать распределённые вычисления для масштабирования существующего решения, когда нежелательно или невозможно поменять существующую кодовую базу.
TMPA-2013 Itsykson: Java Program AnalysisIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Andrianova, А., Itsykson, V., St. Petersburg State Polytechnic University
Automated Test Synthesis for Java Programs Based on Program Analysis and Contract Inventory
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...Iosif Itkin
The dynamic analysis of executable code in ELF format based on static binary instrumentation
Mikhail Yermakov,ISP RAS
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Промышленный подход к автоматизации тестирования или Keyword-driven testing в...Maksim Grinevich
Доклад описывает промышленный подход к организации процесса автоматизации тестирования. Если у вас серьезный проект ни на один человекогод и необходимо внедрять автоматизацию, либо сделать так, чтобы она, наконец, заработала – предлагаю рассмотреть нашу реализацию как один из возможных выходов из ситуации.
Автотесты генерируют специалисты в предметной области, а не тестировщики-программисты. Сценарии тестирования пишутся в формате xml с использованием "стандартных операций". Эти операции поддерживаются генератором автотестов и автоматизированы на VBScript (QuickTestPro).
Доклад может быть интересен тем, кто вплотную занимается автоматизацией либо пытается разобраться в этом вопросе.
Tools & Methods of Program Analysis (TMPA-2013)
Tsytelov, D., Trifanov, V., Devexperts LLC, St. Petersburg State University
Search of Race Conditions in Java Programs Based on Synchronization Contracts
Lukin, M., Shalyto, А. , St. Petersburg National Research University of Information Technologies, Mechanics and Optics
Verification of Distributed Automated Programs Using the Spin Tool
На данном докладе мы познакомимся с новейшими методами проектирования сложных междисциплинарных систем (на примере РЛС), и посмотрим, как Модельно-Ориентированное Проектирование (МОП) помогает создавать подобные системы с меньшими трудозатратами.
TMPA-2015: Multi-Module Application Tracing in z/OS EnvironmentIosif Itkin
Multi-Module Application Tracing in z/OS Environment
Rostislav Efremov, Saint Petersburg State University, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Завершающий доклад дня будет посвящён реализации и верификации разработанных алгоритмов обработки сигналов на конечных целевых платформах. Мы продемонстрируем современный подход к решению этой задачи в рамках концепции МОП, подразумевающий активное использование поведенческой модели алгоритма, а также автоматизацию многих этапов разработки и тестирования.
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...Iosif Itkin
Automated Testing of Multi-thread Data Structures Solutions Linerializability
Anton Evdokimov, Dmitry Tsitelov, Roman Elizarov, Vitaly Trifanov, Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Мы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
· Различные подходы построения модели
· Новые возможности импорта, обработки и визуализации данных
· Работа с облаком ThingSpeak для интернета вещей
· Создание графических приложений с App Designer
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...Iosif Itkin
Standards and Standartization in Program Engineering. Why Would You Care?
Nikolay Pakulin, ISP RAS, Moscow
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
В рамках этого доклада мы продемонстрируем преимущества сквозного моделирования систем связи, рассмотрим методики повышения точности описания компонентов модели, а также познакомимся с платформами программно-определяемого радио (SDR).
Когда говорят о машинном обучении, обычно рассматривают его в контексте создания спам-фильтров, рекомендательных систем, распознавания текста, лиц и голоса. В данном докладе машинное обучение будет рассмотрено применительно к фармацевтике, а именно drug discovery. Доклад условно разделён на 3 части. В первой части Андрей на реальном примере рассмотрит реализацию и основные стадии пайплайна, который используется в drug discovery. Во второй части доклада применительно к C++ будут рассмотрены возможности, которые можно использовать для организации параллельных вычислений. В третьей части Андрей расскажет, как можно использовать распределённые вычисления для масштабирования существующего решения, когда нежелательно или невозможно поменять существующую кодовую базу.
TMPA-2013 Itsykson: Java Program AnalysisIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Andrianova, А., Itsykson, V., St. Petersburg State Polytechnic University
Automated Test Synthesis for Java Programs Based on Program Analysis and Contract Inventory
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...Iosif Itkin
The dynamic analysis of executable code in ELF format based on static binary instrumentation
Mikhail Yermakov,ISP RAS
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Промышленный подход к автоматизации тестирования или Keyword-driven testing в...Maksim Grinevich
Доклад описывает промышленный подход к организации процесса автоматизации тестирования. Если у вас серьезный проект ни на один человекогод и необходимо внедрять автоматизацию, либо сделать так, чтобы она, наконец, заработала – предлагаю рассмотреть нашу реализацию как один из возможных выходов из ситуации.
Автотесты генерируют специалисты в предметной области, а не тестировщики-программисты. Сценарии тестирования пишутся в формате xml с использованием "стандартных операций". Эти операции поддерживаются генератором автотестов и автоматизированы на VBScript (QuickTestPro).
Доклад может быть интересен тем, кто вплотную занимается автоматизацией либо пытается разобраться в этом вопросе.
Tools & Methods of Program Analysis (TMPA-2013)
Tsytelov, D., Trifanov, V., Devexperts LLC, St. Petersburg State University
Search of Race Conditions in Java Programs Based on Synchronization Contracts
Lukin, M., Shalyto, А. , St. Petersburg National Research University of Information Technologies, Mechanics and Optics
Verification of Distributed Automated Programs Using the Spin Tool
This document discusses how a software testing company tests software. It builds software to test other software and has an excellent team equipped with good tools. The company has a relentless and attentive work ethic and culture that is difficult to replicate. It is willing to put in substantial extra effort, at least 20% more, on every project to help clients achieve competitive advantage through quality and efficient platforms.
TMPA-2013 Chupilko: Verification of Correct Behaviour of HDL ModelsIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Ivannikov, V.P., Kamkin, A.S., Chupilko, M.M., Institute for System Programming, ISP RAS
Verification of Correct Behaviour of HDL-Models of Digital Equipment Based on the Dynamic Comparison of Tracks
Model Driven Developing & Model Based Checking: Applying TogetherIosif Itkin
The document discusses how model driven development (MDD) and model based testing (MBT) can be applied together. It proposes creating a multi-tiered model to describe concurrent, distributed systems at different levels of abstraction. This model can then be used to both guide code development and perform dynamic and static testing of the system. Key aspects include mapping the model to code using classes, collecting runtime traces to check the model, and transforming the model to formal languages like Promela to enable model checking with tools like Spin. The overall goal is to integrate these capabilities into an IDE plugin to help developers design, implement and verify complex systems using models.
Parametrized Model Checking of Fault Tolerant Distributed Algorithms by Abstr...Iosif Itkin
The document discusses parameterized model checking of fault-tolerant distributed algorithms. It presents threshold-guarded distributed algorithms that use threshold guards like "if received message from at least t+1 processes". It describes abstracting such algorithms using parametric interval abstraction to reduce verification of infinite instances to a single finite model checking problem by abstracting data and counters. Spurious counterexamples found during model checking are then refined to prove correctness across all algorithm instances.
Alias Calculus for a Simple Imperative Language with Decidable Pointer Arithm...Iosif Itkin
This document presents research on developing an alias calculus for a programming language called MoRe that models dynamic memory allocation with decidable pointer arithmetic. The alias calculus consists of configuration rules to track alias relationships between variables and memory addresses as a program executes. It is proved sound in that the alias relationships computed by the calculus include all actual aliases possible after a program runs. The goal is to enable static alias analysis to find memory errors, but the presented language MoRe would need to be more realistic for practical applications.
Verification of 800 Automata-Based Programs Built by means of Genetic Program...Iosif Itkin
Michael Lukin, Maxim Buzdalov and Anatoly Shalyto Saint Petersburg State University of Information Technologies, Mechanics and Optics, Saint Petersburg
Parametrized Model Checking of Fault Tolerant Distributed Algorithms by Abstr...Iosif Itkin
The document discusses threshold automata (TA) and how they can be used to model fault-tolerant distributed algorithms (FTDAs). TA extend finite state machines with thresholds on shared variables. The document proposes constructing a TA from a control flow automaton that models the loop body of an FTDA. This is done by applying interval abstraction to local variables and enumerating symbolic paths to generate the TA rules. The TA can then be simulated using a counter system that models the processes. The counter system allows accelerated transitions where multiple processes move simultaneously.
Современный статический анализ кода: что умеет он, чего не умели линтерыcorehard_by
Статический анализ появился почти 40 лет назад. В своём докладе мы хотим показать, чему за это время научились статические анализаторы. Мы рассмотрим различные методики анализа, как они появлялись и какие ошибки можно найти с помощью них. Посмотрим на примеры ошибок, найденных PVS-Studio в Open Source проектах. Поговорим о том, чем статический анализатор отличается от "линтеров" и некоторых других инструментов, а также какие проблемы решает современный статический анализатор C++ кода, помимо собственно анализа кода.
Павел Беликов
@PVS-Studio, Тула, Россия
Как команда PVS-Studio может улучшить код операционной системы TizenAndrey Karpov
Цель: Контрактная работа команды PVS-Studio по исправлению ошибок и регулярному аудиту кода. Сейчас анализатор PVS-Studio выявляет более 10% ошибок, которые присутствуют в коде проекта Tizen. В случае регулярного использования PVS-Studio, в новом коде можно будет предотвратить около 20% ошибок.
Я прогнозирую, что команда PVS-Studio может на данный момент выявить и исправить около 27000 ошибок в проекте Tizen.
Статический анализ и написание качественного кода на C/C++ для встраиваемых с...Andrey Karpov
Как учит печальный опыт множества инцидентов, требования к качеству программного кода встраиваемых систем намного выше, чем для классического программного обеспечения (игры, офисные пакеты, графические редакторы и т.д.). Поговорим о стандартах кодирования, таких как MISRA, SEI CERT, и инструментах статического анализа кода. Статические анализаторы решают две смежные, но всё-таки разные задачи: поиск ошибок и поиск запахов кода. Оба эти направления важны и должны использоваться. Однако часто эти два направления смешивают, что приводят к недоразумениям и отторжению методологии статического анализа кода. Попробуем расставить точки над i.
Тестируй это / Виктор Русакович (GP Solutions)Ontico
РИТ++ 2017, Frontend Сonf
Зал Дели + Калькутта, 5 июня, 18:00
Тезисы:
http://frontendconf.ru/2017/abstracts/2625.html
Как писать тесты?
Как запускать тесты?
Кто все сломал?
Все три вопроса рассмотрены в докладе. Также будет демо интеграции проекта, покрытого тестами, и cloud-based-сервиса по запуску этих тестов (github+travis).
Кроме того, расскажу об опыте по сокращению времени прогона тестов; о том, как добавить тесты в случае, если у вас уже есть большое приложение, но все еще без тестов.
Detecting logged in user's abnormal activityArvids Godjuks
Detection of abnormal user's activity is currently not performed in most popular Intrusion Detection Systems (IDS). However, it's not so rare when one user credentials are used by another user (for example, when password was stolen or watched). Also there are more and more sensitive data available through Internet.
To prevent this type of attacks we've developed an algorithm of building preferences based user behavior model.
It is using Markov chains to represent user behavioral information. For the time being, an experimental system that allows to analyze such method efficiency and detect irregular access to medical data is under development.
Since systems protected are a set of webservices, popular open source tools such as PHP, MySQL, GraphML, and Flare were used to implent it.
Что могут статические анализаторы, чего не могут программисты и тестировщикиAndrey Karpov
Одной из технологий выявления ошибок на ранних этапах является статический анализ кода. К сожалению, ряд инструментов реализуют анализ весьма поверхностно, что снижает доверие к методологии статического анализа в целом. Некоторые программисты начинают думать, что анализ кода — это нечто, базирующееся на регулярных выражениях и они сами легко найдут такие ошибки. На самом деле всё гораздо сложнее и интересней. Более того, многие ошибки невероятно сложно найти, если не использовать инструменты статического анализа кода. И в этом докладе будет продемонстрировано множество таких случаев. Послушав доклад, вы взглянете на статический анализ совсем по-новому. Дополнительно будет рассказано с чего начать, если вы захотите внедрить инструмент статического анализа в уже существующий процесс разработки.
Верификация Java байткода: когда, как, а может отключить?Nikita Lipsky
Сегодня Java разработчики все чаще используют библиотеки для порождения Java байт-кода в рантайме. Делается это для эффективной реализации различных трюков, которые сложно или невозможно выразить на языке Javа. Когда используется Java, компилятор javac гарантирует, что на выходе получится корректный Java байт-код. Но, спускаясь на уровень непосредственно байт-кода, часто нужно самостоятельно следить за его корректностью. Иначе при загрузке порожденных классов на выходе будет j.l.VerifyError, потому что JVM посредством верификатора Java байт-кода строго следит за корректностью байт-кода, который она загружает. Таким образом, порождая байт-код, недостаточно просто знать семантику байт-кодных инструкций — нужно также знать, как работает Java byte-code верификатор, какой байт-код он считает корректным, а какой нет.
В этом докладе мы разберемся, какую миссию в JVM несет верификатор байт-кода, когда и как он работает, может ли повлиять на производительность вашего приложения и почему опасно его отключать.
Similar to TMPA-2013: Shipin System-C Control Points (20)
Foundations of Software Testing Lecture 4Iosif Itkin
This lecture is a part of the online course on Software Testing for Complex Intelligent Systems and Autonomous Vehicles. The course lectures provide the theoretical basics of testing autonomous systems based on artificial intelligence.
The fourth lecture of the course entitled Foundations of Software Testing reviews the ‘absence-of-errors fallacy’ and other principles of software testing, as well as the types and levels of software testing. The lecture also provides a fuller picture of the understanding of test objectives and methodologies by different schools of thought within the software testing domain.
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...Iosif Itkin
Speaker: Iosif Itkin, co-CEO & co-founder, Exactpro Systems
9th November 2021
Hilton Canary Wharf
Exactpro is an independent software testing business focused on mission-critical financial market infrastructures, primarily exchanges and clearing houses. In his presentation, Iosif will give a brief overview of research on the concept of model-based testing and the principal challenges of its application while testing complex distributed systems. He will also outline the broader context of interaction between humans and complex computer models.
Exactpro FinTech Webinar - Global Exchanges Test OraclesIosif Itkin
The document discusses test oracles, which are mechanisms for determining whether a test has passed or failed. It describes how oracles work by comparing the actual output of a system under test to the expected output determined by the oracle. Several types of oracles are discussed, including hand-crafted oracles, specification-based oracles, and independent implementation oracles. The document emphasizes that all oracles are partial, as it is impossible to create a perfect oracle that evaluates all possible outputs of a system.
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolIosif Itkin
Exactpro’s Global Exchanges Division training session on FIX Trading Protocol.
The essence of the FIX protocol and its place in the overall structure of network protocols, FIX message attributes and the internal data types of the protocol.
Operational Resilience in Financial Market InfrastructuresIosif Itkin
A4Q World Congress 13-16 April 2021
Iosif Itkin
Exactpro provides independent software testing services for mission critical technology that underpins global financial markets – exchanges and clearing houses. Half of the top 20 global exchange groups on all continents around the globe rely on processes, platforms and people from Exactpro to improve their quality and reliability. The company has spent the last 11 years studying operational resilience in this crucial sector. The presentation will outline the key principles for software testing of the systems that process hundreds of millions of orders per day with roundtrip latencies below one hundred microseconds.
20 Simple Questions from Exactpro for Your Enjoyment This Holiday SeasonIosif Itkin
Warmest wishes for a happy holiday season and a wonderful New Year!
We look forward to our continued collaboration in 2020. Thank you for your support.
QA-Financial Forum 2019 in New York
13 November
Iosif Itkin, CEO and co-founder
Elena Treshcheva, Business Development Manager and Researcher
An October 2019 survey by BoE and FCA found that ML in financial organizations has already passed an initial development phase, and the usage of live ML applications is about to dramatically increase over the next three years. Artificial Intelligence systems are used in market surveillance, they are providing intellectual analysis of news feeds, and they are an important part of the conversational agents facing users and helping them with their business needs from identity verification to trading and portfolio management. How to ensure that an AI-powered system is up to its task? And what would that mean from the software testing perspective?
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresIosif Itkin
On Complex Software Systems Testing — Alexey Zverev, co-CEO & co-founder, Exactpro
Software Testing and Machine Learning
Mind the Gap. Applying Process Mining
Learning from Failure is not just for Humans
Dancing with Whales. Adaptive Log Classification System
On Traceability and the Illusion of Control
Building Partnerships
Demystifying DLT Testing One Network at a Time
Get the MOST from FIX
Georgia on My Mind
Build Software to Test Software — Iosif Itkin, co-CEO & co-founder, Exactpro
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...Iosif Itkin
Synchronize Europe
18th June 2019
Iosif Itkin, co-CEO and co-founder, Exactpro
Using the ISDA CDM Swaps application, simultaneously execute multiple end-to-end scenarios for DAML applications in capital markets - validate with actual contract data on ledger.
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiIosif Itkin
Ivan Shamray, Senior NFT Analyst, Exactpro
20 April 2019 EXTENT Talks, Tbilisi, Georgia
Tbilisi QA Community
EXTENT Talks is a meeting place for IT specialists working in various industries and seeking professional growth, practitioners from IT firms, as well as Quality Assurance enthusiasts of all backgrounds interested in actively participating in local IT events.
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenIosif Itkin
The document summarizes the agenda for the QA Community Tbilisi event on April 20, 2019 in Tbilisi, Georgia. The agenda included presentations on topics like principles of deep testing, quality in space, behavior driven development, test automation, and obstacles of software testing in Georgia. There was also information provided about Exactpro and their history, tools and methods for testing financial systems, and test automation for distributed ledger technology. The document encouraged participants to provide feedback and announced an upcoming prize drawing for those who engaged on the event's Facebook page.
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...Iosif Itkin
The First IEEE International Conference On Artificial Intelligence Testing (2019 IEEE AITest)
Iosif Itkin, Anna Gromova, Anton Sitnikov, Elena Treshcheva, Rostislav Yavorskiy, Evgenii Tsymbalov, Andrey Novikov and Kirill Rudakov
1 Exactpro, UK, Georgia, USA, Russia
2 Skolkovo Institute of Science and Technology, Russia
3 Higher School of Economics, Russia
Speakers: Iosif Itkin, CEO and Co-Founder and Elena Treshcheva, Business Development Manager and Researcher - Exactpro
Exactpro provides software testing services for mission-critical technology that underpins global financial markets. Exactpro clients are regulated by FCA, Bank of England and their counterparts from other countries. During this session, Elena and Iosif will talk about end-to-end software testing for post-trade systems in financial market infrastructures. What are the key challenges in quality assurance at this scale? What kind of cognitive biases affect SDLC? How precise is the knowledge about the systems under test? What constitutes good test evidence? How to deal with complexity in regulated environments?
Behaviour Driven Development: Oltre i limiti del possibileIosif Itkin
The QA Financial Forum: Milan 2019
23 January at the Excelsior Hotel Gallia.
Anna-Maria Lukina, Exactpro Business Development Director
The QA Financial Forum: Milan is one of the leading fintech conferences in Italy. The event focuses on the latest achievements in software risk management and automation of software testing. The predominant theme of the Milan event will be Quality Assurance for the entire Software Development Life Cycle (SDLC).
The topics under discussion will feature:
- Technologies for Automation & AI
- DevOps & CI/CD
- Value Stream Management
- Test Data Management
- Regulatory Compliance
- App Security & DevSecOps
- Testing and quality assurance of Blockchain platforms
The official language of the event is Italian.
On 17th January 2018 Exactpro successfully completed a management buyout from London Stock Exchange Group (LSEG), signed a new multi-year master services agreement with LSEG, and opened its head office in London.
What else has happened in 2018?
I wanted to take the opportunity to reflect on what has been an unusual year for Exactpro.
Integration front to back - Mr. Custodian tear down that wall
The scope of the application level has been continuous extended over the years, albeit with a focus on the area of pre-trade and trade.
Recently, there has been an increased interest to move further into the area of post-trade which is predominantly driven by the ISO 20022 standard. Is there really a need for new FIX messages in areas such as payments and
what are the integration problems needing a resolution?
Panellists
- Iosif Itkin, CEO, Exactpro
- Jim Northey, Co-Chair Global Technical Committee, Americas Region, FIX Trading Community, Chair Elect, ISO TC68 Financial
Services Technical Committee, and Consultant and Industry Standards Liaison, Itiviti
- Barry Young, Director, Aladdin Product Manager, BlackRock
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)Iosif Itkin
Exactpro is supporting the 3rd annual IT-conference YouCon to take place on 14th October in Saratov, Russia. Over 900 programmers, systems engineers and architects, software QA engineers, and marketing specialists will gather to discuss the latest trends in programming technology. It is the largest IT industry event in Saratov.
Iosif Itkin, CEO of Exactpro, part of London Stock Exchange Group, will deliver a "BDD. The Outer Limits" presentation named after Iosif's favorite Sci-Fi series.
The topics to be covered are:
Behavior Driven Development concepts
Applying BDD in trading and clearing systems
Specification by Example and using production data
Combining Model-based testing and BDD
The Outer Limits
There will be an opportunity to ask questions, share thoughts and expertise in BDD, or just chat with a representative at the Exactpro stand at any time during the event.
Don't miss out, stop by and ask how you can get your Exactpro souvenir :)
We look forward to meeting you there!
#Exactpro #Youconsaratov
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
TMPA-2013: Shipin System-C Control Points
1. Использование контрольных
точек для верификации
SystemC-программ
А.А. Шипин, В.А. Соколов, Д.Ю. Чалый
Ярославский государственный университет
им. П.Г. Демидова
2. Цель работы
• Разработка верификатора, который
позволил бы анализировать SystemC-модель
с недетерминированным поведением.
3. Тестирование в SystemC
• SystemC Verification Library (SCV).
o Генерация тестов, в том числе со
случайными условиями.
• SystemC Functional Coverage
Library.
o Возможность оценки функционального
покрытия.
4. Предварительные обработчики [1], [2]
PinaVM
Pinapa
System
CXML
KaSCPar
Quiny
Scoot
System
Perl
sc2v
elab-only
elab-easy
elab-easy-int
elab-easy-uint
elab-easy-array
elab-easy-sc_stop
elab-port-bool
elab-pointer
elab-instances
elab-clock
Signal
Event
Fifo
RAM
5. Метод C Model Checking (CMC)
• Метод разработан в Стэндфордском
университете в 2002 г.
• Исследует программы на C++ напрямую,
устраняя необходимость в отдельном
абстрактном описании поведения системы.
• Достигается обходом графа состояний
программы в ширину.
• “No, CMC is not available.”
(M. Musuvathi, личная переписка)
7. Возможности DMTCP
• Только Linux (POSIX API).
• Сохранение программ на C++, Java, Python,
Perl, …
• Поддержка нескольких потоков.
• Поддержка параллельных программ.
• Поддержка дескрипторов файлов, pipes, sockets,
fifo, timers, shared memory, …
Проблема работы с внешними сервисами.
Например, с СУБД или X Window.
8. Модификация SystemC-модели
• Точки ветвления:
switch ( SendCheckpoint( N, data ) ){
case 0: . . .
case 1: . . .
. . .
case N: . . .
}
• Точки условий выполнения свойств:
i f ( condition )
ScmcHelper : : SendAssertMessage ( text );
• Точки завершения модели:
ScmcHelper : : SendExitMessage ();
9. Эксперимент с SCMC
Система: пример описывает передачу данных
через канал, реализующий интерфейс очереди.
В модель добавлена возможность потери любого
набора символов при передаче.
Свойство: получит ли получатель последовательно
два одинаковых символа подряд?
10. Обоснование выбора примера
PinaVM – пример не может быть
проанализирован, но требуется незначительная
доработка проекта.
Остальные – пример не может быть
проанализирован из-за ограничений подхода.
11. Результаты
Строка Найдено Кол-во
состояний
Затрачено
aaa 3 14 7 cсек.
cac 1 16 7 сек.
abc 0 16 6 сек.
aaaaa 5 26 12 сек.
cabac 5 60 27 сек.
abcde 0 64 28 сек.
aaaaaaa 7 38 19 сек.
cababac 29 164 1 мин. 24 сек.
abcdefg 0 256 2 мин. 1 сек.
aaaaaaaaa 9 50 28 сек.
cabababac 69 332 3 мин. 13 сек.
abcdefghi 0 1024 8 мин.
12. Масштабируемость подхода
• Интерфейс для аналогов DMTCP.
• Сохранение состояния systemc-
модели без внешних инструментов
(sc_context).
• Инкрементное сжатие точек (HBICT).
• Хранение контрольных точек в
оперативной памяти.
• Распараллеливание SCMC.
13. Возможные пути
развития SCMC
• Комбинация SCV и SCMC.
• Проверка темпоральных свойств.
• Внесение недетерминизма SystemC
на уровне выбора процессов.
14. Заключение
• Создан верификатор SCMC для моделей с
недетерминированным поведением,
требующий лишь небольшой модификации
модели.
• SCMC может работать с любыми программами
на C++, которые могут быть сохранены DMTCP.
• Существует проблема взрыва состояний,
частично решаемая исключением одинаковых
веток графа состояний.
15. Список литературы
• (1) Marquet K. - A theoretical and experimental
review of SystemC front-ends.
• (2) Marquet K. - PinaVM: a SystemC front-end
based on an executable intermediate
representation.
• (3) Musuvathi M. - CMC: A Pragmatic Approach to
Model Checking Real Code.