Доклад на конференциях JPoint 2016, JBreak 2016
Abstract: В Java SE 8 были добавлены лямбда-выражения, дефолтные методы, типовые аннотации, компактные профили и т.п., что привело к изменениям в спецификации Java SE платформы.
В этом докладе мы рассмотрим, как новые возможности, добавленные в Java 8, были реализованы в Excelsior JET JVM, полностью написанной с нуля, совершенно непохожей на Oracle HotSpot, но при этом совместимой со спецификацией Java SE.
В итоге, слушатель освежит в памяти, что появилось в Java 8, как это повлияло на спецификацию JVM, во что превращаются лямбда-выражения в Java байт-коде, как их можно статически оптимизировать, а также получит некоторое представление о внутреннем устройстве еще одной JVM.
JVM: краткий курс общей анатомии, JPoint 2016 Conference EditionNikita Lipsky
Говоря о Java, мы подразумеваем как минимум две вещи: JVM (виртуальную Java-машину) и Java-байткод, который исполняется на этой машине.
Внутреннее устройство JVM непростое, но очень важно понимать, из каких частей она состоит, какая часть за что отвечает и как это все вместе работает хотя бы в самых общих чертах. Эти знания помогут вам в понимании того, как работает ваша программа и как можно улучшить ее работу.
В этом докладе мы не будем лезть в кишки какой-то конкретной реализации JVM, однако мы покажем где у JVM кишки расположены, а также где находятся и для чего служат ее печень, сердце, почки, мозг и другие органы.
Java SE 8 has brought lambdas, default methods, type annotations, compact profiles, etc. As a result, the Java SE platform specification was changed to reflect new features.
The session shows how the new Java 8 features have been implemented in Excelsior JET JVM, written from scratch, very different from the Oracle HotSpot JVM, but compatible with the Java SE specification.
As a result, an attendee will refresh his/her memory regarding new Java 8 features, will learn how they affected the JVM specification, how the lambda expressions are translated into Java bytecode and how they can be optimized at the JVM level.
В Java 9 с неизбежностью появятся модули. Кого-то это мало волнует, кого-то пугает, кто-то искренне недоумевает: зачем, ведь у нас уже больше 15 лет есть OSGi, который решает ровно те же проблемы, что и модули? Здесь мы попробуем разобраться, какие проблемы пытается решить OSGi, как он их решает и решает ли в действительности. Затем посмотрим, какие проблемы, которые пытается решить OSGi, Jigsaw совсем не решает и почему, а также какие проблемы решает и как. Ну и в конце, какие проблемы Jigsaw при этом привносит в экосистему Java и что с этим делать.
Верификация Java байткода: когда, как, а может отключить?Nikita Lipsky
Сегодня Java разработчики все чаще используют библиотеки для порождения Java байт-кода в рантайме. Делается это для эффективной реализации различных трюков, которые сложно или невозможно выразить на языке Javа. Когда используется Java, компилятор javac гарантирует, что на выходе получится корректный Java байт-код. Но, спускаясь на уровень непосредственно байт-кода, часто нужно самостоятельно следить за его корректностью. Иначе при загрузке порожденных классов на выходе будет j.l.VerifyError, потому что JVM посредством верификатора Java байт-кода строго следит за корректностью байт-кода, который она загружает. Таким образом, порождая байт-код, недостаточно просто знать семантику байт-кодных инструкций — нужно также знать, как работает Java byte-code верификатор, какой байт-код он считает корректным, а какой нет.
В этом докладе мы разберемся, какую миссию в JVM несет верификатор байт-кода, когда и как он работает, может ли повлиять на производительность вашего приложения и почему опасно его отключать.
Доклад на конференциях JPoint 2016, JBreak 2016
Abstract: В Java SE 8 были добавлены лямбда-выражения, дефолтные методы, типовые аннотации, компактные профили и т.п., что привело к изменениям в спецификации Java SE платформы.
В этом докладе мы рассмотрим, как новые возможности, добавленные в Java 8, были реализованы в Excelsior JET JVM, полностью написанной с нуля, совершенно непохожей на Oracle HotSpot, но при этом совместимой со спецификацией Java SE.
В итоге, слушатель освежит в памяти, что появилось в Java 8, как это повлияло на спецификацию JVM, во что превращаются лямбда-выражения в Java байт-коде, как их можно статически оптимизировать, а также получит некоторое представление о внутреннем устройстве еще одной JVM.
JVM: краткий курс общей анатомии, JPoint 2016 Conference EditionNikita Lipsky
Говоря о Java, мы подразумеваем как минимум две вещи: JVM (виртуальную Java-машину) и Java-байткод, который исполняется на этой машине.
Внутреннее устройство JVM непростое, но очень важно понимать, из каких частей она состоит, какая часть за что отвечает и как это все вместе работает хотя бы в самых общих чертах. Эти знания помогут вам в понимании того, как работает ваша программа и как можно улучшить ее работу.
В этом докладе мы не будем лезть в кишки какой-то конкретной реализации JVM, однако мы покажем где у JVM кишки расположены, а также где находятся и для чего служат ее печень, сердце, почки, мозг и другие органы.
Java SE 8 has brought lambdas, default methods, type annotations, compact profiles, etc. As a result, the Java SE platform specification was changed to reflect new features.
The session shows how the new Java 8 features have been implemented in Excelsior JET JVM, written from scratch, very different from the Oracle HotSpot JVM, but compatible with the Java SE specification.
As a result, an attendee will refresh his/her memory regarding new Java 8 features, will learn how they affected the JVM specification, how the lambda expressions are translated into Java bytecode and how they can be optimized at the JVM level.
В Java 9 с неизбежностью появятся модули. Кого-то это мало волнует, кого-то пугает, кто-то искренне недоумевает: зачем, ведь у нас уже больше 15 лет есть OSGi, который решает ровно те же проблемы, что и модули? Здесь мы попробуем разобраться, какие проблемы пытается решить OSGi, как он их решает и решает ли в действительности. Затем посмотрим, какие проблемы, которые пытается решить OSGi, Jigsaw совсем не решает и почему, а также какие проблемы решает и как. Ну и в конце, какие проблемы Jigsaw при этом привносит в экосистему Java и что с этим делать.
Верификация Java байткода: когда, как, а может отключить?Nikita Lipsky
Сегодня Java разработчики все чаще используют библиотеки для порождения Java байт-кода в рантайме. Делается это для эффективной реализации различных трюков, которые сложно или невозможно выразить на языке Javа. Когда используется Java, компилятор javac гарантирует, что на выходе получится корректный Java байт-код. Но, спускаясь на уровень непосредственно байт-кода, часто нужно самостоятельно следить за его корректностью. Иначе при загрузке порожденных классов на выходе будет j.l.VerifyError, потому что JVM посредством верификатора Java байт-кода строго следит за корректностью байт-кода, который она загружает. Таким образом, порождая байт-код, недостаточно просто знать семантику байт-кодных инструкций — нужно также знать, как работает Java byte-code верификатор, какой байт-код он считает корректным, а какой нет.
В этом докладе мы разберемся, какую миссию в JVM несет верификатор байт-кода, когда и как он работает, может ли повлиять на производительность вашего приложения и почему опасно его отключать.
Совсем скоро выйдет Java 9, которая готовит нам много новых и интересных вещей, таких как jshell, Process API, методы-фабрики для коллекций, мультирелизные JAR-файлы и др. Но самым главным изменением будет, конечно же, введение модулей. Модуль - это новая единица инкапсуляции, которая позволит указывать явно зависимости между программными компонентами и строго контролировать, какие public-классы доступны для других компонент, а какие нет. В этой презентации мы рассмотрим в подробностях механизм модулей Java 9, в частности, как объявляются модули и как модуляризована сама JDK, а также, какие проблемы могут встретиться при миграции приложения на Java 9.
Языку Java присущ встроенный динамизм.
Reflection, динамическая загрузка — это то, без чего современные Java приложения просто не могут существовать, поэтому существует мнение, что AOT (статическая) компиляция вряд ли применима к Java в общем случае, а там где применима не может составить конкуренцию JIT (динамической) компиляции в плане прозводительности.
В этом докладе показывается почему это не (совсем) так, при этом рассматриваются случаи,
где у статических компиляторов действительно есть определенные сложности в обработке динамической семантики Java.
Также упоминается, где статическая компиляции для Java может быть полезна.
http://techtalks.nsu.ru
Видеозапись: http://www.youtube.com/watch?v=blXQTBiYbzs
10 декабря 2014. AOT-компиляция Java (Никита Липский, Excelsior)
«Ahead-of-time (AOT) компиляция, или статическая компиляция, не так давно объявлена компанией Oracle как одно из нововведений Java 9 — следующего мажорного релиза Java. Это объявление вызвало разнообразную реакцию в сообществе Java-программистов: некоторые удивляются почему только сейчас, кто-то в недоумении, потому что всегда считал, что AOT-компилятор для Java не возможен теоретически из-за богатых динамических возможностей Java, многие убеждены, что AOT не нужен для Java, потому что он не может конкурировать по производительности с JIT, который использует динамический профиль исполнения для оптимизации программ на лету. В этом докладе я попробую развеять распространенные мифы, которые сложились вокруг AOT-компиляции Java, расскажу почему AOT-компиляция возможна с сохранением всех динамических особенностей Java, покажу где этот подход имеет преимущества в производительности перед динамической компиляцией (JIT) с технической точки зрения, а также обрисую для чего вообще может быть полезна AOT-компиляция для Java.»
Лекция прочитана в рамках проекта Tech Talks @NSU – серии открытых лекций о разработке ПО и карьере в IT, проводимых в Новосибирском государственном университете.
Подробности: http://techtalks.nsu.ru
Многие разработчики не представляют, как дорого обходятся ошибки в программах. Причем я имею в виду не падения ракет и прочие катастрофы, а обыкновенное прикладное программное обеспечение. Хочется показать всю важность нахождения ошибок на самых ранних этапах. Одним из способов выявить ошибку как можно раньше является статический анализ кода. Поговорим мы не только об этом, но и о различных приемах при написании кода, которые позволят избежать множество типовых ошибок.
Статический анализ кода: борьба с удорожанием ошибокAndrey Karpov
Нет смысла говорить, что "надо писать код без ошибок". Ошибки были, есть и будут. Все хорошо понимают, что ошибки следует исправлять. Люди забывают, что ошибка должна быть исправлена с минимальными временными и денежными затратами!
Получасовая презентация по Java 9. Конечно, рассказать можно много больше, да и часть выводов прозизносил вслух, но в любом случае, если интересна Java 9, то изучение можно начать со ссылок в конце презентации.
Критика, предложения приветствуются.
The practical story telling how Devops changed the culture of quality in the Bank. Recently Devops became mainstream topic. But only few people have a deep understanding how to apply it to the process of software quality assurance. Some believe that the Devops kills manual testing.
I will talk about changes it makes to the role of QA engineers themself. The discussion main point is NOT about tools or technologies. It’s NOT about the “silver bullet” for your problems with the quality of products.
Instead, I will show you an integrated approach which we used for quality assurance. It allowed us to significantly reduce the cost of finding and fixing defects. This approach has also accelerated the development and delivery value to our customers and made the whole process more transparent and predictable.
Вступительная лекция по Java. История появления, идеи, сферы применения, место среди других языков, экосистема. Структурированная информация о Java, как о языке программирования.
Под эту лекцию имеется более развёрнутый материал. Кому интересно - пишите.
Конструктивная критика приветствуется.
Готовимся к Java SE 7 Programmer: от новичка до профессионала за 45 днейSkillFactory
Дмитрий Андрушко, инструктор Академии Oracle по Java-технологиям – о том, как подготовиться к первой ступени в непростой системе сертификации Oracle (Oracle Certified Associate, Java SE 7 Programmer), стать успешным Java-разработчиком и работать в крупнейших банках и корпорациях, если вы только начинаете знакомство с этим языком программирования.
Основные новшества Java 9, которые, на мой взгляд, наиболее актуальны.
Здоровая критика и дополнения приветствуются. Есть текстовый документ, где всё это расписано немного подробнее.
Готов ли JUnit 5 к использованию в production? Как на него перевести большой проект и сделать тесты лаконичнее? В своем докладе я выскажу свои мысли о концепциях, заложенных в JUnit 5 и поделюсь нашим успешным опытом миграции на новую платформу
Совсем скоро выйдет Java 9, которая готовит нам много новых и интересных вещей, таких как jshell, Process API, методы-фабрики для коллекций, мультирелизные JAR-файлы и др. Но самым главным изменением будет, конечно же, введение модулей. Модуль - это новая единица инкапсуляции, которая позволит указывать явно зависимости между программными компонентами и строго контролировать, какие public-классы доступны для других компонент, а какие нет. В этой презентации мы рассмотрим в подробностях механизм модулей Java 9, в частности, как объявляются модули и как модуляризована сама JDK, а также, какие проблемы могут встретиться при миграции приложения на Java 9.
Языку Java присущ встроенный динамизм.
Reflection, динамическая загрузка — это то, без чего современные Java приложения просто не могут существовать, поэтому существует мнение, что AOT (статическая) компиляция вряд ли применима к Java в общем случае, а там где применима не может составить конкуренцию JIT (динамической) компиляции в плане прозводительности.
В этом докладе показывается почему это не (совсем) так, при этом рассматриваются случаи,
где у статических компиляторов действительно есть определенные сложности в обработке динамической семантики Java.
Также упоминается, где статическая компиляции для Java может быть полезна.
http://techtalks.nsu.ru
Видеозапись: http://www.youtube.com/watch?v=blXQTBiYbzs
10 декабря 2014. AOT-компиляция Java (Никита Липский, Excelsior)
«Ahead-of-time (AOT) компиляция, или статическая компиляция, не так давно объявлена компанией Oracle как одно из нововведений Java 9 — следующего мажорного релиза Java. Это объявление вызвало разнообразную реакцию в сообществе Java-программистов: некоторые удивляются почему только сейчас, кто-то в недоумении, потому что всегда считал, что AOT-компилятор для Java не возможен теоретически из-за богатых динамических возможностей Java, многие убеждены, что AOT не нужен для Java, потому что он не может конкурировать по производительности с JIT, который использует динамический профиль исполнения для оптимизации программ на лету. В этом докладе я попробую развеять распространенные мифы, которые сложились вокруг AOT-компиляции Java, расскажу почему AOT-компиляция возможна с сохранением всех динамических особенностей Java, покажу где этот подход имеет преимущества в производительности перед динамической компиляцией (JIT) с технической точки зрения, а также обрисую для чего вообще может быть полезна AOT-компиляция для Java.»
Лекция прочитана в рамках проекта Tech Talks @NSU – серии открытых лекций о разработке ПО и карьере в IT, проводимых в Новосибирском государственном университете.
Подробности: http://techtalks.nsu.ru
Многие разработчики не представляют, как дорого обходятся ошибки в программах. Причем я имею в виду не падения ракет и прочие катастрофы, а обыкновенное прикладное программное обеспечение. Хочется показать всю важность нахождения ошибок на самых ранних этапах. Одним из способов выявить ошибку как можно раньше является статический анализ кода. Поговорим мы не только об этом, но и о различных приемах при написании кода, которые позволят избежать множество типовых ошибок.
Статический анализ кода: борьба с удорожанием ошибокAndrey Karpov
Нет смысла говорить, что "надо писать код без ошибок". Ошибки были, есть и будут. Все хорошо понимают, что ошибки следует исправлять. Люди забывают, что ошибка должна быть исправлена с минимальными временными и денежными затратами!
Получасовая презентация по Java 9. Конечно, рассказать можно много больше, да и часть выводов прозизносил вслух, но в любом случае, если интересна Java 9, то изучение можно начать со ссылок в конце презентации.
Критика, предложения приветствуются.
The practical story telling how Devops changed the culture of quality in the Bank. Recently Devops became mainstream topic. But only few people have a deep understanding how to apply it to the process of software quality assurance. Some believe that the Devops kills manual testing.
I will talk about changes it makes to the role of QA engineers themself. The discussion main point is NOT about tools or technologies. It’s NOT about the “silver bullet” for your problems with the quality of products.
Instead, I will show you an integrated approach which we used for quality assurance. It allowed us to significantly reduce the cost of finding and fixing defects. This approach has also accelerated the development and delivery value to our customers and made the whole process more transparent and predictable.
Вступительная лекция по Java. История появления, идеи, сферы применения, место среди других языков, экосистема. Структурированная информация о Java, как о языке программирования.
Под эту лекцию имеется более развёрнутый материал. Кому интересно - пишите.
Конструктивная критика приветствуется.
Готовимся к Java SE 7 Programmer: от новичка до профессионала за 45 днейSkillFactory
Дмитрий Андрушко, инструктор Академии Oracle по Java-технологиям – о том, как подготовиться к первой ступени в непростой системе сертификации Oracle (Oracle Certified Associate, Java SE 7 Programmer), стать успешным Java-разработчиком и работать в крупнейших банках и корпорациях, если вы только начинаете знакомство с этим языком программирования.
Основные новшества Java 9, которые, на мой взгляд, наиболее актуальны.
Здоровая критика и дополнения приветствуются. Есть текстовый документ, где всё это расписано немного подробнее.
Готов ли JUnit 5 к использованию в production? Как на него перевести большой проект и сделать тесты лаконичнее? В своем докладе я выскажу свои мысли о концепциях, заложенных в JUnit 5 и поделюсь нашим успешным опытом миграции на новую платформу
http://techtalks.nsu.ru
Видеозапись: http://www.youtube.com/watch?v=blXQTBiYbzs"
10 декабря 2014. Никита Липский (Excelsior) рассказывает про AOT-компиляцию
Ahead-of-time (AOT) компиляция, или статическая компиляция, не так давно объявлена компанией Oracle как одно из нововведений Java 9 — следующего мажорного релиза Java. Это объявление вызвало разнообразную реакцию в сообществе Java-программистов: некоторые удивляются почему только сейчас, кто-то в недоумении, потому что всегда считал, что AOT-компилятор для Java не возможен теоретически из-за богатых динамических возможностей Java, многие убеждены, что AOT не нужен для Java, потому что он не может конкурировать по производительности с JIT, который использует динамический профиль исполнения для оптимизации программ на лету.
В этом докладе я попробую развеять распространенные мифы, которые сложились вокруг AOT-компиляции Java, расскажу почему AOT-компиляция возможна с сохранением всех динамических особенностей Java, покажу где этот подход имеет преимущества в производительности перед динамической компиляцией (JIT) с технической точки зрения, а также обрисую для чего вообще может быть полезна AOT-компиляция для Java.
Лекция прочитана в рамках проекта Tech Talks @NSU – серии открытых лекций о разработке ПО и карьере в IT, проводимых в Новосибирском государственном университете.
Подробности: http://techtalks.nsu.ru
Проект «Одноклассники» Mail.Ru Group, Андрей ПаньгинEYevseyeva
Презентация с технической секции #BitByte - фестиваля профессионального развития, который прошел 19 мая в Санкт-Петербурге.
Андрей Паньгин, Ведущий инженер проекта компании Mail.Ru Group «Одноклассники»: «Незаурядная Java как инструмент разработки высоконагруженного сервера».
Презентация к докладу на SymfonyCampUA-2012.
В докладе рассмотрены основные вопросы работы с АОП в PHP, даны определения аспектов, срезов, советов, а также рассмотрено реальное использование библиотеки GO! для внедрения аспектно-ориентированной парадигмы в любое приложение.
Курс "Программирование на Java". Лекция 01 "Основы Java".
История Java, мотивация её появления, JVM, примитивы, упоминание об объектной природе.
МФТИ, 2016 год. Лектор - Лаврентьев Федор Сергеевич
Escaping The Jar hell with Jigsaw LayersNikita Lipsky
Jigsaw modules are often criticized for the lack of versioning that exists in alternative module systems for Java, such as OSGi. One of the main purposes of versioning is to solve the so called Jar Hell problem that arises when your application depends on two different versions of the same library. While Jigsaw is able to detect this conflicting situation, it won’t allow you to load both versions that are placed on the module path. However, it is not always possible to eliminate all version conflicts from your application, because other versions of the same libraries can come to your application indirectly via dependencies that you do not control. Fortunately, there is a native solution for the problem in Jigsaw called Layers. In this session, I will show what problems Jigsaw could have introduced if it had explicit versions for modules, and how Jigsaw Layers in conjunction with Jigsaw Services help to solve the Jar Hell problem safely.
JIT Versus AOT: Unity And Conflict of Dynamic and Static Compilers (JavaOne 2...Nikita Lipsky
Java has been constantly criticized for poor performance ever since its inception, but not as much in recent years. Thanks to optimizing dynamic native code compilers, Java performance today is very close to the performance of low-level languages such as C/C++. Along with dynamic compilers, static compilers for Java have been evolving as well, so there is still no clear winner between these two approaches. It is not a surprise that an AOT compiler is finally going to appear in Java 9 via JEP-295. This session’s speaker would like to dispel common myths about the old dispute over whether dynamic or static compilation is better, show that both approaches have their strengths and weaknesses, and explain why the future is the hybrid approach.
Java 9 Modules: The Duke Yet Lives That OSGi Shall DeposeNikita Lipsky
Modules appear in Java 9 at last, but why? After all, OSGi has been around for more than 15 years and serves as the foundation of many desktop, server, and IoT applications. Its authors state that OSGi solves various dependency management problems in the most powerful way - at run time.
In this session, we will explore the problems that OSGi tries to solve, understand its approach, and identify its failures. Then we will figure out which of those problems the authors of Jigsaw ignored (and why), and which ones they solved (and how). Finally, we will talk about the challenges that Jigsaw brings with itself to the Java ecosystem and what we the developers have to do about them.
https://2017.javazone.no/program/83eb9ed50ba74946ad418a3abea0467a
JIT vs. AOT: Unity And Conflict of Dynamic and Static Compilers Nikita Lipsky
Java had been constantly criticized for poor performance ever since its inception, but not so much in recent years. Thanks to optimizing dynamic native code compilers, Java performance today is very close to the performance of low level languages such as C/C++, and is even better on some classes of applications. Along with dynamic compilers, static compilers for Java have been evolving as well, so there is still no clear winner among these two approaches. It should then come as no surprise that an AOT compiler is finally going to appear even in the HotSpot JVM and OpenJDK via JEP-295, which is officially included in Java 9.
Her, I would like to dispel common myths around the old dispute on whether dynamic or static compilation is better, show that both approaches have their strengths and weaknesses, and explain why the future is the hybrid approach.
Ahead-Of-Time Compilation of Java ApplicationsNikita Lipsky
Geekout 2016 presentation.
Ahead-of-time (AOT) native compilation has been available for .NET for quite some time, whereas Java SE, while being older than .NET, still does not have a standard AOT compiler. Some people ask why, some people think that it could only work for certain limited types of Java applications, some people think that it is not needed.
The truth, however, is that a Java AOT compiler has been available for over a decade, as part of a compliant Java SE implementation called Excelsior JET, and it proved to be useful for many organizations around the world. In this session, I would like to dispel the common myths about Java AOT compilation and show where it has advantages over JIT compilation from the technical point of view.
4. Никита Липский
• Более 20 лет профессиональной карьеры
• Инициатор проекта Excelsior JET
–работал над проектом более 16 лет
–как идейный вдохновитель
–как компиляторный инженер
–как руководитель
–и много в каких еще ролях
• Open source проекты WebFX и Java ReStart
–в свободное от работы время
• twitter: @pjBooms
4
5. Владимир Парфиненко
• Менее 20 лет профессиональной карьеры
• Один из разработчиков Excelsior JET
– Программирую компиляторы
• Активно учу студентов в НГУ
• twitter: @cypok
5
6. План доклада
• Java class file and bytecode
• Classloading engine
• Execution engine: interpretators, JIT, AOT
• Meta information access subsystem: reflection, indy, JNI
• Threading, exception handling, synchronization
• Memory management: heap, allocation, GC
• Manageability and Monitoring
6
8. Java class file
• 1 класс <–> 1 класс-файл
• Constant Pool
– числа, строки
– указатели на классы, методы, поля
• Описание класса
8
– имя
– модификаторы
– супер класс
– супер интерфейсы
– поля
– методы
– атрибуты
9. Java class file
• Поля, методы тоже имеют атрибуты (например, значения
константных полей)
• Главный атрибут метода – это его код: Java байт-код
9
11. Java bytecode
Инструкция берет свои операнды со стэка и кладет
результат на стэк. Пример:
11
0: iload 3 // загрузить на стэк переменную #3
2: bipush 5 // загрузить на стэк константу 5
4: iadd
// сложить два операнда со стэка и загрузить
// на стэк результат
5: istore 4 // снять значение со стэка в переменную #4
14. Программа для JVM
Любая программа исполняемая на JVM имеет:
• main класс
public static void main(String[] args)
• сlasspath – список директорий и архивов (jar файлов)
• В мире веб приложений программа для JVM – это веб сервер
– Tomcat, GlassFish и т.п.
14
15. Java Runtime
Для исполнения программы на JVM одной JVM не достаточно.
Нужен Java Runtime Environment:
• JVM
• Платформенные классы
– core классы (j.l.Object, j.l.String и т.д.)
– Java standard APIs (IO, NET, NIO, AWT/Swing и т.д)
• Реализация нативных методов платформенных классов (OS
specific)
• Вспомогательные файлы (описатели временных зон, медиа
ресурсы и т.п.)
15
18. Загрузка классов
• Где JVM берет классы для исполнения:
– Из Java Runtime (платформенные классы)
– Из classpath приложения
– Авто-сгенеренные на лету (Proxy, Reflection accessors, реализация
invoke dynamic)
– Предоставленные самим приложением
18
19. Загрузка классов
• Каждый класс грузится каким-то загрузчиком классов:
– Платформенные классы грузятся bootstrap загрузчиком
– Классы из classpath приложения – системным загрузчиком
(AppClassLoader)
– Классы приложения могут создавать свои загрузчики, которые
будут грузить классы
19
20. Загрузка классов
• Каждый класс грузится каким-то загрузчиком классов:
– Платформенные классы грузятся bootstrap загрузчиком
– Классы из classpath приложения – системным загрузчиком
(AppClassLoader)
– Классы приложения могут создавать свои загрузчики, которые
будут грузить классы
• Загрузчик классов образует уникальное пространство имен
классов
20
21. Старт JVM
• Грузится main класс системным загрузчиком (из classpath
приложения)
– Провоцирует загрузку части платформенных классов (core)
• Исполняется метод main(String[] args)
21
22. Процесс загрузки класса
(создание класса)
• Читается class file
– Проверяется корректность формата (может выбросить
ClassFormatError)
• Создается ран-тайм представление класса в выделенной
области памяти
– runtime constant pool in Method Area aka Meta Space aka
Permanent Generation
• Грузятся суперкласс, суперинтерфейсы
22
25. Верификация байт-кода
• Происходит с классом один раз
• Проверка корректности инструкций (корректности
переходов)
• Проверка выхода за пределы стэка операндов и локальных
переменных
• Проверка совместимости типов
25
26. Верификация байт-кода
• Верификация методом вывода типов (type inference
verification)
– Потоковый анализ: итеративное уточнение типовой информации
до достижения неподвижной точки
• Раздельная (split) верификация (type checking verification)
– Неподвижная точка для потокового анализа кодируется внутрь
байт-кода специальным атрибутом. Т.о. верификация происходит
за один проход
26
27. Разрешение символьных ссылок
Класс может иметь ссылки на другие классы и поля, методы
других классов
• Ленивое разрешение
– ссылки разрешаются при первом доступе
• Энергичное разрешение
– разрешаются все ссылки какие возможно
27
28. Инициализация класса
• Вызов статического инициализатора класса
• Случается при first use:
– new
– доступ до статического поля
– вызов статического метода
• Провоцирует инициализацию супер-класса и супер-
интерфейсов с default методами
28
30. Исполнение Java байт-кода
JVM может исполнять байт-код двумя способам:
• Интерпретировать
• Транслировать в машинный код, который будет
исполняться непосредственно на CPU
30
31. Интерпретатор
pc = 0;
do {
fetch opcode at pc;
if (operands) fetch operands;
execute the opcode;
calculate pc;
} while (there is more to do);
31
32. Компиляторы
• Неоптимизирующие
– “что вижу, то пою”
• Простые оптимизирующие (пример HotSpot Client)
– Простое внутреннее представление (IR)
– Простые оптимизации
– Pros: быстрая компиляция
• Сложные оптимизирующие (пример HotSpot Server)
– Сложный IR, более мощные оптимизации
– Pros: более оптимальный код
32
33. • Динамические (Just-In-Time – JIT).
–Трансляция в машинный код происходит во время
исполнения программы
• Статические (Ahead-Of-Time – AOT)
–Трансляция происходит до исполнения программы
33
Компиляторы
34. Динамические компиляторы (JIT)
• Работают одновременно с исполняемой программой
• Компилируют горячий код
• Горячий код вычисляется с помощью динамического
профилировщика
• Используют информацию времени
исполнения для оптимизаций
34
35. Статические компиляторы (AOT)
• Не ограничены в ресурсах для оптимизации программ
• Компилируют каждый метод программы применяя самые
агрессивные оптимизации
• На оптимизацию не тратятся ресурсы во время исполнения
программы (быстрее старт)
35
36. Статические компиляторы (AOT)
Интересный факт:
Во время работы статически скомпилированной Java
программы может не исполниться ни одного Java байт-
кода.
Вопрос: а где JVM?
36
38. Reflection
• Позволяет доступаться до классов, полей, методов по
имени из Java программы
• Реализуется в JVM через доступ в Meta space
• Ключевая возможность Java для многих популярных
фреймворков и реализаций языков на JVM
38
39. Method Handles and
invokedynamic (JSR-292, indy)
• Indy: программируемый вызов
– для эффективной реализации динамических языков на JVM
• MethodHandle – целевой объект вызова через
invokedynamic
– может быть доступом к полю, методу
– комбинацией других MethodHandle
– может использоваться отдельно от indy: Reflection 2.0
39
40. Java native interface (JNI)
• Связывает JVM c внешним миром (OS)
• Си интерфейс к JVM
– Не зависит от реализации JVM
– Используется для реализации native методов на языке С (или другом
системном языке)
– С помощью JNI написаны платформенно-зависимые реализации
Java SE API: IO, NET, AWT
• Реализуется в JVM как доступ к Meta space
40
42. java.lang.Thread
• Java поток мапируется на нативный поток в соотношение 1-1
• С потоком связана память используемая для локальных
переменных и стэка операндов методов (фреймов методов):
стэк (stack)
– Размер стэка – параметр JVM: -Xss
• Имеет информацию о стэке вызовов методов потока (stack
trace)
– В любой момент может о нем рассказать
42
43. Обработка исключений
Знание о стэке вызовов помогает в обработке исключений:
43
method 7
throw
method 3
catch
method 6
. . .
method 2
. . .
method 3
catch
method 2
. . .
PC
PC
exception caught
44. Потоки и Java Memory Model
44
// Thread 1:
Shared.data = getData();
Shared.ready = true;
// Thread 2:
while (!Shared.ready) {
// wait
}
receivedData = Shared.data;
45. Синхронизация
• Для безопасного доступа к разделяемой памяти между
потоками
• В наивной реализации используются средства ОС
– ОС монитор есть в каждом Java объекте как скрытое поле
• Оптимизирована когда конкуренция за ресурс происходит
много реже, чем вход в synchronized
46
47. Выделение памяти
• Реализация оператора new
• Объекты выделенные с помощью оператора new
располагаются в т.н. куче (Java heap)
• Организация Java heap JVM-cпецифична
• Разметка (layout) Java объекта тоже JVM специфична.
48
48. Java heap
Внутренняя топология Java кучи сильно зависит от алгоритма
GC. В разных реализациях может делиться на:
• Область молодого и старого поколения
• Разбиваться на блоки
• Большие объекты могут управляться особым образом
49
49. Аллокация объектов
• Должна быть быстрой
– JVM запрашивает у OC память не под один объект, а сразу на
много
– Аллокация методом продвижения границы
• Потоко-безопасной (thread-safe), но при этом
параллельной (не блокирующей)
– Thread local heaps: каждый поток “грызет” свой кусок памяти
50
50. Layout Java объекта
Не специфицируется JVM, но по факту требует:
• Java Object header
– Указатель на класс
– Монитор (lock)
– Identity hashcode
– Флаги для GC
• Поля
– Могут быть переупорядочены из соображений экономии
размера, выравнивания, особенностей целевой архитектуры
51
61. Не мусор 2
1. Объекты в статических полях классов
2. В локальных переменных
Доступных из фрейма метода (локальные переменные и
стэк операндов)
Какого метода?
62
63. Не мусор 2 возвращается
1. Объекты в статических полях классов
2. В локальных переменных
Доступных из фрейма метода фреймов методов
(локальные переменные и стэк операндов) стэка вызовов
всех Java потоков.
3. Объекты, на которые ссылается “не мусор”
64
64. Корневое множество объектов
(GC roots)
1. Объекты в статических полях классов
2. Объекты доступные со стэка Java потоков
3. Объекты из JNI ссылок в native методах
65
65. Не мусор 3
Не мусор aka живые объекты – это:
1. Объекты из корневого множества
2. Объекты, на которые ссылаются живые объекты
Все остальное – мусор.
66
66. Трассирующие сборщики
• Mark-and-sweep
– Помечает живые объекты (mark), “выметает” (удаляет) мусор
(sweep)
• Stop-and-copy
– Копирует живые объекты в специальное место (copy)
– Освободившиеся место (мусор и места где были живые объекты)
может использоваться для новой аллокации
67
67. Stop the World
• Живые объекты определены для определенного момента
исполнения программы
– При исполнении множество меняется
• Чтобы собрать мусор в общем случае нужно остановить
потоки, чтобы определить где мусор (STW пауза)
68
68. Stop the World
Одна из основных задач современных сборщиков мусора –
это уменьшение времени STW паузы. Методы уменьшения:
• Инкрементальный
– собирать не весь мусор в паузе
• Параллельный
– собирать мусор во многих потоках в паузе
• Одновременный (concurrent)
– собирать мусор одновременно с работой программы (не
останавливая потоки)
69
69. Поколенная сборка мусора
Гипотеза о поколениях: большинство объектов умирает
молодыми
Поколенный (generational) GC:
• частный вид инкрементального
• во время т.н. малых сборок удаляем мусор среди молодых
объектов
• объекты, пережившие одну или несколько сборок,
перемещаем в область старого поколения
70
70. GC: advanced topics
• Финализаторы и слабые ссылки
• GC (safe) points
• Точные vs. консервативные GC
• Способы борьбы с фрагментацией кучи
• Real time GC
• Class GC
• Базовые алгоритмы GC
• Конкретные реализации:
– В одной HotSpot JVM пять(!) разных GC
71
72. Manageability & Monitoring
JVM знает про вашу программу всё:
• про все загруженные классы
• про все живые объекты
• про все потоки
• про все исполняемые методы потоков
Почему бы не поделиться с вами этой информацией во время
исполнения?
73
75. Реализации JVM
Совместимые с Java SE спецификацией:
• Oracle HotSpot
• Oracle JRockit (RIP)
• IBM J9
• Excelsior JET
• Azul (HotSpot based, но свой GC)
• SAP, RedHat (свои порты HotSpot на разные платформы)
76
76. Заключение
• JVM сложная, но жутко интересная штука
• Java – золотая середина современных IT технологий:
– Подробно специфицирована
– Эффективность помноженная на гибкость:
• типизированность Java байт-кода позволяет его транслировать в машинный код
очень эффективно
• при этом reflection, indy, динамическая загрузка придает платформе высокую
гибкость и динамичность
• Все реализации JVM в постоянном развитии на острие науки и
технологий
77
77. Вопросы и ответы
Никита Липский,
Excelsior
nlipsky@excelsior-usa.com
twitter: @pjBooms
Владимир Парфиненко,
Excelsior
vparfinenko@excelsior-usa.com
twitter: @cypok
78