С 10 февраля стартует курс "Oracle Database 19c: Administration Workshop", преподаватель Надежда Дубижанская.
- Учитель: Светлана Владимировна Ткаченко
Администрирование PostgreSQL 16. Настройка и мониторинг
Продолжительность
4 дня /32 академических часов
Предварительные знания:
- владение ОС Unix,
- знакомство с PostgreSQL в объеме курса DBA1.
Какие навыки будут получены:
- настройка различных конфигурационных параметров исходя из понимания внутренней организации сервера,
- мониторинг сервера с использованием обратной связи для итеративной настройки параметров,
- настройки, связанные с локализацией,
- управление расширениями и знакомство с процедурой обновления сервера.
Отличия от предыдущей версии курса:
- учтены нововведения версий PostgreSQL 14, 15 и 16;
- переработан материал ряда тем.
Программа
Введение
Многоверсионность
1. Изоляция
2. Страницы и версии строк
3. Снимки данных
4. HOT-обновления
5. Очистка
6. Автоочистка
7. Заморозка
Журналирование
8. Буферный кеш
9. Журнал предзаписи
10. Контрольная точка
11. Настройка журнала
Блокировки
12. Блокировки объектов
13. Блокировки строк
14. Блокировки в оперативной памяти
Задачи администрирования
15. Управление расширениями
16. Локализация
17. Обновление сервера
- Учитель: Светлана Владимировна Ткаченко
PostgreSQL 16. Оптимизация запросов
Продолжительность
3 дня /24 академических часа
Целью обучения является приобретение теоретических знаний и практических навыков, связанных с выполнением задач по администрированию и оптимизации запросов в PostgreSQL.
Отличия от предыдущей версии курса:
- учтены нововведения версий PostgreSQL 14, 15 и 16;
- длительность курса увеличена до трех дней, а темы разбиты по модулям;
- в тему «Методы доступа» вошла информация из старых тем «Последовательный доступ», «Индексный доступ» и «Сканирование по битовой карте»;
- в новую тему «Параллельный доступ» перенесена вся информация про параллельные возможности методов доступа;
- в новой теме «Типы индексов» рассказано про хеш-индекс, GiST, SP-GiST, GIN и BRIN;
- новый модуль «Сортировка и группировка» детально рассказывает о сортировке и группировке;
- старая тема «Статистика» разделена на две, которые выделены в новый модуль «Статистика»;
- новый модуль «Оптимизация запросов» состоит из четырех тем, две из которых («Материализация» и «Функции») новые, а бывшая «Приемы оптимизации» переименована в «Подходы к настройке» и существенно переработана.
После обучения на курсе Вы научитесь:
- детально понимать механизмы планирования и выполнения запросов;
- настраивать параметры экземпляра, связанные с производительностью;
- выполнять поиск проблемных запросов и их оптимизацию.
Необходимые предварительные знания:
- знакомство с ОС Unix,
- уверенное владение SQL (знакомство с PL/pgSQL не обязательно, но полезно),
- PostgreSQL в объеме курса PgDBA1_v16 или PgBas_v16.
Введение
Демонстрационная база данных
1. «Авиаперевозки»
Выполнение запросов
2. Планирование и выполнение
Доступ к данным
3. Методы доступа
4. Параллельный доступ
5. Типы индексов
Сортировка и группировка
6. Сортировка
7. Группировка
Способы соединения
8. Соединение вложенным циклом
9. Соединение хешированием
10. Соединение слиянием
Статистика
11. Базовая статистика
12. Расширенная статистика
Оптимизация запросов
13. Профилирование
14. Материализация
15. Функции
16. Подходы к настройке учебные материал
- Учитель: Светлана Владимировна Ткаченко
PostgreSQL 13. Оптимизация запросов
Продолжительность
2 дня /16 академических часов
Предварительные знания:
- знакомство с ОС Unix,
- уверенное владение SQL (знакомство с PL/pgSQL не обязательно, но полезно),
- PostgreSQL в объеме курса "Администрирование PostgreSQL 13. Базовый курс" или "Разработка серверной части приложений PostgreSQL 12. Базовый курс".
Какие навыки будут получены:
- детальное понимание механизмов планирования и выполнения запросов,
- настройка параметров экземпляра, связанных с производительностью,
- поиск проблемных запросов и их оптимизация.
Отличия от предыдущей версии курса:
- учтены нововведения версий PostgreSQL 11, 12 и 13,
- увеличен объем материала и демонстраций.
Программа
1. Введение
2. Демобаза «Авиаперевозки»
3. Выполнение запросов
4. Последовательный доступ
5. Индексный доступ
6. Сканирование по битовой карте
7. Соединение вложенным циклом
8. Соединение хешированием
9. Соединение слиянием
10.Статистика
11. Профилирование
12. Приемы оптимизации
- Учитель: Светлана Владимировна Ткаченко
Администрирование PostgreSQL 13. Резервное копирование и репликация
Продолжительность
2 дня /16 академических часов
Предварительные знания:
- основы SQL,
- владение ОС Unix,
- знакомство с архитектурой PostgreSQL.
Какие навыки будут получены:
- выполнение резервного копирования различными способами,
- настройка серверов для физической и логической репликации,
- знакомство со сценариями использования репликации,
- представление о способах построения кластеров.
Программа
Введение
Резервное копирование
Логическое резервирование. Базовая резервная копия. Архив журнала предзаписи.
Репликация
Физическая репликация. Переключение на реплику. Логическая репликация. Сценарии использования.
Кластерные технологии
Обзор.
- Учитель: Светлана Владимировна Ткаченко
Администрирование PostgreSQL 13. Настройка и мониторинг
Продолжительность
4 дня /32 академических часов
Предварительные знания:
- владение ОС Unix,
- знакомство с PostgreSQL в объеме курса "Администрирование PostgreSQL 13. Базовый курс"
Какие навыки будут получены:
- настройка различных конфигурационных параметров исходя из понимания внутренней организации сервера,
- мониторинг сервера с использованием обратной связи для итеративной настройки параметров,
- настройки, связанные с локализацией,
- управление расширениями и знакомство с процедурой обновления сервера.
Программа
Введение
Многоверсионность
Изоляция. Страницы и версии строк. Снимки данных. HOT-обновления. Очистка. Автоочистка. Заморозка.
Журналирование
Буферный кеш. Журнал предзаписи. Контрольная точка. Настройка журнала.
Блокировки
Блокировки объектов. Блокировки строк. Блокировки в оперативной памяти.
Задачи администрирования
Управление расширениями. Локализация. Обновление сервера.
- Учитель: Светлана Владимировна Ткаченко
Администрирование PostgreSQL 16. Базовый курс
Продолжительность
3 дня /24 академических часа
Предварительные знания:
- минимальные сведения о базах данных и SQL,
- знакомство с Unix.
Какие навыки будут получены:
- общие сведения об архитектуре PostgreSQL,
- установка, базовая настройка, управление сервером,
- организация данных на логическом и физическом уровнях,
- базовые задачи администрирования,
- управление пользователями и доступом,
- представление о резервном копировании и репликации.
Программа
Введение
Базовый инструментарий
Установка и управление сервером. Использование psql. Конфигурирование.
Архитектура
Общее устройство PostgreSQL. Изоляция и многоверсионность. Очистка. Буферный кеш и журнал.
Организация данных
Базы данных и схемы. Системный каталог. Табличные пространства. Низкий уровень.
Задачи администрирования
Мониторинг.
Управление доступом
Обзор.
Резервное копирование
Обзор.
Репликация
Обзор физической репликации. Обзор логической репликации.
- Учитель: Светлана Владимировна Ткаченко
Разработка серверной части приложений PostgreSQL 16. Расширенный курс
Продолжительность
4 дня /32 академических часа
Какие навыки будут получены:
· Понимание внутренней организации сервера
· Полное использование возможностей, предоставляемых PostgreSQL для реализации логики приложения
· Расширение возможностей СУБД для решения специальных задач
Необходимая предварительная подготовка:
- Общие сведения об архитектуре PostgreSQL
- Курс "Разработка серверной части приложений PostgreSQL 9.6. Базовый курс"
- Минимальные сведения о работе в Unix
Аудитория курса:
· Разработчики БД
Архитектура
1. Изоляция
2. Внутреннее устройство
3. Очистка
4. Журналирование
5. Блокировки
6. Приложение 2.0
Расширяемость
7. Пул соединений
8. Типы для больших значений
9. Пользовательские типы данных
10. Классы операторов
11. Слабоструктурированные данные
12. Фоновые процессы
13. Асинхронная обработка
14. Создание расширений
15. Языки программирования
16. Агрегатные и оконные функции
17. Обзор полнотекстового поиска
Репликация
18. Обзор физической репликации
19. Обзор логической репликации
Внешние данные
20. Обзор
- Учитель: Светлана Владимировна Ткаченко
Разработка серверной части приложений PostgreSQL 16. Базовый курс
Продолжительность
4 дня /32 академических часа
Какие навыки будут получены:
· Общие сведения об архитектуре PostgreSQL
· Использование основных объектов БД: таблиц, индексов, представлений
· Программирование на стороне сервера на языках SQL и PL/pgSQL
· Использование основных типов данных, включая записи и массивы
· Организация взаимодействия с клиентской частью приложения
Предварительные знания:
· Основы SQL
· Опыт работы с каким-нибудь процедурным языком программирования
· Минимальные сведения о работе в Unix
Все материалы по курсу предоставляются на русском языке.
По окончании курса слушателю выдается сертификат вендора Postgres Professional.
Программа
Введение
Базовый инструментарий
Установка и управление, psql
Архитектура
Общее устройство PostgreSQL. Изоляция и многоверсионность. Буферный кеш и журнал.
Организация данных
Логическая структура. Физическая структура.
Приложение «Книжный магазин»
Схема данных приложения.
SQL
Функции. Процедуры. Составные типы.
PL/pgSQL
Обзор и конструкции языка. Выполнение запросов. Курсоры. Динамические команды. Массивы. Обработка ошибок. Триггеры. Отладка.
Разграничение доступа
Обзор разграничения доступа.
Резервное копирование
Логическое резервирование.
- Учитель: Светлана Владимировна Ткаченко
Возможности Postgres Pro Enterprise 13
Продолжительность
3 дня /24 академических часа
Предварительные знания:
- знакомство с ОС Unix;
- уверенное владение SQL (знакомство с PL/pgSQL не обязательно, но полезно);
- PostgreSQL в объеме курсов DBA1, DBA2, DBA3 и QPT, либо DEV1, DEV2 и QPT.
Какие навыки будут получены:
- использование дополнительных возможностей Postgres Pro Enterprise.
Программа
- Введение
- Редакции и возможности
- Установка, настройка, обновление
- Управление транзакциями
- CFS — сжатая файловая система
- Оптимизация запросов
- Адаптивная оптимизация
- Анализ производительности
- Отчеты по нагрузке pgpro_pwr
- Профили пользователей
- Аудит
- Планировщик заданий
- Резервное копирование — 1
- Резервное копирование — 2
- Резервное копирование — 3
Синхронный кластер multimaster
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Татьяна Захарова
- Учитель: Светлана Владимировна Ткаченко
Oracle Database Security: Preventive Controls
Продолжительность
5 дней/40 академических часов
Введение
Задачи курса. Связанные курсы. Расписание курса и приложения.
Использование базовой и строгой аутентификации пользователей
Базовая аутентификация. Строгая (Strong) аутентификация. Защита паролей Database Link. Безопасность ролей.
Конфигурирование аутентификации глобального пользователя
Об Enterprise User Management (EUS). Интеграция EUS и LDAP.
Использование Proxy аутентификации
Задачи безопасности для трехуровневых вычислений. Решения Proxy аутентификации.
Encryption Concepts and Solutions
Концепции. Решения. Oracle решения.
Использование Built-In Encryption in Applications
Использование.
Использование Transparent Data Encryption (TDE)
Обзор. Мастер-ключи и хранилище ключей. Hardware Keystore. Шифрование.
Безопасность хранения в базе данных
RMAN и OSB резервные копирования. Моды шифрования RMAN. Data Pump Export и Import зашифрованных данных.
Введение в Oracle Key Vault
Что такое Oracle Key Vault? Использование Oracle Key Vault.
Установка Oracle Key Vault
Установка. Конечные точки.
Использование Oracle Key Vault
Обзор or предварительных знаний. Сравнение Oracle Wallets и OKV Virtual Wallets.
Администрирование Oracle Key Vault
Подробно о ролях. Общие рекомендации относительно Oracle Key Vault.
Автоматическое определение чувствительных данных
Обзор. Моделирование данных приложения. Управление моделями данных приложения.
Обзор Oracle Data Masking and Subsetting
Обзор.
Маскирование чувствительных данных в Non-Production окружениях
Data Masking Format Library. Data Masking преобразования.
Subsetting данных
Определения Data Subsetting.
Управление Data Masking and Subsetting
Администрирование Data Masking and Subsetting. Гетерогенные masking and subsetting. Общие рекомендации.
Oracle Advanced Security - Data Redaction
Необходимость редактирования или динамической маскировки данных. Реализация Data Redaction. Указания по использованию Data Redaction.
Oracle Transparent Sensitive Data Protection (TSDP)
Реализация TSDP.
Обзор Oracle Database Vault
Понимание Database Vault Controls. Что такое Realm? Что такое Rule Set? Что такое Command Rule? Что такое Secure Application Role? Что такое Factors and Identities? Что такое Component Relationships and Evaluation? Database Vault Effects and Example. Обзор программного обеспечения: API, представления и интеграция с другими продуктами Oracle.
Конфигурирование Database Vault
Конфигурирование Database Vault. Database Vault роли и схема. Чего ожидать после включения Database Vault. Обеспечение безопасности данных в Multitenant окружениях. Конфигурирование Database Vault пользователей в Cloud Control 12c.
Анализ привилегий
Анализ привилегий – обзор и возможности. Как это работает? Виды анализа, средства и предварительная подготовка. Управление политиками анализа привилегий. Use Cases.
- Учитель: Надежда Ивановна Дубижанская
Oracle Big Data Fundamentals
Продолжительность
5 дней/40 академических часов
Описание:
Этот курс дает базовые навыки работы с Oracle Big Data Solution. При помощи практики и интерактивных инструкций вы нарабатываете навыки работы с Большими данными - захвата, организации, анализа и принятия ключевых решений.
Все материалы по курсу предоставляются вендором на английском языке.
Необходимые требования:
· Технический английский язык
Во время прохождения курса слушатели будут изучать:
· Понимание Больших Данных и интегрированного решения Oracle's Big Data Solution и его компонентов
· Использование Hadoop и его компонентов
· Захват сырых данных при помощи Oracle NoSQL базы данных и распределенной файловой системы Hadoop
· Организация собранных данных при помощи Hive и Oracle Big Data коннекторов
· Анализ Больших Данных при помощи инструментария Oracle Analytics
· Получение бизнес-решения при помощи Oracle BI tools
· Обсуждение сценариев успешного применения Oracle Big Data
Польза:
Использование Больших данных для переработки избыточных ресурсов позволит использовать новые технологии, сохранить клиентов и ускорить процесс обработки данных.
Если Вы - разработчик, занимающийся интеграцией данных, вы можете использовать для ODI Application Adapter для for Hadoop для интеграции Больших Данных. Изучение данного курса поможет познакомиться с широким диапазоном опций, доступных в Oracle Analytics, позволяя выбрать соответствующий вашим требованиям аналитический инструментарий. Следовательно, знакомство с данным курсом даст вам возможность узнать об интеграционных возможностях Oracle Big Data. Кроме того, будет возможность познакомиться со сценариями лучших решений при помощи Oracle Big Data.
Результат, основанный на опыте
Этот тренинг позволит вам получить навыки работы с Большими Данными, используя Oracle Big Data VM. Кроме прямых инструкций, инструктор поможет вам применить ваши знания к практическим задачам, которые могут использоваться в вашей ежедневной работе, при помощи примеров, сделанных вручную, что поможет по-новому осмыслить новые концепции.
Цель курса:
· Определить Big Data
· Понять важность технологий Big Data
· Получить представление о деталях текущей реализации - понимание решения Oracle Big Data Solution
· Обзор интеграционных возможностей инженерных систем Oracle. Использование Big Data Appliance (BDA) и его аппаратных и программных компонентов
· Дистрибутив Cloudera для Hadoop
· Определение Экосистемы Hadoop
· 2 способа захвата Больших Данных и их применение
· Изучение использования HDFS для захвата неструктурированных данных
· Понимание Oracle NoSQL базы данных
· Определение Hive, его создание и использование
Аудитория курса:
· Администраторы баз данных
· Разработчики приложений
Программа
Введение
Обзор технологий Больших Данных. Четыре характеристики Больших Данных и бизнес-значение. Примеры реализации.
Понимание интеграционного решения Oracle для Больших Данных
Понимание фаз Больших Данных. Интеграционный процесс Больших Данных.
Использование Oracle Big Data Appliance
Обзор BDA. Сопровождение аппаратных компонентов. Обзор of the Software Components. Сетевые механизмы. Конфигурационные механизмы. Инсталяционные указания. Ограничения в использовании.
Опции захвата данных в BDA
Обзор Oracle NoSQL базы данных. Обзор структуры Hadoop. Понимание HDFS. NoSQL против HDFS. Сценарии использования в реальном времени.
Использование распределенной файловой системы Hadoop (HDFS)
Определение HDFS. Компоненты. Архитектура. Список достоинств. Запуск тестового приложения для добавления лог-файлов в HDFS.
Использование Flume in HDFS
Определение Flume.
Понимание потоков данных во Flume
Конфигурация Flume. Преимущества использования Flume. Запуск тестового приложения.
Использование Oracle NoSQL Базы Данных
Определение Oracle NoSQL базы данных. Компоненты. Архитектура. Определение KVStore и KVLite. Список достоинств.
Использование Hive
Обзор Hive. Вызов Hive. Создание базы данных Hive и таблиц. Работа с данными в Hive. Создание секционированной таблицы для анализа лог-файлов.
Использование Oracle Big Data Коннекторов
Введение в Oracle Big Data коннекторы. Соединение Oracle Exadata с BDA. Процесс MapReduce. Пример решения проблемы с подсчетом слов в файле при помощи MapReduce.
Использование Oracle Loader для Hadoop
Архитектура OLH. Установка OLH. Моды OLH. Загрузка из различных входных источников - различные форматы OLH. Балансировка нагрузки при загрузке в секционированные таблицы. Пример загрузки данных при помощи OLH.
Использование Oracle Sql Коннектора для HDFS
Установка OSCH в кластер Hadoop и на машину с базой данных Oracle. Роль внешних таблиц в OSCH и их создание. Сравнение производительности коннекторов. Загрузка данных в базу при помощи OSCH. Пример доступа к данным из HDFS при помощи внешних таблиц.
Использование Адаптера ODI для Hadoop (ODIAAH)
Обзор of ODI. Архитектура ODI и агенты. Модули знаний ODI. Установка топологии. Reverse Engineering таблиц Hive. Пример трансформации данных внутри Hadoop с помощью ODIAAH.
Использование Oracle R Коннектора для Hadoop (ORCH)
Пример доступа к данным из HDFS при помощи внешних таблиц. Список пакетов ORCH. Архитектурные компоненты. Установление соединения между HDFS и базой данных Oracle. пример R программы с использованием ORCH.
Использование In-Database Analytics
Обзор Oracle In-Database MapReduce. Обзор Oracle In-Database Analytics.
Использование Oracle Big Data Iинтеграционных опций
Архитектура и компоненты Oracle Big Data Solution. Соединение Oracle exalytics с BDA. Интеграция результатов BDA с OBIEE.
Изучение примеров использования Big Data
Использование Big Data в промышленности. Финансовые сервисы. Страховые сервисы. Сектор обслуживания. Телекоммуникации. Розничная торговля.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Татьяна Захарова
Using Oracle Enterprise Manager Cloud Control 13c
Продолжительность
3 дня/24 академических часа
Слушатели изучат
В результате прохождения тренинга “Использование Oracle Enterprise Manager Cloud Control 13c» слушатели изучат принципы использования продукта Enterprise Manager Cloud Control в целях мониторинга и управления своим корпоративным окружением; узнают, как использовать фреймворк Управления Облаком, управлять целями и шаблонами индивидуально или в группах, производить мониторинг
соответствия целям, использовать систему заданий для автоматизации часто выполняемых задач, просматривать и управлять конфигурациями, создавать и настраивать отчеты.
Все материалы по курсу предоставляются вендором на английском языке.
Необходимые требования:
· Технический английский язык
Цели курса:
· Контроль общего состояния системы Управления Облаком.
· Организация целевых объектов и групп.
· Настройка мониторинга целей, оповещений и уведомлений.
· Автоматизации часто выполняемых задач; использование системы заданий Job System для создания и управления заданиями.
· Управление конфигурациями.
Управление патчами.
· Использование политики соответствия и оценка нарушения политики.
· Использование BI Publisher для создания отчетов.
Преимущества курса
В результате прохождения курса вы будете обладать базовыми знаниями продукта Oracle Enterprise Manager Cloud Control 13.1, а также навыками Управления Облаком: сюда можно отнести такие задачи, как объединение целевых объектов в группы, настройка привилегий администратора, осуществление мониторинга целевых объектов, мониторинг Систем и Сервисов, использование системы заданий Job System, просмотр и сравнение конфигураций систем, управлению политикой соответствия и подготовка отчетов с помощью BI Publisher.
Практические задания
Выполняя практические задания, вы узнаете, как использовать функции Управления Облаком для управления, мониторинга и администрирования вашего дата-центра.
Требования к слушателям
· Прослушанный курс Oracle Enterprise Manager Cloud Control 13c Install and Upgrade
Необходимая предварительная подготовка:
· Опыт работы с Fusion Middleware Control
· Опыт работы с облачными базами данных
· Хорошие знания Linux
Аудитория курса
· администраторы баз данных
· системные администраторы
· разработчики
· системные архитекторы
Программа
Введение
Основные проблемы администрирования. Что такое Enterprise Manager Cloud Control? Встроенные и интегрируемые возможности управления. Контекст этого курса. Расписание курса. Настройка рабочего пространства.
Основные понятия Enterprise Manager
Обзор архитектуры Oracle Enterprise Manager. Высокоуровневая безопасность. Управление платформой Cloud Control. Контроль и техническое обслуживание. Резервное копирование и восстановление: репозиторий, OMS и OMA, библиотеки. Просмотр файлов логов и трейсов.
Настройка целевых объектов
Обзор целевых объектов. Иерархия администрирования. Группы. Параметры целевых объектов.
Роли и привилегии
Роли. Привилегии. Кто может определять роли и привилегии. Использование ролей и привилегий.
Стандарты мониторинга
Определение стандартов мониторинга. Настройка и использование метрик. Использование коллекций шаблонов мониторинга.
Управление событиями и инцидентами
Настройка метрик. Определение и управление инцидентами. Различия между инцидентами и проблемами. Мониторинг. Использование наборов правил. Определение приоритета правил и уведомлений. Корректирующие действия. Дашборды инцидентов.
Использование уведомлений, событий и блэкаутов
Преимущества и определение блэкаутов. Мониторинг. Получение оповещений и уведомлений.
Управление Соответствием Требованиям (Compliance Management)
Compliance Management. Определение управления соответствием требованиям: рамки, стандарты и правила. Описание предопределенных функциональных возможностей. Целевые показатели стандартам соответствия. Просмотр результатов: оценка и важность. Стандарты Oracle® Enterprise Manager Cloud Control Oracle Database.
Создание и использование отчетов EM с помощью BI Publisher
Information Publisher vs BIP. Введение в BIP и основы конфигурации. Использование отчетов BIP, предоставляемых Oracle. Отчетность по целевым объектам. Создание отчетов. Шедулеры, сохранение и отправка отчетов по электронной почте. Публикация отчетов Enterprise Manager.
Использование системы заданий Job System
Ключевые понятия и задачи: что нового в EM 13c. Понимание привилегий задач. Отличия предопределенных заданий. Создание и управление задачами разной сложности. Создание заданий типа Multi-Task. Использование библиотеки заданий. Активация уведомлений задач. Просмотр активности задач.
Управление системами и сервисами
Процессы систем и сервисов. Определение и администрирование систем. Просмотр топологии систем. Определение и создание сервисов, типов сервисов. Определение и мониторинг активности сервиса. Обсуждение использования маяков. Определение и мониторинг уровней сервисов. Определение правил.
Патчирование
Управление жизненным циклом программного обеспечения. Патчирование. Обзор библиотеки Deployment Procedure Manager. Развертывание процедур и их использование. Обновление ПО.
Управление Конфигурациями
Что такое управление конфигурацией? Просмотр конфигураций. Сравнение конфигураций. Поиск конфигурации. Топология конфигурации.
- Учитель: Надежда Ивановна Дубижанская
Oracle Enterprise Manager Cloud Control 13c: Install & Upgrade
Продолжительность
2 дня/16 академических часов
Описание
В данном курсе слушатели узнают об архитектуре Oracle Enterprise Manager Cloud Control 13c, настройках реализации и осуществлении стандартной 1-серверной инсталляции. В курсе также дается обзор имеющихся путей апгрейда с предыдущих версий и выполнении 1-системного апгрейда из Enterprise Manager Cloud Control 12c 12.1.0.5.
Все материалы по курсу предоставляются вендором на английском языке.
Необходимые требования:
· Технический английский язык
Слушатели обучаются:
· Осуществлять инсталляцию Oracle Enterprise Manager Cloud Control 13c.
· Планировать и выполнять 1-системный апгрейд из Oracle Enterprise Manager Cloud Control 12c.
Достоинства курса
Достоинства данного 2-дневного семинара в том, что в нем дается обзор архитектуры Oracle Enterprise Manager Cloud Control 13c. Кроме того, слушатели приобретают практический опыт по сценариям инсталляции и апгрейда.
Необходимая предварительная подготовка
· Знакомство с окружением командной строки; Linux, Unix предпочтительны.
Цель курса:
· Выполнение 1-серверной инсталляции
· Описание и выполнение заданий предварительной настройки
· Использование функциональности Agent Push для обнаружения хоста
· Описание модели безопасности BI Publisher и связи BI Publisher с Oracle Enterprise Manager Cloud Control 13c
· Реализация модели безопасности BI Publisher
· Описание процесса и соображения по поводу планирования реализации Enterprise Manager Cloud Control 13c
· Использование Gold Agent Images для добавления хоста в Cloud Control
· Описание имеющихся путей апгрейда
· Планирование 1-системного апгрейда с более ранних версий Oracle Enterprise Manager Cloud Control
· Выполнение 1-системного апгрейда с более ранних версий Oracle Enterprise Manager Cloud Control
· Описание сценария 1- системного апгрейда
· Описание архитектуры Oracle Enterprise Manager Cloud Control 13c
Аудитория курса:
· Администраторы баз данных
· Консультанты по продажам
· Инженеры поддержки
· Технические администраторы
· Технические консультанты
Введение
Что такое Enterprise Manager Cloud Control 13c и зачем он нужен? Высокоуровневый обзор Enterprise Manager Cloud Control 13c. Обзор Enterprise Manager Cloud Control 13c UI. Настройка Oracle VirtualBox в классе.
Настройки архитектуры и реализации
Изучение компонент Cloud Control. Совместимость и различие версий. Установка агента. Топологии развертывания. Односерверный процесс инсталляции. Initial Setup Console. BIP Security Model.
Апгрейд путей
Апгрейд карты путей. Утилиты апгрейда 12c до 13c. 1-системный процесс апгрейда - 12c апгрейд.
Реализация планирования
Описание жизненного цикла реализации Enterprise Manager. Планирование реализации Cloud Control. Управление расширением инфраструктуры. Сайт Enterprise Manager. Задание размера репозитория. Реализация жизненного цикла и безопасности OMR. Вопросы высокой доступности. Образцы дизайна высокой доступности.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Александр Самсонов
Oracle Database 19c: PL/SQL Workshop
Продолжительность
5 дней/40 академических часов
Это - полный курс по PL/SQL, включающий введение в программирование и управление кодом на PL/SQL.
Все материалы по курсу предоставляются вендором на английском языке.
Необходимые требования:
· Технический английский язык
Преимущества для вас:
· Получение полного обзора языка PL/SQL
· Узнайте, как объявлять переменные
· Как записать исполнимые операторы
· Узнайте, как использовать операторы SQL в программировании на PL/SQL
Программа
1. Введение
2. Введение в PL/SQL
3. Объявление переменных PL/SQL
4. Написание исполняемых инструкций
5. Использование операторов SQL в блоке PL/SQL
6. Написание управляющих структур
7. Работа с составными типами данных
8. Использование явных курсоров
9. Обработка исключений
10. Введение в хранимые процедуры и функции
11. Создание процедур
12. Создание функций
13. Отладка подпрограмм
14. Создание пакетов
15. Работа с пакетами
16. Использование стандартных пакетов Oracle при разработке приложений
17. Использование динамического SQL
18. Создание триггеров
19. Создание триггеров вида Compound, DDL и Event в базе данных
20. Рекомендуемые конструкции для кода PL/SQL
21. Настройка компилятора PL/SQL
22. Управление зависимостями
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Александр Самсонов
- Учитель: Светлана Владимировна Ткаченко
Oracle Database 19c: SQL Workshop
Продолжительность
5 дней/40 академических часов
Курс Oracle Database 19c: SQL Workshop предлагает студентам введение в технологию баз данных Oracle Database 19c. В этом курсе студенты изучают понятие реляционной базы данных и мощный язык программирования SQL. Этот курс предоставляет необходимые навыки SQL, которые позволяют разработчикам писать запросы к одной и нескольким таблицам, манипулировать данными в таблицах и создавать объекты базы данных.
Все материалы по курсу предоставляются вендором на английском языке.
Необходимые требования:
· Технический английский язык
Программа
1. Введение.
2. Извлечение данных с помощью инструкции SQL SELECT.
3. Ограничение и сортировка данных.
4. Использование однострочных функций для настройки вывода.
5. Использование функций преобразования и условных выражений.
6. Представления данных на агрегированных данных с использованием групповых функций.
7. Отображение данных из нескольких таблиц использование соединений.
8. Использование подзапросов для внутри запросов.
9. Использование операторов работы с множествами.
10. Управление таблицами с помощью операторов DML в Oracle.
11. Введение в язык определения данных (DDL) в Oracle.
12. Введение в словарь данных.
13. Создание последовательностей, синонимов и индексов.
14. Создание представлений.
15. Управление объектами схемы.
16. Извлечение данных с помощью подзапросов.
17. Манипулирование данными с помощью подзапросов.
18. Контроль доступа пользователей.
19. Манипулирование данными с помощью расширенных запросов.
20. Управление данными в различных часовых поясах.
21. Заключение.
- Учитель: Юрий Юрьевич Пономарев
Oracle BI Publisher 12c R1: Fundamentals
Курс Oracle BI Publisher 12c поможет вам понять основы того, как наилучшим образом использовать это отчетное решение. Благодаря обучению в классе или живому виртуальному классу вы узнаете все тонкости использования этого решения.
Слушатели будут изучать:
· Создание моделей данных с помощью редактора моделей данных.
· Создание отчетов BI Publisher на основе моделей данных.
· Создание макетов отчетов с помощью редактора макетов (онлайн).
· Создание отчетов на основе источников данных OBI EE.
· Как опубликовать отчеты на OBI EE Dashboards.
· Запуск отчетов по расписанию и как разрезать отчет по тегам XML.
· Cоздание отчета
Кроме того, вы узнаете, как создавать макеты для отчетов, а затем отправить сформированные отчеты на широкий диапазон принимающих устройств (принтеры, факсы, электронная почта и хранилища документов через FTP или WebDav). Разметка отчетов Oracle BI Publisher также может быть сделана с помощью знакомых всем инструментов Microsoft Office - Microsoft Word и Excel.
Формирование по расписанию и разрезание отчета Oracle BI Publisher 12c предоставляет наилучшие возможности для работы по расписанию и разрезания отчетов. Изучив этот курс, вы узнаете, как можно планировать и управлять запланированными заданиями на формирование отчетов, а также разрезать отчеты и рассылать части в виде различных форматов и на различные устройства.
- Учитель: Юрий Юрьевич Пономарев
Oracle BI 12c: Build Repositories
Продолжительность
5 дней /40 академических часов
Данный курс покрывает вопросы проектирования многомерных моделей, предназначенных для выполнения задач бизнес-анализа, на основе Oracle BI EE 12c.
Прослушав данный курс, вы научитесь строить простой репозиторий, импортировать схемы данных, проектировать логические бизнес-модели и предоставлять их пользователям в пользовательском интерфейсе Oracle BI, создавать физические и логические соединения, простые измерения и вычисления.
Вы получите возможность расширить первоначальный репозиторий и модель данных более сложными бизнес-требованиями, включающими иерархии логических измерений, множественные источники логических таблиц, агрегатные таблицы, секционирование и данные временных рядов.
Кроме того, вы изучите, как осуществлять валидацию путем создания и выполнения анализа и проверять результаты запросов с использованием журнала запросов.
В курсе также рассматриваются вопросы администрирования, такие как настройка безопасности сервера Oracle BI и управления кэшем, настройка многопользовательской среды разработки, использование различных утилит администрирования для управления репозиторием и его сопровождения. Наконец, рассматриваются более сложные вопросы, такие как неявные столбцы фактов, таблицы пересечений, использование трассировки, слияние наборов изменений и управление экземплярами служб.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Юрий Юрьевич Пономарев
Oracle BI 12c: Create Analyses and Dashboards
Продолжительность
5 дней /40 академических часов
Описание:
В данном курсе Oracle BI 12c: Create Analyses and Dashboards course для релиза 12.2.1 даются пошаговые инструкции по созданию отчетов и информационных панелей, составляющих приложения Business Intelligence. В начале курса вы настраиваете базовые аналитические отчеты для их включения в информационные панели, затем отчеты усложняются.
Слушатели научатся:
· Создавать отчеты и информационные панели.
· Создавать и использовать представления и графики в отчетах.
· Формировать KPI и системы показателей и работать с ними.
· Создавать и изменять Информационные панели Бизнес Аналитики Oracle.
· Использовать мобильное решение бизнес аналитики Oracle Business Intelligence Mobile для получения доступа к контенту Бизнес Аналитики.
· Создавать мобильные приложения при помощи Oracle Business Intelligence Mobile App Designer.
· Интегрировать контент бизнес аналитики в офисные MS Office приложения, используя решение Oracle Hyperion Smart View for Office.
· Администрировать объекты в Каталоге презентационных услуг.
- Учитель: Надежда Ивановна Дубижанская
Oracle WebLogic Server 14c: Performance Tuning Workshop
Продолжительность
3 дня/24 академических часа
После обучения на курсе Вы сможете делать:
· Описание терминов и концепций производительности.
· Настройка The Grinder в качестве инструмента тестирования
· Применение методологии и инструментов тестирования производительности
· Выявление узких мест с помощью инструментов повышения производительности.
- Учитель: Надежда Ивановна Дубижанская
Oracle GoldenGate 12c: Advanced Configuration for Oracle
Продолжительность
4 дня / 32 академических часа
Данный курс позволяет слушателям приобрести навыки установки и конфигурирования Oracle GoldenGate 12c. Опытные инструкторы ответят на Ваши вопросы и обеспечат более глубокое понимание.
Слушатели научатся:
· Настройке дополнительных конфигурационных возможностей Oracle GoldenGate.
· Использованию нового Integrated Capture для репликации сложных типов данных и сжатых данных.
· Конфигурированию и реализации системы Oracle GoldenGate Event Marker.
· Включению преобразования данных, основанного на записях событий в журналах транзакций или в trail файлах.
· Осуществлению миграции базы данных с zero-downtime.
· Настройке более сложных моделей развертывания, таких, как 3-node multi master replication конфигурация, и управлению ими.
· Применению средств Oracle GoldenGate для обнаружения и разрешения конфликтов данных в реализациях active-to-active репликации.
- Учитель: Надежда Ивановна Дубижанская
Oracle GoldenGate 12c: Troubleshooting and Tuning
Продолжительность
4 дня / 32 академических часа
Описание
Курс Oracle GoldenGate 12c Troubleshooting and Tuning даст вам знания о сборе и анализе информации; также вы изучите способы разрешения типовых проблем, диагностики их причин и поиска путей к их разрешению. Каждое практическое занятие курса позволит вам самостоятельно провести диагностику и поиск неполадок при использовании программного обеспечения GoldenGate.
На курсе Вы научитесь:
· Применять команды GGSCI для сбора имеющейся информации
· Использовать такие инструменты решения проблем Oracle GoldenGate как документы баз знаний, стандартная документация, параметр SHOWSYNTAX и утилита Logdump
· Диагностировать проблемы таких видов как извлечение, репликация, отсутствующие транзакции, отображение, синхронизация, SQLEXEC, настройки файлов и т.п.
· Производить диагностику причин медленного старта продукта
· Выполнять мониторинг задержек применения данных и статистики
· Определять наличие проблем вследствие недостаточности возможностей сетевых и дисковых ресурсов
· Производить настройку процессов Manager, Extract и Replicate
· Диагностировать и настраивать возможности новейшего интегрированного процесса Extract, доступного для версий баз данных Oracle, начиная от 11.2.0.4, а также интегрированного процесса Replicat, доступного для версий 12c баз данных Oracle
- Учитель: Юрий Юрьевич Пономарев
Oracle WebLogic Server 14c: Administration II
Продолжительность
5 дней/40 академических часов
После завершения этого курса вы сможете:
· Выполнять непрерывное обновление вашей инсталляции WebLogic
· Настраивать шаблоны доменов и домены
· Настраивать автоматическое восстановления после сбоя компьютера
· Писать сценарии с помощью инструмента WebLogic Scripting Tool (WLST)
· Писать сценарии, использующие поддержку REST и WebLogic REST
· Включить SSL для серверов WebLogic
· Настроить work managers для управления запросами к серверу
· Управлять источниками данных JDBC
- Учитель: Надежда Ивановна Дубижанская
Oracle GoldenGate 19c: Fundamentals for Oracle
Продолжительность курса
4 дня/32 академических часа
Этот курс Oracle GoldenGate 19c: Fundamentals for Oracle фокусируется на репликации баз данных типа Oracle-Oracle. Опытные преподаватели Oracle University глубоко погрузят вас в набор продуктов Oracle GoldenGate, познакомив с различными функциями продукта.
На курсе Вы рассмотрите:
· Oracle GoldenGate: Что это за класс продукта?
· Зачем вам потребуется Oracle GoldenGate?
· Использование Oracle GoldenGate
- Учитель: Юрий Юрьевич Пономарев
Oracle WebLogic Server 14c: Administration I
Продолжительность
5 дней/40 академических часов
После завершения этого курса вы сможете:
· Устанавливать и обновлять сервер WebLogic
· Создавать и настраивать основные ресурсы сервера WebLogic
· Запускать и останавливать процессы сервера WebLogic
· Осуществлять мониторинг ресурсов сервера WebLogic
· Настраивать, запускать и использовать Node Manager для удаленного запуска WebLogic Server
· Настраивать источники данных JDBC для подключения к базе данных
· Развертывать приложения и библиотеки Java Enterprise Edition на сервере WebLogic
· Определять и использовать настроенные (configured) и динамические (dynamic) кластеры WebLogic
· Заменять default authentication provider WebLogic Server по-умолчанию на внешний сервер LDAP
· Выполнять резервное копирование и восстановление WebLogic domain.
Java EE 7: Front-end Web Application Development
Продолжительность
5 дней/40 академических часов
В курсе рассматривается построение и развертывание корпоративных приложений на Java Platform Enterprise Edition 7 Web Profile. Изучаются такие вопросы, как аннотации, Session Enterprise JavaBeans (EJB-Lite), Java Persistence API (JPA), сервлеты, JavaServer Pages(JSPs), Contexts and Dependency Injection (CDI), JAX-RS RESTful web сервисы, Java API for WebSocket и Java API для обработки JSON.
Слушатели обучаются:
· Создавать web-интерфейсы как для десктопных, так и для мобильных устройств
· Осуществлять сборку приложения
· Создавать Java приложения
· Разворачивать приложение на сервере приложений (в окружении Java EE platform runtime)
Developing Applications for the Java EE 7 Platform
Продолжительность
5 дня/40 академических часов
Слушатели освоят:
· Использование технологий Java Persistence и Java Transaction API.
· Создание гибких моделей с использованием технологий EJB и CDI.
· Сервисы Timer, Batch, Concurrency.
· Разработка веб-сервисов по стандартам SOAP и REST.
· Разработка пользовательских интерфейсов с использованием сервлетов, технологий Java Server Pages и JavaServer Faces.
· Сборка и развертывание приложений Java на сервер приложений JEE
- Учитель: Юрий Юрьевич Пономарев
Oracle Data Integrator 12c: Integration and Administration
Продолжительность
5 дней / 40 академических часов
Oracle Data Integrator - это законченная платформа для интеграции данных, в которой реализованы все требования, вытекающие из необходимости интеграции данных больших объемов, высокой производительности при пакетной обработке, событийно-ориентированных и SOA-определяемых сервисов данных.
Слушатели изучают:
· Использование Oracle Data Integrator, чтобы выполнить трансформацию данных между различными платформами.
· Конструирование ODI маппингов, процедур, и пакетов для выполнения ELT трансформаций.
· Администрирование ODI ресурсов и настройка безопасности ODI.
· Выполнение интеграции данных и трансформации между разными платформами.
· Использование графического интерфейса ODI для создания процедур, пакетов и ELT заданий.
· Настройка и обслуживание безопасности, многопользовательности в ODI среде.
· Реализация захвата измененных данных в ODI.
· Использование ODI веб-сервисов и практическая реализация интеграции данных в SOA-архитектуре на ODI
Developing Applications with Java EE 6 on WebLogic Server 12c
Продолжительность
5 дней/40 академических часов
В курсе рассмотрено создание и развертывание приложений уровня предприятия на основе Java Platform, Enterprise Edition 6 Web Profile. Технологии, представленные в курсе, включают аннотации, Session Enterprise JavaBeans (EJBs), Java Persistence API (JPA), сервлеты, JavaServer Pages (JSPs) , JavaServer Faces (JSF), Contexts and Dependency Injection (CDI), и валидацию бинов. Основное внимание уделяется web-приложениям, доступным из десктопных и мобильных web браузеров на основе JSF технологии.
Слушатели на практике учатся строить end-to-end приложения. Они создают пользовательские web-интерфейсы, прежде всего на основе JSF Facelet страниц, а также JSP и сервлетов. Рассматривается создание как десктопных web-интерфейсов, так и web-интерфейсов для мобильных устройств. Валидация пользовательского ввода осуществляется с использованием JPA и оптимистических блокировок. На практических занятиях изучаются сеансовые EJB компоненты, используемые для реализации транзакций, управляемых контейнером, и увеличивающие производительность приложения посредством кэширования данных. Слушатели обучаются сборке приложения и его развертыванию на сервере приложений (окружение времени выполнения Java EE платформы). Практические занятия выполняются с использованием NetBeans IDE и Oracle WebLogic Server.
- Учитель: Надежда Ивановна Дубижанская
MySQL Cluster
Продолжительность
4 дня/32 академических часа
Описание:
На курсе MySQL Cluster вас научат, как установить и сформировать кластер баз данных в реальном времени в ядре вашего приложения. Вас научат, как проектировать и поддержать кластеры для обеспечения высокой доступности и масштабируемости при помощи компонентов открытого источника MySQL Cluster's open-source and enterprise components.
После окончания курса, слушатели должны будут уметь:
· Устанавливать и конфигурировать узлы MySQL кластера
· Проектировать простые и продвинутые схемы размещения узлов кластера
· Обеспечивать безопасность узлов кластера и данных в узлах
· Выполнять резервное копирование и восстановление данных из резервных копий
· Обнаруживать и обрабатывать сбои узлов в кластере
· Отслеживать и улучшать производительность в кластере
· Использовать промышленные средства для развертывания больших кластеров
- Учитель: Юрий Юрьевич Пономарев
- Учитель: Александр Самсонов
Создание приложений XSQUARE - RAD и PostgreSQL. Быстрый старт
Продолжительность курса:
3 дня/24 академических часа
Курс знакомит с XRAD - средством быстрой разработки web-приложений от компании Хи-Квадрат. Данный продукт является low-code платформой, то есть позволяет создавать корпоративные приложения в специальной среде с минимальным написанием кода. Базируется на PostgreSQL. Компания-разработчик позиционирует XRAD как альтернативу Oracle APEX, превосходящую последний по ряду параметров.
На курсе слушатели познакомятся со средой разработки и научатся создавать в ней полноценное приложение с отчетами (средством визуализации данных), формами (средством ввода и изменения данных), навигацией, элементами логики (процессами и проверками) и другими компонентами.
Необходимая предварительная подготовка: знание основ SQL, умение писать запросы.
Аудитория курса:
· разработчики приложений
· web-администраторы
· бизнес-аналитики
· системные аналитики
Программа
1. Введение.
2. Редактор страниц. Компоненты страницы.
3. Создание отчетов.
4. Создание форм.
5. Работа со списками.
6. Элементы навигации.
7. Логика на страницах приложения. Процессинг и валидация.
8. Графика и деревья на страницах.
9. Компоненты безопасности. Аутентификация и авторизация.
- Учитель: Татьяна Захарова
- Учитель: Юрий Юрьевич Пономарев
Практическое создание отчетности, создание шаблонов XSQUARE-REPORTS
Продолжительность курса:
2 дня/16 академических часов
Необходимая предварительная подготовка:
• знание форматов XML и JSON
• создание запросов к данным в RDBMS
• программирование в среде MS Office, Libre Office, МойОфис, R7 и прочих офисных пакетах
• желательно знакомство с государственными отчетными системами на уровне форматов данных и их представления
• опыт работы с Linux подобными ОС , под которыми будет создаваться отчетность
Цель курса:
Знакомство с продуктами XSQUARE-REPORTS и XSQUARE-XDAC, создание XML и JSON по требованию к отчетности, создание шаблонов, практическое применение технологии XSQUARE-XDAC.
Аудитория курса:
• специалисты по созданию корпоративной отчетности, со знанием других систем и навыками разработки выборок данных под Postgres.
• аналитики по отчетности
• продвинутые пользователи отчетности
• администраторы систем отчетности
Программа
1. Архитектура XSQUARE-REPORTS, основы работы.
2. Технологии REST. Утилита CURL, форматы JSON/XML. JavaScript.
3. API XSQUARE. Получение JSON из источников различной природы.
4. Введение в разработку отчетности на языках JSON/XML, создание и использование Python3. Практика - подробный разбор скриптов, решение задач на этих языках.
5. Формирование отчета в формате DOCX.
6. Работа с мульти-отчетами.
7. Формирование отчета формате XLSX.
8. Конвертация отчета в PDF. LibreOffice и его библиотеки.
9. Работа со штрихкодом/шрифтом Брайля.
10. Разбор скриптов, связанных с автоматизацией п.2-6 на Python.
11. Сессия вопросов и ответов.
- Учитель: Юрий Юрьевич Пономарев
Настройка и установка репорт сервера XSQUARE-REPORTS 4
Продолжительность курса:
1 день/8 академических часов
Необходимая предварительная подготовка:
• опыт работы с Linux, желательно опыт обработки XML и JSON, знакомство с офисными пакетами, предметными областями отчетности
Цель курса:
Первоначальное знакомство с продуктами XSQUARE-REPORTS и XSQUARE-XDAC, работа с готовой отчетностью и устранение проблем с шаблонами.
Аудитория курса:
• пользователи отчетности
• аналитики по отчетности
• бизнес аналитики
Программа
1. Знакомство с продуктами XSQUARE. Демонстрация возможностей.
2. Продукт XSQUARE-REPORTS. Архитектура. Системные требования. Практика - знакомство с лабораторной средой (виртуальные машины под каждую ОС, распаковка дистрибутива).
3. Основы работы с XSQUARE-REPORTS. Параметры настройки. Параметры машины. Практика - запуск XSQUARE-REPORTS как службы. Простые примеры конфигурации.
4. Основы работы с XSQUARE-REPORTS. Внутренние механизмы, апдейты, установки шрифтов и LibreOffice. Практика - более сложные отчеты, анализ ошибок установки и возвращаемых ошибок.
5. Технологии REST. Утилита CURL, форматы JSON/XML. JavaScript, основы работы с LibreOffice с точки зрения его используемых библиотек. Практика - создание запросов, анализ рекомендуемых примеров формирование отчетности.
6. API XSQUARE. Получение JSON из источников различной природы. Практика - первый самостоятельный отчет. Конверсия файлов в JSON при шаблонах DOCX, XSLX, PDF.
Сессия вопросов и ответов.
Нейросети в маркетинге: как использовать ИИ для контента, аналитики и дизайна
Продолжительность
1 день
Почему стоит начать?
Вы узнаете:
→ Как правильно формулировать запросы, чтобы ИИ понимал вас с первого раза.
→ Какие бесплатные инструменты экономят время и дают профессиональный результат.
→ Как комбинировать сервисы для сложных задач: от генерации идей до готовых креативов.
Чему вы научитесь:
· Работать с нейросетями — даже если никогда не пробовали.
· Решать реальные задачи — создавать тексты, изображения, анализировать данные.
· Встраивать ИИ в процессы — от маркетинга до дизайна.
Формат:
• Практические видеоуроки на основе реальных кейсов.
• Доступ к курсу навсегда + обновления материалов.
• Закрытое комьюнити для обмена опытом.
Результат:
Вы сможете создавать контент и креативы намного быстрее. ИИ станет вашим надежным помощником, а не сложной технологией, которая работает против вас.
Аудитория курса:
· Маркетологи, которые хотят внедрить ИИ в создание контента и аналитику.
· Предприниматели, стремящиеся автоматизировать рутину и сократить расходы.
· Дизайнеры и копирайтеры, желающие ускорить работу с помощью нейросетей.
· Новички в ИИ, которые хотят разобраться в инструментах без сложных терминов.
Промт-инженер. Искусство общения с искусственным интеллектом
Продолжительность
5 дней/40 академических часов
Модуль 1: Знакомство с миром LLM и основами промптинга (10 часов)
Темы:
• Что такое Большие Языковые Модели (LLM)? Интуитивное понимание, как они "думают" (без глубокой математики).
• Кто такой промпт-инженер и почему это важно?
• Обзор популярных LLM (ChatGPT, YandexGPT, Gemini, Claude и др.): интерфейсы, базовые возможности и отличия.
• Анатомия простого промпта: инструкция, вопрос, контекст.
• Первые шаги: формулирование четких и конкретных запросов.
• Итеративный подход: почему редко получается идеальный ответ с первого раза и как улучшать промпты.
• Основные ошибки новичков при общении с ИИ.
Практика:
• Регистрация и знакомство с интерфейсом одной или двух LLM.
• Написание первых промптов для решения простых задач (ответ на вопрос, краткое изложение).
• Эксперименты с изменением формулировок и наблюдение за результатами.
• Анализ "плохих" ответов и попытки их исправить.
Модуль 2: Ключевые техники эффективного промптинга (10 часов)
Темы:
• Сила контекста: как предоставление фоновой информации меняет ответ ИИ.
• Задание роли (Persona Prompting): "Представь, что ты..." – заставляем ИИ действовать в нужной манере.
• Установка ограничений: управление длиной, форматом (список, таблица, JSON), стилем и тоном ответа.
• Техника "Zero-Shot" (то, что делали раньше) vs "Few-Shot" Prompting: обучение ИИ на лету с помощью примеров прямо в запросе.
• Разбиение сложных задач на подзадачи в промпте.
• Важность использования четких глаголов и формулировок.
Практика:
• Создание промптов с явным указанием роли и аудитории.
• Генерация текстов в заданном формате и стиле.
• Практика Few-Shot Prompting на простых примерах (классификация тональности, генерация по образцу).
• Решение задачи, требующей нескольких шагов или уточнений в одном промпте.
Модуль 3: Применение промпт-инжиниринга для разных задач (10 часов)
Темы:
• Генерация контента: статьи, посты для соцсетей, email, слоганы (с учетом тона, стиля, ключевых слов).
• Суммаризация и рерайтинг: получение краткого содержания текстов, перефразирование.
• Мозговой штурм и генерация идей: использование ИИ как креативного партнера.
• Помощь в обучении: объяснение сложных тем простым языком, создание планов обучения.
• Работа с кодом (даже для непрограммистов): объяснение фрагментов кода, генерация простых скриптов (например, для Excel).
• Извлечение структурированной информации из неструктурированного текста.
• Техника Chain-of-Thought (CoT) – базовое применение: просим ИИ "думать вслух" для решения логических задач.
Практика:
• Генерация различных типов контента по заданным сценариям.
• Суммаризация новостных статей или научных текстов.
• Использование ИИ для генерации идей для проекта или мероприятия.
• Решение простых логических задач с помощью CoT.
• Извлечение данных (имена, даты, компании) из текста.
Модуль 4: Оценка результатов, этика и продвинутые концепции (10 часов)
Темы:
• Критическая оценка ответов ИИ: как проверять факты, выявлять "галлюцинации" (выдумки ИИ).
• Понимание и смягчение предвзятости (bias) в ответах LLM.
• Этические аспекты: плагиат, авторское право, конфиденциальность данных при работе с ИИ.
• "Дебаггинг" промптов: что делать, если ИИ упорно не понимает или дает неверный результат.
• Обзор более сложных техник (без глубокого погружения): ReAct, Self-Consistency и др.
• Инструменты для промпт-инженеров (обзорно).
• Будущее промпт-инжиниринга и взаимодействия с ИИ.
Практика:
• Анализ предоставленных ответов ИИ на предмет ошибок, галлюцинаций, предвзятости.
• Практика пошагового улучшения "плохого" промпта.
• Обсуждение этических дилемм на примерах.
Мини-проект: Решение комплексной задачи (например, создание контент-плана, исследование темы, планирование простого проекта) с использованием различных техник промптинга и критической оценкой результата.
Использование искусственного интеллекта для оптимизации
Продолжительность
72 академических часов
Модуль 1. Введение в оптимизацию с использованием AI (14 часов)
1.1. Основные понятия и роль оптимизации в современном мире (4 часа)
· Понятие «оптимизация» и ее значение в науке, бизнесе и промышленности
· Классификация задач оптимизации (линейная, нелинейная, дискретная, многокритериальная)
· Вклад искусственного интеллекта в решение оптимизационных задач
· История развития AI-технологий и их взаимодействие с классической математической оптимизацией
1.2. Обзор методов искусственного интеллекта для оптимизации (6 часов)
· Машинное обучение как инструмент для оптимизационных задач
· Метаэвристические алгоритмы (генетические алгоритмы, рой частиц, муравьиные колонии и др.)
· Глубокое обучение и его связи с оптимизацией (стохастический градиентный спуск, адаптивные оптимизаторы и т.д.)
· Роль генеративных моделей в поиске оптимальных решений (пример: генерация вариантов конфигурации для производственных процессов)
1.3. Практикум: постановка оптимизационной задачи (4 часа)
· Формулировка реальной задачи (e.g. оптимизация расписания, управление цепочками поставок, анализ трафика)
· Определение метрик и критериев эффективности
· Определение инструментов и методов для решения: обзор доступных библиотек и фреймворков
Модуль 2. Классические и современные алгоритмы оптимизации (14 часов)
2.1. Базовые классические методы (6 часов)
· Метод наискорейшего спуска, градиентный спуск и его модификации
· Линейное программирование (Simplex, внутренние точки и т.д.)
· Нелинейное программирование: методы штрафных функций, барьерных функций
2.2. Метаэвристики и эволюционные алгоритмы (6 часов)
· Генетические алгоритмы (GA): принципы, оператор скрещивания, мутации, селекции
· Алгоритм роя частиц (PSO): применение для задач оптимизации
· Алгоритм муравьиной колонии (ACO): маршрутизация и логистические задачи
· Комбинации и гибридные подходы: GA + градиентный спуск, локальные методы улучшения
2.3. Практикум: настройка и отладка алгоритмов (2 часа)
· Сравнение производительности классических и эволюционных алгоритмов
· Выбор гиперпараметров и критериев остановки
· Практические кейсы: демонстрация работы алгоритмов с помощью Python-библиотек (DEAP, PyGAD и др.)
Модуль 3. Машинное обучение и нейронные сети для оптимизации (16 часов)
3.1. Методы машинного обучения и их применение (6 часов)
· Супервизия и оптимизация параметров моделей (деревья решений, ансамбли, бустинг)
· Роль байесовских методов для оптимизации гиперпараметров
· Регуляризация моделей, борьба с переобучением, кросс-валидация
· Автоматизированный подбор гиперпараметров (AutoML, Hyperopt, Optuna)
3.2. Глубокое обучение и современные архитектуры (6 часов)
· Полносвязные нейронные сети, CNN, RNN, трансформеры
· Оптимизационные аспекты обучения нейронных сетей (SGD, Adam, RMSProp, LAMB)
· Использование глубокой сети для аппроксимации сложных целевых функций (например, распределение вероятностей решений)
· Применение генеративных моделей (GAN, VAE) для задач синтеза и поиска оптимальных вариантов
3.3. Практикум: разработка моделей для конкретной оптимизационной задачи (4 часа)
· Создание модели на базе популярных фреймворков (PyTorch/TensorFlow)
· Настройка и отладка процесса обучения (логирование, мониторинг потери и метрик)
· Внедрение модели в процесс принятия решений (промышленная среда, веб-сервис, edge-устройства и т.д.)
Модуль 4. Прикладные кейсы и отраслевые решения (16 часов)
4.1. Оптимизация производственных процессов и логистики (4 часа)
· Управление цепочками поставок: прогнозирование спроса и оптимизация запасов
· Планирование производственных линий, оптимизация расписания сотрудников/станков
· Алгоритмы маршрутизации для транспорта и доставки (Vehicle Routing Problem)
4.2. Финансовые, экономические и маркетинговые приложения (4 часа)
· Оптимизация торговых стратегий, алгоритмический трейдинг, портфельные инвестиции
· Ценообразование и маркетинговые кампании: динамическое и персонализированное ценообразование.
· Аналитика рисков и моделирование сценариев
4.3. Энергетика, «умные» города и IoT (4 часа)
· Оптимизация энергопотребления: балансировка сетей, прогнозирование нагрузки
· Управление «умными» зданиями и городами (трафик, освещение, аварийные системы)
· Роль IoT-устройств и потокового анализа данных в процессах оптимизации
4.4. Практикум: разбор конкретных бизнес-кейсов (4 часа)
· Командная работа над кейсом: постановка задачи, сбор данных, выбор алгоритмов
· Разработка базового прототипа для решения кейса
· Защита результатов и обратная связь от экспертов
Модуль 5. Проектная работа и современные тенденции (12 часов)
5.1. Финальный проект: от идеи до прототипа (8 часов)
· Формирование проектных групп и распределение ролей
· Постановка реальной оптимизационной задачи (по выбору или предложенной заказчиком)
· Сбор и предобработка данных, разработка прототипа оптимизационного алгоритма (с применением AI-технологий)
· Тестирование, оценка результатов, презентация проекта
5.2. Перспективы и тренды в области AI-оптимизации (4 часа)
· Возрастающая роль больших языковых моделей (ChatGPT, GPT-4 и др.) и их возможностей для оптимизационных задач
· Слияние классических методов оптимизации и генеративного AI (генерация новых идей, сценариев)
· Edge-AI и децентрализованные решения (использование блокчейн-технологий для децентрализованной оптимизации)
· Этические и правовые аспекты применения AI для оптимизации (прозрачность, ответственность, безопасность)
Формат и методы обучения
1. Лекции и семинары: изучение теоретических основ, разбор алгоритмов и примеров из реальной практики.
2. Практические лабораторные работы: работа в Python со специализированными библиотеками (Scikit-Learn, PyTorch, TensorFlow, DEAP и др.).
3. Кейс-стадии: групповые проекты, основанные на реальных или близких к реальности сценариях оптимизации в бизнесе и промышленности.
4. Проектная работа: слушатели создают собственный прототип решения задачи оптимизации под руководством экспертов.
Итоговая аттестация
· Тестирование по ключевым темам курса (понимание основных алгоритмов, навыки работы с библиотеками).
· Защита итогового проекта: команда презентует решение задачи оптимизации, демонстрирует результаты, проведенные эксперименты и перспективы развития.
Распределение часов по модулям
1. Модуль 1. Введение в оптимизацию с использованием AI – 14 часов
2. Модуль 2. Классические и современные алгоритмы оптимизации – 14 часов
3. Модуль 3. Машинное обучение и нейронные сети для оптимизации – 16 часов
4. Модуль 4. Прикладные кейсы и отраслевые решения – 16 часов
5. Модуль 5. Проектная работа и современные тенденции – 12 часов
Итого: 72 часа
Преимущества данной программы
· Свежесть и актуальность: Рассматриваются последние достижения в области генеративных моделей, AutoML и больших языковых моделей.
· Практическая направленность: Большое количество кейсов и лабораторных, позволяющих отработать навыки на практике.
· Комплексный подход: От классических основ (математика и базовые алгоритмы) до современных нейронных сетей и гибридных методов оптимизации.
Гибкость: Материал легко адаптируется под конкретную отрасль и нужды заказчика, будь то производство, логистика, финансы или IT.
Нейронные сети, компьютерное зрение и библиотека PyTorch
Продолжительность
5 дней/40 академических часов
Модуль 1: Введение в глубокое обучение и PyTorch для компьютерного зрения (8 часов)
• Обзор современных трендов в компьютерном зрении: от классических CNN до Vision Transformers и генеративных моделей (по состоянию на 2025 год).
• Экосистема PyTorch: установка, настройка, работа с новыми инструментами (например, PyTorch 2.0+ и его ускорение компиляции).
• Тензоры и работа с данными: манипуляция, аугментация изображений, использование GPU/TPU.
• Создание базовой модели: реализация классификатора изображений на основе простой CNN.
• Практическое занятие: Построение и обучение модели для классификации изображений (например, на датасете CIFAR-10).
Модуль 2: Классические и современные архитектуры для компьютерного зрения (10 часов)
• Сверточные нейронные сети (CNN): основы, свёрточные слои, pooling, архитектуры (ResNet, EfficientNet).
• Vision Transformers (ViT): принципы работы, преимущества и применение в задачах классификации и сегментации.
• Генеративные модели: основы GAN и Diffusion Models для генерации изображений.
• Практическое занятие: Реализация модели на основе ResNet для классификации и сравнение с Vision Transformer на одном и том же датасете.
Модуль 3: Продвинутые методы в компьютерном зрении (8 часов)
• Трансферное обучение: использование предобученных моделей (например, из torchvision или Hugging Face).
• Сегментация и детекция объектов: архитектуры U-Net, YOLOv8, Mask R-CNN.
• Оптимизация моделей: регуляризация (Dropout, Weight Decay), подбор гиперпараметров с помощью Optuna.
• Практическое занятие: Реализация модели для сегментации изображений (например, на датасете COCO) с использованием трансферного обучения.
Модуль 4: Генеративные модели и мультимодальные задачи (6 часов)
• Генерация изображений: обучение небольшой Diffusion Model для создания изображений.
• Мультимодальные задачи: объединение изображений и текста (например, с использованием CLIP для zero-shot классификации).
• Работа с большими датасетами: эффективная загрузка данных с помощью torch.utils.data и DataLoader.
• Практическое занятие: Создание модели для генерации изображений и решение задачи zero-shot классификации с CLIP.
Модуль 5: Интерпретация, развёртывание и итоговый проект (8 часов)
• Интерпретация моделей: визуализация с помощью Grad-CAM, объяснение решений с SHAP.
• MLOps для компьютерного зрения: автоматизация обучения, мониторинг моделей, использование MLflow.
• Развёртывание моделей: создание REST API с FastAPI для интеграции модели в приложение.
• Практическое занятие: Итоговый проект — разработка и развёртывание модели компьютерного зрения (например, классификатор или сегментатор) с последующим созданием API.
Нейронные сети в компьютерной обработке текста и звука. Библиотека PyTorch
Продолжительность
5 дней/40 академических часов
Модуль 1: Введение в глубокое обучение и PyTorch для обработки текста и звука (8 часов)
• Обзор современных трендов в NLP и аудиоанализе: от RNN до Transformer и моделей для аудио (по состоянию на 2025 год).
• Экосистема PyTorch: установка, настройка, работа с новыми инструментами (например, PyTorch 2.0+ и его ускорение).
• Подготовка данных: токенизация текста (с использованием Hugging Face tokenizers), обработка аудио (librosa, torchaudio).
• Создание базовой модели: реализация классификатора текста (например, анализ тональности) и классификатора звука.
• Практическое занятие: Построение и обучение модели для классификации текста (на датасете IMDb) и классификации звуков (на датасете UrbanSound8K).
Модуль 2: Архитектуры для обработки текста (10 часов)
• Рекуррентные нейронные сети (RNN): основы, LSTM, GRU для работы с последовательностями.
• Transformer: архитектура, self-attention, применение в задачах NLP (BERT, RoBERTa).
• Большие языковые модели (LLM): дообучение предобученных моделей (например, из Hugging Face) для анализа текста.
• Практическое занятие: Реализация модели на основе Transformer для задачи классификации текста или машинного перевода (например, с использованием датасета WMT).
Модуль 3: Архитектуры для обработки звука (8 часов)
• Основы обработки аудио: спектрограммы, MFCC, работа с torchaudio.
• Модели для аудио: Wav2Vec 2.0 для распознавания речи, Tacotron 2 для синтеза речи.
• Классификация и сегментация звука: использование CNN и Transformer для анализа аудиоданных.
• Практическое занятие: Реализация модели для автоматического распознавания речи (ASR) на датасете LibriSpeech или синтеза речи с Tacotron.
Модуль 4: Мультимодальные задачи и продвинутые методы (6 часов)
• Мультимодальные модели: объединение текста и звука (например, с использованием CLIP или SpeechBERT).
• Генеративные модели для текста и звука: основы GPT для генерации текста, WaveNet для генерации аудио.
• Оптимизация моделей: регуляризация (Dropout, LayerNorm), подбор гиперпараметров с Optuna.
• Практическое занятие: Создание мультимодальной модели для задачи, например, генерации описания аудиофайла (аудио → текст).
Модуль 5: Интерпретация, развёртывание и итоговый проект (8 часов)
• Интерпретация моделей: визуализация attention в Transformer, объяснение решений с SHAP.
• MLOps для NLP и аудио: автоматизация обучения, мониторинг моделей, использование MLflow.
• Развёртывание моделей: создание REST API с FastAPI для интеграции модели в приложение (например, голосовой ассистент).
• Практическое занятие: Итоговый проект — разработка и развёртывание модели для обработки текста или звука (например, чат-бот с голосовым интерфейсом) с последующим созданием API.
Глубокое обучение и нейросети в действии на PyTorch и Python
Продолжительность
5 дней/40 академических часов
Модуль 1: Основы глубокого обучения и введение в PyTorch (8 часов)
· Введение в глубокое обучение: обзор современных трендов, бизнес-кейсов и перспектив применения ИИ
· Экосистема PyTorch: обзор возможностей библиотеки, установка и настройка среды разработки
· Работа с тензорами в PyTorch: основные операции, манипуляция данными и работа с GPU
· Создание базовых моделей: реализация простой модели (линейная регрессия, перцептрон)
· Практическое занятие: написание первой модели в PyTorch и анализ ее работы
Модуль 2: Архитектуры нейронных сетей (10 часов)
· Полносвязные нейронные сети: принципы работы, слои, функции активации и оптимизация
· Сверточные нейронные сети (CNN): структура CNN, свёрточные и pooling-слои, классические архитектуры (LeNet, AlexNet)
· Рекуррентные нейронные сети (RNN): основы RNN, LSTM, GRU для обработки последовательных данных
· Практическое занятие: разработка и обучение модели для классификации изображений с использованием CNN
Модуль 3: Продвинутые методы и оптимизация нейросетей (8 часов)
· Трансферное обучение: использование предобученных моделей для ускорения разработки
· Методы регуляризации: Dropout, Batch Normalization и техники предотвращения переобучения
· Оптимизация гиперпараметров: подбор параметров, работа с оптимизаторами и функциями потерь
· Практическое занятие: доработка модели с применением трансферного обучения и регуляризации
Модуль 4: Обработка естественного языка и мультимодальные сети (6 часов)
· Обработка текста: токенизация, эмбеддинги (Word2Vec, GloVe) и работа с последовательностями
· Архитектуры для NLP: RNN, Transformer и их применение в задачах анализа текста
· Мультимодальные нейронные сети: объединение данных изображений и текста для комплексных задач
· Практическое занятие: разработка модели для анализа текстовых данных или мультимодального решения
Модуль 5: Развертывание, интерпретация и практические проекты (8 часов)
· Интерпретация нейросетевых моделей: методы визуализации и объяснения решений моделей (Grad-CAM, SHAP)
· Введение в MLOps: основы автоматизации процессов обучения, мониторинга и обновления моделей
· Интеграция моделей в приложения: создание REST API для модели с использованием Flask/FastAPI
Практическое занятие: разработка итогового проекта: от прототипирования до развертывания модели
Нейронные сети
Продолжительность
48 академических часов
1. Введение в машинное обучение. Методы обработки и подготовки данных (4 ак. часа)
· Пример задачи машинного обучения
· Ключевые компоненты задачи:
· Типы задач машинного обучения;
· История и развитие машинного обучения
· Тензоры и их использования для обработки данных:
· Взаимодействие с данными:
· Линейная алгебра;
· Дифференцирование тензоров:
· Автоматическое дифференцирование
· Вероятность и статистика
· Специальные классы для загрузки данных.
2. Линейная нейронная сеть для регрессии и классификации (4 ак. часа)
· Линейная регрессия теория и реализация;
· Объектно ориентированный подход в реализации;
· Модельный набор данных для регрессии;
· Применение линейного регрессора;
· Обобщение;
· Регуляризации модели;
· Логистическая регрессия
· Набор данных для классификации изображений
· Основная модель для классификации
· Применение логистического регрессора
· Обобщение;
· Окружение и сдвиг распределения.
3. Многослойный персептрон и конструкторы моделей (4 ак. час).
· Многослоевой персептрон;
· Реализация многослоевого персептрона;
· Прямое и обратное распространения, вычислительные графы;
· Сходимость модели и инициализация весов;
· Обобщение модели;
· Регуляризация Dropout;
· Пример предсказания по стоимости недвижимости.
· Слои и класс Моделей;
· Управление параметрами модели;
· Инициализация параметров;
· Пользовательские слои;
· Чтение и запись в файл;
· Работа с GPU.
4. Сверточные нейронные сети и их современные реализации (4 ак. час)
· Свертка для анализа изображений;
· Дополнение и шаг;
· Многоканальные вход и выход;
· Вытягивающие слои;
· Пример сверточной нейронной сети;
· Сеть AlexNet;
· Сеть с блоками VGG;
· Встроенные нейронные сети;
· Нейронная сеть с разделами (GoogLeNet);
· Слои пакетной нормализации;
· Остаточные нейронные сети (ResNet и ResNeXt);
· Плотно-связанные нейронные сети (DenseNet);
· Разработка архитектур сверточных нейронных сетей;
5. Реккурентные нейронные сети и их реализации (4.ак. час).
· Работа с последовательными данными;
· Превращение текста в последовательные вектора;
· Языковые модели;
· Реккурсия в нейронных сетях;
· Реализация реккурентных нейронных сетей;
· Обратное распространение во времени;
· Реккурентная сеть с ограничением памяти (LSTM);
· Реккурентная сеть с затвором (GRU);
· Глубокая реккурентная сеть;
· Двунаправленная рекурентная нейронная сеть;
· Машинный перевод и набор данных;
· Автокодировщики;
· Применение автокодировщика Seq2Seq в машинном переводе;
· Поиск по пучкам.
6. Механизм внимания и преобразователи ( 4 ак. час)
· Сигналы внимания;
· Вытягивание внимания;
· Скоринг-функции внимания;
· Внимание Bahdanau;
· Внимание многих;
· Само-внимание и позиционное кодирование;
· Архитектура преобразователей;
· Преобразователи для зрения;
· Полномаштабное предобучение с преобразователями.
7. Оптимизационные алгоритмы и вычислительные затраты (4 ак. час)
· Оптимизация в глубоком обучении;
· Выпуклость функции ошибки;
· Градиентный спуск;
· Стохастический градиентный спуск;
· Пакетный градиентный спуск;
· Момент в спуске;
· Adagrad;
· RMSProp;
· AdaDelta;
· Adam;
· Управление скоростью обучения;
· Компиляторы и интерпретаторы;
· Асинхронное программирование;
· Автоматическое распаралелливание;
· Вычислительные устройства;
· Обучение на кластере из GPU;
· Параметрические серверы.
8. Нейронные сети в компьютерном зрении (4 ак. часа)
· Расширения набора данных;
· Тонкая настройка модели;
· Детектирование объектов и их аннотирование;
· Якоря;
· Полномасштабная детектирование объектов;
· Набор данных для детектирования объектов;
· Детектирование на одном кадре;
· Сверточная нейронная сеть по областям (R-CNN);
· Семантическая сегментация и набор данных;
· Транспонирование свертки;
· Полные сверточные сети;
· Перенос нейронных моделей;
· Классификация изображений (CIFAR-10) на Kaggle.com;
· Индентификация собак (ImageNet Dogs) на Kaggle.com.
9. Обработка естественного языка. Предобучение. (4 ак. часа)
· Встраивание слов в векторное пространство (word2vec);
· Обучение по близости;
· Набор данных для предобученной вставки;
· Предобученный word2vec;
· Вставка по глобальным векторам (GloVe);
· Вставка подслов;
· Подобие слов и аналогия;
· Двунаправленный кодировщик представлений из преобразователя (BERT);
· Набор данных для предобучения на BERT;
· Предобученный BERT;
10. Обработка естественного языка. Применение нейронных сетей (4 ак. часа.)
· Анализ настроений и наборы данных;
· Анализ настроений с использование реккурентных нейронных сетей;
· Анализ настроений с использованием сверточных нейронных сетей;
· Набор данных для сопоставления текстов естественного языка;
· Сопоставление текстов естественного языка с использованием внимания;
· Настройка BERT для уровней последовательности и токенов;
· Сопоставление текстов с использованием BERT.
11. Использование нейронных сетей в рекомендательных системах (4 ак.часа)
· Обзор рекомендательных систем
· Набор данных MovieLens;
· Факторизация матриц;
· Предсказание рейтинга при помощи автокодировщиков;
· Персонализированный рейтинг для рекомендательных систем;
· Нейронная фильтрация персонализированного рейтинга;
· Рекомендательные системы с исключением последовательностей;
· Рекомендательные системы с большим количеством признаков;
· Машины факторизации;
· Машины глубокой факторизации.
12. Генеративные состязательные нейронные сети (4 ак. часов)
· Обзор состязательных сетей;
i. Генерирование реальных данных;
ii. Генератор;
iii. Дискриминатор;
iv. Обучение;
· Генеративные состязательные нейронные сети с глубокой сверткой;
i. Набор данных Pokemon;
ii. Генератор;
iii. Дискриминатор;
iv. Обучение.
Интенсив по Data science
Продолжительность
68 академических часов
Введение в Python
· История языка, его применение и особенности.
· Установка Python и основные инструменты разработки: Anaconda, Jupyter Notebook, PyCharm.
· Синтаксис языка: переменные, типы данных, операторы, функции.
· Условные конструкции и циклы: if-else, for, while.
· Структуры данных: списки, кортежи, множества, словари.
· Работа с файлами и директориями: чтение, запись, перемещение и удаление.
· Обработка исключений: try-except.
· Модули и пакеты: создание, импорт и использование.
· ООП в Python: классы, объекты, наследование.
· Каждая тема будет сопровождаться практическими заданиями для закрепления полученных знаний и умений.
Линейная алгебра, numpy и pandas
· Введение в линейную алгебру
· Определения и основные понятия
· Системы линейных уравнений
· Матрицы и операции с матрицами
· Работа с библиотекой NumPy:
· Создание массивов NumPy
· Операции над массивами
· Индексирование и срезы массивов
· Функции для работы с массивами
· Работа с библиотекой Pandas
· Введение в Pandas и структуры данных
· Создание DataFrame и Series
· Обработка и очистка данных
· Сводные таблицы и агрегирование данных
· Применение линейной алгебры в машинном обучении:
· Работа с данными с помощью NumPy и Pandas
Введение в статистику и теорию вероятностей
· Определение понятий статистики и вероятности
· Общие принципы статистической обработки данных
· Основные принципы теории вероятностей
· Описательная статистика
· Расчет основных характеристик данных: среднее, медиана, мода, дисперсия, стандартное отклонение
· Вероятность
· Определение понятия вероятности
· Расчет вероятности событий
· Условная вероятность и формула Байеса
· Распределения вероятностей: дискретные и непрерывные
· Гипотезы и их проверка
· Уровень значимости и p-value
· Корреляционный анализ
· Корреляция и коэффициент корреляции
· Построение корреляционной матрицы
Математический анализ
· Введение в математический анализ
· Основные понятия математического анализа: функции, пределы, производные, интегралы.
· Пределы и непрерывность: определение предела функции, свойства пределов функций, непрерывность функции и ее свойства.
· Производные и дифференцирование: определение производной функции, правила дифференцирования, геометрический смысл производной.
· Практические задания: решение простых задач по математическому анализу и линейной алгебре с помощью Python и библиотеки NumPy
Градиентная оптимизация
· Введение в градиентную оптимизацию
· Что такое оптимизация и зачем она нужна
· Основы градиентной оптимизации:
· Что такое градиент и как он используется в оптимизации: простейший пример градиентного спуска
· Основные методы градиентной оптимизации: градиентный спуск и стохастический градиентный спуск
· Регуляризация в градиентной оптимизации: L1-регуляризация, L2-регуляризация
· Применение градиентной оптимизации в машинном обучении
· Примеры использования градиентной оптимизации в реальных задачах
Разведочный анализ данных
· Введение в разведочный анализ данных: определение, цели и примеры.
· Подготовка данных: импорт, очистка, заполнение пропусков и обработка выбросов.
· Визуализация данных: гистограммы, диаграммы рассеяния, ящики с усами, тепловые карты.
· Описательные статистики: среднее значение, медиана, мода, стандартное отклонение.
· Корреляционный анализ: коэффициент корреляции, матрица корреляции.
· Предварительный анализ данных: анализ распределения признаков, обнаружение выбросов, проверка гипотез.
· Интерактивный разведочный анализ данных: использование библиотек Python, таких как Pandas, Matplotlib и Seaborn.
· Примеры применения разведочного анализа данных в реальных проектах.
Введение в машинное обучение и k-Nearest Neighbors (k-NN)
· Введение в машинное обучение: определение, цели и примеры.
· Типы задач машинного обучения: классификация, регрессия и кластеризация.
· Основные понятия машинного обучения: признаки, метки, обучение с учителем и без учителя.
· Метод k-NN: определение, основные шаги и примеры.
· Примеры использования метода k-NN в реальных проектах.
· Разбиение выборки на обучающую и тестовую части: определение, стратегии и примеры.
· Оценка качества модели: метрики точности, полноты, F1-меры и ROC-кривой.
Линейная регрессия
· Введение в линейную регрессию: определение, цели и примеры.
· Основные понятия линейной регрессии: зависимая и независимые переменные, коэффициенты регрессии, смещение и дисперсия.
· Простая линейная регрессия: определение, формула и примеры.
· Множественная линейная регрессия: определение, формула и примеры.
· Метод наименьших квадратов: определение, формула и примеры.
· Обучение модели линейной регрессии: определение, процесс обучения, подбор параметров модели.
· Оценка качества модели: метрики MAE, MSE, RMSE, R2.
· Регуляризация модели: L1, L2 регуляризация.
· Примеры использования линейной регрессии в реальных проектах.
Метод опорных векторов (SVM)
· Введение в SVM: определение, цели и примеры.
· Основные понятия SVM: гиперплоскость, опорные векторы, мягкий и жесткий отступы.
· Линейная SVM: определение, формула и примеры.
· Ядерная SVM: определение, формула и примеры.
· Разбиение выборки на обучающую и тестовую: определение, стратегии и примеры.
· Обучение модели SVM: определение, процесс обучения, подбор параметров модели.
· Оценка качества модели: метрики точности, полноты, F-мера, ROC-кривая, AUC.
· Примеры использования SVM в реальных проектах.
· Регуляризация модели SVM: L1, L2 регуляризация.
· Практические примеры и упражнения.
Решающие деревья
· Введение в решающие деревья: определение, цели и примеры.
· Основные понятия решающих деревьев: узел, лист, корень, глубина дерева, информационный критерий.
· Классификационные деревья: определение, формула и примеры.
· Регрессионные деревья: определение, формула и примеры.
· Процесс обучения решающего дерева: алгоритм построения дерева, критерии информативности, отбор признаков.
· Практические примеры и упражнения.
· Ограничения и проблемы решающих деревьев: переобучение, низкая устойчивость к шуму и выбросам.
· Решение проблем решающих деревьев: отсечение дерева, стрижка дерева, ансамблирование.
Ансамбли: Random Forest, XGBoost, CatBoost, LGBM
· Введение в ансамбли: определение, цели и примеры.
· Определение, принцип работы, алгоритм построения.
· Преимущества и недостатки Random Forest, XGBoost, CatBoost, LightGBM.
· Сравнение алгоритмов: какой выбрать для конкретной задачи.
· Bagging, boosting и stacking.
· Практические примеры и упражнения.
· Ограничения и проблемы ансамблей.
· Решение проблем ансамблей: калибровка вероятностей, настройка параметров.
· Заключение и дискуссия: обсуждение наиболее интересных и важных аспектов ансамблей в машинном обучении.
Обучение без учителя: t-SNE, PCA, K-Means
· Введение в обучение без учителя: определение, цели и примеры.
· Кластеризация: определение, принцип работы, алгоритмы кластеризации.
· Примеры задач кластеризации: сегментация покупателей, группировка новостей, идентификация образцов.
· Размерностьностьность: определение, проблемы, методы сокращения размерности.
· Метод главных компонент (PCA): определение, принцип работы, алгоритм, примеры применения.
· t-SNE: определение, принцип работы, алгоритм, примеры применения.
· K-Means: определение, принцип работы, алгоритм, примеры применения.
· Оценка качества в обучении без учителя.
· Недостатки и ограничения методов обучения без учителя.
· Практические примеры решения задач с помощью обучения без учителя.
· Обзор инструментов для работы с данными и реализации методов обучения без учителя.
Введение в нейросети и PyTorch
· Введение в нейросети: определение, история, принцип работы.
· Примеры задач, решаемых с помощью нейросетей: классификация изображений, распознавание речи, машинный перевод и другие.
· Основные компоненты нейросети: слои, функции активации, оптимизаторы и функции потерь.
· Введение в PyTorch: история, основные концепции, инструменты и преимущества.
· Тензоры в PyTorch: определение, типы, создание и преобразование тензоров.
· Операции в PyTorch: математические операции, операции с тензорами, генерация случайных чисел и другие.
· Создание и обучение нейросетей с помощью PyTorch: создание модели, определение функции потерь, выбор оптимизатора, обучение модели, оценка результатов.
· Обзор других фреймворков для работы с нейросетями: TensorFlow, Keras, Theano, Caffe и другие.
· Написание собственной реализации нейронной сети на PyTorch.
· Тенденции развития нейросетевых технологий и перспективы их применения в будущем.
Сверточные нейронные сети
· Введение в сверточные нейронные сети (CNN): определение, принцип работы и примеры применения.
· Архитектуры CNN: простые и глубокие модели, архитектура AlexNet, VGG, GoogLeNet, ResNet.
· Концепция свертки и пулинга: определение, виды свертки и пулинга, их роль в улучшении качества модели.
· Примеры задач, решаемых с помощью CNN: классификация изображений, распознавание лиц, обнаружение объектов и другие.
· Регуляризация в нейронных сетях: определение, принцип работы, L1 и L2 регуляризация.
· Dropout и Batch Normalization: определение, роль в регуляризации, примеры использования.
· Аугментация данных: определение, методы аугментации, их роль в улучшении качества модели.
· Обучение CNN с помощью PyTorch: создание модели, определение функции потерь, выбор оптимизатора, обучение модели, оценка результатов.
· Примеры решения задач с помощью CNN и PyTorch: классификация изображений с помощью CNN, распознавание лиц с помощью глубоких сверточных нейронных сетей.
· Тонкости использования PyTorch для обучения CNN: работа с GPU, сохранение и загрузка моделей, визуализация результатов и отладка.
· Обзор других фреймворков для работы с CNN: TensorFlow, Keras, Theano, Caffe и другие.
· Реализация своей собственной модели CNN на PyTorch.
· Тенденции развития CNN и перспективы их применения в будущем.
Transfer Learning
· Введение и понятие Transfer Learning
· Применение Transfer Learning в различных задачах
· Преимущества и недостатки Transfer Learning
· Предобученные модели для Computer Vision
· Предобученные модели для Natural Language Processing
· Fine-tuning предобученных моделей
· Реализация Transfer Learning на PyTorch на практике
· Практические примеры Transfer Learning в различных областях (Computer Vision, NLP)
· Ограничения и риски Transfer Learning в реальных проектах
· Best practices для использования Transfer Learning
Классическое NLP, эмбеддинги и BERT
· Введение в NLP, определение NLP и его применение
· Ключевые понятия: токенизация, лемматизация, стемминг, стоп-слова.
· Предобработка текста: очистка данных от шума и мусора; токенизация и обработка текста, извлечение признаков из текста.
· Векторные представления слов: one-hot encoding, embedding (Word2Vec, fastText, GloVe), Bag-of-Words (BoW), TF-IDF
· Рекуррентные нейронные сети (RNN)
· Что такое BERT и для чего его используют
· Архитектура BERT
· Обучение BERT на больших корпусах данных
· Примеры применения BERT в NLP.
· Использование BERT для классификации текстовых данных и задачи NER
Возможные направления дальнейшего изучения NLP.
Курс по хардкорному Machine Learning
Продолжительность
5 дней/40 академических часов
Модуль 1: Теоретические основы и подготовка данных (8 часов)
· Современные тренды и постановка сложных задач в ML. Обзор хардкорных методов, кейсы нестандартного применения
· Математическая база для продвинутого ML. Линейная алгебра, статистика, оптимизационные методы
· Продвинутая предобработка данных. Очистка, нормализация, обработка выбросов, трансформация признаков
· Методы визуализации и анализа данных. Использование matplotlib, seaborn, Plotly для глубокого анализа
· Практическое занятие: применение методов предобработки на реальных наборах данных
Модуль 2: Супервизированное обучение и алгоритмы оптимизации (10 часов)
· Продвинутые модели регрессии и классификации. Глубокий анализ алгоритмов: SVM, ансамбли (Bagging, Boosting)
· Алгоритмы оптимизации и методы регуляризации. Градиентный спуск, стохастический градиент, Adam, RMSprop; техники предотвращения переобучения
· Работа с дисбалансированными данными. Методы синтеза выборок и техники балансировки
· Кросс-валидация и оценка качества моделей. Подбор гиперпараметров, Grid Search, Random Search
· Практическое занятие: разработка и оптимизация модели для решения сложной бизнес-задачи
Модуль 3: Глубокое обучение и нейронные сети (10 часов)
· Архитектуры глубоких нейронных сетей. CNN, RNN, LSTM, Transformer – обзор и сравнительный анализ
· Трансферное обучение и дообучение предобученных моделей. Применение предобученных моделей в новых задачах
· Техники регуляризации в глубоких сетях. Dropout, Batch Normalization, Data Augmentation
· Работа с большими данными и распределённое обучение. Использование GPU и кластеров для ускорения обучения
· Практическое занятие: создание и обучение нейросетевой модели на реальных данных
Модуль 4: Нелинейные задачи: несупервизированное обучение и Reinforcement Learning (6 часов)
· Методы кластеризации и понижения размерности. K-means, иерархическая кластеризация, PCA, t-SNE, UMAP
· Обучение с подкреплением. Основы Q-Learning, Deep Q-Networks (DQN)
· Интеграция методов несупервизированного и RL. Комбинированные подходы для сложных задач
· Практическое занятие: применение алгоритмов несупервизированного обучения и RL на реальном кейсе
Модуль 5: Интеграция, интерпретация и применение моделей (6 часов)
· Интерпретация и объяснение решений моделей. Методы Explainable AI: LIME, SHAP, визуализация Grad-CAM
Интеграция ML-решений в производственные системы. Создание REST API для моделей, базовые принципы MLOps
Мониторинг и обновление моделей. отслеживание качества, реагирование на дрифт данных
Практическое занятие: разработка комплексного проекта с интеграцией и демонстрацией результатов
Машинное обучение на Python в реальных проектах
Продолжительность
5 дней/40 академических часов
Модуль 1: Введение в машинное обучение и подготовка данных (8 часов)
· Обзор машинного обучения в реальных проектах. Тренды, кейсы из индустрии и примеры успешных решений
· Python для ML: инструменты и библиотеки. Обзор экосистемы: scikit-learn, pandas, NumPy, matplotlib
· Сбор данных и источники информации. API, базы данных, веб-скрейпинг Предобработка и очистка данных. Трансформация, нормализация, обработка пропусков
· Визуализация данных для аналитики. Построение графиков с использованием matplotlib, seaborn, Plotly
· Практическое занятие: подготовка реального набора данных для последующего анализа
Модуль 2: Классические алгоритмы машинного обучения (10 часов)
· Супервизированное обучение: регрессия и классификация. Линейная регрессия, логистическая регрессия, SVM
· Деревья решений и ансамблевые методы. Random Forest, Gradient Boosting, XGBoost
· Несупервизированное обучение. Кластеризация (K-means, иерархическая кластеризация), понижение размерности (PCA)
· Оценка качества моделей. Кросс-валидация, метрики (точность, recall, F1-мера и др.) Практическое занятие: разработка модели для задачи предсказания оттока клиентов или другого бизнес-кейса
Модуль 3: Применение глубокого обучения в реальных проектах (10 часов)
· Основы нейронных сетей и глубокого обучения. Архитектура, функции активации, концепция обучения
· Создание нейронных сетей с TensorFlow и Keras. Построение, обучение и оптимизация моделей
· Обработка изображений и текста. Сверточные нейронные сети (CNN) и рекуррентные сети (RNN, LSTM)
· Интеграция OpenCV для задач компьютерного зрения. Предобработка изображений, детекция объектов, применение в проектах
· Практическое занятие: реализация проекта: разработка модели для распознавания образов или анализа текстовых данных
Модуль 4: Разработка end-to-end ML-решений (6 часов)
· Проектирование прототипа ML-проекта. Постановка задачи, определение KPI и бизнес-логики
· Интеграция модели в приложение. Создание REST API с использованием Flask или FastAPI
· Интеграция с бизнес-процессами. Автоматизация, обработка потоковых данных и A/B тестирование
· Практическое занятие: разработка прототипа решения с интеграцией ML-модели в веб-сервис
Модуль 5: MLOps и развёртывание моделей в продакшн (6 часов)
· Введение в MLOps. Принципы CI/CD, автоматизация и мониторинг ML-моделей
· Контейнеризация и облачные решения. Docker, Kubernetes и развёртывание на AWS, GCP или Azure
Мониторинг и обновление моделей. Методы отслеживания качества модели и реагирование на дрифт данных
Разработка систем искусственного интеллекта на Python
Продолжительность
5 дней/40 академических часов
Модуль 1: Основы Python для ИИ и введение в машинное обучение (8 часов)
· Введение в Python для искусственного интеллекта: особенности языка, экосистема и роль Python в разработке ИИ-систем.
· Установка и настройка среды разработки: PyCharm, Jupyter Notebook, VS Code – выбор и настройка инструментария.
· Основы синтаксиса Python: переменные, типы данных, операторы, функции и модули.
· Работа с библиотеками для обработки данных: NumPy и pandas: основы работы с массивами и табличными данными.
· Практическое занятие: разработка простых скриптов для анализа и визуализации данных.
Модуль 2: Методы машинного обучения и классические алгоритмы (10 часов)
· Основы машинного обучения: супервизорное и несупервизорное обучение, ключевые понятия и задачи.
· Алгоритмы классификации и регрессии: линейная регрессия, логистическая регрессия, SVM и их применение.
· Алгоритмы кластеризации и понижения размерности: K-средних, иерархическая кластеризация, применение PCA.
· Предобработка и подготовка данных: очистка, масштабирование, нормализация и разделение выборок.
· Практическое занятие: реализация моделей машинного обучения с использованием библиотеки scikit-learn.
Модуль 3: Глубокое обучение и нейронные сети (10 часов)
· Введение в глубокое обучение: ключевые концепции, отличие глубокого обучения от классических методов.
· Построение нейронных сетей: перцептроны, многослойные нейронные сети, функции активации.
· Работа с TensorFlow и Keras: создание, обучение и оценка моделей нейронных сетей.
· Современные архитектуры нейронных сетей: сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN), LSTM.
· Интеграция OpenCV для компьютерного зрения. Основы работы с OpenCV, предобработка изображений, детекция объектов.
· Практическое занятие: разработка модели глубокого обучения для задач компьютерного зрения или обработки последовательностей. Разработка модели глубокого обучения для задач компьютерного зрения с использованием OpenCV.
Модуль 4: Разработка специализированных систем ИИ: NLP и Reinforcement Learning (6 часов)
· Обработка естественного языка (NLP): основы NLP, токенизация, векторизация текста, использование NLTK и spaCy.
· Модели трансформеров и современные подходы в NLP: обзор моделей BERT, GPT и их применение в реальных задачах.
· Введение в обучение с подкреплением (Reinforcement Learning): основные принципы, алгоритмы Q-Learning и Deep Q-Networks.
· Практическое занятие: реализация модели для анализа текстов и/или создание базовой RL-системы.
Модуль 5: Интеграция и развёртывание систем ИИ (6 часов)
· Проектирование комплексного ИИ-решения: постановка задачи, сбор и подготовка данных, выбор алгоритмов.
· Интеграция моделей в приложения: разработка REST API с использованием Flask/Django, контейнеризация моделей.
· Введение в MLOps: CI/CD для моделей, мониторинг, обновление и оптимизация ИИ-систем.
· Тестирование и оптимизация: оценка производительности, профилирование и устранение узких мест.
Практическое занятие: разработка и презентация итогового проекта с развертыванием модели в реальном приложении.
Искусственный интеллект и Машинное обучение + Основы Python
Продолжительность
5 дней/40 академических часов
Модуль 1: Введение в Python для ИИ (8 часов)
· Установка среды разработки Python установка, Jupyter Notebook, Anaconda
· Базовые конструкции языка Python Переменные, типы данных, условные операторы, циклы
· Работа с функциями. Объявление функций, параметры, возвращаемые значения
· Коллекции данных. Списки, кортежи, множества, словари
· Обработка ошибок Try/except конструкции, создание собственных исключений
· Работа с файлами Чтение и запись данных, работа с CSV файлами
Модуль 2: Введение в Машинное обучение (10 часов)
· Что такое машинное обучение. Типы задач, основные термины и концепции
· Библиотеки для машинного обучения NumPy, Pandas, Matplotlib, Scikit-learn
· Алгоритмы классификации KNN, Логистическая регрессия, Naive Bayes
· Алгоритмы регрессии Линейная регрессия, Полиномиальная регрессия
· Кластеризация K-means, Hierarchical Clustering
· Оценка качества моделей. Метрики качества, кросс-валидация, confusion matrix
Модуль 3: Нейронные сети и глубокое обучение (10 часов)
· Введение в нейронные сети структура перцептрона, прямое распространение, обратное распространение
· TensorFlow и Keras. Установка, базовые концепции, создание простых моделей
· Архитектуры нейронных сетей. Полносвязные сети, свёртки, рекуррентные сети
· Обучение нейронных сетей Loss функции, оптимизаторы, batch size, epochs
· Обработка изображений CNN архитектуры, transfer learning
· Генеративные модели GAN, VAE, Style Transfer
Модуль 4: Реальный мир ИИ (8 часов)
· Анализ текстов NLP основы, токенизация, embedding'и
· Компьютерное зрение Object detection, segmentation, pose estimation
· Рекомендательные системы Collaborative filtering, content-based filtering
· Разработка чат-ботов Dialogflow, Rasa, Seq2Seq модели
· Этика ИИ проблемы Bias, Fairness, Privacy
· Деплоинг моделей Flask, FastAPI, Docker
Модуль 5: Проектная работа (4 часа)
· Выбор темы проекта. Формулировка проблемы, постановка задачи
· Подготовка данных. Сбор, очистка, предобработка данных
· Разработка модели. Выбор алгоритмов, обучение, оценка
· Оптимизация результатов Fine-tuning, hyperparameter tuning
Размещение кода проекта на GitHub, создание документации, формирование профессионального портфолио для дальнейшего использования
Введение в машинное обучение и анализ данных
Продолжительность 45 академических часов
Курс состоит из 15 занятий , каждое занятие по 3 ак. часа.
Анализ данных и машинное обучение (10 занятий):
· Основы питона (списки, словари, множества, строки и т. д.)
· Основы ООП (наследование, инкапсуляция, полиморфизм), best practice при написании кода
· Pandas, работа с DataFrame, срезы данных по условию, объединение таблиц (.join, merge(), concat())
· Типы задач машинного обучения (обучение с учителем, обучение без учителя). Решаемые с помощью машинного обучения задачи (классификация — бинарная и многоклассовая, кластеризация, регрессия, прогнозирование). Линейная регрессия. Метрики для оценки качества регрессии.
· Логистическая регрессия, метод опорных векторов, метод knn. Метрки для оценки качества решения задачи классификации.
· Модели используемые для решения задачи кластеризации: kmeans, DBSCAN, иерархическая кластеризация. Метрики для оценки качества кластеризации.
· Деревья решений и их ансамбли. Случайный лес и бустинги (Catboost, XGBoost, LightGBM)
· Временные ряды, свойства временных рядов. Авторегрессионные модели (AR, MA, ARMA, ARIMA, SARIMA и т. д.), модель GARCH, бустинги для прогнозирования временных рядов.
· Понятие искусственного нейрона. Полносвязные нейронные сети. Свёрточные нейронные сети (LeNet, VGG, ResNet, GoogleNet и некоторые другие).
· Работа с текстом. “Мешок слов” (Bag of Words). Токенизация, лемматизация и стемминг. BERT. Здадачи решаемые с помощью NLP.
Визуализация данных (библиотеки matplotlib, seaborn, plotly и дашборды) (3 занятия)
· Обзор библиотек matplotlib, seaborn
· Рассмотрение возможностей библиотеки plotly
· Построение дашбордов (plotly + Dash)
Инструменты вывода моделей в прод.(2 занятия)
· Обзор ML-flow
· Streamlit для разработки web-приложений для ML-моделей.
Статистическая обработка данных
Продолжительность
5 дней/40 академических часов
Тема 1. Введение в анализ данных. Случайные выборки и их представления.
Виды данных – количественные, порядковые и номинальные. Задачи анализа данных: классификация, группировка, прогнозирование, нахождение ассоциаций и зависимостей, визуализация. Основные разделы, на которых базируется анализ данных: статистика, базы данных и знаний, распознавание образов, искусственный интеллект. Сферы применения анализа данных: финансы и банковское дело, маркетинг, медицина, генетика, биоинформатика, интернет. Генеральная совокупность и случайная выборка. Понятие репрезентативной выборки. Выборочный метод. Дискретные и непрерывные признаки. Вариационные ряды. Таблицы частот. Группировка данных (формула Старжессона). Графическое представление выборки. Диаграммы частот. Полигоны, гистограммы и огивы.
Тема 2. Числовые характеристики и выборки.
Характеристики положения: среднее арифметическое (по выборке, по частотной таблице для дискретного распределения, по сгруппированным данным для непрерывного распределения), мода (по выборке, по частотной таблице для дискретного распределения, по сгруппированным данным для непрерывного распределения), медиана (по выборке, по частотной таблице для дискретного распределения, по сгруппированным данным для непрерывного распределения). Характеристики разброса: дисперсия (по выборке, по частотной таблице для дискретного распределения, по сгруппированным данным для непрерывного распределения), стандартное отклонение, дисперсия несмещенная (по выборке, по частотной таблице для дискретного распределения, по сгруппированным данным для непрерывного распределения), стандартное отклонение несмещенное, размах, квартили и интерквартильный размах. Характеристики формы: коэффициенты асимметрии (Спирмэна, Пирсона), эксцесс.
Тема 3. Статистическое оценивание.
Точечные оценки. Несмещенность, состоятельность и эффективность точечных оценок. Определение точечных оценок математических ожиданий случайных величин в условиях применения равноточных и неравноточных измерений. Определение точечных оценок дисперсии (среднего квадратического отклонения), момента связи, коэффициента корреляции и вероятности наступления случайного события. Наиболее важные законы распределения, их свойства. Законы распределения: равномерное, нормальное (гауссово), Стьюдента, «хи-квадрат», Фишера. Интервальные оценки. Доверительный интервал для оценки генеральной доли признака и генерального среднего. Определение интервальной оценки математического ожидания случайной величины в условиях известной и неизвестной дисперсии результатов наблюдений. Определение интервальных оценок для среднего квадратического отклонения случайной величины и вероятности наступления случайного события.
Тема 4. Проверка статистических гипотез.
Понятие статистической гипотезы. Простые и сложные гипотезы. Нулевая гипотеза и альтернативы. Понятие статистического критерия. Ошибки первого и второго рода. Уровень значимости и мощность критерия. Описание гипотез и критерии их проверки. Классический подход к проверке гипотез. Гипотезы о параметрах распределений. Критерий согласия Пирсона. Гипотеза о среднем нормальной выборки с известной дисперсией. Гипотеза о верности успеха в испытаниях Бернулли. Гипотеза о среднем нормальной выборки с неизвестной дисперсией. Гипотеза о равенстве средних двух нормальных выборок. Гипотеза о равенстве вероятностей успеха в двух сериях Бернулли. Гипотеза о дисперсии нормальной выборки. Р-подход к проверке гипотез. Классическая α-методика. Современная р-методика.
Тема 5. Элементы корреляционного анализа.
Коварация и корреляция случайных величин. Свойства коварации. Свойства корреляции. Выборочная коварация и корреляция. Проверка гипотезы об отсутствии корреляции. Основные задачи теории корреляции: определение формы и оценка тесноты связи. Виды корреляционной связи (парная и множественная, линейная и нелинейная). Ранговая корреляция, коэффициенты Спирмена и Кендалла.
Тема 6. Анализ временных рядов.
Понятие временного ряда. Виды временных рядов. Основные показатели изменения уровней временных рядов (уровень ряда, абсолютный прирост, темп роста, темп прироста). Компоненты временных рядов (тренд, сезонная компонента, циклическая компонента, случайная составляющая). Основные этапы анализа временных рядов. Анализ тренда. Анализ сезонности. Вычисление случайной компоненты.
Компьютерное моделирование
Продолжительность
5 дней/40 академических часов
1. Этапы построения, цели математического моделирования. Классификация моделей. Общая схема процесса принятия решений. Предмодельный анализ системы. Выбор плана исследований.Классификация задач принятия решений. Домашнее задание.
2. Понятие статистического эксперимента. Математические предпосылки создания имитационной модели. Метод Монте-Карло. Программные средства имитационного моделирования. Управление модельным временем. Оценка качества, адекватности и устойчивости, чувствительности имитационной модели. Подбор параметров распределений. Домашнее задание.
3. Планирование компьютерного эксперимента. Масштаб времени. Датчики случайных величин. Потоки, задержки, обслуживание. Риски и прогнозы. Стратегическое планирование имитационного эксперимента. Численный эксперимент. Домашнее задание.
4. Математические модели динамических систем. Основные этапы активной идентификации динамических систем. Общие требования, предъявляемые к оценкам параметров моделей динамических систем. Способы управления экспериментом при идентификации динамических систем. Домашнее задание.
5. Моделирование последовательностей независимых и зависимых случайных испытаний. Общий алгоритм моделирования ДСВ. Случайная функция (СФ), случайный процесс (СП). Конечномерные законы распределения СП. Понятие стохастической модели состояния. Эргодические процессы. Домашнее задание.
6. Марковские процессы с дискретными состояниями. Классификация состояний, периодичность состояний, возвратность. Времена перехода из состояний. Свойства матрицы переходных состояний. Графы состояний. Уравнения Колмогорова. Процесс гибели-размножения. Домашнее задание.
7. Марковские процессы с дискретными состояниями. Классификация состояний, периодичность состояний, возвратность. Времена перехода из состояний. Свойства матрицы переходных состояний. Графы состояний. Уравнения Колмогорова. Процесс гибели-размножения. Домашнее задание.
На домашние задания отводится 2-4 часа в зависимости от сложности реализуемой задачи.
Математика для Data Science. Методы оптимизации и алгоритмы анализа данных
Продолжительность
5 дней/40 академических часов
Модуль 1: Введение в методы оптимизации для Data Science (8 часов)
• Обзор современных задач Data Science, решаемых с помощью оптимизации (по состоянию на 2025 год).
• Основы оптимизации: выпуклые и невыпуклые функции, ограничения, целевые функции.
• Градиентный спуск и его вариации: стохастический градиентный спуск (SGD), Adam, RMSprop.
• Инструменты для оптимизации в Python: SciPy, NumPy, scikit-optimize.
• Практическое занятие: Реализация градиентного спуска для задачи минимизации функции (например, линейной регрессии) на синтетическом датасете.
Модуль 2: Продвинутые методы оптимизации (10 часов)
• Методы второго порядка: метод Ньютона, квази-ньютоновские методы (BFGS, L-BFGS).
• Стохастические и байесовские методы оптимизации: Bayesian Optimization для подбора гиперпараметров.
• Оптимизация с ограничениями: метод множителей Лагранжа, линейное программирование.
• Практическое занятие: Применение Bayesian Optimization для подбора гиперпараметров модели (например, для SVM) на датасете (например, Iris или синтетическом).
Модуль 3: Алгоритмы анализа данных: кластеризация и снижение размерности (8 часов)
• Кластеризация: k-means, DBSCAN, иерархическая кластеризация.
• Снижение размерности: PCA, t-SNE, UMAP для визуализации и анализа данных.
• Оценка качества кластеризации: метрики (Silhouette Score, Davies-Bouldin Index).
• Практическое занятие: Реализация кластеризации и снижения размерности на реальном датасете (например, датасет клиентов для сегментации).
Модуль 4: Алгоритмы классификации и прогнозирования (6 часов)
• Классификация: логистическая регрессия, SVM, деревья решений (без ансамблей).
• Прогнозирование: временные ряды, ARIMA, экспоненциальное сглаживание.
• Работа с большими данными: использование Dask для параллельных вычислений.
• Практическое занятие: Построение модели классификации (например, на датасете Titanic) и прогнозирование временного ряда (например, продажи).
Модуль 5: Интерпретация, внедрение и итоговый проект (8 часов)
• Интерпретация результатов: анализ важности признаков, визуализация (SHAP без нейросетей, коэффициенты регрессии).
• Автоматизация анализа данных: создание пайплайнов с scikit-learn и MLflow.
• Внедрение решений: создание REST API с FastAPI для аналитической модели.
• Практическое занятие: Итоговый проект — разработка и внедрение аналитического решения (например, сегментация клиентов или прогнозирование спроса) с последующим созданием API.
Теория вероятностей
Продолжительность
5 дней/40 академических часов
1. Комбинаторика, события, алгебра событий. Элементарные комбинаторные соотношения. Пространство элементарных событий, случайные события, алгебра событий. – 10 ч.
2. Вероятность. Классическое, статистическое (частотное) и геометрическое определение вероятности. Несовместные и независимые события. Условная вероятность. Законы сложения и умножения вероятностей. Формула полной вероятности, формула Байеса (теорема гипотез). – 8 ч.
3. Повторение испытаний. Схема Бернулли, наивероятнейшее число успехов. Полиномиальное распределение. Локальная и интегральная теоремы Муавра – Лапласа. Закон редких событий (Пуассона). – 8 ч.
4. Случайные величины (СВ). Типы СВ. Законы распределения СВ. Интегральная функция распределения СВ и ее свойства. Непрерывные СВ, плотность распределения и ее свойства. Характеристики положения СВ: мода, медиана, квантили и процентные точки. Числовые характеристики одномерных СВ. Начальные и центральные моменты СВ. Математическое ожидание и его свойства. Дисперсия и ее свойства. Коэффициенты асимметрии и островершинности распределения. – 6 ч.
5. Законы распределения случайных величин. Равномерный, показательный и нормальный законы распределения. Вероятность попадания на интервал, математическое ожидание, дисперсия, скос и эксцесс. Стандартное нормальное распределение. Функция надежности. – 4 ч.
6. Закон больших чисел. Неравенство Чебышева. Теоремы Чебышева, Маркова и Бернулли. Центральная предельная теорема. – 4 ч.
Математический анализ
Продолжительность
5 дней/40 академических часов
Тема 1. Множества
Основные черты математического мышления, аксиоматический подход, математические доказательства, прямая, обратная и противоположная теоремы. Индукция и дедукция, бином Ньютона. Элементы и множества, конечные и бесконечные множества, отношения и отображения. Операции над множествами. Понятие размерности, множества дробной размерности.
Тема 2. Числовая последовательность
Определение числовой последовательности. Монотонные последовательности, возрастающие и убывающие, невозрастающие и неубывающие, ограниченные и неограниченные числовые последовательности. Понятие верхней и нижней граней. Бесконечно большие и бесконечно малые последовательности, связь между ними.
Тема 3. Функция
Определение функции, область ее определения и область значений. Характеристики поведения функций: четность и нечетность, возрастание и убывание, наибольшее и наименьшее значения, ограниченность, периодичность. Основные элементарные функции, их свойства и графики. Замечательные кривые. Неявные функции. Сложные и обратные функции, их графики.
Тема 4. Предел функции
Предел функции в точке. Предел функции на бесконечности. Предел слева и справа. Свойства пределов: арифметические действия над функциями, имеющими пределы, предельные переходы в неравенствах функций, имеющих пределы.
Тема 5. Непрерывность функции
Непрерывность функции, непрерывность слева и справа. Выколотая точка, точки разрыва первого и второго рода. Арифметические действия над непрерывными функциями, непрерывность сложной функции. Свойства непрерывных функций.
Тема 6. Производная и дифференциал
Приращение функции, производная, дифференцируемость функции. Непрерывность дифференцируемой функции. Геометрический смысл производной, уравнения касательной и нормали. Дифференциал функции, его геометрический смысл. Правила дифференцирования. Формулы дифференцирования основных элементарных функций. Производные сложной и обратной функции. Логарифмическое дифференцирование. Производная от неявной функции. Дифференцирование функций, заданных параметрически. Производные и дифференциалы высших порядков. Правило Лопиталя.
Тема 7. Возрастание и убывание функции. Локальные экстремумы
Достаточный признак возрастания (убывания) функции одной переменной. Экстремумы функции (максимум и минимум). Необходимое условие экстремума, достаточные признаки экстремума. Наибольшее и наименьшее значения функции на отрезке.
Тема 8. Вогнутость и выпуклость функции. Точки перегиба
Определение выпуклой (вогнутой) функции, и точки перегиба графика функции. Необходимое условие точки перегиба. Достаточные признаки вогнутости (выпуклости) и наличия точек перегиба. Касательная к графику функции в точке перегиба.
Тема 9. Применение дифференциального исчисления для исследования функций и построения их графиков
Асимптоты графика функции (вертикальная, горизонтальная, наклонная). Понятие об асимптотическом разложении. Общая схема исследования функции и построения ее графика.
Тема 10. Неопределённые интегралы
Первообразная, неопределенный интеграл, его свойства. Замена переменной в неопределенном интеграле. Формула интегрирования «по частям». Интегрирование простейших рациональных дробей. Разложение правильной рациональной дроби на простейшие: случаи неповторяющихся линейных действительных множителей знаменателя и неповторяющихся квадратичных его множителей. Интегрирование тригонометрических и простейших иррациональных функций.
Тема 11. Определенные интегралы
Интегральные суммы Римана и Дарбу. Определенный интеграл, его геометрический смысл, свойства. Необходимое и достаточное условие интегрируемости. Геометрический смысл определенного интеграла. Теорема о среднем. Формула Ньютона-Лейбница. Формулы замены переменной и интегрирования «по частям» для определенного интеграла. Применение определенного интеграла к вычислению площадей плоских фигур, длин дуг кривых, объёмов тел вращений. Методы приближенных вычислений определенных интегралов по формулам прямоугольников, трапеций и Симпсона.
Тема 12. Несобственные интегралы
Несобственные интегралы с бесконечными пределами и от неограниченных функций, их основные свойства. Признаки сходимости несобственных интегралов.
Тема 13. Числовые ряды
Понятие числового ряда, частичные суммы, определение сходимости и расходимости числового ряда. Сумма числового ряда как предел последовательности частичных сумм. Сумма членов бесконечной убывающей геометрической прогрессии. Свойства сходящихся рядов. Критерий Коши. Необходимое условие сходимости ряда. Гармонический ряд.
- Учитель: Ольга Горохова
- Учитель: Максим Лапшев
Генеративные нейросети в маркетинге
Нейросети в маркетинге: как использовать ИИ для контента, аналитики и дизайна
"Научитесь работать с ИИ без ошибок и лишних затрат — от генерации текстов до анализа данных"
Для кого этот курс:
✔️ Маркетологи, которые хотят внедрить ИИ в создание контента и аналитику.
✔️ Предприниматели, стремящиеся автоматизировать рутину и сократить расходы.
✔️ Дизайнеры и копирайтеры, желающие ускорить работу с помощью нейросетей.
✔️ Новички в ИИ, которые хотят разобраться в инструментах без сложных терминов.
Почему стоит начать?
Вы узнаете:
→ Как правильно формулировать запросы, чтобы ИИ понимал вас с первого раза.
→ Какие бесплатные инструменты экономят время и дают профессиональный результат.
→ Как комбинировать сервисы для сложных задач: от генерации идей до готовых креативов.
Чему вы научитесь:
✅ Работать с нейросетями — даже если никогда не пробовали.
✅ Решать реальные задачи — создавать тексты, изображения, анализировать данные.
✅ Встраивать ИИ в процессы — от маркетинга до дизайна.
Формат:
• Практические видеоуроки на основе реальных кейсов.
• Доступ к курсу навсегда + обновления материалов.
• Закрытое комьюнити для обмена опытом.
Результат:
Вы сможете создавать контент и креативы намного быстрее. ИИ станет вашим надежным помощником, а не сложной технологией, которая работает против вас.
Начните сейчас — превратите ИИ из загадки в мощный инструмент для работы!
- Учитель: Татьяна Захарова
- Учитель: Александр Самсонов
Oracle Database: Передовые методы PLSQL и настройки производительности
Продолжительность
5 дней/40 академических часов
Введение
Задачи курса. Описание сред разработки. Схемы, используемые в этом курсе.
Создание хранимых процедур
Создание, вызов и удаление процедур. Режимы параметров. Различные способы передачи параметров. Обработка исключений в процедурах.
Создание хранимых функций
Создание, выполнение и удаление функций. Использование хранимых функций в SQL. Ограничения на вызов функций из SQL.
Создание пакетов
Общедоступные и частные компоненты пакета. Создание спецификации и тела пакета. Вызов пакетных конструкций.
Работа с пакетами
Перегрузка пакетных подпрограмм в PLSQL. Использование предварительного объявления. Блок инициализации пакета. Контроль побочных эффектов в подпрограммах PLSQL. Устойчивое состояние пакетных переменных и курсоров.
Использование в разработке приложений пакетов, поставляемых Oracle
Пакеты dbms_output, utl_file и dbms_scheduler.
Динамический SQL
Этапы выполнения команды SQL. Использование команды execute immediate и пакета dbms_sql. Динамическое выполнение команд и блоков в PLSQL.
Создание триггеров
Различные виды триггеров. Создание триггеров. Последовательность срабатывания триггеров. Instead of триггеры. Управление триггерами.
Комбинированные триггеры, DDL-триггеры и триггеры, срабатывающие по системным событиям
Работа с комбинированными триггерами. Мутация и триггеры. Создание триггеров, срабатывающих на команды DDL. Создание триггеров, срабатывающих на системные события.
Использование компилятора PLSQL
Настройка компилятора PLSQL. Просмотр текущих значений параметров компилятора. Параметры, влияющие на компиляцию кода PLSQL. Категории предупреждений компилятора. Управление предупреждениями с помощью параметра plsql_warnings и программно. Встраивание подпрограмм. Использование директив условной компиляции.
Курсорные переменные и подтипы данных
Эффективное использование курсоров. Работа с курсорными переменными.Создание подтипов на основе имеющихся типов.
Коллекции
Использование ассоциативных массивов и вложенных таблиц. Создание хранимых вложенных таблиц и работа с ними. Операторы сравнения вложенных таблиц. Работа с массивами переменной длины (varrays). Методы коллекций. Исключения при работе с коллекциями. Эффективное использование коллекций. Связанные типы.
Работа с большими объектами
Типы LOB. Пакет dbms_lob. Создание BFILE и обращение к нему. Изменение CLOB и BLOB. Временные LOB объекты. Тип хранения securefile. Дедубликация, сжатие и шифрование LOB. Миграция в securefile с помощью пакета dbms_redefinition.
Работа с JSON объектами.
Преимущества JSON формата. SQL функции, создающие JSON объекты. Оператор IS JSON. Извлечение значений из JSON структур. Объектные типы для работы с JSON.
Вызов внешних программ из PLSQL.
Преимущества вызова внешних программ. Использование library. Примеры вызова из PLSQL процедур, написанных на C и Java.
Настройка производительности кода PLSQL
Стандартизация констант и исключений. Локальные подпрограммы. Использование автономных транзакций. Подсказки nocopy и parallel_enable. Эффективное использование типов данных и ограничений. Массовое связывание: предложения forall и bulk collect. Предложение save exceptions. Работа с разреженными коллекциями. Конструирование условных выражений. Использование динамического распараллеливания с пакетом dbms_parallel_execute.
Увеличение производительности за счет кеширования
Использование кеша результатов для запросов. Управление кешем результатов. Кеширование результатов PLSQL функций.
Анализ кода PLSQL и извлечение метаданных
Информация о коде из словаря данных. Стандартные отчеты. Механизм PLScope для наблюдения за идентификаторами. Подпрограммы пакета dbms_utility для отслеживания последовательности вызовов и ошибок. Извлечение метаданных схем с помощью пакета dbms_metadata. Фильтрация и преобразование метаданных.
Профилирование и трассировка кода PLSQL
Трассировка выполнения PL/SQL. Уровни трассировки. Пакет dbms_trace. Профилирование кода с помощью пакета dbms_hprof. Анализ полученных данных.
Безопасность в PLSQL.
Права создателя и права вызывающего пользователя. Выдача ролей для исполняемых объектов. Белые списки. Внедрение виртуальной частной базы данных при помощи создания политик безопасности с использованием контекста приложения. Пакет dbms_rls. Применение политики.
Защита кода от SQL-внедрений
Описание SQL внедрений. Уязвимый для SQL внедрений код. Использование пакета dbms_assert для обезвреживания внедрений.
Дополнительные механизмы безопасности.
Сокрытие кода с помощью утилиты wrap и пакета dbms_ddl. Шифрование данных таблиц. Маскирование информации. Пакет dbms_reduct.
- Учитель: Татьяна Захарова
- Учитель: Александр Самсонов
Практический SQL для новичков
Продолжительность
3 дня/24 академических часов
1. Извлечение данных при помощи команды SELECT.
Список возможностей команды SELECT. Использование арифметических операторов и неопределенных значений в команде SELECT. Псевдонимы столбцов. Использование оператора конкатенации, строк-литералов и предложения DISTINCT.
2. Ограничение и сортировка данных.
Использование предложения WHERE для выборки необходимых строк. Использование операторов сравнения и логических операторов в предложении WHERE.
3. Однострочные функции
. Функции символьные, числовые, по работе с датами, преобразования типов, общего вида. CASE и DECODE.
4. Агрегация данных при помощи групповых функций.
Использование групповых функций в команде SELECT. Создание групп данных при помощи GROUP BY. Исключение групп данных при помощи HAVING.
5. Соединение таблиц.
Синтаксис соединения. Типы соединений. Естественное соединение. Соединение таблицы с собой. Соединения с условиями, отличными от равенства. Внешние соединения.
6. Подзапросы.
Виды проблем, решаемые при помощи подзапросов. Однострочные, многострочные, коррелированные подзапросы. Предложение WITH.
7. Операторы работы над множествами.
Операторы UNION и UNION ALL. Оператор INTERSECT. Оператор MINUS. Сопоставление результатов SELECT.
8. Язык изменения данных (DML)
Описание команд DML: INSERT, UPDATE, DELETE. Транзакции.
9. Язык определения данных (DDL)
Описание команд DDL: CREATE, ALTER, DROP. Ограничения, их типы. Синтаксис.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Сергей Иванов
Экспресс-курс по Миграции с Oracle на PostgreSQL
Продолжительность курса:
8 академических часов
На курсе рассказывается о методологии миграции, этапах миграции, какие мероприятия нужно запланировать и провести на каждом этапе и по его завершению. А также легкий обзор различий в архитектуре, типах данных.
Аудитория курса:
Администраторы и разработчики баз данных Oracle и PostgreSQL, участвующие в проектах миграции.
Необходимая подготовка:
Для прохождения курса достаточно знаний SQL и понимания принципов работы и организации БД.
Программа
- Введение.
Определение миграции данных. Причины и предпосылки миграции данных. Отличие миграции данных от интеграции данных и репликации данных. Основные типы миграции данных.
- Процесс миграции данных
Описание основных подходов к миграции данных (миграция данных «большого взрыва», тонкая или «капельная миграция»). Описание процесса миграции данных:
· Планирование
· Аудит, профилирование и очистка данных
· Резервное копирование данных
· Разработка дизайна миграции данных
· Остановка источника данных
· Тестирование миграции данных
· Постмиграционный аудит
- Знакомство с СУБД Oracle
Структура экземпляра. Физическая архитектура. Основные типы сегментов. Типы данных. Поддержка национальных языков и кодировки.
- Знакомство с СУБД PostgreSQL
Базы данных и шаблоны. Физическая архитектура. Объекты для хранения данных. Типы данных. Поддержка национальных языков и кодировки.
«Золотые» правила миграции. Пример миграции регулярной таблицы.
- Учитель: Татьяна Захарова
- Учитель: Светлана Владимировна Ткаченко
Администрирование PostgreSQL 16. Краткий и интенсивный курс для администраторов
Продолжительность
2 дня /16 академических часов
Общее устройство сервера PostgreSQL
Работа экземпляра кластера. Процессы экземпляра. Структуры памяти экземпляра. Подключение клиентов. Организация хранения данных кластера.
Установка ПО сервера PostgreSQL и создание кластера
Пакетная установка. Установка из исходных кодов. Создание кластера.
Подключение к базе данных кластера (утилита psql)
Параметры утилиты psql. Команды утилиты psql. Конфигурация утилиты psql.
Настройка подключения и аутентификации
Файл конфигурации подключения и аутентификации. Пример конфигурации.
Конфигурирование кластера
Файлы конфигурации кластера. Обновление файлов конфигурации. Установка локальных параметров. Мониторинг значений параметров.
Буферный кэш и журнал предзаписи
Назначение буферного кэша. Конфигурация буферного кэша. Назначение журнала предзаписи. Конфигурация журнала предзаписи.
Контрольная точка
Цель выполнения контрольной точки. Процессы, выполняющие контрольную точку. Параметры контрольной точки. Мониторинг контрольной точки.
Механизм многоверсионности
Цель использования механизма многоверсионности. Формирование новых версий строк. Блокировки.
Уровни изоляции транзакций
Свойства транзакций. Уровни изоляции транзакций в стандарте SQL. Уровни изоляции транзакций в PostgreSQL.
Снимки данных
Назначение снимков данных. Использование снимков в транзакциях. Получение информации о снимке.
Создание баз данных
Базы данных кластера. Создание базы данных. Информация о базах кластера.
Создание схем
Назначение схем. Создание и использование схем. Информация о схемах.
Табличные пространства
Схема формирования табличных пространств. Администрирование табличных пространств. Информация о табличных пространствах.
Управление ролями
Назначение ролей. Создание ролей. Выдача привилегий на роли. Информация о ролях.
Управление привилегиями
Виды привилегий. Выдача привилегий. Информация о привилегиях.
Работа команды vacuum
Назначение процесса очистки. Режимы работы команды vacuum. Мониторинг работы процесса очистки.
Настройка autovacuum
Процессы автоматической очистки. Параметры autovacuum. Информация о работе autovacuum.
Cбор статистики
Процессы сбора статистики. Конфигурация сбора статистики. Просмотр статистики.
Настройка локальной памяти серверного процесса
Использование локальной памяти серверным процессом. Параметры настройки локальной памяти.
Параметры оптимизации
Способы оптимизации. Параметры оптимизации.
Логическое резервирование
Использование логической копии данных. Команды и утилиты для логического резервирования.
Физическое резервирование
Использование физической копии данных. Утилита для физического резервирования. Архивирование журнальных файлов.
Варианты обновления сервера
Формирование версий сервера. Обновление дополнительного выпуска. Обновление с помощью утилиты pg_dumpall. Обновление с помощью утилиты pg_upgrade.
Работа с внешними данными
Назначение внешних таблиц. Настройка доступа к внешним данным. Встроенные обертки внешних данных.
Управление расширениями
Назначение расширений. Структура расширений. Команды управления расширениями.
Настройка файловой репликации для физической реплики
Цель использования репликации. Создание физической реплики. Механизм передачи изменений на реплику при файловой репликации. Возможности и ограничения физической реплики.
Настройка потоковой репликации для физической реплики
Сравнение потоковой и файловой репликации. Механизм передачи изменений на реплику при потоковой репликации. Настройки для потоковой репликации. Мониторинг репликации. Проблемы репликации.
Переключение между репликами
Причины переключения на реплику. Процедуры переключения на реплику. Восстановление мастера.
Логическая репликация
Особенности логической репликации. Механизм передачи изменений на реплику при логической репликации. Режимы идентификации строк и конфликты.
Варианты конфигурации реплик
Подключение нескольких реплик. Синхронная реплика. Каскадная репликация. Отложенная репликация.
- Учитель: Николай Иванович Обухов
- Учитель: Светлана Владимировна Ткаченко
Настройка производительности и оптимизация СУБД PostgreSQL
Продолжительность курса:
5 дней/40 академических часов.
Введение.
1. Знакомство с PostgreSQL. 2. Архитектура и организация данных.
Планирование запросов. Интерпретация работы планировщика.
1. Как на самом деле выполняется запрос в БД. 2. Разбор и переписывание запросов планировщиком. 3. Команда EXPLAIN и EXPLAIN ANALYZE.
Интерпретация результатов. Параллельное выполнение запросов.
1. Как работают параллельные запросы. 2. Параллельные планы выполнения. 3. Параллельные сканирования, соединения и агрегирование.
Архитектурные и проектные аспекты.
1. Проектирование БД. 2. Нормализация и денормализация. 3. Типы данных. Их влияние на производительность и емкость.
Индексы.
1. Что такое индекс. 2. Создание, удаление индексов. 3. Влияние индексов на производительность запросов и в каких случаях он необходим. 4. Влияние индексов на обновление, удаление данных.
Приемы оптимизации при наполнении БД.
1. Удаление индексов и ограничений ключей. 2. Использование операции COPY. 3. Увеличение параметров maintenance_work_mem и max_wal_size. 4. Управление автофиксацией транзакций. 5. Обновление статистики командой ANALYZE.
Регламентные задачи обслуживания БД.
1. Операция VACUUM. 2. Регламентная очистка. 3. Периодическая переиндексация.
Управление памятью.
1. Параметры, отвечающие за использование ресурсов памяти. 2. Настройка и изменение параметров. 3. Настройка журнала WAL.
Оптимизация больших таблиц.
1. Секционирование таблиц. Методы управления секциями. 2. Создание и использование представлений. Материализованные представления. 3. Создание и использование общих табличных выражений CTE. Материализованные CTE.
Статистика и мониторинг.
1. Отслеживание статистики планирования и выполнения SQL операторов. 2. Статистика запросов. 3. Другая статистика.
- Учитель: Татьяна Захарова
Проектирование и разработка БД для промышленных OLTP систем под управлением Postgres
Продолжительность
10 дней /30 академических часов
Курс рассматривает особенности проектирования и обработки данных в высоконагруженных средах с учетом архитектурных свойств СУБД Postgres.
По окончании курса слушатель сможет:
· Проектировать структуру данных в соответствии с бизнес-моделью, с оптимизацией под задачи обработки транзакций в реальном времени
· Писать код запросов и процедурных единиц с учетом требований OLTP систем
· Занятия проходят на выбор в очном или дистанционном формате с 18.00 – 21.00
Аудитория курса:
- Будущие инженеры – программисты
- Архитекторы баз данных
Программа
Принципы построения клиент-серверных систем — 1 час
Протоколы взаимодействия, суперсерверная и многопоточная архитектуры, простейшие сервера, одновременное обслуживание соединений, прослушиватели.
Особенности архитектуры СУБД Postgres — 6 часов
Процессы, пул соединений, память, буферный кэш, блокировки, версионность, вакууминг, файлы данных и журнала, табличные пространства и организация системного словаря.
Нормализация и избыточность, целостность данных — 2 часа
Таблицы, отношения, избыточность, построение связей, нормализация и производительность, поддержка согласованности.
Транзакционность, требования ACID — 2 часа
Разработка транзакций, коммит, обработка исключений, откат.
Свойства и отличия OLTP платформ — 2 часа
Отличия OLTP от OLAP платформ.
Жизненный цикл данных — 2 часа
Появление, очистка, нормализация, подготовка аналитики.
Поиск, сортировка, обновление — 2 часа
Построение планов запросов, оптимизация запросов.
Накладные расходы на обслуживание — 6 часа
Индексы, структура данных, построение связей, оптимизация для задач сбора, хранения, поиска данных.
Распараллеливание, адаптация кода — 5 часов
Разработка запросов с параллельным выполнением, критерии распараллеливания.
Ведение логов, типы транзакций — 2 часа
Разработка и отладка, методы отладки, автономность транзакций.
- Учитель: Татьяна Захарова
- Учитель: Александр Самсонов
PostgreSQL: Уровень 1. Основы SQL
Продолжительность курса:
3 дня/24 академических часов.
Курс дает слушателям базовые знания SQL, которые позволяют разработчику писать запросы к одной или нескольким таблицам, создавать объекты базы данных и модифицировать данные таблиц.
После обучения на курсе Вы научитесь:
· изменять данные в базе;
· выполнять простые и перекрестные запросы;
· проектировать и создавать объекты базы данных и взаимосвязи между ними;
· адаптировать структуру базы данных под вновь возникающие требования.
Курс предусматривает практические занятия.
Аудитория курса:
· администраторы баз данных
· разработчики приложений
· разработчики отчетов
· бизнес-аналитики
· научные работники
Программа
Модуль 1. Введение в PostgreSQL
Обзор основных возможностей БД PostgreSQL. Язык SQL, его структура и основные команды. Обзор инструментария PostgreSQL.
Модуль 2. Проектирование базы данных и создание ее первичной структуры
Обзор структуры таблицы. Основные типы данных, используемые при создании столбцов таблицы. Понятия первичного и вторичного ключа. Команда CREATE TABLE. Правила целостности данных. Внешний ключ. Изменение структуры таблиц. Индексы. Представления.
Модуль 3. Выборка данных (SELECT)
Простой запрос. Его основные возможности. Арифметические выражения в выборке. Использование команды DESCRIBE для вывода структуры таблицы. Использование опции WHERE. Использование символьных литералов. Опция ORDER BY.
Модуль 4. Встроенные функции PostgreSQL
Числовые функции. Строковые функции. Функции для работы с датой. Преобразования типов. Функция COALESCE и связанные с ней функции. Операция CASE.
Модуль 5. Реализация финансовой арифметики
Модуль 6. Аггрегатные функции
Основные аггрегатные функции. Опция GROUP BY. Опция HAVING.
Модуль 7. Перекрестные запросы (выборка данных из нескольких таблиц)
Структура перекрестного запроса. Опция INNER JOIN. Опция OUTER JOIN. Соединение таблицы с самой собой. Подзапросы. Объединение результирующих множеств.
Модуль 8. Модификация данных в СУБД
Добавление строк в таблицу при помощи команды INSERT. Использование команды UPDATE для изменения строк таблицы. Удаление данных из таблицы при помощи команды DELETE. Понятие транзакции.
Модуль 9. Подключение к СУБД из прикладной программы
Понятие клиентской библиотеки. Основные виды клиентских библиотек. Понятие объектно-реляционного соответствия.
- Учитель: Надежда Ивановна Дубижанская
Миграция с Oracle на Postgresql на базе практического примера с анализом возникающих проблем и вариантами их решения
Продолжительность курса:
2 дня/16 академических часов.
Соотношение теории к практике –50/50.
Основываясь на опыте и решении задач, на базе практического примера с анализом возникающих проблем и вариантами их решения, Учебный Центр РДТЕХ подготовил уникальный, а самое главное актуальный курс по миграции с СУБД Oracle на СУБД Postgresql.
Данный курс предназначен для слушателей, перед которыми стоит вопрос миграции с СУБД Oracle на СУБД Postgres. Практические задания выполняются на примере конкретной системы, реализованной в СУБД Oracle. Слушатели создают базу данных Postgresql, и в процессе обучения поэтапно выполняют шаги по миграции. В процессе выполнения заданий слушатели узнают о возможных проблемах, возникающих на отдельных шагах миграции, и возможных вариантах их решения.
Курс разделен на 3 части:
Первая часть – общий обзор исходной СУБД с целью оценки трудоёмкости задачи по миграции.
Вторая часть курса посвящена физическому переносу объектов: таблиц, представлений, ограничений, индексов и т.д., и непосредственный перенос данных из одной базы в другую. Особое внимание уделяется разрешению конфликтов из-за несовместимости отдельных типов данных и возможных решениях, а также отдельных моментов, связанных со скоростью выполнения последних задач.
Третья часть курса посвящена миграции бизнес-логики приложений, находящейся в БД Oracle. Основное внимание уделяется различиям, связанным с использованием специфического функционала Oracle в исходной системе и возможным решениям для их реализации в СУБД Postgresql. Также рассматриваются вопросы, связанные с проведением определённого реинжиниринга, обусловленного различиями СУБД Oracle и Postgresql.
В результате слушатели смогут получить достаточно полное представление о содержании работ, выполняемых в процессе миграции. Достаточное для принятия решений по проведению миграции, а так же позволяющее оценить объем предстоящих работ.
Аудитория курса:
Администраторы и разработчики баз данных Oracle и PostgreSQL, участвующие в проектах миграции.
Необходимая подготовка:
Базовые знания по администрированию Oracle и PostgreSQL, знание SQL, а также основ языков PL/SQL и PgSQL. Дополнительно приветствуются знания языков python и javascript.
Программа
1. Формирование среды для выполнения работ по миграции.
2. Анализ источника (исходной системы на СУБД Oracle).
· Определение требований миграционного проекта
· Оценка затрат миграционного проекта
· Анализ операционных требований
· Анализ приложения
· Планирование миграционного проекта
3. Шаги по миграции объектов БД.
· Создание целевой БД (Postgresql)
· Анализ исходной БД на предмет необходимости выполнения преобразования модели исходных данных
· Поэтапное формирование целевой модели исходных данных
4. Перенос данных.
· Создание скриптов для динамической трансформации данных с учётом изменений в целевой структуре
· Пошаговая миграция данных
· Оптимизация процесса переноса данных
· Тестирование результатов переноса данных
5. Проблемы переноса бизнес-логики.
· Расширения Postgresql
· Миграция PL/SQL процедур
· Миграция PL/SQL функций
· Миграция типов данных
· Миграция триггеров
· Миграция пакетов
6. Некоторые аспекты миграции клиентских приложений и межсистемного взаимодействия.
· Возможные решения при миграции приложений
· Варианты миграция систем, использующих Oracle APEX
Реализация интерфейсов к внешним системам КИС.
- Учитель: Александр Самсонов
PostgreSQL: Уровень 2. Процедурный код и дополнительные возможности
Продолжительность курса:
3дня/24 академических часов.
Курс посвящен систематическому изучению процедурного программирования в СУБД PostgreSQL. Обсуждаются управляющие структуры блока, использование SQL команд в блоке, курсоры, создание и особенности реализации функций, триггеров, процедур в PL/pgSQL, а также типы данных, в том числе составные, динамический код, обработка ошибок, разграничение доступа.
Практики курса позволяют получить навыки самостоятельной разработки подпрограмм.
Необходимые требования:
· знание SQL команд;
· понимание механизма транзакций;
· знакомство с основными объектами базы данных в объеме курса "PostgreSQL Уровень1: Основы SQL"
Аудитория курса:
· Разработчики приложений;
· Разработчики PL/pgSQL;
· Специалисты отделов технической поддержки;
· Системные аналитики.
Программа
1. Введение в PL/pgSQL
Преимущества и структура PL/pgSQL. Идентификаторы. Типы данных. Инициализация переменных. Операторы. Использование встроенных функций.
2. Использование операторов SQL в блоке
Извлечение данных с помощью SELECT. Соглашения об именовании. Изменение данных при помощи DML команд.
3. Управляющие структуры
Условные операторы IF и CASE. Циклы.
4. Функции и процедуры.
Создание подпрограмм на SQL и PL/pgSQL. Параметры. Перегрузка. Категории изменчивости функций.
5. Составные типы данных и массивы
Создание и использование составных типов данных. Работа с массивами.
6. Курсоры
Объявление курсора. Операции с курсором. Циклы по курсору.
7. Динамические запросы
Выполнение динамического запроса. Способы формирования динамического запроса.
8. Обработка ошибок
Обработка ошибок в блоке PL/pgSQL. Имена и коды ошибок. Выполнение обработчика.
9. Триггеры
Виды триггеров. Триггерные функции. Момент срабатывания. Контекст выполнения триггерной функции.
10. Использование XML и JSON
Создание, выборка и обновление данных XML и JSON. Проверки на вхождение.
11. Обзор разграничения доступа
Привилегии. Роли и атрибуты.
12. Рекурсивные запросы и система правил
Рекурсивные запросы в иерархических структурах. Назначение и создание правил.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Татьяна Захарова
Экспресс курс: Основы языка SQL и администрирования базы данных Oracle 19c
Продолжительность
3 дня/24 академических часов
1. Получение данных с помощью команды SQL SELECT
Возможности команды SELECT. Использование псевдонимов столбцов, предложения DESCRIBE, оператора конкатенации, строк-литералов, альтернативного оператора кавычек(q), ключевого слова DISTINCT.
2. Ограничение и сортировка данных
Применение правил старшинства для операторов в выражении. Ограничение строк, возвращаемых в инструкции SQL. Использование подстановочных переменных и команд DEFINE и VERIFY.
3. Использование однострочных функций
Манипулирование строками с символьными функциями в предложениях SQL SELECT и WHERE. Выполнение арифметических действий с данными даты. Работа с числами с помощью функций ROUND, TRUNC и MOD. Управление датами с помощью функции date.
4. Использование функций преобразования и условных выражений
Применение функций NVL, NULLIF и COALESCE к данным. Понимание неявного и явного преобразования типов данных. Использование функций преобразования TO_CHAR, TO_NUMBER и TO_DATE. Вложение нескольких функций.
5. Отчетность по агрегированным данным с использованием групповых функций
Ограничение групповых результатов. Создание групп данных. Использование групповых функций.
6. Отображение данных из нескольких таблиц
Использование различных типов соединений: самосоединения Self-joins, неэквивалентных соединений, внешних соединений.
7. Использование подзапросов
Использование однострочных подзапросов, подзапросов с несколькими строками.
8. Использование операторов SET
Соответствие операторам SELECT. Использование предложения ORDER BY в операциях над множествами, оператора ПЕРЕСЕЧЕНИЕ INTERSECT, оператора МИНУС MINUS, операторов UNION и UNION ALL.
9. Управление таблицами с помощью операторов DML
Управление транзакциями базы данных. Использование языка манипулирования данными.
10. Понимание языка определения данных
Использование языка определения данных Data Definition Language.
11. Управление последовательностями, синонимами, индексами
Управление индексами, синонимами, последовательностями.
12. Управление представлениями
Управление представлениями.
13. Управление объектами схемы
Создание и использование временных таблиц.
14. Управление данными в разных часовых поясах
Работа с CURRENT_DATE, CURRENT_TIMESTAMP и LOCALTIMESTAMP, с типами данных INTERVAL.
15. Понимание архитектуры базы данных Oracle
Понимание конфигураций экземпляра базы данных Oracle, структуры памяти и процессов базы данных Oracle, логических и физических структур баз данных.
16. Доступ к базе данных Oracle с помощью инструментов, поставляемых Oracle
Использование утилиты (DBCA). Oracle Enterprise Manager Cloud Control. Enterprise Manager Database Express. SQL- Developer. SQL Plus.
17. Управление экземплярами базы данных
Запуск экземпляров базы данных Oracle, использование представлений словаря данных. Завершение работы экземпляров базы данных Oracle, Использование динамических представлений производительности, автоматического диагностического репозитория (ADR), журнала предупреждений и файлов трассировки. Управление файлами параметров инициализации.
18. Управление табличными пространствами и файлами данных
Создание, изменение и удаление табличных пространств. Понимание управления пространством в блоках. Просмотр информации о табличном пространстве. Управление хранилищем табличных данных . Внедрение файлов управляемых Oracle OMF. Перемещение и переименование файлов данных в режиме онлайн.
19. Управление данными табличного пространства отмены
Понимание транзакций и данных отмены. Хранение информации об отмене. Настройка времени удержания информации отмены. Сравнение данных отмены и данных повтора. Настройка хранения информации отмены во временном табличном пространстве для временных таблиц Temporary Undo.
20. Управление хранилищем
Сжатие сегментов. Отсрочка создания сегмента. Использование функций экономии места. Развертывание функций управления пространством базы данных Oracle. Управление различными типами сегментов. Использование сжатия таблиц и строк. Управление возобновляемой операцией распределением пространства Resumable Space Allocation.
21. Управление пользователями, ролями и привилегиями
Назначение квот пользователям. Применение принципала наименьших привилегий. Создание и назначение профилей. Администрирование методов аутентификации пользователей. Управление пользователями, привилегиями и ролями базы данных Oracle.
22. Настройка сетевых служб Oracle
Использование инструментов администрирования Oracle Net Services. Настройка связи между экземплярами базы данных и прослушивателя listener Oracle Net. Подключение к экземпляру базы данных Oracle. Сравнение конфигураций выделенного и общего серверов. Администрирование методов именования.
23. Перемещение данных
Использование внешних таблиц, Oracle Data Pump, SQL*Loader.
24. Резервирование и восстановление
Концепции резервирования восстановления с помощью Rman. Выполнение различных видов резервирования и восстановления. Изучение технологии Flshback.
25 Настройка производительности
Изучение инструментов, позволяющих выявить узкие места в производительности, таких, как динамические представления производительности, AWR, ASH, инфраструктура консультантов.
- Учитель: Надежда Ивановна Дубижанская
- Учитель: Татьяна Захарова
Экспресс курс: Расширенные возможности администрирования и настройки производительности Oracle Database 19c
Продолжительность
3 дня/24 академических часов
1. Использование новых возможностей базы данных 19с для установки ПО и создание БД
Установка программного обеспечения базы данных Oracle. Создание, удаление и настройка баз данных с помощью DBCA. Создание CDB и обычных PDB. Использование новых функций 19c.
2. Oracle Database 18c: новые возможности
Установка базы данных на основе образов и RPM.
3. Создание CDB и PDB
Настройка и создание контейнерной базы данных CDB. Создание новой подключаемой базы данных PDB из PDB seed. Изучение структуры PDB.
4. Управление CDB и PDB
Управление именами сервисов и соединениями с PDB и запуском, завершением работы и доступностью CDB и PDB. Изменение различных режимов работы и настроек PDB. Оценка влияния изменения значений параметров инициализации. Управление производительностью в CDB и PDB. Контроль использование ресурсов CDB и PDB с помощью Oracle Resource Manager.
5. Управление подключаемыми базами данных приложений Application PDBs
Объяснение назначение корневого контейнера приложения application root и контейнера-шаблона контейнера приложения application seed. Определение и создание PDB приложений. Установка исправлений, обновление приложений в контейрах PDB приложений. Создание и администрирование приложения PDBS. Клонирование PDB и контейнеров приложений. Операции подключения и отключения с контейнерами PDB приложений. Сравнение общего и локального режима работы с информацией отмены.
6. Управление безопасностью в мультиарендной Multitenant конфигурации базы данных
Управление безопасностью в мультиарендной базе данных. Управление профилями блокировки PDB. Аудит пользователей в CDB и PDB. Управление другими типами политик в контейнерах приложений.
7. Диагностика сбоев
Обнаружение и устранение повреждений базы данных и блоков базы данных. Диагностика проблем с базой данных.
8. Концепции восстановления
Использование предпочтительной технологию восстановления базы данных Oracle для своей ситуации сбоя. Описание и использование технологий восстановления для аварийного, полного и восстановления на определенный момент времени.
9. Настройка и использование RMAN
Настройка RMAN и базы данных для возможности восстановления. Настройка и использование каталога восстановления RMAN.
10. Стратегии резервного копирования и терминология
Выполнение полных и инкрементных резервных копий и восстановлений. Сжатие и шифрование резервных копий RMAN. Использование медиа-менеджер. Создание многораздельные резервные копии очень больших файлов. Создание дублированных наборов резервных копий. Создание архивных резервных копий. Резервное копирование файлов восстановления. Резервное копирование файлов, не являющихся базой данных. Резервное копирование метаданных ASM.
11. Выполнение восстановления
Выполнение резервного копирования и восстановление баз данных с помощью RMAN. Выполнение резервного копирования и восстановления CDB и PDB. Выполнить восстановление базы данных без использования RMAN.
12. Дублирование базы данных
Создание копии базы данных Duplicate Databases. Дублирование активной PDB, базы данных CDB.
13. Устранение неполадок и настройка RMAN
Интерпретация вывода сообщений RMAN. Диагностика проблем с производительностью RMAN.
14. Использование технологий Flashback
Настройка базы данных для поддержки Flashback. Выполните отката CDB и PDB Flashback.
15. Транспортировка данных
Транспорт данных.
16. Использование улучшений диагностики
Использование новых возможностей диагностики.
17. Мониторинг и настройка производительности базы данных
Управление компонентами памяти. Понимание автоматического репозитория рабочей нагрузки (AWR), инфраструктуры консультантов, автоматического монитора диагностики базы данных (ADDM). Мониторинг событий ожидания, сеансов и служб. Управление пороговыми значениями показателей и оповещениями. Понимание и использование методологии настройки производительности. Выполнение планирования настройки производительности.
18. Настройка операторов SQL
Понимание оптимизатора Oracle. Использование помощника по настройке SQL. Управление статистикой оптимизатора. Использование советника по доступу к SQL. Понимание процесса настройки SQL.
19. Перезапуск Oracle database с помощью Oracle Restart
Настройка и использование Oracle Restart для управления компонентами базы данных Oracle.
20. Установка ПО грид-инфраструктуры Grid Infrastructure и базы данных Oracle.
Установка ПО грид-инфраструктуры для автономного сервера Standalone server. Установка программное обеспечение базы данных Oracle.
21. Установка ПО грид-инфраструктуры для автономного сервера.
Быстрая установка ПО грид-инфраструктуры с помощью Rapid Home Provisioning.
22. Установка исправлений ПО грид-инфраструктуры и ПО Oracle database
Установка исправлений для ПО грид-инфраструктуры Patch Grid Infrastructure и Oracle Database.
23. Обновление ПО грид-инфраструктуры Oracle Grid
Обновление инфраструктуры Oracle Grid.
24. Обновление базы данных Oracle
План обновления базы данных Oracle. Обновление базы данных Oracle. Выполнение задач после обновления.
- Учитель: Татьяна Захарова
- Учитель: Александр Самсонов
Oracle Database: Передовые методы PLSQL и настройки производительности
Продолжительность
5 дней/40 академических часов
Введение
Задачи курса. Описание сред разработки. Схемы, используемые в этом курсе.
Создание хранимых процедур
Создание, вызов и удаление процедур. Режимы параметров. Различные способы передачи параметров. Обработка исключений в процедурах.
Создание хранимых функций
Создание, выполнение и удаление функций. Использование хранимых функций в SQL. Ограничения на вызов функций из SQL.
Создание пакетов
Общедоступные и частные компоненты пакета. Создание спецификации и тела пакета. Вызов пакетных конструкций.
Работа с пакетами
Перегрузка пакетных подпрограмм в PLSQL. Использование предварительного объявления. Блок инициализации пакета. Контроль побочных эффектов в подпрограммах PLSQL. Устойчивое состояние пакетных переменных и курсоров.
Использование в разработке приложений пакетов, поставляемых Oracle
Пакеты dbms_output, utl_file и dbms_scheduler.
Динамический SQL
Этапы выполнения команды SQL. Использование команды execute immediate и пакета dbms_sql. Динамическое выполнение команд и блоков в PLSQL.
Создание триггеров
Различные виды триггеров. Создание триггеров. Последовательность срабатывания триггеров. Instead of триггеры. Управление триггерами.
Комбинированные триггеры, DDL-триггеры и триггеры, срабатывающие по системным событиям
Работа с комбинированными триггерами. Мутация и триггеры. Создание триггеров, срабатывающих на команды DDL. Создание триггеров, срабатывающих на системные события.
Использование компилятора PLSQL
Настройка компилятора PLSQL. Просмотр текущих значений параметров компилятора. Параметры, влияющие на компиляцию кода PLSQL. Категории предупреждений компилятора. Управление предупреждениями с помощью параметра plsql_warnings и программно. Встраивание подпрограмм. Использование директив условной компиляции.
Курсорные переменные и подтипы данных
Эффективное использование курсоров. Работа с курсорными переменными.Создание подтипов на основе имеющихся типов.
Коллекции
Использование ассоциативных массивов и вложенных таблиц. Создание хранимых вложенных таблиц и работа с ними. Операторы сравнения вложенных таблиц. Работа с массивами переменной длины (varrays). Методы коллекций. Исключения при работе с коллекциями. Эффективное использование коллекций. Связанные типы.
Работа с большими объектами
Типы LOB. Пакет dbms_lob. Создание BFILE и обращение к нему. Изменение CLOB и BLOB. Временные LOB объекты. Тип хранения securefile. Дедубликация, сжатие и шифрование LOB. Миграция в securefile с помощью пакета dbms_redefinition.
Работа с JSON объектами.
Преимущества JSON формата. SQL функции, создающие JSON объекты. Оператор IS JSON. Извлечение значений из JSON структур. Объектные типы для работы с JSON.
Вызов внешних программ из PLSQL.
Преимущества вызова внешних программ. Использование library. Примеры вызова из PLSQL процедур, написанных на C и Java.
Настройка производительности кода PLSQL
Стандартизация констант и исключений. Локальные подпрограммы. Использование автономных транзакций. Подсказки nocopy и parallel_enable. Эффективное использование типов данных и ограничений. Массовое связывание: предложения forall и bulk collect. Предложение save exceptions. Работа с разреженными коллекциями. Конструирование условных выражений. Использование динамического распараллеливания с пакетом dbms_parallel_execute.
Увеличение производительности за счет кеширования
Использование кеша результатов для запросов. Управление кешем результатов. Кеширование результатов PLSQL функций.
Анализ кода PLSQL и извлечение метаданных
Информация о коде из словаря данных. Стандартные отчеты. Механизм PLScope для наблюдения за идентификаторами. Подпрограммы пакета dbms_utility для отслеживания последовательности вызовов и ошибок. Извлечение метаданных схем с помощью пакета dbms_metadata. Фильтрация и преобразование метаданных.
Профилирование и трассировка кода PLSQL
Трассировка выполнения PL/SQL. Уровни трассировки. Пакет dbms_trace. Профилирование кода с помощью пакета dbms_hprof. Анализ полученных данных.
Безопасность в PLSQL.
Права создателя и права вызывающего пользователя. Выдача ролей для исполняемых объектов. Белые списки. Внедрение виртуальной частной базы данных при помощи создания политик безопасности с использованием контекста приложения. Пакет dbms_rls. Применение политики.
Защита кода от SQL-внедрений
Описание SQL внедрений. Уязвимый для SQL внедрений код. Использование пакета dbms_assert для обезвреживания внедрений.
Дополнительные механизмы безопасности.
Сокрытие кода с помощью утилиты wrap и пакета dbms_ddl. Шифрование данных таблиц. Маскирование информации. Пакет dbms_reduct.
- Учитель: Татьяна Захарова
- Учитель: Александр Самсонов
Практический SQL для новичков
Продолжительность
3 дня/24 академических часов
1. Извлечение данных при помощи команды SELECT.
Список возможностей команды SELECT. Использование арифметических операторов и неопределенных значений в команде SELECT. Псевдонимы столбцов. Использование оператора конкатенации, строк-литералов и предложения DISTINCT.
2. Ограничение и сортировка данных.
Использование предложения WHERE для выборки необходимых строк. Использование операторов сравнения и логических операторов в предложении WHERE.
3. Однострочные функции
. Функции символьные, числовые, по работе с датами, преобразования типов, общего вида. CASE и DECODE.
4. Агрегация данных при помощи групповых функций.
Использование групповых функций в команде SELECT. Создание групп данных при помощи GROUP BY. Исключение групп данных при помощи HAVING.
5. Соединение таблиц.
Синтаксис соединения. Типы соединений. Естественное соединение. Соединение таблицы с собой. Соединения с условиями, отличными от равенства. Внешние соединения.
6. Подзапросы.
Виды проблем, решаемые при помощи подзапросов. Однострочные, многострочные, коррелированные подзапросы. Предложение WITH.
7. Операторы работы над множествами.
Операторы UNION и UNION ALL. Оператор INTERSECT. Оператор MINUS. Сопоставление результатов SELECT.
8. Язык изменения данных (DML)
Описание команд DML: INSERT, UPDATE, DELETE. Транзакции.
9. Язык определения данных (DDL)
Описание команд DDL: CREATE, ALTER, DROP. Ограничения, их типы. Синтаксис.
- Учитель: Татьяна Захарова
Основы Apache Kafka. Базовый курс
Продолжительность
3 дня/24 академических часов
Модуль 1. Введение в Apache Kafka
Понятие больших данных. Apache Kafka и ее роль в экосистеме больших данных. История создания Kafka. Отличительные возможности Kafka. Сценарии использования.
Модуль 2. Ключевые понятия и архитектура Apache Kafka
Сообщения. Обмен сообщениями в системе публикации и подписки. Обзор архитектуры Kafka. Брокеры Kafka. Продюсеры и потребители. Темы и разделы. Журнал фиксации. Kafka API.
Модуль 3. Установка и конфигурация Kafka в различных средах
Установка и конфигурация Kafka под управлением Zookeeper. Установка и конфигурация брокера Kafka. Настройки тем Kafka. Выбор аппаратного обеспечения для работы брокеров. Настройка операционной системы. Кластеры Kafka и их конфигурация. Kafka в облачной среде. Настройка Kafka в продуктивной среде 2.
Модуль 4. Продюсеры Kafka. Публикация сообщений
Структура продюсера Kafka. Создание продюсера Kafka. Методы отправки сообщений. Синхронный и асинхронный режим. Конфигурация продюсеров Kafka. Сериализация сообщений. Виды сериализаторов.
Модуль 5. Потребители Kafka. Подписка и чтение сообщений
Потребители и группы потребителей: структура и принципы работы. Членство в группах потребителей. Перебалансировка разделов. Создание и настройка потребителей Kafka. Подписка на темы. Фиксация смещений. Методы фиксации. Чтение записей с заданными смещениями. Десериализация сообщений. Виды десериализаторов. Автономные потребители.
Модуль 6. Ключевые концепции Kafka
Механизм репликации в Kafka. Обработка запросов от продюсеров и потребителей. Хранение данных в Kafka: журнальные файлы и индексы. Сжатие и удаление сообщений.
Модуль 7. Механизмы надежной доставки данных
Методы обеспечения надежности в Kafka. Настройка репликации в Kafka. Настройка продюсеров для надежной отправки данных. Обработка ошибок доставки данных. Настройка потребителей для надежной обработки данных. Мониторинг надежности в приложениях Kafka.
Модуль 8. Инструменты Kafka для интеграции данных
Интеграция Kafka с внешними системами. Утилита Kafka Connect. Примеры создания коннекторов.
Модуль 9. Администрирование Kafka
Утилиты командной строки для администрирования Kafka 3. Базовые операции Kafka. Операции с темами. Операции с разделами. Управление группами потребителей. Управление смещениями. Переопределение настроек по умолчанию. Работа со списками управления доступом (ACL) клиентских приложений. Графические инструменты для администрирования кластеров Kafka. Утилита Kafdrop.
Модуль 10. Мониторинг показателей приложений Kafka
Методы сбора показателей для мониторинга. Инструменты мониторинга кластера Kafka. Мониторинг производительности кластера Kafka. Метрики брокеров. Метрики тем и разделов. Метрики продюсеров и потребителей. Мониторинг показателей JVM и операционной системы. Настройка механизмов журналирования. Мониторинг квот.
Модуль 11. Зеркальная репликация между кластерами Kafka
Понятие зеркального копирования и сценарии использования. Мультикластерные архитектуры. Методы восстановления после сбоев. Утилита Mirror Maker Apache Kafka. Альтернативное ПО для зеркального копирования данных между кластерами Kafka.
Модуль 12. Потоковая обработка данных в Kafka
Основные понятия потоковой обработки. Модель потоковой обработки и ее ключевые возможности. Временные окна. Методы потоковой обработки. Библиотека Kafka Streams для потоковой обработки данных.