AWS-logo-kyiv

AWS Notes. Chapter 3:
Data Engineering

Про найкращі практики в управлінні даними, аналітиці та машинному навчанні на AWS

65deffee0551790910fa6930_sticker-paper
aws3-line-left
Участь безплатна
aws3-line-right
Онлайн
aws3-line-center
24 жовтня, 2024
Stroke-the-End
Конференція пройшла успішно! Отримайте записи нижче.
AWS Notes — це серія онлайн конференцій від AWS User Group Kyiv

Що очікувати:

1

День

6

tech Notes

2

Snap notes

збір друзів

Кожен розділ AWS Notes — це унікальні нотатки (notes) від спікерів обраного напрямку. В notes зібрані кращі практики та кейси, що допомагають розвивати українське та світове IT
Про управління даними та архітектури на AWS: від Redshift до Data Mesh

Спікери з команди AWS, сертифіковані спеціалісти та досвідчені інженери-практики

Практичні рішення, реальні кейси та глибокі інсайти про роботу з AWS сервісами

Кожен розділ AWS Notes — це унікальні нотатки (notes) від спікерів обраного напрямку. В notes зібрані кращі практики та кейси, що допомагають розвивати українське та світове IT
Рішення для управління даними та архітектури на AWS: від Redshift до Data Mesh
Спікери з команди AWS, сертифіковані спеціалісти та досвідчені інженери-практики
Практичні рішення, реальні кейси та глибокі інсайти про роботу з AWS сервісами

Спікери

Alex DeBrie – AWS Data Hero та розробник програмного забезпечення, який захоплюється всім, що стосується даних. Також, він є автором книги “The DynamoDB Book”, комплексного посібника з моделювання даних у DynamoDB. Alex є частим спікером на різноманітних виступах та воркшопах, допомагаючи командам покращувати їх інфраструктуру в хмарі та проектування баз даних.

Alex

DeBrie

DynamoDB Expert |

AWS Data Hero | Consultant

aws-data-logo
NavarroCarlos

Карлос Навваро має більш ніж 20-річний досвід та сертифікації в DAMA CDMP і DCAM. Як висококваліфікований лідер у сфері даних, Карлос відомий своєю здатністю розробляти, будувати та оптимізувати практики роботи з даними, охоплюючи все – від стратегії та управління до розширеної візуалізації даних. Його експертиза полягає у впровадженні хмарних платформ для роботи з даними та консалтингових практик, наданні стратегічних рекомендацій щодо технологій даних і досягненні успіху на глобальних ринках Європи та Північної Америки.

Carlos
Navarro

Head of Data and

Analytics Practice

SlipetsTaras

Тарас — інженер, що має пристрасть до cloud-native технологій, фанат serverless архітектур та експерт у сфері data contracts та data mesh. Тарас активно ділиться своїми знаннями, виступаючи спікером на конференціях. Окрім професійної діяльності, захоплюється грою на гітарі та гірськолижним спортом.

Тарас
Сліпець

Staff 

Data Engineer

Flix-Logo-2016
VojtkoMaxym

Макс Войтко, Head of Data & AI у Honeycomb Software


Лідер у сфері Data та AI з понад 8-річним досвідом у технологіях. Очолює команди з розробки та досліджень у Honeycomb Software. Спеціалізується на Data Engineering, Cloud Computing, ML & MLOps, Computer Vision та Generative AI.

Максим
Войтко

Head of

Data and AI

GiorgioBonzi
Джорджіо спеціалізується на базах даних Oracle та PostgreSQL, надає консультації та технічну допомогу клієнтам, допомагаючи їм проєктувати, впроваджувати та оптимізувати роботу реляційних баз даних на AWS.

Giorgio

Bonzi

Sr. Database Specialist

SA EMEA

aws-logo
TonuMullen

Тоні має понад 24 роки досвіду роботи з базами даних, здебільшого Oracle. Останні роки активно повʼязані з PostgreSQL. За 7 років роботи з AWS Тоні по-щирому полюбив усі аспекти даних та з радістю ділиться цим досвідом.

Tony

Mullen

Senior RDS Specialist

Solutions Architect

aws-logo
ShologonYuliia

Експерт у галузі Data Architecture, Data Integration, і Data Modeling з більш ніж 10-річним досвідом. Є визнаним експертом AWS, що підтверджено численними сертифікатами та позитивними відгуками від клієнтів. Завжди намагється ефективно вирішувати задачі в сфері даних, забезпечуючи клієнтам оптимальні рішення.

Юлія
Шологон

Associate

Big Data Architect

Дмитро розпочав свою кар’єру в ІТ ще у 1996 році, заснувавши власну компанію Internet Service Provider у Кривому Розі. Його досвід завжди знаходився на перетині бізнесу та технологій, проте Дмитро завжди прагнув заглиблюватися в технічні аспекти. З 2019 року він обіймає посаду Chief Technology Officer в компанії Opsworks Co. Незважаючи на керівну роль, Дмитро із задоволенням бере участь у цікавих проєктах, щоб тримати свої технічні знання на найвищому рівні.

 

Дмитро
Сірант

CTO

Людино-орієнтований технічний лідер, менеджер та консультант з понад 13-річним досвідом роботи на різних інженерних посадах. Ростислав також є ментором, який допомагає розвивати команди. Основні напрямки експертизи: архітектура рішень, AWS, Kubernetes, життєвий цикл розробки програмного забезпечення (SDLC), лідерство та менторство команд.

 

Ростислав має всі 13 сертифікацій AWS та є володарем престижної нагороди AWS Golden Jacket.

Ростислав Мироненко

Solutions architect |

Full AWS Certified

booking-com
moderator
Dmytro-Panin
Свій перший рядок коду я написав, коли мені було 8 років, я почав працювати з реалізацією черепашкової графіки і відразу потрапив у залежність від того, що можна зробити, використовуючи силу програмування. З цим фундаментом у мене не було іншого шляху, як стати програмістом. Хоча я працював розробником Perl, PHP та C ++, все ж, найбільша частина моєї кар’єри – робота розробником Java та архітектором програмного забезпечення. На данний момент я працюю делівері директором в компаніі Levi9 у Києві

Дмитро

Панін

Delivery Director,

Levi9 Ukraine

levi9

Агенда

14:10

Bringing your data as a product framework to life with AWS DataZone

Тривалість: 40 хв + Q&A

Мова доповіді: англійська

Трансформуйте свою стратегію роботи з даними. Під час сесії ви отримаєте поради щодо подолання типових перешкод у впровадженні Data as a Product (DaaP), гармонізації організаційного дизайну з технологіями та використання AWS DataZone для оптимального управління даними. Розглянемо такі ключові аспекти, як визначення доменів, бізнес-глосарії та управління продуктами даних, а також покрокову методологію для досягнення успіху.

Navarro
Carlos Navarro

Head of Data and Analytics Practice

15:10

Kafka for 50+ teams: lessons learned from Data Mesh paradigm adoption

Тривалість: 40 хв + Q&A

Мова доповіді: українська

Висновки, отримані з проєктування, створення та підтримки децентралізованої платформи потокової передачі даних, яка надає автономію понад 50 інженерним та аналітичним командам.

Slipets

Тарас Сліпець

Staff Data Engineer

Flix-Logo-2016

16:10

Недоліки і каверзні моменти AWS MWAA

Тривалість: 10 хв

Мова доповіді: українська

Дізнайтеся ключові поради та уникніть поширених помилок при налаштуванні AWS Managed Workflows для Apache Airflow (MWAA). Максим розповість про відповідні конфігурації середовища, версії Airflow, налаштування VPC та груп безпеки, а також правильне використання ролей і дозволів для інтеграції з іншими AWS сервісами.

Vojtko

Максим Войтко

Head of Data and AI

16:25

Best practices for querying vector data for gen AI apps in PostgreSQL

Тривалість: 40 хв + Q&A

Мова доповіді: англійська
PostgreSQL спрощує зберігання та пошук векторних даних завдяки розширенню pgvector. На цій сесії ви дізнаєтеся, як зберігати дані з Amazon Bedrock у базі даних Amazon Aurora PostgreSQL-Compatible Edition. А також які SQL-запити та параметри налаштування оптимізують продуктивність вашого застосунку при роботі з даними AI/ML, векторними типами даних, алгоритмами точного та приблизного пошуку найближчих сусідів і векторними індексами, оптимізованими для пошуку.
GiorgioBi

Giorgio Bonzi +

Tony Mullen

aws-logo

17:25

Navigating Redshift: Solutions for Data Architecture Challenges

Тривалість: 40 хв + Q&A

Мова доповіді: українська

Під час презентації “Navigating Redshift: Solutions for Data Architecture Challenges” ми детально розглянемо технічні аспекти роботи з Redshift, зокрема практичні проблеми, які можуть виникати при розробці архітектури даних. Будуть представлені реальні кейси, де Redshift демонстрував неочікувані результати, та обговорені методи їх розв’язання. Основна увага буде зосереджена на оптимізації продуктивності, подоланні системних обмежень та вирішенні специфічних нюансів Redshift. Учасники отримають цінні технічні інсайти для фахівців, які займаються архітектурою даних.

Shologon

Юлія Шологон

Associate Big Data Architect

18:15

Learn on the other’s mistakes. Think twice when planing your data architecture

Тривалість: 10 хв

Мова доповіді: українська

Був залучений до роботи над декількома проєктами, де архітектурні рішення, закладені на етапі розвитку, суттєво вплинули на подальшу можливість масштабування, ефективної підтримки та утримання інфраструктури в межах адекватного бюджету. Так, усі ці рішення були прийняті багато часу тому, і не факт, що на той момент можна було зробити краще. Тому давайте проаналізуємо кожну з проблем окремо й поміркуємо, як можна було б діяти інакше. Так склалося, що обидва проєкти за своєю суттю стосуються IoT, і це означає, що ми з самого початку повинні були планувати зберігання великої кількості даних для подальшого аналізу. Хоча компанії належать до однієї сфери, архітектура зберігання даних була побудована різними шляхами.

Sirant

Дмитро Сірант

CTO

18:30

Data asset discovery for AWS multi-account environments

Тривалість: 40 хв + Q&A

Мова доповіді: українська

У сучасному світі, керованому хмарними технологіями, управління даними для складної організації з сотнями AWS акаунтів та тисячами інформаційних активів є надзвичайно важливим і складним процесом. Лекція Ростислава розкриває централізований механізм виявлення інформаційних активів для AWS-навантажень, які обслуговують мільйони користувачів Booking.com щодня, а також його критичну важливість для забезпечення безпеки даних, відповідності нормативним вимогам та управління даними компанії.

Myronenko

Роcтислав Мироненко

Solutions architect | Full AWS Certified

19:20

Navigating the Database Maze: From SQLite to NoSQL

Тривалість: 40 хв + Q&A

Мова доповіді: англійська

Зараз ми маємо безліч варіантів баз даних. Хмарні технології дозволяють використовувати розподілені бази, як Cockroach, Amazon Aurora та Yugabyte, або NoSQL-рішення, як DynamoDB і Fauna. Також зростає інтерес до SQLite, яка працює без розподілення. У цій презентації ми обговоримо відмінності між базами даних і їхні ключові переваги та недоліки. Ви дізнаєтеся, які варіанти краще підійдуть для вашого проєкту.

DeBrie

Alex DeBrie

DynamoDB Expert | AWS Data Hero | Consultant

flack
circle
Sketch-annotation-element-stroke-icon-line-crown-shadow

Партнери

Sketch-annotation-element-stroke-icon-line-crown-shadow
kr

Компанія об’єднує понад 2200 фахівців і надає послуги з розробки програмного забезпечення та експертизи в галузі хмарних рішень, інженерії даних, вбудованих систем, машинного навчання, інтернету речей та інших інноваційних технологій.

 

N-iX — сертифікований AWS Advanced Consulting Partner, об’єднує більш ніж 110+ сертифікованих та акредитованих AWS експертів та працює з 100+ проєктами на базі AWS.

N-iX Data Unit – це 300+ експертів, 30+ проєктів для глобальних лідерів індустрій та компаній Fortune 500, а також одна із найсильніших Дата команд в Україні.

 

Дата експерти в N-iX розробляють сховища даних, працюють з геопросторовими даними, виконують міграцію даних до хмари, впроваджують рішення на основі машинного навчання, досліджують можливості генеративного штучного інтелекту та більше.

Сьогодні N-iX активно розвиває свою Дата експертизу – у компанії 20+ відкритих вакансій від Data Engineering та Data Warehouse до Data Modeling та Machine Learning. Обирайте свою та долучайтесь!

Українська мультипродуктова IT-компанія, яка створює профітні бізнеси у нішах Parental Control, Wellness, AI, а також розвиває власний R&D-центр. В портфоліо компанії кросплатформні застосунки та сервіси, якими користуються мільйони людей по всьому світу. 

А ще Brainstack об’єднує 370 амбіційних спеціалістів, які прагнуть масштабування та хочуть досягти великих результатів.

 

Brainstack має все, аби фахівці не відчували синдром втрачених можливостей: менторинг, внутрішній світчинг, розвиток до топменеджменту, пітчинг ідей, перспективи запустити власний проєкт чи очолити бізнес-напрям. До речі, 82% менеджерів Brainstack – виросли всередині компанії. Наступним можеш стати ти.

Waites змінює управління обладнанням за допомогою передових технологій машинного навчання та даних у режимі реального часу, усуваючи простої та підвищуючи ефективність. Бездротова система моніторингу Waites використовує великі дані та віддалену діагностику для прогнозування поломок, подовжуючи термін служби обладнання та зменшуючи простої.
Завдяки аналізу 24/7 та оперативним рекомендаціям, Waites забезпечує повернення інвестицій за 3-6 місяців. Компактні датчики, потужний API та гнучкі рішення гарантують просту інтеграцію, зменшення витрат і оптимальну продуктивність.

Отримати записи

Хочете стати партнером?

Будь ласка, напишіть нам на пошту:

Організатор

AWS USER GROUP Kyiv

AWS User Group Kyiv — це технічне ком’юніті cloud-програмістів та фанатів AWS, які діляться досвідом хмарного програмування, розбирають кейси та допомагають вирішувати професійні виклики.


AWS User Group Kyiv організовує заходи з лідерами індустрії, щоб допомогти розвивати українську та світову ІТ-індустрію.

16

проведених івентів

60

міжнародних спікерів

8000+

учасників ком’юніті

paper2
77

Олексій Коломійцев

Олексій Коломійцев — фахівець у сфері хмарних технологій, Business Development Executive Cloud Services. Він має досвід роботи з платформами Azure та AWS, спеціалізується на розробці мультиклаудних стратегій для оптимізації ІТ-ресурсів і бізнес-процесів.


Олексій успішно реалізував проєкти з міграції даних, впровадження хмарних рішень і оптимізації ІТ-інфраструктури для великих компаній. Його знання хмарних технологій і здатність знаходити інноваційні рішення допомагають клієнтам підвищувати ефективність і зберігати конкурентоспроможність.


Він бере участь у професійних конференціях і вебінарах, де ділиться досвідом із колегами та партнерами. Експертиза у сфері мультиклаудних рішень робить Олексія цінним консультантом для компаній, які прагнуть впроваджувати передові технології й забезпечувати стабільність ІТ-систем.

Станіслав Колєнкін

Станіслав – експерт із понад 16-річним досвідом у сфері IT, спеціалізується на DevOps-проєктах із використанням Kubernetes, OpenStack, AWS (15xAWS certified!), GCP та Bare-Metal. Він є визнаним DevOps-практиком та лідером думок у спільноті. Станіслав має численні сертифікати, зокрема SEI Software Architecture, Kubernetes, AWS, GCP. Його ключові навички включають архітектурний дизайн, вирішення критичних проблем і роботу з нестандартними завданнями у виробничих середовищах.

Максим Хомуцький

Макс працює в AWS вже понад 5 років і є досвідченим IT-професіоналом із багатим досвідом у FSI, HCLS, Telco and M&E. Його пристрасть — впровадження змін та інновацій, які допомагають організаціям досягати конкурентних переваг через створення нових продуктів і послуг.

 

Раніше обіймав посаду віцепрезидента з інформаційних технологій у глобальній компанії з управління інвестиціями в нерухомість. Як старший технологічний консультант, Макс також допомагав керівництву у реалізації проєктів із розвитку нерухомості.

 

Макс має ступінь магістра з математики, фізики та комп’ютерних наук. Він є володарем статусу Golden Jacket, що підтверджує його наявність усіх 15 активних сертифікацій AWS.

Ігор Іванюк

Ігор – експерт у галузі хмарних технологій, який допомагає компаніям реалізовувати свої ідеї та розвивати бізнес за допомогою інноваційних рішень. Його основні сфери спеціалізації охоплюють DevOps, контейнеризацію, серверлесс-технології та блокчейн.

 

До приєднання до AWS Ігор накопичив значний досвід, використовуючи AWS як клієнт. Він створював складні рішення для компаній у фінансових технологіях, електронній комерції, банківській справі та блокчейні, сприяючи впровадженню хмарних технологій. У ролі Solution Architect він успішно керував переходом від застарілого моноліту електронної комерції до мікросервісної архітектури в хмарі AWS.

 

Останні кілька років Ігор зосереджений на хмарних трансформаціях для фінтех-компаній, допомагаючи їм оптимізувати операції та впроваджувати інновації. Як керівник команди Solution Architects у фінансовому секторі (FSI), Ігор активно розвиває ініціативи у сфері Data та AI, зокрема сценарії використання генеративного ШІ (GenAI).

 

Його місія – допомагати клієнтам розвивати бізнес, використовуючи повний потенціал хмарних технологій.

Kjell Langeland

К’єлл є Глобальним директором із розвитку бізнесу AWS у компанії Crayon та керує глобальною стратегією виходу на ринок для рішень AWS. Після повернення до Crayon у 2017 році він займав ключові посади, зокрема Глобального директора з продажів IBM/Red Hat/Oracle, зосереджуючись на допомозі клієнтам у використанні технологій та оптимізації відносин із постачальниками. Експертиза Лангеланда охоплює хмарні обчислення, управління продажами та ринкові стратегії.

Олексій Лепешенков

AWS Solution Architect Professional, практикуючий спеціаліст з питань оцінки міграції в хмару і підбору відповідних інструментів зі стеку технологій AWS

We use third-party cookies to provide services, and analyze traffic to give you the best experience with our website. Learn more