---

Видео на тему: Data Learn - видео

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🧠 Черный юмор и интеллект — связь между чувством юмора и уровнем интеллекта. 💻 История COBOL — обсуждение языка программирования COBOL и его актуальности. ☁️ Snowflake и Trino — закрытие Snowflake и переход на альтернативные решения. 📊 Оптимизация Apache Spark — методы повышения производительности и эффективного использования ресурсов. 🤖 Внедрение Generative AI — как компании используют генеративный искусственный интеллект для повышения продуктивности. 📉 Сокращения в дата-командах — влияние сокращений на качество работы и аналитику. 🎓 Образование и карьера — советы по обучению и развитию карьеры в условиях снижения количества вакансий. 🛠️ Инструменты для работы с данными — использование DBT, Azure Data Factory и других инструментов в проектах. 📈 Инвестиции в AI — обсуждение инвестиций в искусственный интеллект и его влияние на рынок. ⚡ Будущее профессий — замена профессий AI и перспективы для специалистов в разных областях. 🎥 Хронометраж: 00:00 Введение 00:30 Черный юмор и интеллект 01:26 Языки программирования для не технических пользователей 03:18 Инструменты и вендоры 06:08 DuckDB и ее возможности 07:59 Сравнение компрессии данных 10:49 Оптимизация в Apache Spark 15:31 Будущее DataBricks и возможные приобретения 17:26 Проблемы в дата-командах и их влияние 19:20 Покупка Neon (managed Postgres) 20:16 Библиотека DBT для Snowflake 23:07 Проблемы с Iceberg Catalog и DuckDB 24:03 Эволюция инжиниринга-данных 25:01 Инкрементальная загрузка в dbt 26:54 Проекты и инфраструктура для Azure Data Engineer 27:51 Использование Azure Data Factory 28:49 BI инструменты и их стоимость 31:35 Обновление Power BI Dashboards через ETL 33:31 Инвестиции в AI 39:06 IDE для работы с данными 40:02 Инвестиции в AI и стартапы 42:50 Поиск работы и увольнения 49:24 Влияние AI на профессии 50:22 Будущее аналитики и нехватка электриков 52:15 Карьера Principle инженера 56:06 Бизнес-скилы и их важность 59:55 Увольнения в Microsoft 01:00:50 Анализ рынка вакансий 01:01:47 Использование Generative AI в кол-центрах 01:02:42 Новые сервисы и инструменты 01:03:38 Анализ вакансий и внедрение ИИ в школы 01:05:30 Курсы и покупки в области ИИ 01:07:24 Технологический стек и карьерные перспективы 01:08:18 Проблемы с контентом и использование ИИ 01:10:11 Советы по резюме и поиск работы ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 💡 Источники: 1. https://arturastutkus.substack.com/p/we-shut-down-snowflake-and-heres 2. https://select.dev/docs/dbt-snowflake-monitoring 3. https://github.com/surfalytics/data-projects/tree/main/async-projects/04-azure-data-warehouse 4. https://www.databricks.com/blog/best-practices-kicking-databricks-workflows-natively-azure-data-factory 5. https://blog.alexewerlof.com/p/principal-engineer 6. https://www.linkedin.com/posts/alexander-varlamov-8359054a_auiaugauqaugautauxauoauo-augautaugaurauoaun-activity-7325046523480760320-tGFF 7. https://youtu.be/lgrWjdgF1-c?si=RIRr8FTHpxZwocVh 8. https://yandex.cloud/ru/training/prompting 9. https://www.reuters.com/sustainability/boards-policy-regulation/google-contemplated-exclusive-gemini-ai-deals-with-android-makers-2025-04-22/ Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🔹 📊 DBT, аналитическая инженерия и тренды в индустрии данных 🔹 ⚡️ Качество данных, рост зарплат и новые возможности за пределами IT 🔹 🤖 Роль AI в аналитике — автоматизация, курсоры и исправление ошибок 🔹 ❄️ Iceberg vs Snowflake — форматы хранения и скрытые издержки DataBricks 🔹 🔥 Альтернативы Pandas — Fire DXS, Polars и новые подходы к обработке данных 🔹 🚀 Гибридные СУБД, DAGDB и сверхпроизводительность на AWSS3 🔹 🧵 Pipe Syntax и упрощение работы с SQL 🔹 🛡 Безопасность в AI и уязвимости в Apache Spark 🔹 🏦 Инвестиции в OpenAI и влияние религии на Кремниевую долину 🔹 🎯 Навыки 2030 года — AI, Big Data и новые подходы к найму 🔹 🧠 Сверхинтеллект в 2027 году — риск или шанс 🔹 📚 Будущее образования — навыки важнее дипломов 🔹 🧩 Data-инженерия, AI Tutors и прокачка навыков через код 🔹 🏢 AI в бизнесе — примеры Shopify и развитие внутренних AI-отделов 🔹 🏗 Проблемы с дата-центрами и оптимизация инфраструктуры 🔹 🇷🇺 Арена Day, российские вендоры и будущее отечественного софта 🔹 📈 Возвращение западных компаний в Россию и адаптация решений 🔹 📖 Литературные рекомендации по технологиям и AI 🔹 ☁️ Проблемы Яндекс Облака и работа с отказами в облачных сервисах 🔹 ⚙️ AI-агенты, Kubernetes и локальные аналитические платформы 🔹 🧩 Облачные BI-инструменты и тренды в AI-образовании 🔹 💻 Использование AI в разработке и обучение Spark через Яндекс 🔹 🛠 Трансформация Алисы в умного ассистента от Яндекса 🔹 ✍️ Vibe Codding — новые подходы к написанию кода 🎥 Хронометраж: 00:01 Введение в новости аналитики, AI и карьерных трендов. 00:39 Обзор DBT Cloud и развития аналитической инженерии. 02:32 Качество данных, расширение профессии и зарплаты. 04:21 Роль AI в аналитике и примеры автоматизации. 05:18 Iceberg, Snowflake и скрытые затраты на облачные решения. 08:10 Альтернативы Pandas: Fire DXS, Arrow, Polars. 09:05 Проблемы DataBricks и новые подходы в аналитике. 12:50 Гибридная обработка данных и производительность AWSS3. 14:42 Облегчение работы с SQL с помощью pipe syntax. 16:34 Использование AI и обнаружение уязвимостей в Spark. 19:16 Инвестиции в AI и развитие рынка OpenAI. 22:05 Тренды поиска работы и рост зарплат инженеров. 26:45 Изменения в подходах к найму и собеседованиям. 27:42 Опасности и потенциал сверхинтеллекта в будущем. 28:39 Трансформация образования и самообучение. 30:34 Реалии трудоустройства после окончания обучения. 33:40 AI Tutor и важные навыки для дата-инженеров. 35:37 Как компании интегрируют AI в бизнес-процессы. 37:27 Проблемы использования дата-центров в Китае. 39:19 Арена Day и развитие российских IT-вендоров. 40:14 Возвращение западных компаний на рынок и вызовы для локальных решений. 41:10 Рекомендации книг о технологиях и будущем. 42:05 Проблемы Яндекс Облака и управление кризисами. 43:59 Развитие AI-агентов и Kubernetes в России. 44:52 Облачный BI и использование AI в образовании. 46:43 AI в разработке и обучение Apache Spark. 48:37 Трансформация Алисы в полноценного ассистента. 50:31 Инструменты Vibe Coding и создание BI Cube. ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 💡 Источники: https://www.getdbt.com/resources/repo... https://iceberg.apache.org/spec/#nest... https://squadrondata.com/Databricks-S... https://research.google/pubs/sql-has-... https://www.anthropic.com/customers/b... https://www.bleepingcomputer.com/news... https://blog.cloudflare.com/r2-data-c... https://reports.weforum.org/docs/WEF_... https://newsletter.pragmaticengineer.... https://ai-2027.com/ https://trackingai.org/IQ https://www.reddit.com/r/ApplyingToCo... • everyone is putting AI in schools...... https://academy.openai.com/public/con... https://x.com/tobi/status/19092519462... https://www.technologyreview.com/2025... https://yandex.cloud/ru/special/ai-ub... https://langfuse.com/blog/2025-03-19-... https://yandex.cloud/ru/training/data... https://habr.com/ru/companies/h3llo_c... • Postgres против MySQL: что решает выб... Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com🎙Спикер - Роман Зыков 🔍Описание: На вебинаре разберём реальный кейс миграции проекта (MSSQL, Reporting services, Looker), накопившего значительный технический долг, на современный и полностью open-source технологический стек. 🔸 SQLMesh вместо морально устаревшего dbt - быстрые, прозрачные и масштабируемые преобразования данных. 🔸 dltHub - надежный и гибкий инструмент для транспорта данных. 🔸 PostgreSQL - универсальное и проверенное временем хранилище данных. 🔸 Metabase - удобный инструмент self-service аналитики, идеально подходящий для команд любой величины. 📕 На встрече обсудим: ➡️С какими техническими сложностями столкнулись при миграции? ➡️Почему именно этот стек, а не другой? ➡️Какие уроки извлекли и как минимизировать технический долг в будущем? Вебинар будет полезен инженерам данных, аналитикам и техническим руководителям, которые хотят понять, как оптимально организовать техническую инфраструктуру своих проектов. ⚠️ Кстати, а вы знали? - DBT забанила SQLMesh для выступлению на конференции Coalesce в Вегасе 😱 🔗 Телеграм канал спикера @topdatalab -- 🔥 Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdata 🔥 Телеграм канал DataLearn: https://t.me/data_learn 🔥 Чат DataLearn: https://t.me/datalearn_chatТема вебинара: "Всё что нужно знать о Greenplum" 🔍Описание: 🔸На реальных примерах узнаем, что такое Greenplum. 🔸Чем сегмент отличается от сегмент-хоста? 🔸Что такое партицирование, а что такое дистрибуция? 🔸Как Greenplum хранит данные для эффективной работы MPP кластера? 🔸Что такое Motion данных, как и зачем его избегать? 🔸Что интересного можно увидеть в плане запроса? 🔸Как эффективно грузить данные в GP? 🔸Разберём эти и другие вопросы, а самое главное: увидим всё наглядно и на реальных примерах и задачах. Никакой теоритической воды, только факты и примеры. 🎙Спикер: Nikita Tselishchev Data Engineer в компании Unirest (KFC/Rostics). Один из авторов курса https://yandex.cloud/ru/training/greenplum 🔗 Никита ведет канал про Дата инженериниг в телеграм @DataEngineeringDigest 👨💻 Приходите на вебинар, трансляция будет в этом канале - онлайн 🚀🚀🚀 -- 🔥 Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdata 🔥 Телеграм канал DataLearn: https://t.me/data_learn 🔥 Чат DataLearn: https://t.me/datalearn_chat💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🔹 📦 Snowflake + Iceberg — новые форматы хранения и поддержка Iceberg в Snowflake 🔹 ⚙️ SQLMesh и нишевые тулзы — быстро, гибко, но пока сложно масштабировать 🔹 💾 Big Data ≠ Big Volume — 94% нагрузок укладываются в 10 ТБ, SSD — наше всё 🔹 🏗 DataBricks vs Snowflake — архитектура, ML, рост команд, кто кого 🔹 🧠 Семантический слой — YAML, NLP и осмысленные данные 🔹 🌍 Data Sharing и обмен метриками — как Facebook и Netflix делятся данными 🔹 🕵️♂️ Агенты и веб-скрейпинг — как автоматизировать сбор и обработку рыночных данных 🔹 🧑⚖️ Маск, Tesla и корпоративная монархия — теория заговора или новое будущее? 🔹 📉 Трамп и экономика — тарифы, эмиграция и как это влияет на рынок недвижимости 🔹 🔓 Open Source рулит — почему большие компании обожают открытые решения 🎥 Хронометраж: 00:00 Введение 00:50 Новые инструменты от вендоров (Iceberg, Lake House) 01:47 Современные аналитические хранилища данных 03:17 Поддержка формата Iceberg в Snowflake 04:32 Особенности SQL Mesh и его применение 06:59 Реальные объемы Big Data и использование SSD 09:29 Использование Street-таблиц в Snowflake 10:57 Преимущества Delta-формата и Liquid Clustering 13:06 Рейтинг популярности платформ Snowflake и DataBricks 14:04 Сравнение компаний DataBricks и Snowflake 16:18 Развитие агентов в экосистеме DataBricks 18:01 Важность семантического слоя и метрик для AI агентов 20:29 Архитектура Lakehouse в DataBricks 23:27 Инструменты оптимизации в DataBricks (Spark, Photon) 26:36 Обзор инструментов для стриминга данных 27:33 Сравнение подходов ML в Snowflake и DataBricks 29:16 Возможности Data Sharing в DataBricks 30:41 Сравнение дашбордов в DataBricks и Snowflake 32:10 Роль агентов в онлайн-торговле и инвестициях 34:06 Веб-скрепинг и использование агентов 36:09 Влияние экономической политики Трампа 37:38 Обмен данными между Netflix и Facebook 38:35 Анализ и визуализация трафика 40:18 Проблемы и конфликты вокруг Tesla 42:11 Мнение Сергея Брина о 60-часовой рабочей неделе 43:59 Технофашизм и корпоративная монархия 44:59 Влияние Open Source на индустрию 48:38 Использование стиля Ghibli и вопросы авторского права 50:36 Компании Илона Маска и их финансовое положение 51:23 Cloudflare, ИИ и вопросы кибербезопасности 52:16 Проблемы с поиском работы и увольнениями 54:38 Три-модальный подход к трудоустройству 56:35 Как правильно оценивать качество работы 58:01 Проблемы программ Imbibition и карьерных гарантий 58:59 Недостатки переквалификации и актуальность навыков 01:01:34 Реальные проблемы с трудоустройством в IT 01:02:33 Стартапы и сложности привлечения инвестиций 01:04:23 Востребованность облачных технологий и курсы 01:06:20 Значение soft skills в IT-командах 01:08:53 Современные инновации Apple 01:10:35 Как совмещать работу и отдых 01:11:35 Эффективность работы после 30 лет 01:11:54 Инструмент DROU для моделирования баз данных ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 💡 Источники: https://aws.amazon.com/blogs/storage/connect-snowflake-to-s3-tables-using-the-sagemaker-lakehouse-iceberg-rest-endpoint/ https://duckdb.org/2025/03/14/preview-amazon-s3-tables.html https://duckdb.org/2025/03/12/duckdb-ui https://delta.io/blog/liquid-clustering/ https://www.databricks.com/blog/genie-conversation-apis-public-preview https://docs.databricks.com/aws/en/lakehouse-architecture/reference https://www.databricks.com/product/business-intelligence https://github.com/mendableai/firecrawl https://www.financialsamurai.com/ https://www.newyorker.com/culture/infinite-scroll/techno-fascism-comes-to-america-elon-musk https://www.anthropic.com/news/model-context-protocol https://github.com/ahujasid/blender-mcp https://blog.cloudflare.com/ai-labyrinth/ https://www.instagram.com/pubity/p/DG-YawGvYhG/?img_index=1 https://dagster.io/blog/python-packages-primer-1 https://yandex.cloud/ru/training/compute?utm_source=telegram&utm_medium=own&utm_campaign=yandexcloudnews&utm_content=compute_training&utm_term=03_03_2025 https://www.linkedin.com/posts/roy-lee-goat_i-just-got-kicked-out-of-columbia-for-taking-activity-7310834407433453568-tqAm https://github.com/astronomer/airflow-ai-sdk https://www.bloomberg.com/news/articles/2025-03-14/apple-s-siri-chief-calls-ai-delays-ugly-and-embarrassing-promises-fixes https://github.com/drawdb Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🔹 Notion вместо Google Slides для презентаций и обмена кодом 📋 🔹 Databricks, Snowflake, DBT – какие инструменты сейчас в топе? 🚀 🔹 AI, Open Source и рынок труда – увольнения, вакансии и новые возможности 🤖💼 🔹 Почему быть кринжовым полезно для карьеры? 😂 🔹 Опыт vs софт-скилы – что важнее в 2025 году? 🧠💬 🔹 Бенчмаркинг TPC-C – кто кого обгоняет в перформансе? 📊 🔹 Liquid Partitioning в Databricks – будущее партиций? 🏗️ 🔹 Snowflake и оптимизация затрат – как снизить стоимость облака? 💰☁️ 🔹 Стриминг в Spark и его реальные кейсы 📡🔥 🔹 Госорганизации и дата-центры – как западный BigTech работает с государством 🏛️🔐 🔹 Metabase, BI-аналитика и скорость обновлений 📈⌛ 🔹 Интеграция OpenAI в Snowflake – игра меняется? 🤯 🔹 DBT и Slack – проблемы интеграции и поиск решений 🤷♂️ 🔹 Data Contracts – зачем они нужны инженерам данных? 📜 🔹 Blue Green Deployment в данных – безопасные обновления 🟢🔵 🔹 IBM + DataStax – новое объединение гигантов 🏢 🔹 Программирование на Коболе в 2025? 😲 🔹 Квантовые компьютеры от Microsoft – что это значит для будущего? ⚛️ 🔹 Amazon Alexa и агенты – будущее голосового управления 🎙️ 🔹 AI для миграции старых технологий – как это работает? 📼➡️🚀 🔹 Поиск работы, вакансии и эквити – что предлагают IT-компании в 2025? 💼💵 🔹 LLM и их ограничения – правда о нейросетях 🤖⚠️ 🔹 Greenage – новый Open Source проект вместо NP 🌱 ✨ Интересный, насыщенный и полезный эпизод для всех, кто следит за технологиями, BigTech, данными и карьерными возможностями! ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 00:00 Переход на Notion с Google Slides 01:44 Инструменты и вендоры 02:40 Карьера и кринж 05:20 Опыт и софт скилы 07:12 TPC-C и бенчмаркинг 10:00 Databricks и Liquid Partitioning 13:30 Партиции и миграция данных 16:27 Поддержка стриминга в Spark 20:12 Работа с государственными организациями 22:58 Оптимизация стоимости владения Snowflake 25:45 Использование Metabase и встроенных отчётов как ядро продукта 26:43 Проблемы с задержкой обновлений в Metabase 28:33 Интеграция с OpenAI и использование ChatGPT 29:28 Проблемы с интеграцией DBT Labs и Slack 32:35 Apache XTable и поддержка различных форматов данных 34:23 Дата-контракты и их применение 36:11 Blue Green Deployment в дата-инжиниринге 39:01 Инвестиции и новые возможности 39:58 Reverse ETL и Hightouch 40:52 Package Management в Python 41:46 DuckDB запросы к API 43:36 Presto и его история 45:29 Поддержка геопространственных данных в Iceberg 46:25 Пример блогера и монетизации 47:54 Поддержка geospatial данных в Iceberg 50:41 IBM и DataStax 51:38 Open Source версия DuckDB и DataPond от DeepSeek 53:04 Инвестиции в рынок 54:49 Американский софт написан на COBOL 55:45 Преимущества и недостатки использования инструментов 57:39 Проблемы с внедрением AI и квантовых компьютеров 59:28 Amazon Alexa и интеграция с агентами 01:02:18 Обучение с помощью AI и миграция старых технологий 01:03:14 Поиск работы и увольнение 01:05:06 Автоматизация и сокращение сотрудников 01:09:00 Вакансии и зарплаты в IT 01:09:58 Эквити и золотые наручники 01:10:53 Подготовка к собеседованиям 01:12:53 Курсы и обучение 01:17:13 Rapid Framework для принятия решений 01:20:20 Финансовые и агентские технологии 01:22:15 Востребованность специалистов 01:23:12 Проблемы с точностью LLM 01:24:11 Vibe кодинг и его ограничения 01:26:06 Примеры использования LLM 01:28:23 Инфографика продуктов Arendata 01:30:13 Новый ChatGPT 4.5 и его ограничения 01:32:31 Переход на Greenage Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com«Дата с Димой» срез актуальных новостей из мира данных, бигтеха и аналитики как в России, так и за рубежом. Дмитрий обсуждает как технические обновления и интеграции продуктов, так и вопросы карьерного роста, менторства, рынка труда и инвестиций в IT-сфере. Вот основные моменты: 🎙️ Запуск новой программы: Первый эпизод «Дата с Димой», где обсуждаются тренды в мире данных и аналитики. 🛠️ Обзор инструментов и вендоров: Новости об обновлениях и приобретениях продуктов (например, dbt, SDF, Clickhouse, DuckDb, Iceberg, Databricks, Confluent, SAP и другие), которые влияют на скорость и качество работы с данными. 🚀 Инновационные интеграции и миграции: Обсуждение ускорения компиляции кода, миграционных решений (например, Blade Bridge) и интеграций с потоковыми системами. 🔍 Контроль качества данных и best practices: Роль open-source библиотек и новых подходов для проверки качества данных, а также рекомендации по построению надежных data pipelines. 💡 Менторство и карьерный рост: Важность поиска хорошего ментора и следования его рекомендациям для профессионального развития. 📈 Инвестиции и динамика рынка: Обзор новостей о падении акций, массовых увольнениях в крупных компаниях (например, Meta) и переходе экспертов к Databricks. 💰 Рынок труда и зарплатные тренды: Рост зарплат опытных дата-инженеров, изменение требований к кандидатам (отказ от джуниоров в пользу специалистов) и влияние автоматизации на рынок. 🎓 Образовательные ресурсы и курсы: Новые курсы от Snowflake и другие обучающие проекты, помогающие подготовиться к работе как в России, так и за рубежом. 🌍 Глобальные тренды и удалённая работа: Обсуждение возможностей работы на международном уровне, мультизанятости и перехода на удалённые контракты («валютные удалёнки»). 🤖 Телеграм-бот Getmanch: Отмечается удобство работы с ботом от Getmanch, который помогает находить вакансии с персонализированными предложениями. Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ruЕсли вы хотите не просто «что-то там понимать» в dbt, а реально строить аналитические хранилища по-взрослому — добро пожаловать! 🛠 Что будет на уроке: 📌 Простое и понятное введение в dbt core 📌 Развёртывание базы данных Postgres 16 в VK Cloud 📌 Настройка SQL-клиента для подключения (например, DBeaver) 📌 Создание staging-схем и подготовка данных 📌 Разработка первых моделей и знакомство с best practices 📌 Практика на каждом этапе 📌 Обзор VK облака ⚡️ Ключевая идея вебинара: Вы не просто послушаете. Вы сделаете. У вас всё получится. 🎁 Для кого этот вебинар? ✔️Для тех, кто хочет начать работать с dbt 🛠 ✔️Для аналитиков, инженеров данных и всех, кто работает с SQL и хранилищами 📊 ✔️Для тех, кто хочет научиться проектировать данные, а не просто писать запросы 🧑💻 🎯 Почему стоит прийти? ✔️ Это не теория. Это практика с нуля до результата. ✔️ Всё объясним простыми словами, но по делу. ✔️ Дмитрий Аношин — не просто эксперт, а человек, который делал это много раз и умеет учить. 📌 Инструкция и шаги: https://github.com/surfalytics/data-projects/tree/main/de-projects/18_dbt_intro 📌 Пример решения: https://github.com/dimoobraznii1986/dbt_workshop_vk ----- В 4-ом модуле нашего курса вы узнаете про интеграцию и трансформацию данных - ETL и ELT. Это ключевой элемент в аналитическом решении, с помощью которого мы наполняем данными хранилище данных и автоматизируем загрузку и трансформацию данных. Мы рассмотрим примеры популярных on-premise batch решений. Узнаете в чем отличие ETL от ELT, для чего нужны такие решения, что значит batch и on-premise, как с помощью ETL/ELT можно создавать модели данных, на примере dimensional modelling, рассмотрим рынок ETL/ELT. Потренируемся на классическом open-source ETL решении Pentaho DI и рассмотрим настольный инструмент от Tableau - Tableau Prep. ⚠️Для эффективного прохождения курса необходимо зарегистрироваться в Slack (наш чат) и читать учебник на Github, в котором рассказывается про последовательность урок, лабораторные работы и домашнее задание.⚠️ В этом модуле, мы не будем затрагивать облачные ETL/ELT инструменты и решения Big Data, для этого у нас будут отдельные модули. 🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! 📕 Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! 🔗 Начать курс вы можете здесь https://github.com/Data-Learn/data-engineering 👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса.Продолжаем углубляться в dbt: новые модели, тесты, документация, CI/CD. 🛠 О чём поговорим: 📌 Создание моделей: Разберём, как проектировать и оптимизировать модели для аналитических задач. 📌 Тестирование: Внедрим тесты данных для контроля качества и надёжности моделей. 📌 Документация: Научимся автоматически генерировать документацию в dbt и разберём, как с ней работать. 📌 Production-ready подходы: Посмотрим реальные примеры использования dbt в продакшене и разберём best practices. 🎓Что у вас будет после вебинара: ✅Новые рабочие модели и тесты в dbt. ✅Готовая к использованию документация по вашему проекту. ✅Понимание, как переносить dbt-проекты в продакшен и масштабировать их. 📊 Для кого: ⚡️Аналитики и инженеры данных, которые хотят углубить свои знания в dbt. ⚡️Те, кто планирует внедрять dbt в реальных проектах. 🔗 Почему стоит прийти: ✔️ Практические примеры, которые можно применять сразу. ✔️ Чёткие пошаговые инструкции без воды. ✔️ Опыт и рекомендации от практикующего эксперта. 📌 Инструкция и шаги: https://github.com/surfalytics/data-projects/tree/main/de-projects/18_dbt_intro 📌 Пример решения: https://github.com/dimoobraznii1986/dbt_workshop_vk ----- В 4-ом модуле нашего курса вы узнаете про интеграцию и трансформацию данных - ETL и ELT. Это ключевой элемент в аналитическом решении, с помощью которого мы наполняем данными хранилище данных и автоматизируем загрузку и трансформацию данных. Мы рассмотрим примеры популярных on-premise batch решений. Узнаете в чем отличие ETL от ELT, для чего нужны такие решения, что значит batch и on-premise, как с помощью ETL/ELT можно создавать модели данных, на примере dimensional modelling, рассмотрим рынок ETL/ELT. Потренируемся на классическом open-source ETL решении Pentaho DI и рассмотрим настольный инструмент от Tableau - Tableau Prep. ⚠️Для эффективного прохождения курса необходимо зарегистрироваться в Slack (наш чат) и читать учебник на Github, в котором рассказывается про последовательность урок, лабораторные работы и домашнее задание.⚠️ В этом модуле, мы не будем затрагивать облачные ETL/ELT инструменты и решения Big Data, для этого у нас будут отдельные модули. 🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! 📕 Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! 🔗 Начать курс вы можете здесь https://github.com/Data-Learn/data-engineering 👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса.С этим видео я запускаю новую серию видео с обзорами отечественных вакансий на текущем рынке. Фокус на несколько вакансий в области аналитике: 📌 Аналитик Данных 📌 Инженер Данных 📌 ETL Разработчик 📌 BI Разработчик В этом видео вы узнаете про: 📌 Требования к кандидатам. 📌 Уровень зарплат в РФ. 📌 Популярные технологии для каждой вакансии. 📌 Компании, которые ищут специалистов. 📌 Отсылки к модулям Datalearn, в которых вы можете найти необходимую информацию. 📌 Советы от Дмитрия по поиску работы и подготовке резюме. 🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! 📕 Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! 🔗 Посмотреть про бесплатный курс можно портале https://datalearn.ru/ 🔗 Сам курс находится здесь: 👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса. 🔥Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdata 🔥 Если хотите на английской изучать про современные аналитические технологии, то вам на https://surfalytics.com/Анастасия Дробышева – консультант по рынку труда и карьерному развитию, за 10 лет провела более 2000 консультаций в рамках своего проекта Job2Joy. Специализируется на отраслях IT/ digital, internet & e-commerce. Международно сертифицированный резюме райтер (Certified Professional Résumé Writer, CPRW). В данный момент является приглашенным консультантом в американской компании RiseSmart, лидере корпоративного карьерного консалтинга и аутплейсмента персонала, резиденте Кремниевой Долины. ЗА ЛУЧШИЙ ВОПРОС ИЛИ ИСТОРИЮ В КОММЕНТАРИЯХ ЛИЧНАЯ КОНСУЛЬТАЦИЯ ОТ АНАСТАСИИ В ПОДАРОК! Крутой доклад, а еще жаришка в ответах на ваши вопросы, Настя отвечала на вопросы 40 минут! Поговорили о выгорании при поиске работы, ценностях DataLearn, о soft skills и mind skills специалиста по аналитике. Также Анастасия Дробышева пообещала подготовить курс для вас любимых. Где подробно рассмотрит каждый этап поиска поделиться фишками и свои опытом. Ресурсы, упомянутые в презентации: Статья про LinkedIn: https://journal.tinkoff.ru/linkedin/ Сайт по консалтингу Анастасии Дробышевой: https://job2joy.ru/ Анастасия в LinkedIn: http://www.linkedin.com/in/adrobysheva Вебинар «Поиск работы для аналитических специальностей» Стратегии поиска Инструменты и каналы поиска. Россия VS международный рынок труда Резюме, профиль LinkedIn и GitHub Отклики и сопроводительные письма Интервью, обсуждение оффера Что там у FAANGов? Эмоциональный интеллект: кому он нужен?!? Крутой доклад, а еще жаришка в ответах на ваши вопросы, Настя отвечала на вопросы 40 минут! Поговорили о выгорании при поиске работы, ценностях DataLearn, о soft skills и mind skills специалиста по аналитике. Поговорили о том как называть цену на интервью, как торговаться и как себя дороже продать. Поговорили как сделать продающий профиль на LinkedIn и важность Github Таймлайн: 0:00 - Встуление 3:10 - Начало презентации 5:00 - Про что вебинар (содержание) 6:02 - Кто я? Консультант по рынку труда и карьерному развитию 8:03 - А кто - вы? 10:07 - Типы развития и пути Вертикальная vs горизонтальная, корпоративная vs проектная, найм vs фриланс vs долгий фриланс 14:51 - Стратегия поиска (первая работа, новая работа, перепрофилирование) 16:13 - Если вы начинающие специалисты 17:37 - Если вы опытные 18:15 - Перепрофилирующиеся 19:58 - Цель - кем и где 20:38 - Активная стратегия vs Пассивная стратегия 24:15 - Инструменты и каналы поиска 26:26 - Россия vs остальной мир 29:15 - Резюме и пример резюме 33:19 - Пример резюме дата аналитика 34:10 - Примеры что можно написать в резюме 35:06 - Техника STAR 40:34 - Мой профиль в LinkedIn разбор 42:28 - Сертификаты в LinkedIn блоке 43:20 - Скиллы и рекомендации в LinkedIn 44:20 - THE LinkedIn Effect 45:03 - Отклики, сопроводительные письма 47:33 - Пример отклика 48:28 - Интервью, обсуждение оффера 51:01 - Интервью FAANG-style 53:45 - Интервью (разбор полетов, follow-up) 54:45 - Про деньги (что говорить), сервисы glassdoor, хабр карьера 55:55 - Оформление 57:37 - FAANG 1:00:56 - EQ - эмоциональный интеллект, Soft skills 1:03:50 - Корпоративные ценности фейсбука 1:04:30 - Вопросы ************************ Для обучения данным и профессии инженера данных переходите на https://datalearn.ru ОБУЧЕНИЕ ПОЛНОСТЬЮ БЕСПЛАТНОЕ ************************ Подпишитесь на наш ютуб канал и поставьте колокольчик, чтобы не пропускать выход новых трансляций и обучающих видео!Интервью с главой отдела продаж и развития бизнеса компании SqlDbm - Анной Абрамовой каналу DataLearn. Беседа об аналитике, женщинах в IT, необходимых компетенциях и многом другом. Интервью провела куратор сообщества “Women In Data Analysis” Яна Одинцова. Если у вас остались вопросы, есть идеи или вы хотели бы узнать больше о сообществе, обращайтесь к Яне. yana.odintsov@gmail.comНазвание - Иммиграция в Канаду. Последствия пандемии. Программа вебинара: Канада и иммиграция в цифрах Последствия пандемии Обзор иммиграционных программ Express Entry Личный опыт С чего начинать Действовать самому или обратиться к специалистами? Вопросы Юля Потапова. Регулируемый канадский иммиграционный консультант. В Канаде с 2013 года, иммигрировала по федеральной программе для высококвалифицированных специалистов. Линки: Ссылка на презентацию: https://bit.ly/3gCtiAY В презентации все ссылки активны Официальны сайт и контакты Юлии Потаповой: http://canadianguru.ca ************************ Для обучения данным и профессии инженера данных переходите на https://datalearn.ru ОБУЧЕНИЕ ПОЛНОСТЬЮ БЕСПЛАТНОЕПрактически все компании используют BI решения. Но я могу выделить по крайней мере 2 основных типа аналитических решений. В этом видео вы узнаете: Enterprise (Корпоративный) BI Self Service BI Семантический слой В 3-ом модуле нашего курса вы узнаете про системы Business Intelligence. Мы рассмотрим примеры из реальной жизни, популярные инструменты BI - Tableau, Power BI и другие. Научимся создавать отчетность и поговорим про лучшие практики визуализации данных и ее применении для пользы бизнеса. Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! Записаться вы можете на нашем портале https://datalearn.ru/ Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса. Книги по аналитике Дмитрия Аношина - https://www.amazon.com/Dmitry-Anoshin/e/B01A5PVT2M Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdata Спонсировать (а вдруг?): https://www.patreon.com/dmitryanoshin или https://paypal.me/dmitryanoshinСсылка на SQL код из урока 18: https://raw.githubusercontent.com/Data-Learn/SQL-for-beginners/main/SQL-101%20Modules/Module%202/Lesson%2018/SQL%20%D1%84%D0%B0%D0%B9%D0%BB%D1%8B/SQL%20%D0%BA%D0%BE%D0%B4%20%D0%B8%D0%B7%20%D1%83%D1%80%D0%BE%D0%BA%D0%B0%2018.sqlАдаптивная верстка дашбордов в табло. Чтобы дашборды классно работали на экранах разного размера нужно уметь делать правильные настройки дашборода и контейнеров. И речь не только о верстке для мобильного и ноутбука, а о разных размерах мониторов. На вебинаре разберём как правильно настроить размер дашборда, как использовать функционал контейнеров и как сверстать мобильную версию дашборда в Табло. Ссылка на дашборд для урока: https://public.tableau.com/views/DataLearnYoutube/sheet0 ************************ О Романе: ************************ Любит визуализацию данных как работу и хобби, ведет блог: https://revealthedata.com/ Заморочен с дизайном, версткой и пользой. Сейчас руководит командой визуализации данных в Яндекс.Такси: управляет BI системой как продуктом; делает дизайн гайды и дашборды; обучает коллег Табло и визуализации. Телеграм Романа Бунина: https://t.me/revealthedata ************************ Для обучения данным и профессии инженера данных переходите на https://datalearn.ru ОБУЧЕНИЕ ПОЛНОСТЬЮ БЕСПЛАТНОЕПрежде, чем начать работать с Apache Spark, мы должны иметь необходимый минимум работы хотя бы одного из поддерживаемых языков программирования. Один из самых популярных языков - Python. Поэтому в этом уроке мы посмотрим, какие команды нам необходимо знать на примере Databricks notebooks. У вас будет замечательная возможно попрактиковаться, и если вдруг вы мало используете Python, то самое время попробовать его, так как дальше нам очень понадобится. В этом видео: Что такое Databricks Как запустить Community Edition Databricks и какие есть еще варианты для бесплатного Spark Переменные и типы данных в Python Условия и циклы Методы, функции и библиотеки Коллекции и классы В 7м модуле мы познакомимся с open source решением для аналитики и инжиниринга данных - Apache Spark и его коммерческой версией Databricks. Вы узнаете примеры использования в индустрии и популярные use cases. Я расскажу о своем опыте с Apache Spark в Амазоне и Майкрософт и научу вас работать с данными с помощью PySpark и Spark SQL, покажу вам лучшие книги и материалы по Spark. В этом видео еще узнаете про Whistler, BC;) Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! Записаться вы можете на нашем портале https://datalearn.ru/ Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса. Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdataРоман Пономарев решил взять интервью у Эмиля Богомолова. Эмиль работает инженером исследователем в Сколтехе и уже выступал у нас с вебинаром о применении нейронных сетей. В этом видео мы поговорили: Как искать первую работу О курсах, что стоит изучать, а что нет О тестовых заданиях Трейдинг Бизнес процессы И многое другое Предыдущий вебинар с Эмилем про нейронные сети: https://youtu.be/cq6dUisDeUU Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! Записаться вы можете на нашем портале https://datalearn.ru/ Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса. Самые актуальные новости про аналитику в Telegram канале: https://t.me/rockyourdata Телеграм канал DataLearn: https://t.me/datalearnruНа вебинаре хочу рассказать про появление Apache Spark, его применение в современном стеке дата-инструментов, а также на практике показать как запустить Spark на своём компьютере и написать первый ETL пайплайн! План: Как и почему появился Apache Spark Какие задачи решает Основные концепции Практика 1 – установка и запуск PySpark локально SparkSQL API Практика 2 – делаем ETL в PySpark Q&A Подписывайтесь на канал "Datalearn" чтобы не пропустить новые видео и ставьте лайки! Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! Записаться вы можете на нашем портале https://datalearn.ru/ Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса.