Когда мы проводим разведочный анализ данных (англ. Exploratory Data Analysis, EDA), то обязательно визуализируем их на определенном этапе: строим диаграммы, графики и карты. Можно ли пропустить этот шаг, если все и так ясно? Фрэнсис Джон Энскомб категорично мотает головой.
В 1973 году английский статистик опубликовал статью «Graphs in Statistical Analysis», в которой впервые описал квартет Энскомба. Ее эпиграф гласит: «Графики – необходимая составляющая качественного статистического анализа». В то время ученый работал в Йельском университете, где в течении шести лет возглавлял кафедру статистики. Энскомб был одним из первых, кто начал использовать компьютеры для статистического анализа данных.
Для эксперимента Энскомб придумал 4 набора данных, статистические характеристики которых – среднее значение, дисперсия, корреляция и уравнение линейной регрессии – равны между группами. Каждый датасет содержит 11 пар x и y. Если построить график для каждой группы, то мы увидим колоссальное различие между визуальными паттернами. На слайде я отразил графики, опубликованные ученым.
Такой набор данных называется квартетом Энскомба. Совпадение статистических значений в нем возможно по нескольким причинам. Во-первых, внутри каждой группы данных значения подобраны так, чтобы одни точки компенсировали значения других, сильно отклоняющихся от тренда. Во-вторых, значения x и y выбраны так, что средние и дисперсии остаются одинаковыми при разных графиках.
Квартет Энскомба иллюстрирует, что одни только статистические показатели не гарантируют правильную интерпретацию данных. Две выборки могут выглядеть совершенно по-разному на графиках, но иметь одинаковые статистические характеристики. Поэтому визуализация необходима для полного понимания данных и выявления возможных аномалий. Зачастую даже простой диаграммы рассеяния достаточно, чтобы заметить различия в группах.
#аномалии
В 1973 году английский статистик опубликовал статью «Graphs in Statistical Analysis», в которой впервые описал квартет Энскомба. Ее эпиграф гласит: «Графики – необходимая составляющая качественного статистического анализа». В то время ученый работал в Йельском университете, где в течении шести лет возглавлял кафедру статистики. Энскомб был одним из первых, кто начал использовать компьютеры для статистического анализа данных.
Для эксперимента Энскомб придумал 4 набора данных, статистические характеристики которых – среднее значение, дисперсия, корреляция и уравнение линейной регрессии – равны между группами. Каждый датасет содержит 11 пар x и y. Если построить график для каждой группы, то мы увидим колоссальное различие между визуальными паттернами. На слайде я отразил графики, опубликованные ученым.
Такой набор данных называется квартетом Энскомба. Совпадение статистических значений в нем возможно по нескольким причинам. Во-первых, внутри каждой группы данных значения подобраны так, чтобы одни точки компенсировали значения других, сильно отклоняющихся от тренда. Во-вторых, значения x и y выбраны так, что средние и дисперсии остаются одинаковыми при разных графиках.
Квартет Энскомба иллюстрирует, что одни только статистические показатели не гарантируют правильную интерпретацию данных. Две выборки могут выглядеть совершенно по-разному на графиках, но иметь одинаковые статистические характеристики. Поэтому визуализация необходима для полного понимания данных и выявления возможных аномалий. Зачастую даже простой диаграммы рассеяния достаточно, чтобы заметить различия в группах.
#аномалии
Продолжая тему метрик и фреймворков для их проработки и систематизации, хочется рассказать об одном из них, который полностью сконцентрирован на пользовательском опыте.
В 2010 году специалисты Google задались вопросом, как измерить качество пользовательского опыта в приложениях с большим количеством юзеров. Их решением стал фреймворк HEART. Он позволяет исследовать как весь продукт, так и его отдельные фичи.
Задачи фреймворка:
✔️ Подобрать UX-метрики;
✔️ Сопоставить цели продукта с UX-метриками.
Фреймворк HEART включает 5 категорий метрик. Happiness (счастье) оценивает субъективные ощущения пользователя, такие как удовлетворенность от использования продукта, его визуальная привлекательность и простота использования.
Engagement (вовлеченность) обозначает частоту, интенсивность и глубину взаимодействия пользователя с продуктом. Adoption (принятие) показывает, сколько новых пользователей начали использовать продукт в выбранный период времени.
Retention (удержание) отслеживает, сколько пользователей продолжают использовать продукт через определенный срок. Это может быть процент пользователей, которые одинаково активны в течение семи дней сейчас и через три месяца. Task success (успех выполнения задачи) включает метрики эффективности и результативности выполнения задач юзера.
Процесс подбора метрик для каждой категории называется Цели-Сигналы-Метрики.
1️⃣ Определить цели продукта или фичи с точки зрения пользовательского опыта. Ставьте цели без оглядки на следующие шаги. Не беспокойтесь, удастся ли найти релевантные сигналы и метрики.
2️⃣ Определить сигналы. Подумайте, как успех или неудача в достижении целей проявится в поведении пользователей. Какие действия покажут, что цель достигнута? Иногда провалы, вроде количества заброшенных задач, определить легче, чем положительные результаты.
3️⃣ Найти метрики. Подумайте, как сигналы можно преобразовать в отслеживаемые и управляемые показатели.
Не обязательно прорабатывать все категории. Например, нет смысла считать Engagement, если продукт используется ежедневно как часть рабочего процесса компаний. В этом случае команде логичнее сосредоточиться на Happiness или Task success.
💾 Добавляйте пост в избранное и попробуйте применить фреймворк. Взгляд на продукт со стороны пользователя всегда помогает найти новые интересные мысли и инсайты для развития.
#метрики
В 2010 году специалисты Google задались вопросом, как измерить качество пользовательского опыта в приложениях с большим количеством юзеров. Их решением стал фреймворк HEART. Он позволяет исследовать как весь продукт, так и его отдельные фичи.
Задачи фреймворка:
✔️ Подобрать UX-метрики;
✔️ Сопоставить цели продукта с UX-метриками.
Фреймворк HEART включает 5 категорий метрик. Happiness (счастье) оценивает субъективные ощущения пользователя, такие как удовлетворенность от использования продукта, его визуальная привлекательность и простота использования.
Engagement (вовлеченность) обозначает частоту, интенсивность и глубину взаимодействия пользователя с продуктом. Adoption (принятие) показывает, сколько новых пользователей начали использовать продукт в выбранный период времени.
Retention (удержание) отслеживает, сколько пользователей продолжают использовать продукт через определенный срок. Это может быть процент пользователей, которые одинаково активны в течение семи дней сейчас и через три месяца. Task success (успех выполнения задачи) включает метрики эффективности и результативности выполнения задач юзера.
Процесс подбора метрик для каждой категории называется Цели-Сигналы-Метрики.
1️⃣ Определить цели продукта или фичи с точки зрения пользовательского опыта. Ставьте цели без оглядки на следующие шаги. Не беспокойтесь, удастся ли найти релевантные сигналы и метрики.
2️⃣ Определить сигналы. Подумайте, как успех или неудача в достижении целей проявится в поведении пользователей. Какие действия покажут, что цель достигнута? Иногда провалы, вроде количества заброшенных задач, определить легче, чем положительные результаты.
3️⃣ Найти метрики. Подумайте, как сигналы можно преобразовать в отслеживаемые и управляемые показатели.
Не обязательно прорабатывать все категории. Например, нет смысла считать Engagement, если продукт используется ежедневно как часть рабочего процесса компаний. В этом случае команде логичнее сосредоточиться на Happiness или Task success.
💾 Добавляйте пост в избранное и попробуйте применить фреймворк. Взгляд на продукт со стороны пользователя всегда помогает найти новые интересные мысли и инсайты для развития.
#метрики
Дайджест снова в ленте!
Мне попалось исследование того, как обстоят дела с data governance де-факто. Пообщавшись с 20 технологическими компаниями разного калибра, Александр Бараков поставил цель изучить реальные практики без прикрас и недомолвок. Работа получилась интересная, с кучей инсайтов. Для себя я отметил, что только 2 из 20 компаний имеют сформированный консолидированный глоссарий и дерево метрик. Значит об этом стоит рассказывать и дальше, так что stay tuned.
В блоге на Medium (VPN) я прочитал исследование распределения ролей внутри дата-команд 40 зарубежных компаний. Оказалось, что на долю аналитиков и дата-инженеров приходится приблизительно равное количество людей — 46% и 43% соответственно. Оставшиеся 11% занимают позиции ML-специалистов. Структура может меняться на разных стадиях роста компании.
Мы как пользователи постоянно хотим видеть приложения все лучше и удобнее. Круто, когда ты вышел из Пятерочки, открыл приложение банка и сразу видишь баланс и расходы на каждую категорию покупок. Да еще и с учетом только что купленного молока и курицы. Это требует от ИТ-системы умения работать как с историческими данными, так и с теми, которые обновляются в реальном времени. Как организовать анализ большого объема данных в real time рассказывает Николай Карлов, директор инновационных проектов в VK Tech.
Когда бизнес разрастается и сталкивается с конкуренцией, пора искать неочевидные инсайты, чтобы и дальше расти и увеличивать прибыль. Здесь подключается научно-ориентированная аналитика. Ребята из Т-банка поговорили о том, как наука бустит бизнес и помогает превзойти конкурентов, когда аналитике следует становиться научной и зачем нужны R&D исследования. В гостях — Кирилл Николаев, директор по аналитике и мой руководитель.
#дайджест
Мне попалось исследование того, как обстоят дела с data governance де-факто. Пообщавшись с 20 технологическими компаниями разного калибра, Александр Бараков поставил цель изучить реальные практики без прикрас и недомолвок. Работа получилась интересная, с кучей инсайтов. Для себя я отметил, что только 2 из 20 компаний имеют сформированный консолидированный глоссарий и дерево метрик. Значит об этом стоит рассказывать и дальше, так что stay tuned.
В блоге на Medium (VPN) я прочитал исследование распределения ролей внутри дата-команд 40 зарубежных компаний. Оказалось, что на долю аналитиков и дата-инженеров приходится приблизительно равное количество людей — 46% и 43% соответственно. Оставшиеся 11% занимают позиции ML-специалистов. Структура может меняться на разных стадиях роста компании.
Мы как пользователи постоянно хотим видеть приложения все лучше и удобнее. Круто, когда ты вышел из Пятерочки, открыл приложение банка и сразу видишь баланс и расходы на каждую категорию покупок. Да еще и с учетом только что купленного молока и курицы. Это требует от ИТ-системы умения работать как с историческими данными, так и с теми, которые обновляются в реальном времени. Как организовать анализ большого объема данных в real time рассказывает Николай Карлов, директор инновационных проектов в VK Tech.
Когда бизнес разрастается и сталкивается с конкуренцией, пора искать неочевидные инсайты, чтобы и дальше расти и увеличивать прибыль. Здесь подключается научно-ориентированная аналитика. Ребята из Т-банка поговорили о том, как наука бустит бизнес и помогает превзойти конкурентов, когда аналитике следует становиться научной и зачем нужны R&D исследования. В гостях — Кирилл Николаев, директор по аналитике и мой руководитель.
#дайджест
Кто такой синьор?
Знаете, как это бывает: человек три-четыре года в аналитике, сменил пару компаний, отлично освоил SQL и Python, и вот он уже себя видит как «синьора» с соответствующими запросами. Не мидл, не мидл+, а сразу синьор. Серьезно? У меня к этому скепсис на уровне «Титаника» перед айсбергом. Да, навыки важны, но быть синьором – это не просто круто владеть инструментами. Давайте разберемся, кто же такой настоящий синьор-аналитик, и почему это не так просто, как кажется.
Смысл работы аналитика: не таски, а бабки
Аналитик – это не просто человек, который закрывает задачи пачками. Смысл работы аналитика – помогать бизнесу зарабатывать деньги. Провел исследование, принес выводы продакту, запустили A/B тест – и фича принесла дополнительное ROI? Ты красавчик. Сделал три новых отчета, закрыл 15 тасок, но пользы для бизнеса – ноль? Извини, синьорность отменяется. Здесь важно понимать, что не количество решенных задач делает тебя синьором, а умение приносить реальную пользу.
Продукт, рынок, тренды: знать нужно все
Второй важный критерий синьорности – это знание своего продукта и предметной области. И не просто знать на уровне «ну я слышал, что такое монетизация», а понимать весь PnL продукта, знать, как он вписывается в конкурентную среду, какие тренды на рынке, и как продукт позиционируется. Быть синьором – это знать продукт до косточек, и при этом понимать, что происходит на рынке.
Фокусы и самостоятельность: синьор – это про инициативу
Еще один критерий – умение работать через фокусы от руководителя. Настоящий синьор не ждет, когда ему разжуют задачи и разложат все по полочкам. Он сам приходит с гипотезами, проверенными цифрами, предлагает решения руководству, продукту, ТОПам. Его работа – это не таски в стол, а реальная инициатива и результаты.
Конечно, тема холиварная, и у каждого свой взгляд на то, кто такой синьор. Но из моего большого опыта найма аналитиков, вижу, как рынок перегрет, и многие гонятся за деньгами, меняя работу каждые пару лет. Джуниор, проработавший год, уже мнит себя мидлом, а там и до «синьора» рукой подать.
В ближайшее время планирую опубликовать статью с моим видением матрицы компетенций продуктового аналитика. Это будет полезная пища для размышлений для всех, кто строит карьеру, а также для тех менеджеров, у которых еще нет своей матрицы.
А пока не спешите вешать себе ярлыки. Синьорность – это не про стаж, это про результат.
#мысли
Знаете, как это бывает: человек три-четыре года в аналитике, сменил пару компаний, отлично освоил SQL и Python, и вот он уже себя видит как «синьора» с соответствующими запросами. Не мидл, не мидл+, а сразу синьор. Серьезно? У меня к этому скепсис на уровне «Титаника» перед айсбергом. Да, навыки важны, но быть синьором – это не просто круто владеть инструментами. Давайте разберемся, кто же такой настоящий синьор-аналитик, и почему это не так просто, как кажется.
Смысл работы аналитика: не таски, а бабки
Аналитик – это не просто человек, который закрывает задачи пачками. Смысл работы аналитика – помогать бизнесу зарабатывать деньги. Провел исследование, принес выводы продакту, запустили A/B тест – и фича принесла дополнительное ROI? Ты красавчик. Сделал три новых отчета, закрыл 15 тасок, но пользы для бизнеса – ноль? Извини, синьорность отменяется. Здесь важно понимать, что не количество решенных задач делает тебя синьором, а умение приносить реальную пользу.
Продукт, рынок, тренды: знать нужно все
Второй важный критерий синьорности – это знание своего продукта и предметной области. И не просто знать на уровне «ну я слышал, что такое монетизация», а понимать весь PnL продукта, знать, как он вписывается в конкурентную среду, какие тренды на рынке, и как продукт позиционируется. Быть синьором – это знать продукт до косточек, и при этом понимать, что происходит на рынке.
Фокусы и самостоятельность: синьор – это про инициативу
Еще один критерий – умение работать через фокусы от руководителя. Настоящий синьор не ждет, когда ему разжуют задачи и разложат все по полочкам. Он сам приходит с гипотезами, проверенными цифрами, предлагает решения руководству, продукту, ТОПам. Его работа – это не таски в стол, а реальная инициатива и результаты.
Конечно, тема холиварная, и у каждого свой взгляд на то, кто такой синьор. Но из моего большого опыта найма аналитиков, вижу, как рынок перегрет, и многие гонятся за деньгами, меняя работу каждые пару лет. Джуниор, проработавший год, уже мнит себя мидлом, а там и до «синьора» рукой подать.
В ближайшее время планирую опубликовать статью с моим видением матрицы компетенций продуктового аналитика. Это будет полезная пища для размышлений для всех, кто строит карьеру, а также для тех менеджеров, у которых еще нет своей матрицы.
А пока не спешите вешать себе ярлыки. Синьорность – это не про стаж, это про результат.
#мысли
Когда я стал руководителем, количество взаимодействий с людьми в моей жизни резко выросло. Вместе с должностью мне достался комплект из не всегда приятных встреч и бесконечных коммуникаций. И вот, когда терпение уже начинало покидать меня, я отправился на поиски спасительного средства. Прочел много книг по менеджменту и именно тогда на глаза попалась книга Роберта Саттона «Не работайте с м*даками. И что делать, если они вокруг вас». В ней я нашел не только утешение, но и пару крепких словечек, некоторые из которых стали моим девизом.
Саттон сразу же заходит с козырей: он не боится называть вещи своими именами. Вот уж точно, иногда для того, чтобы разобраться в человеке, нужно перестать называть его «трудным» и просто признать, что он м*дак. Автор не ограничивается пустыми фразами, а с юмором и долей самоиронии разбирает, как эти «сертифицированные м*даки» способны разрушить коллектив, снизить продуктивность и свести с ума окружающих. Особенно понравился момент, когда я с ужасом и интересом начал подозревать, что сам иногда не прочь поддаться м*дачеству😃
Ну, кто не без греха, правда?
Хотя книга полна ценных мыслей и примеров, часть, где автор советует, как противостоять м*дакам, немного разочаровала. Хотелось бы больше подробностей и конкретики, но Саттон честно признается: иногда лучшее решение – сбежать как можно дальше. В общем, никаких волшебных рецептов, только суровая правда жизни.
Так что, если вы, как и я, по уши в коммуникациях и мечтаете найти способ обрести душевное спокойствие, читайте эту книгу. Она хотя бы поможет вам посмеяться над ситуацией и посмотреть на вещи с другой стороны. А там, глядишь, и до следующего карьерного роста доживете без нервного срыва.
🔗 Книгу можно купить на Литрес.
#книга
Саттон сразу же заходит с козырей: он не боится называть вещи своими именами. Вот уж точно, иногда для того, чтобы разобраться в человеке, нужно перестать называть его «трудным» и просто признать, что он м*дак. Автор не ограничивается пустыми фразами, а с юмором и долей самоиронии разбирает, как эти «сертифицированные м*даки» способны разрушить коллектив, снизить продуктивность и свести с ума окружающих. Особенно понравился момент, когда я с ужасом и интересом начал подозревать, что сам иногда не прочь поддаться м*дачеству😃
Ну, кто не без греха, правда?
Хотя книга полна ценных мыслей и примеров, часть, где автор советует, как противостоять м*дакам, немного разочаровала. Хотелось бы больше подробностей и конкретики, но Саттон честно признается: иногда лучшее решение – сбежать как можно дальше. В общем, никаких волшебных рецептов, только суровая правда жизни.
Так что, если вы, как и я, по уши в коммуникациях и мечтаете найти способ обрести душевное спокойствие, читайте эту книгу. Она хотя бы поможет вам посмеяться над ситуацией и посмотреть на вещи с другой стороны. А там, глядишь, и до следующего карьерного роста доживете без нервного срыва.
🔗 Книгу можно купить на Литрес.
#книга
Новый дайджест с последними лучами летнего солнца. Поставь 💯, если тоже будешь скучать по лету.
Ты с отличием окончил универ, красный диплом стоит на полке среди книг по дата-аналитике. Вот ты получаешь заветный оффер, с ноги заходишь в крутую компанию и видишь… как плохо реализованы процессы и решения. Кажется, что о best practices слышал один ты. Но правда в том, что это нормально! В быстрорастущих компаниях главная задача – реализовать решение, а не достичь совершенства. Если ты не сможешь добиваться результатов с той скоростью, с которой требует бизнес, он будет развиваться без тебя. Об этом статья на Medium (VPN) под заголовком: «Done is Better Than Perfect».
Как оценить потенциальную эффективность, например, рекламной рассылки? Можно провести outcome-моделирование. Модель проанализирует данные о клиенте и сообщит вероятность покупки после увиденной рекламы. Но сейчас больше говорят о uplift-моделировании (VPN). Оно не просто даст прогноз того или иного действия, а оценит разницу между тем как человек поступит, если увидит или не увидит рекламу. Так бизнес сможет отправлять рассылку только тем клиентам, кого она сподвигнет на покупку. Остальных можно не беспокоить: они либо и так купят, либо реклама на них не повлияет.
Ребята из Т-банка рассказали о собственном ML-алгоритме по предсказанию клиентского негатива от маркетинговых коммуникаций. В июльской статье они рассмотрели общую концепцию response-модели, а также технические аспекты ее стратегии обучения. A/B-тест показал статистически значимое уменьшение негативных обращений на линию поддержки. В августе ребята выкатили продолжение. В новой статье они описали дизайн A/B-теста in production во всех деталях, а также поделились статистически значимыми результатами.
#дайджест
Ты с отличием окончил универ, красный диплом стоит на полке среди книг по дата-аналитике. Вот ты получаешь заветный оффер, с ноги заходишь в крутую компанию и видишь… как плохо реализованы процессы и решения. Кажется, что о best practices слышал один ты. Но правда в том, что это нормально! В быстрорастущих компаниях главная задача – реализовать решение, а не достичь совершенства. Если ты не сможешь добиваться результатов с той скоростью, с которой требует бизнес, он будет развиваться без тебя. Об этом статья на Medium (VPN) под заголовком: «Done is Better Than Perfect».
Как оценить потенциальную эффективность, например, рекламной рассылки? Можно провести outcome-моделирование. Модель проанализирует данные о клиенте и сообщит вероятность покупки после увиденной рекламы. Но сейчас больше говорят о uplift-моделировании (VPN). Оно не просто даст прогноз того или иного действия, а оценит разницу между тем как человек поступит, если увидит или не увидит рекламу. Так бизнес сможет отправлять рассылку только тем клиентам, кого она сподвигнет на покупку. Остальных можно не беспокоить: они либо и так купят, либо реклама на них не повлияет.
Ребята из Т-банка рассказали о собственном ML-алгоритме по предсказанию клиентского негатива от маркетинговых коммуникаций. В июльской статье они рассмотрели общую концепцию response-модели, а также технические аспекты ее стратегии обучения. A/B-тест показал статистически значимое уменьшение негативных обращений на линию поддержки. В августе ребята выкатили продолжение. В новой статье они описали дизайн A/B-теста in production во всех деталях, а также поделились статистически значимыми результатами.
#дайджест
Как аналитик я веду документацию по проектам в Confluence и Notion. Это самые популярные и удобные инструменты для организации и поиска информации, агрегации результатов АБ-экспериментов и исследований. Если Atlassian (разработчик Confluence) ушел еще в 2022 году, то Notion держался до последнего.
Но вот выходит новый пакет санкций, и 9 сентября Notion покидает Россию. Это означает блокировку российских аккаунтов. Новые пользователи не смогут зарегистрироваться, а платные подписки прекратятся без возврата средств. До 8 сентября включительно Notion дает время выгрузить данные и прилагает инструкцию.
Как поясняет тематический канал, аккаунты российских пользователей будут заблокированы на территории России, а не удалены. Пользователи смогут зайти в них при выезде в другую страну или через ВПН.
Но если вы хоть раз (сейчас или когда-либо в прошлом) оплачивали подписку на workspace с российских карт и указывали Россию в платежной информации, то оплаченное рабочее пространство будет удалено. Это касается и тех россиян, кто сейчас проживает за границей.
Что делать?
✔️ Выгрузить важные данные, если ты живешь в России или когда-то в прошлом оплачивал подписку из России. Советы по работе с сервисом после блокировки можно прочитать в том же канале.
✔️ Рассмотреть аналоги. Из зарубежных остаются, например, ClickUp и Obsidian. Но на фоне новостей об уходе компаний российский софт выглядит надежнее. Берем на заметку сервисы TEAMLY, Yandex Wiki, Weeek и Strive.
Я не успел поработать с российскими аналогами. Кто-нибудь знаком с ними? Посоветуйте, куда лучше мигрировать данные.
#новости #notion
Но вот выходит новый пакет санкций, и 9 сентября Notion покидает Россию. Это означает блокировку российских аккаунтов. Новые пользователи не смогут зарегистрироваться, а платные подписки прекратятся без возврата средств. До 8 сентября включительно Notion дает время выгрузить данные и прилагает инструкцию.
Как поясняет тематический канал, аккаунты российских пользователей будут заблокированы на территории России, а не удалены. Пользователи смогут зайти в них при выезде в другую страну или через ВПН.
Но если вы хоть раз (сейчас или когда-либо в прошлом) оплачивали подписку на workspace с российских карт и указывали Россию в платежной информации, то оплаченное рабочее пространство будет удалено. Это касается и тех россиян, кто сейчас проживает за границей.
Что делать?
✔️ Выгрузить важные данные, если ты живешь в России или когда-то в прошлом оплачивал подписку из России. Советы по работе с сервисом после блокировки можно прочитать в том же канале.
✔️ Рассмотреть аналоги. Из зарубежных остаются, например, ClickUp и Obsidian. Но на фоне новостей об уходе компаний российский софт выглядит надежнее. Берем на заметку сервисы TEAMLY, Yandex Wiki, Weeek и Strive.
Я не успел поработать с российскими аналогами. Кто-нибудь знаком с ними? Посоветуйте, куда лучше мигрировать данные.
#новости #notion
На слайде изображены два графика с одинаковыми данными. Однако выводы напрашиваются разные. На левом графике все филиалы показали похожий результат. Точка на юге немного лидирует, запад отстает, но не смертельно. Правый же график показывает драматичный разрыв между югом и западом. Как будто у западной точки есть проблема и ее нужно срочно решать.
Проблема действительно есть, но не у филиалов. Правый график содержит искажения, которых нет в левом. Ось ординат начинается не с нуля, а с отметки 40. Так делать нельзя, если вы намерены сравнивать данные. Кроме того, нет самой оси ординат, что усиливает ложный эффект.
Графики делают любой довод убедительнее. Это повод для манипуляции данными. Непорядочные менеджеры осознанно используют визуальные элементы, чтобы получить одобрение проекта или завысить показатели. Иногда искажения оказываются в графиках случайно по ошибке.
Альберто Каиро, глава кафедры визуальной журналистики в Университете Майами, выделил 5 категорий лжи при дизайне графиков в книге «How Charts Lie»:
1. График плохо спроектирован. Допущены ошибки в визуальных элементах.
2. Данные недостоверны. Источник не указан или ему нельзя доверять.
3. Данные неполные. График сильно упрощен.
4. Данные неточные. Величина погрешности измерений может быть большой.
5. Тренды на графике ведут к неправильным выводам.
График – это не простая иллюстрация, а визуально сформулированные аргументы. Как бы мы не старались сделать график легче для понимания, все будет зависеть от природы данных. Если история непростая, то ее визуализация будет объемной. Она потребует от читателя времени и сил для вдумчивого изучения.
Несмотря на искажения на правом графике, оба графика верны. Ошибка заключается в нашей интерпретации. Ведь в корректном понимании графика участвуют две стороны: дизайнер данных и читатель. Они оба в равной степени ответственны за интерпретацию. Поэтому как аналитик я всегда задаю себе два вопроса:
🔹Как создать правдивый график?
🔹Как правильно проанализировать и интерпретировать информацию?
#аномалии
Проблема действительно есть, но не у филиалов. Правый график содержит искажения, которых нет в левом. Ось ординат начинается не с нуля, а с отметки 40. Так делать нельзя, если вы намерены сравнивать данные. Кроме того, нет самой оси ординат, что усиливает ложный эффект.
Графики делают любой довод убедительнее. Это повод для манипуляции данными. Непорядочные менеджеры осознанно используют визуальные элементы, чтобы получить одобрение проекта или завысить показатели. Иногда искажения оказываются в графиках случайно по ошибке.
Альберто Каиро, глава кафедры визуальной журналистики в Университете Майами, выделил 5 категорий лжи при дизайне графиков в книге «How Charts Lie»:
1. График плохо спроектирован. Допущены ошибки в визуальных элементах.
2. Данные недостоверны. Источник не указан или ему нельзя доверять.
3. Данные неполные. График сильно упрощен.
4. Данные неточные. Величина погрешности измерений может быть большой.
5. Тренды на графике ведут к неправильным выводам.
График – это не простая иллюстрация, а визуально сформулированные аргументы. Как бы мы не старались сделать график легче для понимания, все будет зависеть от природы данных. Если история непростая, то ее визуализация будет объемной. Она потребует от читателя времени и сил для вдумчивого изучения.
Несмотря на искажения на правом графике, оба графика верны. Ошибка заключается в нашей интерпретации. Ведь в корректном понимании графика участвуют две стороны: дизайнер данных и читатель. Они оба в равной степени ответственны за интерпретацию. Поэтому как аналитик я всегда задаю себе два вопроса:
🔹Как создать правдивый график?
🔹Как правильно проанализировать и интерпретировать информацию?
#аномалии
Весь август натыкаюсь на новости об уходе американских компаний. Решил разобраться, откуда растут ноги. Причина (как всегда) в новых санкциях от Департамента финансов США.
12 июня вышел очередной пакет с пакетами, который запрещает IT-сервисам оказывать услуги российским компаниям, работающим на внутреннем рынке РФ. В частности, под санкции подпадают облачные сервисы, сервисы BI и хранилища данных. Перечень отраслей внушительный.
Санкции начнут действовать уже на следующей неделе в четверг 12 сентября. Одни компании, например Google BigQuery и Notion, отключат доступ в понедельник 9 сентября. Другие, например Microsoft, Hubspot и Miro, проработают до среды.
Если вы еще не импортозаместили (ну вдруг) аналитические процессы и хранение данных, то остается несколько дней на выгрузку информации.
Что отключат?
Google отключит BigQuery. При этом Google Workspace и Google Cloud продолжат работать. Более подробной информации пока нет. Новость сообщил партнер Microsoft в РФ Softline в приватном канале для клиентов.
Microsoft заблокирует доступ российским юридическим лицам к продуктам Microsoft 365 и Office 365 (за исключением некоторых автономных подписок). Под блокировку также подпадают службы Microsoft Azure: Data Explorer, Databricks, Managed Grafana, Operator Insights, Quantum, Synapse Analytics, Microsoft Fabric и Power BI Embedded. Заказчики не смогут вносить изменения или обновления.
Hubspot отключит аккаунты пользователей из России, а также заблокирует доступ к сервисам на территории РФ. Поддержка приложений в российских версиях магазинов будет прекращена. Новость упала на почту корпоративным пользователям.
Miro уходит в два этапа. С 12 сентября она заблокирует создание и редактирование досок для бесплатных и платных аккаунтов из России и Беларуси. В течении 30 дней доски можно будет открыть и скачать. Полная блокировка произойдет 11 октября в 18:00 по МСК.
Miro определяет расположение аккаунта по IP-адресу его регистрации и входа. Мне видятся следующие варианты дальнейшей работы:
🔹Создать новый аккаунт в Miro в другой стране, например через ВПН. Далее заходить в аккаунт только через ВПН.
🔹Назначить владельцем человека из другой страны. Для входа в аккаунт использовать только ВПН.
🔹Перенести доски в российские аналоги. Например, ВК Доска и Unidraw.io от Т-Банка предлагают экспортировать доски напрямую из Miro. Я лично переехал в Unidraw.
А куда вы мигрировали процессы?
#новости #bigquery #hubspot #microsoft #powerbi #miro
12 июня вышел очередной пакет с пакетами, который запрещает IT-сервисам оказывать услуги российским компаниям, работающим на внутреннем рынке РФ. В частности, под санкции подпадают облачные сервисы, сервисы BI и хранилища данных. Перечень отраслей внушительный.
Санкции начнут действовать уже на следующей неделе в четверг 12 сентября. Одни компании, например Google BigQuery и Notion, отключат доступ в понедельник 9 сентября. Другие, например Microsoft, Hubspot и Miro, проработают до среды.
Если вы еще не импортозаместили (ну вдруг) аналитические процессы и хранение данных, то остается несколько дней на выгрузку информации.
Что отключат?
Google отключит BigQuery. При этом Google Workspace и Google Cloud продолжат работать. Более подробной информации пока нет. Новость сообщил партнер Microsoft в РФ Softline в приватном канале для клиентов.
Microsoft заблокирует доступ российским юридическим лицам к продуктам Microsoft 365 и Office 365 (за исключением некоторых автономных подписок). Под блокировку также подпадают службы Microsoft Azure: Data Explorer, Databricks, Managed Grafana, Operator Insights, Quantum, Synapse Analytics, Microsoft Fabric и Power BI Embedded. Заказчики не смогут вносить изменения или обновления.
Hubspot отключит аккаунты пользователей из России, а также заблокирует доступ к сервисам на территории РФ. Поддержка приложений в российских версиях магазинов будет прекращена. Новость упала на почту корпоративным пользователям.
Miro уходит в два этапа. С 12 сентября она заблокирует создание и редактирование досок для бесплатных и платных аккаунтов из России и Беларуси. В течении 30 дней доски можно будет открыть и скачать. Полная блокировка произойдет 11 октября в 18:00 по МСК.
Miro определяет расположение аккаунта по IP-адресу его регистрации и входа. Мне видятся следующие варианты дальнейшей работы:
🔹Создать новый аккаунт в Miro в другой стране, например через ВПН. Далее заходить в аккаунт только через ВПН.
🔹Назначить владельцем человека из другой страны. Для входа в аккаунт использовать только ВПН.
🔹Перенести доски в российские аналоги. Например, ВК Доска и Unidraw.io от Т-Банка предлагают экспортировать доски напрямую из Miro. Я лично переехал в Unidraw.
А куда вы мигрировали процессы?
#новости #bigquery #hubspot #microsoft #powerbi #miro
В июле в Вене состоялась одна из крупнейших международных конференций по машинному обучению — The International Conference on Machine Learning (ICML 2024). Делегация от Яндекса побывала на конференции и рассказала о самом интересном и важном в блоге Хабр. Ребята перечислили намечающиеся тренды и дали ссылки на последние научные исследования.
Новые правила приватности обязывают компании скрывать пользовательские данные. Google и Apple уже разработали механизмы ограничения доступа к id-пользователей: App Tracking Transparency (ATT) для iOS и Google Advertising ID (GAID) deprecation на Android. Теперь мы все меньше знаем о своих пользователях. Получаемая информация сильно фрагментирована. Уже не получится узнавать человека при визите, особенно если он не авторизовался. От этого страдает анализ и таргетинг рекламы. Статья в блоге Appsflyer объясняет, что привело к такой реальности и наводит на мысли о способах преодоления ограничений.
Считается, что хороший аналитик – тот, кто отвечает на вопросы, поставленные бизнесом. Здесь кроется загвоздка: что будет делать компания с ответами? Какие действия они предпримут? Ведь интерпретация результатов зависит от понимания, какие на самом деле проблемы мы решаем. В идеале, прошаренный аналитик, увидев список вопросов, должен задуматься: «а зачем?». Как эффективно сотрудничать с бизнесом, чтобы тактично прояснить мотивацию его вопросов, расскажет статья на Medium (VPN).
Компания DQOps делится бесплатным сборником Best Practices по устранению проблем с качеством данных. Книга разделена на два блока: первый посвящен организации мониторинга качества данных, второй – улучшению KPI качества. Авторы рассказывают, как проанализировать и сформировать требования к качеству данных со стороны бизнеса и разработки, создать среду для поддержания качества, а также как найти и устранить причины проблем с данными и пайплайнами.
#дайджест
Новые правила приватности обязывают компании скрывать пользовательские данные. Google и Apple уже разработали механизмы ограничения доступа к id-пользователей: App Tracking Transparency (ATT) для iOS и Google Advertising ID (GAID) deprecation на Android. Теперь мы все меньше знаем о своих пользователях. Получаемая информация сильно фрагментирована. Уже не получится узнавать человека при визите, особенно если он не авторизовался. От этого страдает анализ и таргетинг рекламы. Статья в блоге Appsflyer объясняет, что привело к такой реальности и наводит на мысли о способах преодоления ограничений.
Считается, что хороший аналитик – тот, кто отвечает на вопросы, поставленные бизнесом. Здесь кроется загвоздка: что будет делать компания с ответами? Какие действия они предпримут? Ведь интерпретация результатов зависит от понимания, какие на самом деле проблемы мы решаем. В идеале, прошаренный аналитик, увидев список вопросов, должен задуматься: «а зачем?». Как эффективно сотрудничать с бизнесом, чтобы тактично прояснить мотивацию его вопросов, расскажет статья на Medium (VPN).
Компания DQOps делится бесплатным сборником Best Practices по устранению проблем с качеством данных. Книга разделена на два блока: первый посвящен организации мониторинга качества данных, второй – улучшению KPI качества. Авторы рассказывают, как проанализировать и сформировать требования к качеству данных со стороны бизнеса и разработки, создать среду для поддержания качества, а также как найти и устранить причины проблем с данными и пайплайнами.
#дайджест
Недавно я рассказывал о фреймворке HEART от Google. Он измеряет пользовательский опыт и удовлетворенность клиентов. Однако HEART ничего не говорит о производительности и эффективности приложения: быстро ли грузятся страницы или экраны, приносит ли приложение прибыль. Для этого Goolge использует фреймворк PULSE, который измеряет основные показатели работы приложения.
Компании всегда отслеживали пользовательский трафик приложений и связанные с ним показатели, такие как количество просмотров и время. Google же выделил конкретные метрики для отслеживания, оформил их в фреймворк и описал в статье вместе с фреймворком HEART.
PULSE включает 5 метрик.
Page views отражает среднее число визитов за определенный промежуток времени. Метрика характеризует нагрузку на сайт или приложение.
Uptime означает время безостановочной работы сервера без падений.
Latency – это среднее время загрузки экрана или страницы. Метрика показывает задержку в работе продукта.
Seven-day active users отслеживает среднее количество активных пользователей, которые посещают продукт в течение семи дней. Метрика обычно не учитывает повторные визиты.
Под Earnings понимают выручку от продукта.
Главные задачи фреймворка – отслеживать работу приложения и его пользу для бизнеса, чтобы:
✔️оптимизировать производительность;
✔️предотвращать перебои в работе сервера;
✔️привлекать больше пользователей;
✔️увеличивать прибыль от приложения.
Метрики PULSE косвенно характеризуют пользовательский опыт. Например, продукт, который часто выходит из строя и медленно работает, вряд ли привлечет пользователей.
PULSE и HEART хорошо работают в паре. Вместе они анализируют пользовательский опыт с двух сторон: с технической и бизнесовой (PULSE) и со стороны пользовательского опыта (HEART). Они помогают аналитикам отслеживать общее здоровье приложения и принимать data-driven решения по развитию продукта. PULSE говорит о том, как работает продукт и сколько прибыли приносит. HEART же фокусируется на эмоциях пользователей от работы с продуктом.
#метрики
Компании всегда отслеживали пользовательский трафик приложений и связанные с ним показатели, такие как количество просмотров и время. Google же выделил конкретные метрики для отслеживания, оформил их в фреймворк и описал в статье вместе с фреймворком HEART.
PULSE включает 5 метрик.
Page views отражает среднее число визитов за определенный промежуток времени. Метрика характеризует нагрузку на сайт или приложение.
Uptime означает время безостановочной работы сервера без падений.
Latency – это среднее время загрузки экрана или страницы. Метрика показывает задержку в работе продукта.
Seven-day active users отслеживает среднее количество активных пользователей, которые посещают продукт в течение семи дней. Метрика обычно не учитывает повторные визиты.
Под Earnings понимают выручку от продукта.
Главные задачи фреймворка – отслеживать работу приложения и его пользу для бизнеса, чтобы:
✔️оптимизировать производительность;
✔️предотвращать перебои в работе сервера;
✔️привлекать больше пользователей;
✔️увеличивать прибыль от приложения.
Метрики PULSE косвенно характеризуют пользовательский опыт. Например, продукт, который часто выходит из строя и медленно работает, вряд ли привлечет пользователей.
PULSE и HEART хорошо работают в паре. Вместе они анализируют пользовательский опыт с двух сторон: с технической и бизнесовой (PULSE) и со стороны пользовательского опыта (HEART). Они помогают аналитикам отслеживать общее здоровье приложения и принимать data-driven решения по развитию продукта. PULSE говорит о том, как работает продукт и сколько прибыли приносит. HEART же фокусируется на эмоциях пользователей от работы с продуктом.
#метрики
За окном – обманчивая осенняя погода. Зато статья на Medium «Осваиваем создание незабываемого дашборда» (VPN) не подвела и полностью оправдала ожидания. Опытный аналитик из Кореи рассказала про великолепный фреймворк для визуализации данных. В упрощенном виде он сводится к вопросам:
1️⃣ Кто конечные пользователи дашборда?
2️⃣ Почему им необходимо увидеть эти данные? Какое решение им нужно принять?
3️⃣ Какие ключевые метрики необходимо знать для принятия решения?
4️⃣ Как пользователи будут использовать дашборд?
5️⃣ Как часто к нему будут обращаться?
6️⃣ Как структурировать его так, чтобы последовательно изложить читателю все данные?
Не смог пройти мимо статьи из цикла о казуальном машинном обучении. В прошлый раз мы обсуждали, что такое uplift-моделирование и где оно может пригодиться. В новой статье ML-инженер Arthur Cruiziat рассказал, как с помощью модели улучшить удержание клиентов (VPN). Это яркий пример реальной бизнес-ценности от ML. Статья описывает все этапы повышения Retention, начиная с анализа оттока пользователей и определения действий по их удержанию и заканчивая описанием моделей и оценкой результатов моделирования. Python-скрипты прилагаются.
Когда нужно определить влияние фактора Х на пользователей, все вспоминают А/Б-эксперимент. Но у него есть ограничение – две группы должны быть выбраны случайным образом. Если рандомизация невозможна, в игру вступают альтернативные методы исследования: Difference in Differences (DiD), Regression Discontinuity Design (RDD), Instrumental variables и Matching. В основе лежит идея квази-эксперимента. Он оценивает причинно-следственные связи в условиях, когда невозможно провести полностью контролируемый эксперимент. Автор в блоге ВкусВилл разбирает принципы четырех методов и делится опытом их применения.
Пиши, какие еще темы ты хочешь видеть в дайджестах. Я учту твои пожелания 🧐.
#дайджест
1️⃣ Кто конечные пользователи дашборда?
2️⃣ Почему им необходимо увидеть эти данные? Какое решение им нужно принять?
3️⃣ Какие ключевые метрики необходимо знать для принятия решения?
4️⃣ Как пользователи будут использовать дашборд?
5️⃣ Как часто к нему будут обращаться?
6️⃣ Как структурировать его так, чтобы последовательно изложить читателю все данные?
Не смог пройти мимо статьи из цикла о казуальном машинном обучении. В прошлый раз мы обсуждали, что такое uplift-моделирование и где оно может пригодиться. В новой статье ML-инженер Arthur Cruiziat рассказал, как с помощью модели улучшить удержание клиентов (VPN). Это яркий пример реальной бизнес-ценности от ML. Статья описывает все этапы повышения Retention, начиная с анализа оттока пользователей и определения действий по их удержанию и заканчивая описанием моделей и оценкой результатов моделирования. Python-скрипты прилагаются.
Когда нужно определить влияние фактора Х на пользователей, все вспоминают А/Б-эксперимент. Но у него есть ограничение – две группы должны быть выбраны случайным образом. Если рандомизация невозможна, в игру вступают альтернативные методы исследования: Difference in Differences (DiD), Regression Discontinuity Design (RDD), Instrumental variables и Matching. В основе лежит идея квази-эксперимента. Он оценивает причинно-следственные связи в условиях, когда невозможно провести полностью контролируемый эксперимент. Автор в блоге ВкусВилл разбирает принципы четырех методов и делится опытом их применения.
Пиши, какие еще темы ты хочешь видеть в дайджестах. Я учту твои пожелания 🧐.
#дайджест
Друзья, привет!
Последние полгода я полностью погружён в мир метрик. Да, я – тот самый человек, который на вечеринке обсуждает не отпуск, а Retention Rate. Что поделать, метрики – это невидимые герои бизнеса. Именно они говорят, жить продукту или нет, без них не принимаются никакие серьёзные решения.
Я глубоко изучил популярные фреймворки, прочитал несколько книг, прошерстил тонну статей и всё это объединил в серию постов в Telegram. Получился целый мини-курс!
Если ваши любимые цифры – это не только количество лайков на фотке с котом, но и что-то более серьёзное, вроде LTV или CAC, вам точно будет интересно! Ссылки на посты ниже – сохраняйте и делитесь с друзьями.
База
▪️Что такое метрика?
▪️Фреймворки для работы с метриками
OKR
▪️Цели и ключевые результаты (OKR)
▪️Книга.Измеряйте самое важное
NSM
▪️Метрика Полярной звезды (NSM)
▪️Почему Revenue и Profit плохие кандидаты в NSM
▪️Книга.The North Star Playbook
Иерархия и пирамида
▪️Дерево или иерархия метрик
▪️Пирамида метрик
▪️Построение пирамиды метрик
Опыт Amazon
▪️Опережающие и запаздывающие индикаторы
▪️Маховик Amazon
▪️Книга.Стратегия Amazon
Для конкретной задачи
▪️Фреймворк AARRR
▪️Фреймворк HEART
▪️Фреймворк PULSE
А я тем временем продолжу копаться в теме и рассказывать вам, как и зачем использовать #метрики на практике.
Последние полгода я полностью погружён в мир метрик. Да, я – тот самый человек, который на вечеринке обсуждает не отпуск, а Retention Rate. Что поделать, метрики – это невидимые герои бизнеса. Именно они говорят, жить продукту или нет, без них не принимаются никакие серьёзные решения.
Я глубоко изучил популярные фреймворки, прочитал несколько книг, прошерстил тонну статей и всё это объединил в серию постов в Telegram. Получился целый мини-курс!
Если ваши любимые цифры – это не только количество лайков на фотке с котом, но и что-то более серьёзное, вроде LTV или CAC, вам точно будет интересно! Ссылки на посты ниже – сохраняйте и делитесь с друзьями.
База
▪️Что такое метрика?
▪️Фреймворки для работы с метриками
OKR
▪️Цели и ключевые результаты (OKR)
▪️Книга.Измеряйте самое важное
NSM
▪️Метрика Полярной звезды (NSM)
▪️Почему Revenue и Profit плохие кандидаты в NSM
▪️Книга.The North Star Playbook
Иерархия и пирамида
▪️Дерево или иерархия метрик
▪️Пирамида метрик
▪️Построение пирамиды метрик
Опыт Amazon
▪️Опережающие и запаздывающие индикаторы
▪️Маховик Amazon
▪️Книга.Стратегия Amazon
Для конкретной задачи
▪️Фреймворк AARRR
▪️Фреймворк HEART
▪️Фреймворк PULSE
А я тем временем продолжу копаться в теме и рассказывать вам, как и зачем использовать #метрики на практике.