Редактирование: Data Science

Материал из Documentation.

'''Data Science''' ('''DS''') — наука об анализе данных и поиске лучших решений на их основе.<ref>[https://www.kommersant.ru/doc/5100397]</ref> В рамках DS обрабатываются и анализируются большие объёмы неструктурированной информации ([[Big Data]]) из различных систем-источников и с помощью математических моделей и новых технологий находятся в них закономерности, делаются выводы и строятся прогнозы.<ref>[https://www.kommersant.ru/doc/5100397]</ref><ref>[https://www.kommersant.ru/doc/5100393]</ref> DS объединяет сразу несколько направлений в IT-области: сбор и анализ больших данных, статистику, программирование, машинное обучение и ИИ.<ref>[https://www.kommersant.ru/doc/5100393]</ref> Основа DS — [[высшая математика]], специалисту в области DS нужны знания в [[статистика|статистике]], [[теория вероятностей|теории вероятностей]], [[математический анализ|математическом анализе]].<ref>[https://www.kommersant.ru/doc/5100397]</ref> Важной особенностью работы с данными на этапах анализа и разработки моделей машинного обучения является необходимость глубокого понимания протекающих бизнес-процессов.<ref>[https://www.kommersant.ru/doc/5100393]</ref> Типичный процесс работы DS-специалиста выглядит примерно так: данные нужно выгрузить из систем-источников, очистить, визуализировать, трансформировать, обогатить, разработать, например, предиктивную модель машинного обучения и загрузить в конечную систему.<ref>[https://www.kommersant.ru/doc/5100393]</ref> В целом деятельность DS-специалистов направлена на решение большой бизнес-задачи: увеличения выручки компании или конверсии, автоматизации рабочих процессов, которые ранее выполняли люди.<ref>[https://www.kommersant.ru/doc/5100393]</ref><ref>[https://www.kommersant.ru/doc/5100397]</ref> == Программное обеспечение == В список технологий и инструментов DS-специалистов в коммерческих компаниях, как правило, входят [[Python]], [[SQL]], [[Hadoop]], [[Spark]], [[Presto]], [[Jupyter Notebook]], библиотеки работы с данными и библиотеки машинного обучения.<ref>[https://www.kommersant.ru/doc/5100393]</ref> == Навыки, необходимые DS-специалисту == Список необходимых Data Scientist знаний ориентировочно выглядит так:<ref>[https://vc.ru/dev/852460-data-scientist-kto-eto-chem-zanimaetsya-zarplata-specialistov]</ref> * [[математика]] на уровне понимания дифференциалов, производных и других понятий схожего уровня сложности; * [[математическая статистика]]; * программирование на языке [[Python]], знание фреймворков; * алгоритмы машинного обучения; * работа с базами данных и знание [[SQL]]; * применение инструментария для анализа [[big data]]: [[Apache Spark]] и [[Hadoop Mapreduce]]; * создание готового продукта из моделей. == Применение == Data Science применяется практически во всех отраслях: от прогнозирования работы машин и механизмов до определения узких мест при прохождении кредитных заявок внутри банка.<ref>[https://education.forbes.ru/special-projects/wu-executive-academy/interview-pmba-dt-ds]</ref> Традиционной для DS является задача построения предиктивных моделей, определяющих вероятность различных событий, например поломки агрегатов на производстве или оттока клиента. Также речь идет о создании моделей рекомендательных систем, которые приводят к увеличению потребления сервисов ([[up-sell]] и [[cross-sell]]), поведенческой сегментации клиентской базы для углубленного понимания потребителя, построению моделей различных скорингов.<ref>[https://www.kommersant.ru/doc/5100397]</ref> === Анализ поведения потребителя === Из огромных пластов информации с помощью математических моделей выявляют закономерности, находят инсайты, формируют поведенческий профиль клиента и в итоге помогают компании найти «новые деньги».<ref>[https://www.kommersant.ru/doc/5100397]</ref> DS используется для определения круга общения клиента, формирования знания о нем, создания пакетного предложения и уменьшения вероятности оттока.<ref>[https://www.kommersant.ru/doc/5100397]</ref> Новостные агрегаторы адаптируются под интересы потребителя и формируют ленту новостей исходя из запросов. Все рекомендательные системы построены на анализе действий, выявлении закономерностей и формировании сегментов пользователей со схожими признаками. Создается модель поведения и как результат — подборка контента, которая будет интересна именно конкретному потребителю. Так работают рекомендации контента в [[YouTube]], [[Netflix]], [[Okko]], [[App Store]].<ref>[https://www.kommersant.ru/doc/5100397]</ref> === Карты === Ярким примером использования DS и предписательной аналитики являются сервисы карт и навигации с учетом дорожного трафика. Анализируются данные о перемещении огромного количества людей и автомобилей, строятся прогнозы по загруженности дорог, учитывается статистика по обычной загрузке отдельных участков, строятся маршруты движения с учётом множества факторов. В этом случае аналитика используется для управления потоками людей.<ref>[https://www.kommersant.ru/doc/5100397]</ref> == Ссылки == * [https://habr.com/ru/articles/706624/ 50+ бесплатных курсов и ресурсов по аналитике данных от Harvard, Google, Stanford (по которым я училась). 20 декабря 2022] [[Категория:Data Science| ]]

---

Описание изменений:

Отменить | Справка по редактированию (в новом окне)