Цель курса — подготовить слушателя к самостоятельному созданию надёжных систем сбора, хранения и обработки данных для аналитических и операционных задач организации. Освоенная компетенция позволит определять требования к платформе, выбирать модели и технологии, проектировать пакетные и потоковые процессы.
В рабочих ситуациях слушатель сможет обеспечивать наблюдаемость, качество и защиту данных, управлять изменениями архитектуры и поддерживать устойчивую эксплуатацию решений в локальной или облачной инфраструктуре.
Освоить принципы моделирования и выбора хранилищ, систематизировать методы извлечения и преобразования данных, расширить понимание распределённых и облачных архитектур. Закрепить применение Python и SQL для описания логики обработки и управления наборами.
Развить подходы к оркестрации пакетных и потоковых процессов, отработать контроль качества и происхождения данных, применять меры информационной безопасности и регламенты сопровождения платформ на всём жизненном цикле.
Слушатель будет знать понятия модели, схемы, набора, потока и конвейера данных; принципы реляционных, нереляционных и распределённых хранилищ; конструкции запросов SQL и алгоритмов преобразования. Теоретическая база включает архитектуру вычислительных систем, сетевое взаимодействие и облачные модели ресурсов.
Также будут освоены требования к описанию метаданных, каталогам и происхождению данных, структура проектной и эксплуатационной документации, методы оценки качества, защиты информации и управления жизненным циклом платформ.
Слушатель сможет анализировать источники и требования, составлять логические и физические модели, применять Python и SQL для преобразований, планировать пакетные и потоковые загрузки. Практические действия включают настройку оркестрации, подбор хранилища и оценку производительности решений.
Дополнительно слушатель научится контролировать полноту и согласованность наборов, оформлять схемы и регламенты, документировать происхождение данных, сопровождать платформу, разбирать сбои и планировать безопасные изменения без нарушения работы сервисов.