Инженер данных (дата инженер, Data Engineer) занимается организацией потоков загрузки и обработкой информации. Именно этот специалист работает с информацией в самом начале и в самом конце ее обработки.
Алгоритм работы эксперта включает в себя:
- Добыча информации (extract) из необработанных источников;
- Трансформация полученных сведений (transform);
- Загрузка (load).
Сами инженеры называются свою работу коротко: выполнение ETL-процессов. Название происходит от первых букв выполняемых процессов. Суть добычи информации заключается в обработке сырого источника. Инженер автоматизирует процесс удаления лишних уточнений, дополнений, повторений. В результате должны оставаться только нужные и полезные сведения, которые можно использовать в дальнейшей работе.
На втором этапе инженер проектирует архитектуру базы данных. Все полученные сведения должны храниться таким образом, чтобы максимально ускорить и упростить доступ к ним. Наконец, на последнем этапе проводится загрузка сведений.
Плюсы и минусы профессии
Эксперты востребованы на рынке, поэтому хороший специалист не пропадет. Главные плюсы профессии:
- Заработная плата. Инженеры данных получают высокие зарплаты из-за того, что им предстоит выполнять сложную и ответственную работу.
- Дефицит специалистов. По законам рынка, дефицит приводит к повышению цены. Следовательно, это дополнительный фактор, способствующий сохранению высоких зарплат. Но есть и другое полезное следствие — низкая конкуренция во время трудоустройства. Новый работник легко устроится трудиться в компанию из-за того, что будет мало других соискателей.
- Со временем можно развиваться в других областях. Может казаться, что появившийся интерес к профессии останется навсегда, но на самом деле даже самые приятные и интересные занятия надоедают. Инженер данных может развиваться в сфере разработки, управления, создания интернет сервисов.
У любой монеты две стороны, и даже у самой хорошей профессии всегда есть отрицательные стороны. Не лишен их и инженер данных:
- Отсутствие универсальных требований. Профессия появилась относительно недавно, поэтому еще не устоялись четкие критерии обязанностей специалистов. Впрочем, через несколько лет эта ситуация может измениться.
- Не всегда грамотная проверка компетенции. Если вы пойдете устраиваться в небольшую компанию, наниматель не всегда знает, что проверять. Часто проверяются навыки, которые изучают на первом курсе университета. Представьте, что у семиклассника проверяют таблицу умножения, а потом дают решать примеры с десятичными дробями, да еще и на скорость. К сожалению, так часто бывает у инженеров данных.
Но несмотря на наличие минусов, нельзя не заметить, что профессия интересная. Именно поэтому она привлекает молодежь.
Где учат
Чтобы стать инженеров данных необходимо закончить факультет информатики. Сотрудник должен понимать алгоритму и структуры данных, уметь писать на Python, понимать структуру SQL-запросов, знать облачные технологии и многое другое. Этому всему учат в университетах, но если по какой-то причине вы не хотите идти этим путем, можно пройти курсы.
Отметим, что для того, чтобы стать действительно хорошим инженером данных потребуется потратить много времени на обучение. Будьте готовы к тому, чтобы потратить год на получение квалификации, это минимум. За это время придется изучить технологию, выполнить простые задачи, с примерами реализованных проектов отправиться устраиваться на работу.
Инженер данных и машинное обучение
Некоторые говорят об инженере данных как о том человеке, который занимается аналитикой. На практике это не так. Аналитик данных использует информацию, которую ранее подготовил инженер, чтобы на ее основе получить новые сведения, составить прогноз или выполнить другую работу.
Сравним с автобусным расписанием. Предположим, что инженер данных изучил отзывы людей о том, в какое время и на какой автобус им удалось сесть. В результате получены противоречивые данные с огромным числом повторов. Затем инженер анализирует сведения, удаляет ненужные сведения, и может указать точное расписание всех автобусов. После загрузки в базу, в дело вступает data scientist. В его задачу может входить изучение вопроса оптимизации автобусного расписания или какие-то иные цели. Проще говоря, инженер данных добывает сведения из сырых источников, в то время как аналитик использует сведения для получения новых данных.
Несмотря на схожесть их профессиональных задач, перед нами два разных специалиста.
Примерная зарплата
Учитывая востребованность профессии, специалисты могут претендовать на высокие зарплаты, начинающиеся от 120 тысяч рублей. Отмечается, что на такую заработную плату может претендовать даже новичок. Опытные сотрудники ориентируются на более высокую оплату труда, которая превышает даже 200 тысяч рублей в месяц.
Работать можно в маленьких стартапах или крупных компаниях. В первом случае надо быть готовым к тому, что трудиться придется действительно много. Это может испугать, но за такой труд можно получить акции стартапе. Представьте, как было бы хорошо получить таким образом акции современных успешных компаний, когда они практически ничего не стоили.
Работа в крупной компании обычно более спокойная, но и возможностей внезапно разбогатеть меньше. Каждый выбирает место работы, ориентируясь на собственные вкусы.
Читайте еще о профессиях:
Спасибо.
Как человек напрямую связанный с IT-компаниями могу смело сказать, что стать «с нуля» дата инженером ни у кого не получиться. Сейчас популярны всякие курсы от айтишных школ, в которых вам просто вываливают пласт знаний и говорят «сам запомнишь». Причем ни в одной «шарашке» не говорят о сложностях профессии, в которые, помимо стандартных, входят еще и умение разбираться в чужом коде, полноценное понимание баз данных и их самостоятельная организация, ну и конечно же мое любимое – работа с проектами на серверах. Думаю все те, кто хоть когда-нибудь пытался разобраться в файловой системе сервера небольшого предприятия, знает насколько сложна профессия дата инженера.