Разработчик Spark

Санкт-Петербург
01.02.2024
250 000 ₽ - 300 000 ₽ / месяц
Полный день
Срок для отклика истек

Описание вакансии

Проект: Мы молодая, амбициозная команда, занимающаяся разработкой ETL-решений, для Корпоративно-Инвестиционного Бизнеса (Департамент Глобальных Рынков).

В настоящее время идет активная разработка по требованиям Этапа 1 — создания единого централизованного хранилища на платформе Hadoop. Мы используем широкий спектр современных технологий: фрэймворк на основе Apache Spark, облачные технологии и микросервисы для создания ETL процессов.

Требования: Образование высшее техническое

Senior

  • Знание, понимание и опыт работы с Apache Spark (1 года).

  • Опыт проектирования и разработки ETL процессов приложений с использованием Apache Spark;

  • Знание Java 8;

  • Знание SQL. Умение писать и оптимизировать запросы к БД.

  • Опыт проектирования DWH, DataVault

  • Опыт работы с Hadoop, HDFS, Hive

  • Опыт проектирования корпоративных(enterprise) приложений, понимание принципов построения и работы высоконагруженных корпоративных приложений

  • Опыт проектирования и разработки приложений с использованием Spring, Spring Boot;

  • Уверенное владение технологиями SQL, Hadoop, REST, XML, JSON, HTTP;

  • Опыт проектирования и разработки клиент-серверных приложений;

  • Опыт написания модульных и интеграционных тестов (JUnit, Mockito), понимание принципов TDD;

  • Опыт организации командной работы с использованием jira, confluence, Maven, git, Jenkins, Bitbucket, Sonar(или другими), проведения кодревью.

  • Опыт применения и понимание основных шаблонов проектирования, принципов ООП, принципов построения ETL процессов, паттернов и принципов построения корпоративных приложений, паттернов и принципов построения микросервисной архитектуры;

  • Умение оптимизировать и тестировать код;

Middle:

  • Знание и опыт работы с Apache Spark (от 6 мес).

  • Опыт разработки ETL процессов приложений с использованием Apache Spark;

  • Знание Java 8;

  • Знание SQL. Умение писать и оптимизировать запросы к БД.

  • Опыт работы с DWH, DataVault

  • Опыт работы с Hadoop, HDFS, Hive

  • Опыт разработки приложений с использованием Spring, Spring Boot. Понимание принципов работы;

  • Знание технологий SQL, Hadoop, REST, XML, JSON, HTTP;

  • Опыт разработки клиент-серверных приложений.

  • Опыт работы с jira, confluence, Maven, git, Jenkins, Bitbucket, Sonar;

  • Опыт проведения кодревью;

  • Опыт написания модульных и интеграционных тестов (JUnit, Mockito)

  • Понимание основных шаблонов проектирования и принципов ООП принципов построения ETL процессов;

  • Умение оптимизировать и тестировать код;

Желательно:

  • Опыт работы с ETL инструментами (Informatica PowerCenter, Microsoft SSIS, IBM DataStage и т.п.);

  • Опыт проектирования микросервисной архитектуры;

  • Знание других языков программирование (Scala, JavaScript, Kotlin, Python, …);

  • Опыт работы с Базами Данных (Oracle, PostgeSQL, NoSQL);

  • Опыт работы с Apache Kafka, IBM MQ;

  • Опыт работы с Tomсat, Jetty, WebSphere, Spring Boot;

  • Опыт работы с OpenShift(Kubernetes), Istio;

  • Опыт работы с Nginx;

Задачи:

  • Создание нового перспективного направления -создание единого централизованного многослойного хранилища BigData для всей экосистемы банка.

  • Разрабатывать абсолютно новые сервисы, которыми будут обрабатывать огромные массивы данных;

  • Глубоко погрузиться во все аспекты современных ИТ технологий (фронтальные и бэк системы, облачные технологии, интеграция с внешними и внутренними системами, Искусственный Интеллект и Большие Данные);

  • Работать в Agile командах и применять самые современные методы разработки;

Условия:

  • Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;

  • Опыт работы в распределенной команде профессионалов;

  • Уровень заработной платы обсуждается индивидуально;

  • Возможность работать удаленно на территории РФ

Похожие вакансии