BigData, Cloud, ETL, SQL и NoSQL DB, Spark, Hive, Python, Scala, Kafka

 Иметь более 13 лет опыта работы в области архитектуры программного обеспечения, проектирования, разработки, поддержки, обслуживания, устранения неполадок, настройки производительности и настройки среды/кластеров с использованием различных технологий с открытым исходным кодом, больших данных, ETL и других технологий.
 Иметь опыт работы с аналитикой данных, хранением данных, озерами данных, обработкой данных, майнингом, оптимизацией, отчетностью и настройкой кластера.
 Иметь знания в области страхования, управления информацией о продуктах (PIM), сети и СМИ, а также практические навыки работы с Agile-методологиями, Scrum и Waterfall.
 5 лет опыта работы с экосистемой BigData, распределенной файловой системой Hadoop (HDFS) и YARN; Хорошо разбирается в таких инструментах и ​​интерпретаторах, как Hive, Pig, Flume, Oozie, Sqoop, Spark, HBase, Beeline, Impala, Tez, Scala, Athena, Qubole и Git.
 Также хорошо знаком с использованием различных форматов файлов (TXT, PARQUET, ORC) и методов сжатия (Snappy, LZO, GZIP, BZIP2) для больших данных.
 Иметь практический опыт установки, настройки и обслуживания экосистемы Apache Hadoop (версий 1.0, 2.0, 3.0), а также различных компонентов и инструментов распределенной файловой системы Hadoop.
 Получите доступ к Amazon AWS EC2, S3, EMR, EBS и RedShift Spectrum для обработки и хранения данных соответственно.
 Познакомьтесь с Amazon RedShift и RedShift Spectrum, инструментом SCT, DMS, а также с использованием каталога Amazon.
 Опыт работы с операционной системой CENTOS/Linux/UNIX/Fedora/Ubuntu или ее разновидностями в качестве пользователя и суперпользователя с хорошими знаниями в области администрирования.
 Хорошее понимание архитектуры Hadoop и различных других компонентов, таких как YARN, HDFS, средство отслеживания заданий, средство отслеживания задач, узел имен, узел данных, диспетчеры ресурсов/узлов/приложений, MRv1 и MRv2.
 Опыт работы с процессами ETL и DWH, работа над ETL-инструментом почти в реальном времени – Oracle GoldenGate при внедрении, установке, администрировании и настройке, обслуживании и устранении неполадок; получение из нескольких баз данных, таких как MSSQL, Oracle, Teradata, DB2 и UDB.
 Работал над различными дистрибутивами Hadoop от Apache, Cloudera, Hortonworks и Qubole.
 Практический опыт планирования мощностей Hadoop и определения размера кластера, настройки кластера Hadoop, оптимизации запросов, настройки и улучшения производительности для максимально эффективного использования.
 Практика в анализе инструментов путем сравнения их статистики, созданной на основе использования процессов/ресурсов/затрат/обслуживания.
 Хорошо разбирается в анализе данных и составлении отчетов, а также в разработке и внедрении озер данных с использованием инструментов BigData, а также в анализе и извлечении периодических данных, чтобы иметь представление / тенденции использования / проблемы ресурса по сети, помогая в решении критических и средних проблем при решении Деловые проблемы.
 Работал над моделированием данных — концептуальные, логические и физические модели на основе больших данных.
 Хорошее знание технологий NoSql, таких как MongoDB и HBase.
 Опыт анализа, обработки, майнинга, оптимизации, извлечения, импорта и экспорта данных с использованием Hive Queries (HiveQL), Pig Latin, Impala, Spark & ​​Scala.
 Хорошо использует планировщик Oozie и рабочие процессы в одиночном/параллельном/зависимом режиме выполнения с несколькими прикрепленными действиями.
 Разработал и внедрил автоматизированный процесс для балансировки использования ресурсов кластера Oozie в параллельном режиме путем управления параллельными операциями.
 Внесены улучшения в базовую структуру путем добавления сложных типов данных, массивов, карт и структур в существующую модель данных без ущерба для функциональных возможностей системы.
 Практический опыт работы с SQL, NoSql, Pentaho DI, Datameer и Shell Scripting, а также базовые знания Java.
 Также есть опыт работы с различными действиями по очистке, такими как S3, Athena/Hive таблицы/действия по очистке базы данных.
 Много работал над разработкой сетевых приложений с использованием языка C с внутренними компонентами Linux (сокеты, потоки, очереди сообщений, общая память, семафоры, процессы и сигналы), gdb, Valgrind.
 Практический опыт работы со сценариями оболочки (Bsh и Ksh) при написании сценариев приложений и мониторинга/автоматизации/предупреждений/развертывания, а также сценариев расчета размера S3 и т. д. также знаком с Perl Scripting.
 Опыт работы с инструментами отчетности на HDFS, такими как Datameer и Excel, с нужными сводными данными и графиками.
 Владение различными инструментами разработки и отладки при выполнении кодирования, модульного и интеграционного тестирования соответственно.
 Опыт написания make-файла, создания архивов, разделяемых библиотек и создания Spec-файла для сборки пакета RPM.
 Также играл различные другие роли, такие как менеджер по сборке, развертыванию и качеству, координатор процесса развертывания и тестирования, помимо моих реальных ролей.
 Обширный опыт обработки и выполнения заданий как в команде, так и в индивидуальном порядке, а также параллельно.
 Отличные навыки работы с документацией при хорошем знании Visio.
 Опыт создания различных диаграмм, таких как рабочий процесс, вариант использования, последовательность, коммуникационная и временная диаграммы.
 Поддерживал хорошие отношения со всеми клиентами/менеджерами по различным проектам и стремился к успешному применению и поддержке.
 Практический опыт работы с Microsoft Office, такими как Word, Power Point, Excel, Access DB и Visio.

Похожие записи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *