転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です
部署・役職名 | データプラットフォームエンジニア(AIプラットフォーム/データ基盤/DBA)※東京・大阪・福岡/正社員 |
---|---|
職種 | |
業種 | |
勤務地 | |
仕事内容 |
当社は、メディア、広告、検索、コマース、決済金融など多岐にわたる事業を通じて、日々大量のデータが蓄積されます。 本職種では、それらのデータ利活用を支えるために、データの蓄積・分析基盤のための分散コンピューティング環境を全社へ提供しています。 <担当いただく領域> ※担当領域および業務内容は、選考の過程で決定します。 ▼AIプラットフォーム領域 社内のデータサイエンティスト向けに、機械学習のためのサービスやツールを提供し、AIプラットフォームを実現するための仕組み作りを目指しています。 本領域ではAIプラットフォームを実現するためのサービスやツールの開発、それらの保守・運用を担当いただきます。 また、利用方法に関する問い合わせ対応や、要望への対応、利用促進活動も行っていただきます。 <主な業務内容> ・マルチテナント大規模Kubernetesクラスタの提供 ・上記Kubernetes上での機械学習向けミドルウエアやAPI、フレームワークの提供 ▼データ基盤領域 スケールする分散システムを提供するというミッションのもと、HadoopやTrinoといった分散ミドルウエアのシステム構築を行い、これを全社向けに提供しています。 現在はミドルウエアレイヤーの開発・運用のほか、以下の課題に取り組んでいます。 ・スケールさせるうえで発生するOSI参照モデルの各レイヤーでの課題 ・マルチテナントで提供しているがゆえに発生するノイジーネイバーやリソース効率化の課題 ・利用者が投入するアプリケーションの高速化 本領域ではインフラエンジニアとしてシステムや運用業務の改善を担っていただきます。 ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められます。 <主な業務内容> ・マルチテナント大規模Hadoop、Trinoの提供 ・Hadoop、Trinoにおける高可用性と高性能の両立 ・計算リソース割り当ての分析、最適化手法の開発 ・パブリッククラウドを活用したハイブリッド構成の検討 ▼DBA(データウェアハウス)領域 DBAとしてTeradataのクエリチューニングやテーブル設計への助言等を担っていただきます。 また、各種データウェアハウス製品の比較検証を行い、より最適な技術の選択も行っていただきます。 <主な業務内容> ・大規模データウェアハウス(Teradata)の保守・運用 ・新機能検証、クエリチューニングを含む負荷対策、障害対応 ・利用者のサポート |
応募資格 |
【必須(MUST)】 ▼AIプラットフォーム領域・Kubernetes、Dockerを使ったミドルウエアやサービスの開発と運用の経験 ・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい) ・プロフェッショナルが多い環境下で、自律自走して業務遂行するスキル ▼データ基盤領域 ・大規模なプラットフォームやインフラの設計構築、運用経験 ・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい) ▼DBA(データウェアハウス)領域 ・Teradata、Oracle、Redshift等のDBA経験 ・TeradataやExadata等アプライアンスの運用経験、またはRedshiftで複数インスタンスを運用した経験 【歓迎(WANT)】 【あると望ましい経験/スキル】▼AIプラットフォーム領域 ・機械学習のシステム開発やプログラムの実装経験 ・Google Cloud Platform、Amazon Web ServicesでのAI開発経験 ・Kubernetes管理者認定(CKA) ・Kubernetesアプリケーション開発者認定(CKAD) ▼データ基盤領域 ・Hadoop、Spark、Hive、Trinoの使用経験 ・Kubernetes、Dockerの使用経験 ・Google Cloud Platform、Amazon Web Services、Azureなどのパブリッククラウドの使用経験 ・オープンソースへの積極的な貢献をした経験 ▼DBA(データウェアハウス)領域 ・TBクラス、または数十億件のテーブルを扱うクエリチューニング経験(データウェアハウス全体としては数10TB〜数PBのデータ量を想定) ・Redshift等のクラウドネイティブなデータベース経験 ・Hadoopのクエリエンジン経験(Hive、Trino、Spark等) ・Talend等のETLツールやAmazon EMRを利用したデータ処理経験 ・Tableau等のBIツールの利用に適したテーブル実装経験 ・SQL、Python、Java、シェル等でのコーディングスキル |
更新日 | 2021/05/27 |
求人番号 | 1763206 |
採用企業情報
この求人の取り扱い担当者
転職・求人情報の詳細をご覧になる場合は会員登録(無料)が必要です