PayPay's growth is driving a rapid expansion of PayPay product teams and the need for a robust Data Engineering Platform to support our growing business needs is more critical than ever.
The DaaS team's responsibility is to design, implement, and operate this platform by using cutting edge technologies such as Spark, Hudi, Delta Lake, Scala, and AWS suite of data tools.
We are looking for talented Data Engineers to join our team and help us scale our platform across the organizations.
Main ResponsibilitiesDesign, develop, and maintain scalable data ingestion pipelines using AWS Glue, Step Functions, Lambda, and Terraform
Optimize and manage large scale data pipelines to ensure high performance, reliability, and efficiency
Implement data processing workflows using Hudi, Delta Lake, Spark, and Scala
Maintain and enhance Lakeformation and Glue Data Catalog for effective data management and discovery
Collaborate with cross-functional teams to ensure seamless data flow and integration across the organization
Implement best practices for observability, data governance, security, and compliance
Qualifications
5+ years experience as a Data Engineer or in a similar role
Hands-on experience with Apache Hudi, Delta Lake, Spark, and Scala
Experience designing, building, and operating a DataLake or Data Warehouse
Knowledge of Data Orchestration tools such as Airflow, Dagster, Prefect
Strong expertise in AWS services, including Glue, Step Functions, Lambda, and
EMRFamiliarity with change data capture tools like Canal, Debezium, and Maxwell
Experience with data warehousing tools like AWS Athena, BigQuery, Databricks
Experience in at least one primary language (e.g. Scala, Python, Java) and SQL (any variant)
Experience with data cataloging and metadata management using AWS Glue Data Catalog, Lakeformation, or Unity Catalog
Proficiency in Terraform for infrastructure as code (IaC)
Strong problem-solving skills and ability to troubleshoot complex data issues
Excellent communication and collaboration skills
Ability to work in a fast-paced, dynamic environment and manage multiple tasks simultaneously
Show more Show less
-
Data Engineer, DaaS
1ヶ月前
Tokyo PayPay株式会社 ￥998,000 - ￥1,499,999 per yearWe are looking for talented Data Engineers to join our team and help us scale our platform across organizations. · ...
-
Data Engineer
2日前
Tokyo Denodo ￥9,000,000 - ￥12,000,000 per yearDenodoでは、カスタマーサクセス組織の一員として、グローバルオフィスチームの一員として · 高齢者を介護することを目的とした介護サービス提供の会社です。 · ...
-
Data Engineer
2ヶ月前
Tokyo IBM ￥900,000 - ￥1,200,000 per yearデータ活用基盤実装をリードしながら、技術の専門家としてIBM Salesやサービス部門と連携して、IBMストレージ技術を利用したソリューション開発やIBMデータ活用基盤に関する技術支援を行います。 · IBMデータ活用製品を利用したソリューション開発および、研修開発 · IBMデータマネジメントソフトウェア:DB2の技術Q&A支援と製品技術情報の発信 · お客様ビジネスの課題を理解/整理し、AIやデータを活用した課題解決を実現するデータ活用基盤のアプローチ策定 · IBM製品を中心としたスキルを生かし、データ活用基盤構築の提案支援/構想策定/デザイン/デ ...
-
Data Engineer
5日前
Tokyo Tenth Revolution Group不動産×テクノロジー業界大手企業で、データエンジニアを募集しています。グループ全体のデータマネジメントを担うポジションです。 · データ基盤の設計・開発・運用 · データパイプライン(ETL / BI / Reverse ETL)の整備 · データガバナンス・セキュリティ対応 · ...
-
Data Engineer
2日前
Tokyo Michael PageAzure・Databricks グローバル環境でキャリアを伸ばせる · ）Job summary · Azure・Databricks ）Data Engineer ） · ...
-
Tokyo BLOOMTECH, Inc ￥8,000,000 - ￥15,000,000 per yearData Engineer/Fintechのデータエンジニアが主役の組織風土とグローバルな環境で、 · 東大発のFintech/ビッグデータスタートアップです。 · ...
-
Data Platform Engineer
13時間前
Minato SB Intuitions ￥6,500,000 - ￥18,000,000+SB Intuitionsについて+ · かつての自動車や飛行機、電話やインターネットがそうであったように、生成AIは、今、人類の営みを大きく変えようとしています。... ...
-
Tokyo BLOOMTECH, Inc ￥6,000,000 - ￥15,000,000 per year業績好調の上場企業×充実の福利厚生あり · ・フレックス×リモート勤務(フルリモートも相談可能) · ・外国籍エンジニアが多数活躍中 · ...
-
Tokyo BLOOMTECH, Inc箓厥こJPめTokyo · ・国内有数のスタートアップ · ・外国籍多数活躍中 · ・フルリモート/フルフレックス · ...
-
Data Engineer
1日前
Tokyo Michael PageAzure Databricksを活用した最新データ基盤構築 · グローバル環境でキャリアを伸ばせる · ...
-
Tokyo TIER IV ￥483,000 - ￥1,166,000自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · ...
-
Tokyo BLOOMTECH, Inc Remote job国内有数のスタートアップで、外国籍多数活躍中のフルリモート/フルフレックスでのデータエンジニアを探しています。年収範囲は5,000万円から14,000万円です。 · ...
-
Tokyo BLOOMTECH, Inc Remote job当社は個人がベストのパフォーマンスを発揮できる働き方を推奨しています。コアタイムなしのマンスリーフレックス制度を導入しており、プライベートな予定や家庭の事情に合わせて勤務時間を調整したりリモートワークを活用したり、様々なフィールドのメンバーがそれぞれのスタイルで力を発揮しています。 · ...
-
東京都 港区 六本木, グリーグループ メタバース事業 ￥2,000,000 - ￥2,800,000 per yearREALITYアプリ/データエンジニア/Data Engineerの職種です。 · 現在の課題に対処するためのプロジェクトを立ち上げましたが、人数やスキルで進められていない状況があります。このポジションでは、「データ分析基盤の改善」を推進するために必要な技術者を募集しています。 · ...
-
東京都 千代田区 丸の内, 株式会社はーとふるセゾン数千万〜数億レコード規模の大規模データの統合と活用というスケール感のある環境で、設計から運用まで一貫して携わることができます。特定領域に閉じず、広範な技術領域とビジネス領域の両方に関与できる点が大きな特徴です。また、自動化・効率化の余地が非常に大きく、裁量をもって業務改善に取り組めるのも魅力の一つです。新しい技術やツールの導入・検証も積極的に推奨される文化があり、技術志向の高い方には最適な環境です。 · ...
-
Tokyo TIER IVPerception技術開発に関するデータエンジニアを募集いたします。 /> · TIER · IVは、オープンソースの自律走行ソフトウェアであるAutowareの開発・運用を行い、自律走行に関連する幅広いアプリケーション、ソリューション、サービスを提供しています。 · Expert Data Engineerのポジションは、機械学習モデル学習に必要なデータセットの構築・改善の方針をデータ分析による知見に基づいて意思決定することに責任を持ちます。 · ...
-
Tokyo TIER IV自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · 車両からの走行データを収集・加工するデータパイプラインの開発・運用 · 走行履歴や統計情報を提供するAPIの開発・運用 · ...
-
Tokyo Michael Page ￥4,000,000 - ￥10,000,000 per yearデータを活用したビジネス課題解決の経験2年以上を持つデータエンジニアを求めています。 · データモデリング、マイニング、レイヤリング等の実務経験 · Python、Scalaなどのプログラミングスキル、SQL最適化スキル · リレーショナル/非リレーショナルDBの使用経験、AWS経験尚可 · 統計的手法を用いたデータ分析・レポート作成 · 他部門やシステムとの連携によるデータ分析・報告システムの開発・実装 · 既存レポートシステムの改善・最適化 · データ分析 · データモデリング · プログラミングスキル · 経験に応じて年収最大1,000万円も可能 ...
-
東京都 区, 株式会社バイオス ￥3,500,000 - ￥4,000,000 per yearデータセンターやヘルプデスクなどのサポート業務に興味のある方、ITインフラに関する基礎知識をお持ちの方はご応募ください。 · ...
-
Tokyo Michael Page ￥1,000,000 - ￥2,000,000 per yearクラウドベースのデータ基盤構築をリード · AI・機械学習を活用した顧客データ活用を推進 · グループ全体のデータアーキテクチャ・データモデル・パイプラインの設計・最適化 · AWSやSnowflake、Sparkなどを活用したクラウドベースのデータ基盤の構築 · 分析・アプリケーション・ビジネスチームとの連携によるスケーラブルなソリューションの提供 · データ統合、クレンジング、ガバナンスの推進 · コスト効率・技術トレンドを考慮したデータワークフローの評価・改善 · ベンダーエンジニアのマネジメントと品質管理 · 顧客データ管理におけるAI/MLツー ...
-
Tokyo Michael Pagelatest technology big data processing world project skill environmentbig company IT consulting digital change sustainable society support leading company ...
