PayPay's growth is driving a rapid expansion of PayPay product teams and the need for a robust Data Engineering Platform to support our growing business needs is more critical than ever.
The DaaS team's responsibility is to design, implement, and operate this platform by using cutting edge technologies such as Spark, Hudi, Delta Lake, Scala, and AWS suite of data tools.
We are looking for talented Data Engineers to join our team and help us scale our platform across the organizations.
Main ResponsibilitiesDesign, develop, and maintain scalable data ingestion pipelines using AWS Glue, Step Functions, Lambda, and Terraform
Optimize and manage large scale data pipelines to ensure high performance, reliability, and efficiency
Implement data processing workflows using Hudi, Delta Lake, Spark, and Scala
Maintain and enhance Lakeformation and Glue Data Catalog for effective data management and discovery
Collaborate with cross-functional teams to ensure seamless data flow and integration across the organization
Implement best practices for observability, data governance, security, and compliance
Qualifications
5+ years experience as a Data Engineer or in a similar role
Hands-on experience with Apache Hudi, Delta Lake, Spark, and Scala
Experience designing, building, and operating a DataLake or Data Warehouse
Knowledge of Data Orchestration tools such as Airflow, Dagster, Prefect
Strong expertise in AWS services, including Glue, Step Functions, Lambda, and
EMRFamiliarity with change data capture tools like Canal, Debezium, and Maxwell
Experience with data warehousing tools like AWS Athena, BigQuery, Databricks
Experience in at least one primary language (e.g. Scala, Python, Java) and SQL (any variant)
Experience with data cataloging and metadata management using AWS Glue Data Catalog, Lakeformation, or Unity Catalog
Proficiency in Terraform for infrastructure as code (IaC)
Strong problem-solving skills and ability to troubleshoot complex data issues
Excellent communication and collaboration skills
Ability to work in a fast-paced, dynamic environment and manage multiple tasks simultaneously
Show more Show less
-
Data Engineer, DaaS
2週間前
Tokyo PayPay株式会社 ¥998,000 - ¥1,499,999 per yearWe are looking for talented Data Engineers to join our team and help us scale our platform across organizations. · ...
-
Data Engineer
3週間前
Tokyo IBM ¥900,000 - ¥1,200,000 per yearデータ活用基盤実装をリードしながら、技術の専門家としてIBM Salesやサービス部門と連携して、IBMストレージ技術を利用したソリューション開発やIBMデータ活用基盤に関する技術支援を行います。 · IBMデータ活用製品を利用したソリューション開発および、研修開発 · IBMデータマネジメントソフトウェア:DB2の技術Q&A支援と製品技術情報の発信 · お客様ビジネスの課題を理解/整理し、AIやデータを活用した課題解決を実現するデータ活用基盤のアプローチ策定 · IBM製品を中心としたスキルを生かし、データ活用基盤構築の提案支援/構想策定/デザイン/デ ...
-
Data Engineer
2ヶ月前
Tokyo Denodoデータエンジニアを募集しています。グローバルオフィスチームの一員として、Denodoの学習と採用を次のレベルへと引き上げる意欲のある、技術的で情熱的、実践的なデータアドボケイトを募集しています。 · データ管理ソリューションを成功させるために必要な資料を利用できるようにすることがあなたのミッションです。 · 顧客やパートナー企業からの技術的な問い合わせや問題(トラブルなど)を、DenodoサポートサイトやEメールなどを通じて、解決策を提案します。 · お客様のビジネス要件に対応したDenodo製品のインプリメンテーション、最適化、カスタマイズに関して、設 ...
-
Chiyoda Microsoft Full time¥4,000,000 - ¥12,000,000 per yearデータベースや分析の世界に強い好奇心と深い情熱を持ち、ダイナミックな環境で複雑な課題に挑戦する準備はできていますか? · Microsoftの商用顧客向けCloud & AI Innovative Data Platform Solution Engineerとして、私たちのチームに加わりませんか。 · 顧客に対してセキュアでスケーラブルなソリューション設計をガイドし、技術的な意思決定に影響を与え、データベースや分析のモダナイゼーションを推進します。 · 顧客をセキュアでスケーラブルなソリューション設計へ導き、技術的な意思決定を支援し、データベースや分析 ...
-
Tokyo BLOOMTECH, Inc ¥8,000,000 - ¥15,000,000 per yearData Engineer/Fintechのデータエンジニアが主役の組織風土とグローバルな環境で、 · 東大発のFintech/ビッグデータスタートアップです。 · ...
-
Tokyo TIER IV ¥483,000 - ¥1,166,000自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · ...
-
Tokyo DXC Technology ¥900,000 - ¥1,200,000 per yearソフトウェア開発エンジニアのニーズが非常に高まっています。自動車の設計開発業務に関する知識、プロジェクトマネージメントスキル、構成のあるべき姿の提案・提言スキル、海外メンバーと共同でシステム開発を進めるスキルが必要です。3〜5年程度のシステム開発経験、英語力、組み込み開発の実務経験があること、自動運転領域のソフトウェア開発に従事した経験が求められます。 ...
-
Tokyo DXC Technology ¥2,500,000 - ¥6,000,000 per year主に製造現場を支えるMES(製造実⾏システム)を取り扱う仕事になります。生産性と品質の向上に寄与できます。 ...
-
Tokyo Michael Page ¥4,000,000 - ¥10,000,000 per yearデータを活用したビジネス課題解決の経験2年以上を持つデータエンジニアを求めています。 · データモデリング、マイニング、レイヤリング等の実務経験 · Python、Scalaなどのプログラミングスキル、SQL最適化スキル · リレーショナル/非リレーショナルDBの使用経験、AWS経験尚可 · 統計的手法を用いたデータ分析・レポート作成 · 他部門やシステムとの連携によるデータ分析・報告システムの開発・実装 · 既存レポートシステムの改善・最適化 · データ分析 · データモデリング · プログラミングスキル · 経験に応じて年収最大1,000万円も可能 ...
-
Tokyo DXC Technology ¥4,320,000 - ¥6,480,000 per year⾃動⾞制御装置・コックピットの制御を⽀えるソフトウェア開発を⾏う 仕事です。エンジニアとしてご⾃身が開発に直接的に関わるだけでなく、ヨーロッ パにいるメンバー(海外のDXCや傘下のLuxoftのメンバー)とやり取りをしながらお客様の要望を実現するような ポジションです。 · ・3〜5年程度のシステム開発経験 · ・英語⼒(お客様の要望をヨーロッパのメンバーと共有して開発に取り組むことが多いため、業務上英語が必須となります。) · ・組み込み開発の実務経験がある(できれば⾃動⾞関連) · ・⾃動運転領域のソフトウェア開発に従事した経験 · ・⾃動⾞のソフト ...
-
Tokyo Michael Page ¥1,000,000 - ¥2,000,000 per yearクラウドベースのデータ基盤構築をリード · AI・機械学習を活用した顧客データ活用を推進 · グループ全体のデータアーキテクチャ・データモデル・パイプラインの設計・最適化 · AWSやSnowflake、Sparkなどを活用したクラウドベースのデータ基盤の構築 · 分析・アプリケーション・ビジネスチームとの連携によるスケーラブルなソリューションの提供 · データ統合、クレンジング、ガバナンスの推進 · コスト効率・技術トレンドを考慮したデータワークフローの評価・改善 · ベンダーエンジニアのマネジメントと品質管理 · 顧客データ管理におけるAI/MLツー ...
-
Tokyo TIER IV ¥330,000 - ¥1,667,000 per yearデータエンジニアを募集いたします。Expert Data Engineerのポジションは、機械学習モデル学習に必要なデータセットの構築・改善の方針を決定することに責任を持ちます。Data Centric AIの思想に基づき、収集したデータの特性分析や分析コード実装を行い、機械学習モデルの性能改善に貢献することが求められます。 · ...
-
Shinagawa-ku, Tokyo Equinix ¥6,000,000 - ¥8,000,000 per yearエクイニクスはグローバルなデジタルインフラストラクチャー企業です。デジタル世界のリーダー企業は、当社の信頼性の高いプラットフォーム上に集まり、ビジネス成功のための基礎となるインフラストラクチャを相互接続しています。エクイニクスは、お客様がビジネス優位を加速するために必要となるすべての適切な場所、パートナーそして可能性にアクセスできるようにします。エクイニクスにより、お客様は俊敏性を拡大し、デジタルサービスの立ち上げを加速し、世界クラスの顧客体験を提供し、その価値をさらに高めることができます。 · ...
-
Tokyo JERA Co., Inc. ¥15,000,000 - ¥25,000,000 per yearデータマネジメントの推進を担当し、全社的に情報公開を推進する責任者です。データウェアハウスの構築やBIソリューションの活用、エンタープライズデータプラットフォームの検討など、データに関する各種支援を行います。 · データマネジメントの推進と全社的な情報公開 · データウェアハウスの構築とBIソリューションの活用 · エンタープライズデータプラットフォームの検討とデータに関する各種支援 · コンサルティングファームまたは事業会社でITに関連するプロジェクトに参画した経験 · システム開発の全工程に関する経験とシステム開発プロジェクト全般の理解 · ネイティ ...
-
Data Engineer
2ヶ月前
Tokyo Rakuten Full timeWe are looking for a talented Data Engineer to join our dynamic team and help us build and maintain robust data infrastructure. · Design, develop, and maintain scalable data pipelines using modern data technologies · Collaborate with data scientists, analysts, and other stakehold ...
-
Data Engineer
2ヶ月前
Tokyo RakutenWe are looking for a talented Data Engineer to join our dynamic team and help us build and maintain robust data infrastructure. · Design, develop, and maintain scalable data pipelines using modern data technologies · Collaborate with data scientists, analysts, and other stakehold ...
-
Data Engineer
1ヶ月前
Tokyo TEKsystems ¥1,200,000 - ¥1,500,000 per yearJoin a leading global insurance company as a Data Engineer, where you'll help shape the future of data infrastructure and analytics. · This is a high-impact role for engineers who thrive on building scalable, cloud-native data systems and transforming raw data into actionable ins ...
-
Data Engineer
1ヶ月前
Tokyo TEKsystems ¥5,000,000 - ¥10,000,000 per yearJoin a dynamic team responsible for developing and operating applications that support business operations for a major e-commerce platform. · Build large-scale batch data pipelines using Spark, Hive, Kafka, Hadoop, and Google Cloud Platform. · Manage and maintain data pipelines f ...
-
Data Engineer
2ヶ月前
Tokyo TEKsystems ¥900,000 - ¥1,200,000 per yearleading automotive companies highly skilled and motivated Data Analytics Engineer a robust data platform in a cloud environment · Support user requirement gathering activities to understand impact to data modelling and data model delivery for IT hardware and software showbacks · ...
-
Data engineer
2ヶ月前
Tokyo United World IncYou will be responsible for the collection, construction and operation of the analysis platform for accounting and management data submitted by customers (mainly SMEs and start-ups). · Specifically, you will be responsible for the design and development of data pipelines using Sn ...
-
Data Engineer
1ヶ月前
Tokyo Rakuten ¥4,000,000 - ¥8,000,000 per yearWe are seeking a data engineer who can contribute to business growth by strengthening Rakuten Analytics' data analysis pipeline and enhancing data processing through the utilization of new technologies, including AI. · Build and maintain high-throughput data pipelines that proces ...