Analyze business requirements, create proper data solutions that meets functional and non-functional requirements
Design and implement highly scalable and robust data pipelines in Scala/Spark/Java for processing of extreme large amount of data
Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation
Create scripts for test automation, CI/CD, data migrations, data validations
Provide technical support for incident recovery
Requirements
Minimum 3~6 years of working experience as developer or data engineerStrong programming skills and has software development experience in Scala, Java or Python
Deep understanding of distributed systems (Hadoop, Spark, etc.) and its optimization
Experience in public cloud technologies, preferably Azure
Good knowledge of Oracle database, MS-SQL Server, Linux, networking
Proficient in SQL, shell scripting, git, unit testing, CI/CD tools
Understanding of design principles, coding standards and best practices
Strong learning ability and problem-solving skills
Excellent communication, presentation, and interpersonal skills
Preferable:
Understanding of REST API, NoSQL, micro-services, ETL
Hand-on experience with Cloud services is preferred
Understanding of streaming data processing and change data capture is preferred
Experience with BI tools is preferred
-
Data Engineer
2ヶ月前
Tokyo Denodo ￥8,000,000 - ￥15,000,000 per yearカスタマーサクセス組織の一員として、グローバルオフィスチームの一員としてDenodoの学習と採用を次のレベルへと引き上げる意欲のある、技術的で情熱的、実践的なデータアドボケイトを募集しています。 · ...
-
Data Engineer
1週間前
Tokyo Michael PageAzure Databricksを活用した最新データ基盤構築 · グローバル環境でキャリアを伸ばせる · ...
-
Tokyo BLOOMTECH, Inc Remote job国内有数のスタートアップで、外国籍多数活躍中のフルリモート/フルフレックスでのデータエンジニアを探しています。年収範囲は5,000万円から14,000万円です。 · ...
-
Tokyo BLOOMTECH, Inc Remote job当社は個人がベストのパフォーマンスを発揮できる働き方を推奨しています。コアタイムなしのマンスリーフレックス制度を導入しており、プライベートな予定や家庭の事情に合わせて勤務時間を調整したりリモートワークを活用したり、様々なフィールドのメンバーがそれぞれのスタイルで力を発揮しています。 · ...
-
Data Engineer
1週間前
Tokyo Denodo ￥9,000,000 - ￥12,000,000 per yearDenodoでは、カスタマーサクセス組織の一員として、グローバルオフィスチームの一員として · 高齢者を介護することを目的とした介護サービス提供の会社です。 · ...
-
Data Engineer
2週間前
Tokyo Tenth Revolution Group不動産×テクノロジー業界大手企業で、データエンジニアを募集しています。グループ全体のデータマネジメントを担うポジションです。 · データ基盤の設計・開発・運用 · データパイプライン(ETL / BI / Reverse ETL)の整備 · データガバナンス・セキュリティ対応 · ...
-
Data Engineer
2ヶ月前
Tokyo IBM ￥900,000 - ￥1,200,000 per yearデータ活用基盤実装をリードしながら、技術の専門家としてIBM Salesやサービス部門と連携して、IBMストレージ技術を利用したソリューション開発やIBMデータ活用基盤に関する技術支援を行います。 · IBMデータ活用製品を利用したソリューション開発および、研修開発 · IBMデータマネジメントソフトウェア:DB2の技術Q&A支援と製品技術情報の発信 · お客様ビジネスの課題を理解/整理し、AIやデータを活用した課題解決を実現するデータ活用基盤のアプローチ策定 · IBM製品を中心としたスキルを生かし、データ活用基盤構築の提案支援/構想策定/デザイン/デ ...
-
Data Engineer
1週間前
Tokyo Michael PageAzure・Databricks グローバル環境でキャリアを伸ばせる · ）Job summary · Azure・Databricks ）Data Engineer ） · ...
-
東京都 区, 株式会社バイオス ￥3,500,000 - ￥4,000,000 per yearデータセンターやヘルプデスクなどのサポート業務に興味のある方、ITインフラに関する基礎知識をお持ちの方はご応募ください。 · ...
-
Tokyo TIER IV自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · 車両からの走行データを収集・加工するデータパイプラインの開発・運用 · 走行履歴や統計情報を提供するAPIの開発・運用 · ...
-
Minato SB Intuitions ￥6,500,000 - ￥18,000,000+SB Intuitionsについて+ · かつての自動車や飛行機、電話やインターネットがそうであったように、生成AIは、今、人類の営みを大きく変えようとしています。... ...
-
Tokyo BLOOMTECH, Inc ￥8,000,000 - ￥15,000,000 per yearData Engineer/Fintechのデータエンジニアが主役の組織風土とグローバルな環境で、 · 東大発のFintech/ビッグデータスタートアップです。 · ...
-
Tokyo BLOOMTECH, Inc ￥6,000,000 - ￥15,000,000 per year業績好調の上場企業×充実の福利厚生あり · ・フレックス×リモート勤務(フルリモートも相談可能) · ・外国籍エンジニアが多数活躍中 · ...
-
Tokyo BLOOMTECH, Inc箓厥こJPめTokyo · ・国内有数のスタートアップ · ・外国籍多数活躍中 · ・フルリモート/フルフレックス · ...
-
Tokyo TIER IV ￥330,000 - ￥1,667,000 per yearデータエンジニアを募集いたします。Expert Data Engineerのポジションは、機械学習モデル学習に必要なデータセットの構築・改善の方針を決定することに責任を持ちます。Data Centric AIの思想に基づき、収集したデータの特性分析や分析コード実装を行い、機械学習モデルの性能改善に貢献することが求められます。 · ...
-
Tokyo, Tokyo PERSOL CAREER BRS (Bilingual Recruitment Solutions)自動車業界においても技術革新の進歩は目覚ましく、ものづくりとしての自動車の立ち位置は大きく変化しました。製品開発における複雑さがより増しています。そのような環境下で最善の製品開発をシステムでサポートするためのプロフェッショナルを求めています。自動車業界のお客様に対してPLM(製品ライフサイクル管理)の観点から製品開発業務をサポートすることがミッションです。 · ...
-
Tokyo JERA Co., Inc. ￥15,000,000 - ￥25,000,000 per year+データマネジメントを横断的に推進+全社情報公開推進+部門からのデータ利活用要望に対応+新規開発や追加開発するシステムに対し、デフォルトの利用を推進 · ■巨大なビジネス規模とスタートアップの精神 · ■グローバル本社での活躍 · ■中長期的視野とスピード感の両立 ...
-
東京都 港区 六本木, グリーグループ メタバース事業 ￥2,000,000 - ￥2,800,000 per yearREALITYアプリ/データエンジニア/Data Engineerの職種です。 · 現在の課題に対処するためのプロジェクトを立ち上げましたが、人数やスキルで進められていない状況があります。このポジションでは、「データ分析基盤の改善」を推進するために必要な技術者を募集しています。 · ...
-
Tokyo TIER IV ￥483,000 - ￥1,166,000自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · ...
-
Tokyo Michael Page ￥4,000,000 - ￥10,000,000 per yearData Engineerの職務内容は大規模なデータセットの管理と分析をサポートすることです。大学卒以上でPython、Java、Rなどのデータ処理経験がある人が必要です。Hadoop、Sparkなどの分散処理技術の経験 · NLPやAIモデルの基礎知識 · ...
-
東京都 千代田区 丸の内, 株式会社はーとふるセゾン数千万〜数億レコード規模の大規模データの統合と活用というスケール感のある環境で、設計から運用まで一貫して携わることができます。特定領域に閉じず、広範な技術領域とビジネス領域の両方に関与できる点が大きな特徴です。また、自動化・効率化の余地が非常に大きく、裁量をもって業務改善に取り組めるのも魅力の一つです。新しい技術やツールの導入・検証も積極的に推奨される文化があり、技術志向の高い方には最適な環境です。 · ...
