Analyze business requirements, create proper data solutions that meets functional and non-functional requirements
Design and implement highly scalable and robust data pipelines in Scala/Spark/Java for processing of extreme large amount of data
Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation
Create scripts for test automation, CI/CD, data migrations, data validations
Provide technical support for incident recovery
Requirements
Minimum 3~6 years of working experience as developer or data engineerStrong programming skills and has software development experience in Scala, Java or Python
Deep understanding of distributed systems (Hadoop, Spark, etc.) and its optimization
Experience in public cloud technologies, preferably Azure
Good knowledge of Oracle database, MS-SQL Server, Linux, networking
Proficient in SQL, shell scripting, git, unit testing, CI/CD tools
Understanding of design principles, coding standards and best practices
Strong learning ability and problem-solving skills
Excellent communication, presentation, and interpersonal skills
Preferable:
Understanding of REST API, NoSQL, micro-services, ETL
Hand-on experience with Cloud services is preferred
Understanding of streaming data processing and change data capture is preferred
Experience with BI tools is preferred
-
Data Engineer
4週間前
Tokyo BLOOMTECH, Inc私たちは「モノづくり産業のポテンシャルを解放する」をミッションに、製造業におけるデータプラットフォームプロダクトを展開しています。 · 2022 年にローンチしたプロダクトは、製造業の中でも最重要といわれる図面データを機械学習など様々な技術により構造化し多様な情報と結び付けることで、情報資産としての活用を可能にしました。既に国内の大手製造業から加工会社のお客様にまで活用いただいており、急成長中です。2023 年からは海外(アメリカ・タイ・ベトナム)での販売も開始し、グローバル展開も加速させています。 · ...
-
Data Engineer
1ヶ月前
Tokyo Michael PageAzure Databricksを活用した最新データ基盤構築 · グローバル環境でキャリアを伸ばせる · ...
-
Data Engineer
3週間前
東京都 渋谷区 桜丘町, 株式会社LegalOn Technologies ￥77,000,000 - ￥107,000,000 per year私たちは、AI分野における高度な技術力と法律・契約の専門知識を兼ね備えたグローバルリーガルAIカンパニーです。2017年の設立以来、AIを活用したリーガルAIサービスの開発に注力し、累計ラウンド総額約286億円を達成。 · データエンジニアリングに関連する技術選定、設計や構築に関わる開発物のレビューを主体的に実施する · ...
-
Tokyo BLOOMTECH, Inc Remote job当社は個人がベストのパフォーマンスを発揮できる働き方を推奨しています。コアタイムなしのマンスリーフレックス制度を導入しており、プライベートな予定や家庭の事情に合わせて勤務時間を調整したりリモートワークを活用したり、様々なフィールドのメンバーがそれぞれのスタイルで力を発揮しています。 · ...
-
Data Engineer
1ヶ月前
Tokyo Tenth Revolution Group不動産×テクノロジー業界大手企業で、データエンジニアを募集しています。グループ全体のデータマネジメントを担うポジションです。 · データ基盤の設計・開発・運用 · データパイプライン(ETL / BI / Reverse ETL)の整備 · データガバナンス・セキュリティ対応 · ...
-
Data Engineer
1ヶ月前
Tokyo Michael PageAzure・Databricks グローバル環境でキャリアを伸ばせる · ）Job summary · Azure・Databricks ）Data Engineer ） · ...
-
Data Engineer
1ヶ月前
Tokyo Denodo ￥9,000,000 - ￥12,000,000 per yearDenodoでは、カスタマーサクセス組織の一員として、グローバルオフィスチームの一員として · 高齢者を介護することを目的とした介護サービス提供の会社です。 · ...
-
Tokyo BLOOMTECH, Inc Remote job国内有数のスタートアップで、外国籍多数活躍中のフルリモート/フルフレックスでのデータエンジニアを探しています。年収範囲は5,000万円から14,000万円です。 · ...
-
Greater Tokyo Area BLOOMTECH, Inc Remote job日々膨大な量のオンラインおよびオフラインのデータが生み出されており、蓄積されたデータの価値を適切に判断し、どのように事業を創造・変革・成長出来るかが重要テーマの一つになっています。 · 会員登録数約934万人(2024年12月末時点)となる国内最大級の転職サービスです。 · 今回は、転職サービスにおいて、データエンジニアとして担っていただき下記の業務をお任せします。 · ...
-
Minato SB Intuitions ￥6,500,000 - ￥18,000,000SB Intuitionsは、日本語で生成AIを創る意味を考え続けてきました。それは、単に「日本人にとって使いやすいサービス」を提供するということに留まりません。 · 挑むのは、日本の中で育まれてきた価値観を理解した生成AIが、人々の働き方や生き方を変えていくこと。産業や教育、文化や芸術に至るまで、すべての営みに、新たな力を与えることです。 · ...
-
Tokyo BLOOMTECH, Inc箓厥こJPめTokyo · ・国内有数のスタートアップ · ・外国籍多数活躍中 · ・フルリモート/フルフレックス · ...
-
Senior Data Engineer
4週間前
Minato AXA Japan/ アクサ・ジャパン職務内容 · AWS、Databricks、および現代のデータスタックアーキテクチャパターンを使用して、スケーラブルでプロダクショングレードのデータプラットフォームインフラストラクチャコンポーネントを設計および実装する。 · ...
-
Tokyo BLOOMTECH, Inc業績好調の上場企業×充実の福利厚生あり · ・フレックス×リモート勤務(フルリモートも相談可能) · ・外国籍エンジニアが多数活躍中 · ...
-
Tokyo BLOOMTECH, Inc ￥6,000,000 - ￥15,000,000 per year業績好調の上場企業×充実の福利厚生あり · ・フレックス×リモート勤務(フルリモートも相談可能) · ・外国籍エンジニアが多数活躍中 · ...
-
Minato SB Intuitions ￥6,500,000 - ￥18,000,000+SB Intuitionsについて+ · かつての自動車や飛行機、電話やインターネットがそうであったように、生成AIは、今、人類の営みを大きく変えようとしています。... ...
-
東京都 千代田区 岩本町, AptoAIモデル性能を決める「データ設計・評価ループ」の中核エンジニアが必要です。モデルの性能をデータ側から引き上げられるエンジニアをR&Dの中核メンバーとして迎えたいと考えています。 · ...
-
Data Engineer/D777
4週間前
東京都 台東区 浅草橋, TC Career株式会社Data Engineerは、社内のデータを整備し事業に活用できる体制、基盤を構築し、保守、運用を行います。またキャディの持つデータを活用すべく、データ収集のためのパイプライン構築だけに留まらずデータ活用の促進をリードする働きを期待します。 · ...
-
東京都 千代田区 岩本町, AptoAptoでは、aimodel開発に不可欠なデータ生成・アノテーション基盤をプロダクトとして提供しています。 · 現在、PoCフェーズを越え 本番利用・データ量の急増・ユースケース拡張が同時に進んでおり、既存の設計ではスケールに限界が見え始めている · ...
-
Tokyo BLOOMTECH, Inc Remote jobDataエンジニアは、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤を構築するポジションです。 ...
-
Tokyo TIER IV自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · 車両からの走行データを収集・加工するデータパイプラインの開発・運用 · 走行履歴や統計情報を提供するAPIの開発・運用 · ...
-
Tokyo, Tokyo DXC Technologyソフトウェア開発エンジニアとしての業務をご担当いただく中で、技術力を高めていく、または上流のポジションを目指すなど、複数のキャリアパスが用意されています。 · ...
