Ahead Staffing is seeking a Data Infrastructure Engineer that will be responsible for ensuring the reliability, availability, and performance of the data platform infrastructure, systems, and storage. This includes monitoring data processes, responding to incidents, collaborating with teams, optimizing systems, and driving automation for efficiency.
Key Responsibilities:
- Data Processing Monitoring & Alerting: Ensure successful execution of data processing batches through monitoring solutions for data quality, system performance, and pipeline health. Maintain proactive alerting systems.
- Incident Response: Participate in incident responses and post-mortem reviews to identify root causes and implement preventive measures.
- Troubleshooting: Diagnose and resolve data-related issues with minimal downtime, collaborating closely with technical leaders and stakeholders.
- Collaboration: Work with external source system teams and cross-functional teams to provide reliable data solutions.
- Scaling & Optimization: Optimize data systems and implement auto-scaling/resource allocation strategies to achieve performance and cost goals.
- Platform Maintenance: Perform infrastructure/system upgrades and migrations to ensure compliance with company policies.
- Automation: Automate routine tasks, deployments, and scaling processes for improved efficiency.
- Documentation: Maintain detailed documentation for platform architecture, configurations, processes, and data systems.
Required Skills:
- 5+ years of experience in Data Engineering, including SQL and Linux systems.
- 3+ years of experience with Python and Shell scripting.
- Proficiency in containerization and orchestration tools (e.g., Docker, Kubernetes).
- Experience with batch-processing data pipelines (e.g., Airflow, Digdag, Informatica, etc.).
- Hands-on experience with "Big Data" systems (e.g., Hadoop, Hive, Spark).
- Knowledge of backend systems (e.g., Apache, MySQL/PostgreSQL).
- Familiarity with Git and deployment pipelines (e.g., Jenkins, Ansible).
Desired Skills:
- Experience with data/statistical analytics.
- Knowledge of streaming data pipelines (e.g., Apache NiFi, Kafka, Spark Streaming).
- Managing systems with high service-level objectives (SLOs/SLAs).
- Effective communication and problem-solving abilities.
- Attention to detail and customer-centric mindset.
- Proficiency in project management, teamwork, and leadership.
- Adaptability and a commitment to continuous learning.
- Experience with public cloud platforms (e.g., GCP, AWS, Azure).
-
Data Engineer
1ヶ月前
Tokyo IBM ￥900,000 - ￥1,200,000 per yearデータ活用基盤実装をリードしながら、技術の専門家としてIBM Salesやサービス部門と連携して、IBMストレージ技術を利用したソリューション開発やIBMデータ活用基盤に関する技術支援を行います。 · IBMデータ活用製品を利用したソリューション開発および、研修開発 · IBMデータマネジメントソフトウェア:DB2の技術Q&A支援と製品技術情報の発信 · お客様ビジネスの課題を理解/整理し、AIやデータを活用した課題解決を実現するデータ活用基盤のアプローチ策定 · IBM製品を中心としたスキルを生かし、データ活用基盤構築の提案支援/構想策定/デザイン/デ ...
-
Minato SB Intuitions ￥6,500,000 - ￥18,000,000SB Intuitionsは、日本語で生成AIを創る意味を考え続けてきました。それは、単に「日本人にとって使いやすいサービス」を提供するということに留まりません。 · 【ミッション】 · ・SB IntuitionsのAIサービスを支えるシステムインフラをオンプレミスおよびクラウド環境(AWS等)で安定稼働させ、セキュアかつ高可用性な基盤を提供します。 · ・サービス開発および研究チームと密に連携し、ネットワークやセキュリティを含むインフラ全体の設計,構築,運用を担い、開発生産性やサービス品質を向上させます。 · 【具体的な業務】 · ・オンプレミスおよ ...
-
Tokyo Michael Page ￥7,000,000 - ￥12,000,000 per year最新技術を活用し、ハイブリッド勤務でグローバル規模のIT基盤を構築 · 多様なプロジェクトでキャリアを広げる環境 · エンドポイント(PC・モバイル)の設計・構築・運用 · Okta、Google WorkspaceなどSaaSの設計・運用 · Azure、GCPなどクラウド基盤の設計・構築 · オフィスネットワーク・セキュリティシステムの設計・運用 · ゼロトラストを含むセキュリティアーキテクチャの導入 · MDMソリューション(Intune、Jamf Pro等)を用いた端末管理経験(3年以上) · Azure/AWS/GCPなどクラウド利用経験(3年 ...
-
東京都 区, 株式会社バイオス ￥3,500,000 - ￥4,000,000 per yearデータセンターやヘルプデスクなどのサポート業務に興味のある方、ITインフラに関する基礎知識をお持ちの方はご応募ください。 · ...
-
Tokyo DXC Technology ￥4,320,000 - ￥6,480,000 per year⾃動⾞制御装置・コックピットの制御を⽀えるソフトウェア開発を⾏う 仕事です。エンジニアとしてご⾃身が開発に直接的に関わるだけでなく、ヨーロッ パにいるメンバー(海外のDXCや傘下のLuxoftのメンバー)とやり取りをしながらお客様の要望を実現するような ポジションです。 · ・3〜5年程度のシステム開発経験 · ・英語⼒(お客様の要望をヨーロッパのメンバーと共有して開発に取り組むことが多いため、業務上英語が必須となります。) · ・組み込み開発の実務経験がある(できれば⾃動⾞関連) · ・⾃動運転領域のソフトウェア開発に従事した経験 · ・⾃動⾞のソフト ...
-
Tokyo TIER IV自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · 車両からの走行データを収集・加工するデータパイプラインの開発・運用 · 走行履歴や統計情報を提供するAPIの開発・運用 · ...
-
Tokyo, Japan AheadGroupWe are seeking a Data Infrastructure Engineer to ensure the reliability and performance of our data platform infrastructure systems and storage. · Key Responsibilities: · Data Processing Monitoring & Alerting: Ensure successful execution of data processing batches through monitor ...
-
Tokyo TIER IV ￥330,000 - ￥1,667,000 per yearデータエンジニアを募集いたします。Expert Data Engineerのポジションは、機械学習モデル学習に必要なデータセットの構築・改善の方針を決定することに責任を持ちます。Data Centric AIの思想に基づき、収集したデータの特性分析や分析コード実装を行い、機械学習モデルの性能改善に貢献することが求められます。 · ...
-
Tokyo BLOOMTECH, Inc ￥8,000,000 - ￥15,000,000 per yearData Engineer/Fintechのデータエンジニアが主役の組織風土とグローバルな環境で、 · 東大発のFintech/ビッグデータスタートアップです。 · ...
-
東京都 港区 六本木, グリーグループ メタバース事業 ￥2,000,000 - ￥2,800,000 per yearREALITYアプリ/データエンジニア/Data Engineerの職種です。 · 現在の課題に対処するためのプロジェクトを立ち上げましたが、人数やスキルで進められていない状況があります。このポジションでは、「データ分析基盤の改善」を推進するために必要な技術者を募集しています。 · ...
-
Tokyo TIER IV ￥483,000 - ￥1,166,000自動運転で発生するデータの収集・検索・分析を支えるデータ基盤の開発・運用を担当していただきます。 · ...
-
Tokyo SpeechifyWe are looking to hire a software engineer to join our data side of our AI team at Speechify. This role is responsible for all aspects of data collection to support our model training operations. · ...
-
Tokyo PERSOL CAREER BRS (Bilingual Recruitment Solutions)スマートフォンアプリを通じてFinTechサービスを提供するスタートアップ企業です。日本初のスマホ証券としてサービスを開始し、簡単な操作で株式投資ができるアプリを提供しています。 · ...
-
Tokyo DXC Technology ￥900,000 - ￥1,200,000 per yearソフトウェア開発エンジニアのニーズが非常に高まっています。自動車の設計開発業務に関する知識、プロジェクトマネージメントスキル、構成のあるべき姿の提案・提言スキル、海外メンバーと共同でシステム開発を進めるスキルが必要です。3〜5年程度のシステム開発経験、英語力、組み込み開発の実務経験があること、自動運転領域のソフトウェア開発に従事した経験が求められます。 ...
-
Tokyo DXC Technology ￥2,500,000 - ￥6,000,000 per year主に製造現場を支えるMES(製造実⾏システム)を取り扱う仕事になります。生産性と品質の向上に寄与できます。 ...
-
Tokyo Michael Pageデータ活用をリードするData Engineer募集|グローバル環境でキャリアを築く · ユーザーやプロジェクトチームとの要件定義 · ビジネス要件に基づくデータソリューション設計 · Scala/Spark/Javaを用いた大規模データパイプラインの設計・実装 · ...
-
Tokyo Michael Page ￥4,000,000 - ￥10,000,000 per yearData Engineerの職務内容は大規模なデータセットの管理と分析をサポートすることです。大学卒以上でPython、Java、Rなどのデータ処理経験がある人が必要です。Hadoop、Sparkなどの分散処理技術の経験 · NLPやAIモデルの基礎知識 · ...
-
Greater Tokyo Area Guha Edge Professional Consulting Services ￥4,500,000 - ￥9,000,000 per yearWe are looking for a highly skilled and hands-on Infrastructure Engineer / Full-Stack Developer to support our B2B MNO systems. · Develop software solutions across the full lifecycle: requirements, design, coding, testing, release, and maintenance. · Collaborate with engineers, p ...
-
Tokyo Synchro ￥1,200,000 - ￥1,440,000 per yearInfrastructure Engineer - Contract - Tokyo, Hybrid · Highly experienced and technical Infrastructure Engineer with a passion for delivering complex, high-impact projects, ideally with prior exposure to M&A integration projects. · Strong technical background as an Infrastructure E ...
-
Tokyo Skillhouse Staffing Solutions K.K.資産運用会社が、バイリンガルのITインフラエンジニアを募集しています。 · 東京拠点のチームに所属し、世界各拠点でサーバー、ネットワーク、ストレージ、および監視業務を通じて統合環境の構築・運用を担当していただきます。 · ...
-
Tokyo PeopleX Inc. Active Connector Group ￥7,000,000 - ￥13,000,000 per yearYou will lead the design, construction, and operation of customized infrastructure environments optimized for enterprise clients. Specifically, we expect you to drive the containerization and portability of existing environments and spearhead the migration to cloud-native archite ...
