AI検索サービス向けデータ基盤において、データの品質保証(Data Quality)、およびETLパイプラインの実装・運用を担当します。
1.データ品質管理(Data Quality)の実装と監視:40%
AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装します。
データテストの実装: Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード(Assertion)の作成と実装。
モニタリング環境の整備: データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築。
データリネージの管理: データの発生源から利用箇所までの流れ(リネージ)を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保する。
2.データパイプライン(ETL/ELT)の開発・改善:40%
設計されたアーキテクチャに基づき、実際のデータ処理フローを開発します。
ETL処理の実装: PythonやSQLを用いて、ログデータや商品データを収集・加工する処理...
【求める人材】
【必須】
SQLを用いたデータ抽出・集計・加工作業の実務経験(目安:1年以上 / 複雑なJOINやウィンドウ関数が書けるレベル)
Python等のスクリプト言語を用いた開発経験
何らかのDB(RDBまたはDWH)におけるテーブル設計やデータ管理の基礎知識
データの不整合やエラーに対し、根気強く原因を調査し解決した経験
【歓迎】
GCP (BigQuery) または AWS (Redshift Athena) でのデータ処理経験
Dataform dbt 等のELTツールを用いたデータモデリング・テスト実装経験
Airflow 等のワークフローエンジンを用いたジョブ管理の経験
Git / GitHub を用いたチーム開発経験
データ品質(Data Quality)に関する関心・知識
Webサービスのログ設計やデータ収集に関する知識
【給与】
650万円~850万円
※スキル・ご経験に応じて決定
【勤務地】
東京都
【勤務時間】
09:00~17:30
【雇用・契約形態】
【待遇・福利厚生】
健康保険 厚生年金保険 労災保険 雇用保険交通費※会社規定に基づき支給 退職一時金制度 確定拠出年金制度 社内研修制度 自己啓発支援制度 社内英会話レッスン(本社ビルのみ) 保養所(ラフォーレ倶楽部) テーマパークチケット優待
【休日・休暇】
完全週休2日制(土日)/祝日/年末年始(12/29~1/4)※ただし、業務の都合で休日を他の日に振替えることがある 有給(初年度:即日付与。日数は入社日によって変動。次年度以降:4月に付与) 慶弔休暇 特別休暇
職務レベル
エントリーレベル
雇用形態
正社員
職務タイプ
エンジニアリング
業種
輸出入卸売業
-
Tokyo MISUMI Group Inc. ￥6,500,000 - ￥8,500,000AI検索サービス向けデータ基盤において、データの品質保証(Data Quality)、およびETLパイプラインの実装・運用を担当します。 データ品質管理(Data Quality)の実施と監視:40% · 1. データ品質管理(Data Quality)の実装と監視:40% · ...
-
Tokyo MISUMI Group Inc.AI · searc service towards data infrastructure ,data quality assurance and ETL pipeline implementation is in charge . · SQL-based data extraction ,aggregation and processing experience (at least one year) · Python or script language development experience · Data base management ...
-
Tokyo MISUMI Group Inc. ￥7,000,000 - ￥10,000,000AI検索サービスの根幹となるデータアーキテクチャの設計、およびデータ管理プロセスの最適化・自動化をリードします。 · 1.AIモデルのためのデータ基盤構築・パイプライン設計:50% · AI/MLモデルの学習・推論に必要なデータを、高品質かつタイムリーに供給するための基盤を作ります。 · ... · Python/SQLを用いたデータ処理の実務経験(目安:3年以上)GCP (BigQuery Vertex AI等) を活用したデータパイプラインおよびMLOps基盤の構築経験Dataform または dbt を用いたデータモデリング・ELT処理の開発経験M ...
-
Tokyo UUUM(株)プロダクトの開発、データパイプラインの設計開発および運用業務を行う。クリエイターへ価値を届けるプロダクトまたはクリエイターの価値を広告主へ届けるプロダクトをいずれかのプロダクト開発を行う。また、多様な要件を深く理解した上での整理、あるべき仕様への落とし込みやデータ処理及びETL処理の設計/開発/運用経験などが求められる。 · ...
-
Tokyo UUUM(株)クリエイターへ価値を届けるプロダクト、またはクリエイターの価値を広告主へ届けるプロダクト、いずれかのプロダクト開発 · · ・多様な要件を深く理解した上での整理、あるべき仕様への落とし込み · ・データパイプラインの設計開発および運用業務 · データ処理及びETL処理の設計/開発/運用経験 · Papublicクラウドを用いたデータ基盤の開発または運用経験 · Githubチーム開発経験 · ...
-
Tokyo MISUMI Group Inc.+本 AI ／ search service（AI Search Service）＆ Data Architect · ～ AI Model · for data foundation construction and pipeline design:50% · ...
-
Tokyo 弥生株式会社(Yayoi Co., Ltd.)データ品質の維持: データの正確性、一貫性、完全性を保証するためのプロセスを監視します · データセキュリティの確保: データが不正アクセスやデータ漏洩から保護されるようにします · データポリシーの策定・実施: データの利用と管理に関するポリシーを作成し、遵守を確保します · ...
-
〒- 東京都 千代田区 紀尾井町, 千株式会社データエンジニアリングを行っていくために、各プロダクトオーナーや事業部のステークホルダーとともに、データによる価値提供を行える基盤開発やデータマネジメントといった領域を担当します。 · 事業の意思決定やデータの品質にこだわった文化醸成、プロダクト戦略などにも関わり全社を横断して幅広く活動することができます。 · ...
-
Tokyo 株式会社GA technologies / GA technologies Co., Ltd. ￥10,000,000 - ￥15,000,000RENOSYマーケットプレイス事業を中心に、国内外のグループ会社含めたデータマネジメント業務を行います。ツール選定や技術的なチャレンジについては裁量が与えられ、非連続に成長していく事業を支えるデータマネジメント活動を積極的に応援します。 · ■やりがい · ◎ 事業が急拡大している中でデータマネジメントの重要性が増しており、ご自身の活動が事業の成長に直結していく環境で働いただけます · ...
-
Tokyo 株式会社日立ハイテクソリューションズ ￥6,640,000 - ￥13,460,000半導体製造装置、半導体計測・検査装置のデータ活用システム、ソフトウェアの設計をお任せします。組織全体への開発手法の浸透、ナレッジの展開、推進国内外の顧客先にて顧客のニーズをヒアリングし、そのニーズに対するデジタルソリューションの提案。 · ...
-
Tokyo 株式会社日立ハイテクソリューションズ ￥6,640,000 - ￥9,880,000当社では世界トップシェアを持つCD-SEM(半導体計測装置)をはじめ、電子線技術を用いた計測・検査・解析装置をグローバルに展開しており、社会基盤を支える半導体デバイスの製造に使用されています。当社装置の画像... · 【求める人材】 · ...
-
Tokyo 株式会社GA technologies / GA technologies Co., Ltd.神 · 神 · RENOSYMARUKETUPUREISU JIGYOUO WAKARIMASU KARA,NICHI GAIKO NININOGUCHI MAKETAIRU DATA MANEEJIMENTO BUNSIWAKE O seminarsHANASYUTTEIRUMAITE,KOKUYAKUBUNSIEKI TYOOHYOO),DATA ANALISISUTOOL NO TONOHYOORIBUSHIKISOOSHABETSUSURUMATSUBATSUTEKINAIPPOHATOOPPANSURUMADOTSUBATSUTEKINUJIT ...
-
Tokyo 株式会社日立ハイテクソリューションズ当社半導体製造装置、半導体計測・検査装置のデータ活用システム、ソフトウェアの設計をお任せします。日本国内外で顧客先へのニーズをヒアリングし、そのニーズに対するデジタルソリューションの提案を行っています。 · ...
-
Tokyo 株式会社日立ハイテクソリューションズ ￥664,000 - ￥1,346,000 per year半導体製造装置、半導体計測・検査装置のデータ活用システム、ソフトウェアの設計をお任せします。具体的にお任せする業務は、 · 半導体製造装置、半導体検査・計測装置のデータを用いたソリューションシステムの基本設計、評価、改良設計 · データ管理、解析システムの基本設計、および画像やテキストデータなどを用いたサービスアプリケーションの開発 · 組織全体への開発手法の浸透とナレッジ展開推進 · 国内外における顧客先とのニーズ収集とデジタルソリューションの提案以及顧客先での評価 ...
-
Tokyo 株式会社日立ハイテクソリューションズ ￥6,640,000 - ￥13,460,000同社半導体製造装置、半導体計測・検査装置のデータ活用システム、ソフトウェアの設計をお任せします。 · ...
-
東京都 新宿区 北新宿, 株式会社アルマ業務データを一元管理するWebシステムの開発担当。 · 画面からバックエンド処理まで一貫した開発 · ...
-
東京都 江東区, パーソルクロステクノロジー株式会社 ￥5,000,000 - ￥6,970,000 per year· prime si/dataengineer/personell group towards productdevelopmentteamof databasedevlopmentday/databaseengineertokyoprefecture/regularemployee · ...
-
Tokyo 株式会社日立ハイテクソリューションズ ￥1,030,000 - ￥1,346,000東京】AI・画像処理・データ解析アプリの開発※管理職候補ポジションの求人です。 · 基本はリモートワークです。Face to face議論の必要性あればメンバ間で自由に出社時期を調整できます。 · ...
-
Minato Honda ￥5,900,000 - ￥10,900,000+Job summary · ﾀﾁﾂ Data Base Engineer/Data Scientist · ﾀﾁﾂ data base base design and operation · ﾀﾁUFF82 car development and software development each kind of data integration and visualization · ...
-
東京都 港区 虎ノ門, 本田技研工業株式会社 ￥590,000 - ￥1,090,000 per year+Hondaは「ソフトウェアでクルマの価値を進化させる」SDVの実現に向けて、本気で取り組んでおります。上記実現に向けて、ソフトウェア開発や車両制御から得られる膨大なデータを活用し、開発プロセスの効率化や製品価値向上につなげることが重要になっています。 · データ基盤を設計・構築し、分析・AI活用までを推進できるデータエンジニア・データサイエンティストが必要です。 · ++
-
Tokyo Hitachi High-Tech Corporation ￥3,090,000 - ￥9,880,000 per year+当社では世界トップシェアを持つCD-SEMをはじめ、電子線技術を用いた計測・検査・解析装置をグローバルに展開しており、今後も社会基盤を支える半導体デバイスの製造に使用されています。 · ...
