周晟聡 / Akisato Shu

2024/4/22 13:142024/4/26 3:27

Background

エンジニアは社会の役に立たなければ存在意義がないと思い、大学在学中よりenechainでデータパイプラインなどeCompassに関わる開発に携わる。

岡山県出身、Simon Fraser University Engineering Science修了。

Why ENEC?

業界の最前線を突っ走るプロと共に、日本エネルギー史の新時代を切り開きたいから！！

Hobby

歴史全般、自然言語習得、ロードレース、ものづくり

Contents

データパイプラインをArgo Workflowsに移行した話 - enechain Tech Blog

enechainのデータプラットフォームデスクが開発運用するETLデータパイプラインをArgo Workflowsに移行した過程を解説。Datadogで行うArgo Workflowsのモニタリングについて詳細を紹介します。

https://techblog.enechain.com/entry/migrating-data-pipelines-to-argo-workflows

ワークフロー、タスクで見るか？データで見るか？ - enechain Tech Blog

この記事は enechain Advent Calendar 2023 の22日目の記事です。はじめに現行のデータパイプライン現状の課題課題解決へのアプローチ 1. 処理の依存関係視覚化問題への対応 2. 処理とデータの関係性問題への対応 3. データリネージ問題への対応 Task-centricとData-c…

https://techblog.enechain.com/entry/workflows-should-we-see-it-by-task-or-by-data

Great Expectationsで始めるデータ品質監視 - enechain Tech Blog

enechainのデータパイプラインにデータ品質監視ツールを導入する過程で得た知見を共有し、データ品質向上を目指す皆さんに役立つ情報が提供できれば幸いです。

https://techblog.enechain.com/entry/an-introduction-to-data-quality-monitoring-using-great-expectations