［エンジニアのための］データ分析基盤入門＜実践編＞ 主要プロダクトに共通する理論×技術クラウド＆オンプレ対応 | 技術評論社 より多くのビジネス成果を生み出すデータ分析基盤（データ基盤）の構築・運用をテーマとした技術解説書。『［エンジニアのための］データ分析基盤入門＜基本編＞』の続編として、現場で求められる設計判断や運用視点を整理しました。 現実のデータ分析基盤には、技術・組織・コスト・安全性・拡張性など、多様なコンテキストが複雑に絡み合います。本書では、基本事項や手順と合わせて、SLO設計、データ加工戦略、フェデレーション環境におけるネットワーク負荷など、具体的な観点を織り込みました。 「何の技術を採用するか」以上に、重要なのは「どの課題を、どんな視点で捉えるか」。本書は、無数に答えがあるデータエンジニアリングの現場において、課題構造を理解し、状況に応じて最適な選択を行い続けるための考え方を押さえます。また、ローカル環境およびクラウド環境で動作する学習用データ分析基盤の構築例を提供し、本を読むだけでも、実機で試しながらでも学べる構成です。 データ基盤は、作るよりも「続ける」なかで真価が問われると言われます。広くデータ基盤に携わる方々に向けて、変化し続けるプラットフォームと向き合うためのデータエンジニアリングの思考と技術力が身につく1冊です。

2026年4月20日発売

Your smartphone is a mobile lab. Download for free: Follow us: Features Sensors Phyphox allows you to use the sensors in your phone for your experiments. For example, detect the frequency of a pendulum using the accelerometer or measure the Doppler effect using its microphone. Data Export Export your data i

スマートフォンを物理センサーかのように扱い、データをエクスポートできるアプリ。Android/iOSのどちらも対応。

Gemma 4をローカルで動かす ── PLE・量子化・TCO計算まで踏み込む実践ガイド - Qiita 2026年4月2日、Google DeepMindがGemma 4をApache 2.0ライセンスで公開しました。E2B、E4B、26B MoE、31B Denseの4サイズ展開で、スマートフォンからワークステーションまでカバーします。 Reddit r/LocalLLaM...

コーディング支援には26B MoE。試してみるか。

mesh-llm：余っているPCのGPUを束ねて巨大LLMを動かす分散推論の新アプローチ - Qiita はじめに 巨大なLLMを動かすにはA100やH100のような高性能GPUが必要。これが今までの常識でした。 しかし「使っていないGPU」は身の回りに大量にあります。ゲーミングPCの日中の空き時間、会社のワークステーションの夜間、研究室のGPUクラスタの低い稼働率。こうした...

mesh-llmだけでなく同様ツールのPetals, exoとの比較表あり。期待したい。

LinuxでAI支援コードが解禁。Torvalds氏が示した新ルールとは | ソフトアンテナ AIツールを使ったコード生成が一般化する中、Linuxカーネル開発でもAI支援コードの扱いに関する明確なルールが示されました。Linus Torvalds氏のGitHubリポジトリに公開されたドキュメントでは、AIを利用したコードを受け入れ

AI支援コードは `Assisted-by: AGENT_NAME:MODEL_VERSION [TOOl1] [TOOL2]` を明記と。これはLinux kernel以外にも適用してもいいかもね。

GitHub - Arthur-Ficial/apfel: Apple Intelligence from the command line. On-device LLM via FoundationModels framework. No API keys, no cloud, no dependencies. The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads. - Arthur-Ficial/apfel

Apple Intelligenceが内蔵するlanguage modelに対してプロンプトを投げることができるCLIツール。brew install apfel

128bit以上の可変長をもつ UUID Long の提案仕様 - ASnoKaze blog 128bit以上の値を持てる『UUID Long』という提案仕様がIETFに提出されています。

ははー。Sub-Variant毎に固定長なのかと思いきや、Lengthをつけて本当に可変長にするのね。衝突耐性向上やアプリケーション固有のデータを埋め込めると。なるほど。

マイクロソフト、ローカルAI環境をインストーラで配布できる「Foundry Local」正式リリース。MacやLinuxにも対応 マイクロソフトは、アプリケーションにバンドルしてインストーラで配布できるコンパクトなローカルAI環境「Foundry Local」の正式リリースを発表しました。 開発者はアプリケーションにFoundry LocalのAI環境をバンドルしてイ...

クロスプラットフォーム対応をMicrosoftがリリースする時代なんだな。「対応するプログラミング言語はJavaScript、C#、Python、Rust」もうちょっとアレもコレもサポートしていただけると助かります。

CDNを活用した画像配信の設計と最適化

「画像サイズ」を最初ファイルサイズと勘違いしたけど、よく読んだらwidth/heightのサイズでした。

GitHub - idursun/jjui: jjui is a TUI designed for interacting with the Jujutsu version control system. jjui is a TUI designed for interacting with the Jujutsu version control system. - idursun/jjui

Jujutsu(jj)のTUIクライアントツール。Go実装。WinGet/Scoop/Homebrew/Nixなど各種パッケージが用意されてる。もちろんgo installでもインストールできる。

GitHub - retlehs/quien: A better whois and domain intelligence toolkit A better whois and domain intelligence toolkit. Contribute to retlehs/quien development by creating an account on GitHub.

使いやすさを謳うドメイン調査用ツール。WHOISはRDAPをまずチェックする実装になっていると。Go実装

そういえばVarnish Cacheのオープンソース版はVinyl Cacheに名称変更されたんだったな。今後はVinyl Cacheでお願いします。

GitHub - PwnKit-Labs/foxguard: A security scanner as fast as a linter, written in Rust. A security scanner as fast as a linter, written in Rust. - PwnKit-Labs/foxguard

Linterぐらい高速に動作するプログラミング言語を対象としたセキュリティスキャンツール。他のスキャンツールが10〜30秒以上かかるところ、このツールは0.03秒でスキャン可。早いは正義だ。pre-commitやCIにも最適と。

オンライン開催

fence - AI AgentをOSサンドボックスの中で動かす | おそらくはそれさえも平凡な日々 AI Agentも賢くなってきたとはいえ、ローカルで何をしでかすかわからない怖さは拭いきれない。かと言って、細かく認可を与えるのもめんどいし、ザルな見過ごしも起こりやすくなって危ないので、できればファイル・ネットワークアクセス、コマンド実行等に適切に制限をかけたサンドボックス環境で放し飼いにしたい。 CLIとして…

OS組み込みのサンドボックス環境を使うと。なるほど。こういう環境分離はkeychain/Secure Enclave/TPM/1Passwordなどとの連携が難しくて機微情報どうやって渡すんや問題が悩ましい。

無料でローカルAI環境を簡単に導入できる「Lemonade」、Windows・Linux・macOSにも対応したオープンソースで特にAMDのGPU・NPUで効果的 AIの頭脳である大規模言語モデル(LLM)をローカルで動作させると、料金がかからなかったり、プライバシーを守れたりなどのメリットがあります。今回はLLMをローカルで簡単に動作させるためのツール「Lemonade」を実際にインストールして使用してみました。

「AMDのGPU・NPUで効果的」な理由書いてあったわ。「Lemonadeを開発したのはAMDで、AMD製のハードウェア向けに徹底的にテスト・最適化が行われている」なるほどですね。

GitHub - andrew-waters/orchard: A GUI for Apple Containers, written in swift A GUI for Apple Containers, written in swift. Contribute to andrew-waters/orchard development by creating an account on GitHub.

AppleネイティブのLinuxコンテナー管理用CLIツールであるApple ContainerのGUIアプリ。brew install orchard

Charcuterie A visual explorer for Unicode. Browse characters, discover related glyphs, and explore scripts, symbols, and shapes across the standard.

入力した文字に形が似た文字をUnicodeから探してくれるサイト。すごい。クリックするとさらに辿れる。日本語もok。上部のsearchで文字指定ができるが、IMEと相性が悪いようなのでコピペするのが良さそう。

Little Snitch for Linux Discover powerful applications such as Little Snitch Mini, Little Snitch, LaunchBar and Micro Snitch.

アプリ単位でネットワーク通信を確認/制御できるmacOS向けアプリLittle SnitchのLinux移植版だ。BTP(BPF Type Format)をサポートするkernelが必要な模様。

GitHub - onesuper/tui-use: tui-use lets agents interact with programs that expect a human at the keyboard — REPLs, debuggers, TUI apps, and anything else bash can't reach. tui-use lets agents interact with programs that expect a human at the keyboard — REPLs, debuggers, TUI apps, and anything else bash can't reach. - onesuper/tui-use

BrowserUseのTUI版。TUIなアプリケーションをAIエージェントから操作。gdbのようなインタラクティブな操作もAIエージェントで実施できる。わいわい。

GitHub - matt-virgo/baremail Contribute to matt-virgo/baremail development by creating an account on GitHub.

ミニマリストのためのターミナルで動作するGmailクライアント。

GitHub - MDA2AV/gcannon: TCP HTTP Load generator for linux (liburing) TCP HTTP Load generator for linux (liburing). Contribute to MDA2AV/gcannon development by creating an account on GitHub.

io_uringを駆使するHTTP負荷テストツール。HTTP/1.1とWebSocketに対応。io_uringによってどの程度性能が良くなっているか気になるな。

GitHub - Sidenai/sidex: VS Code rebuilt on Tauri. Same architecture, 96% smaller. Early release. VS Code rebuilt on Tauri. Same architecture, 96% smaller. Early release. - Sidenai/sidex

TauriベースでVisual Studio Codeを再構築。サイズが大幅に縮小されてメモリ消費も削減されたと。

新しくプロジェクトに入った人がリポジトリの現状を素早く把握するためのGitコマンド5選 ITエンジニアのアリー・ピエホフスキー氏が、「全然知らないプロジェクトの現状を素早く把握できるGitコマンド」を5つ紹介しています。

普通に有用。

Amazon S3 Files の料金体系を図解で整理してみた | DevelopersIO

安価になるが色々な制約が発生するので使う場合はきちんと検証した上で。1つ気になっているのはS3 Filesのメタ情報はS3バケットに保存するとの記載をみたので、S3に直接PUT/DELETEすると壊れるんじゃないかという懸念がある

Claude Code × draw.io公式Skillで、AWSアーキテクチャ図の生成を自動化してみた | DevelopersIO

提示されてるSKILL.mdをありがたく使わせてもらおう。わいわい

Maestri · A new kind of terminal app Orchestrate multiple AI agents, terminals, sketches and notes on one infinite canvas. Built for macOS.

ターミナルをキャンバス上に複数並べて連携したりメモをつけたりできるアプリか。複数ターミナルを行ったり来たりするなら良さそうなアプローチだしVRとの相性も良さそう。

SRE+DevOps×AIで運用改善①

「いちばん危ないのは"承認があるから安全"と思い込むこと」「AI運用では、賢い推論よりも止め方と戻し方もサービス提供を継続させるために必要」わかりみ。

オンライン開催

現地 / オンライン