AI推論チップでコストを90％低減、MS出資の新興は「すでに可能 ... d-Matrixは、AIのワークロードでは最終的に推論が支配的になるという信念のもとに設立された。同社は学習用ハードウェアの転用ではなく、一からアーキテクチャを構築した。シェスによれば、推論向けのチップと学習向けのチップには、アーキテクチャ上の中核的な違いがある。学習は計算（コンピュート）の問題である。だが推論は、単なる計算の問題ではないという。推論は計算とメモリー（記憶）の問題なのだ。 そして、そのメモリー部分が遅延（レイテンシー）を増やす。 LLMでは、最初の「処理」段階はしばしばプリフィル（prefill＝事前充填）と呼ばれる。モデルがプロンプト（入力文）を取り込み、文脈を構築し、関

AI推論の遅延は計算力不足ではなくメモリー帯域の限界に起因する。d-Matrixは学習用チップの転用という常識を捨て、推論に特化したメモリー中心のアーキテクチャで勝負に出た。推論最適化の真打ちが登場した。

#AIハードウェア #dMatrix

D‑Matrix stacks DRAM as HBM for AI inference, promising 10× performance

D‑Matrix’s Corsair pairs 256 GB of LPDDR5 with 2 GB of SRAM, and its Pavehawk adds stacked‑DRAM on TSMC’s N5 process, targeting HBM‑class performance at lower cost. Read more: getnews.me/d-matrix-stacks-dram-as-... #dmatrix #corsair #pavehawk