【Mastodon再掲】大規模(マクロ)AIのピークインと、ミクロなスポットで活用できる低コストAIの普及

[Mastodon]
https://mstdn.jp/@Nekowashi/115947319959365860

今のメモリ高騰は、AI需要が原因と言われているけれど、そのAIに関しては既に全体的に低コスト＋低電力化の方向に進んでいて、日本でも「Sakana AI」みたいな電力消費やメモリ消費を抑えることを目的としたAIモデルの開発がスタートアップで進んでいる。 既存のChat-GPTのようなAIに関しても、クラウド上で処理するのではなく、ユーザーのPC上でNPU(Neural Processing Unit)というAI専用の処理ユニットを用意して、ローカル環境で処理する方向に舵が切られようとしていて、2026年以降、NPUが本格的に流通していく可能性が高いと言われている。 …とは言っても、今はまだその過渡期に当たる時期で、ローカルAIの流通よりも、AIそのものに対する要求(コマンド需要)の方が高いため、どうしても大規模モデル型のAI開発は止められず、2026年のメモリ高騰や電力馬鹿食い問題は避けられない様相になっている。 ちなみに、NPUは自分の理解では従来のグラボGPUに相当するものである一方、GPUほどの高速処理(反応速度)は要求されないので、GPUとは違ってパソコン内部に設置する必要はなく、既設のUSB3.0ポートなどを利用して外付けユニットとして稼働させることも可能だと思われる。現実にも、"Google Coral USB Accelerator"みたいなUSB3.0ポート動作モデルが既に販売され始めている。2026年以降は、この様なユニットを使ってのローカルAI稼働が主流になっていく可能性が高いと思われる。…というより、社会環境的にそならないと、AIによって現代文明が食い尽くされかねない。。。