重み空間プログラミング：LLMの第三のレバー
勾配降下法は一度も神聖なものではなかった。それは足場だった。人間には読めない数十億の数値を形作るための唯一の汎用的な道具であり、だからこそ私たちはディープラーニングの教義全体をその周りに組み立ててきた。MIT...
AIと機械学習
人工知能、ディープラーニング、LLM、機械学習エンジニアリングの最新動向を解説します。
26 件の記事
JavaScriptフレームワークに潜むAIコスト
エージェントはコードを1行も書く前に、移行ガイドを読むのに11分を費やしていました。あなたのエージェントではありません。先週、同僚がSvelteKitプロジェクトに同じ指示を出したときのものです。あなたが1時間前にReactアプリで使ったのと同じプロンプトです。あなたのエージェントは約8分、400万トークンほどで終わり...
推薦なしのフィード：アルゴリズムよりキュレーション
金曜日の夜11時。疲れた状態でYouTubeを開くと、ホーム画面には叫ぶようなサムネイルやショックを受けた表情の顔が壁のように並んでいて、2019年に「好きだ」と判断された同じ3つのトピックが並んでいます。どれも見たいものではないのに、なんとなくスクロールしてしまう。インターフェースがそういう操作を前提に作られているか...
LLMらしい文章がすぐバレる理由と直し方
2023年後半以降のブログ記事を10分ほど読んでみてください。どれも同じ、少し張り切りすぎた新人インターンが書いたような感じがしてくるはずです。これがLLM特有の文体で、大規模言語モデルに文章を書かせると初期設定のように出てくる、一目でそれとわかる独特の語り口です。特定のモデルのバグではなく、学習の仕組みから生じる構造...
Mistral Large 4を自前ホストする：痛い目から学んだ教訓
Mistralが Mistral Large 4 の重みを公開したとき（約1兆パラメータ、アクティブ約520億パラメータのモデル）、受信箱には同じ質問が溢れました。これ、自社で動かせないの？...
Stack Overflowの衰退：代替品をめぐる5つの誤解
Stack...
オフラインファーストAI：通信なしで動くLLMを作る
停電から9時間。携帯回線は混雑して使えず、ガレージの冷凍庫には土曜日に買った肉がぎっしり。これ、まだ食べられるかな？ いつもならチャットボットに聞くところですが、今いちばん先に壊れたのはインターネットです。...
World Modelと動画予測の違い：私が誤解していたこと
Genie 4のデモが公開されたとき、私の最初の反応はSora以来ずっと同じでした。これはとても良い動画生成器だ。なぜこれを世界モデルと呼ぶのか？...
LLMによる予想生成 vs 証明検証、勝者はどっち
コーヒーを二杯目と三杯目の間くらいで、最近多くの計算量理論の研究者が、予想していなかった一文を読むことになった。任意のブール式の充足割り当て数を、およそ2^(n/√(log...
推論モデルは「プロンプト」ではなく「訓練」で生まれる
去年のチームランチで下手な説明をしてしまったのですが、その後ますます確信を深めた意見があります。推論モデルを「段階的に考えるよう指示された普通のLLM」と捉えているなら、推論モデルをまだ理解できていません。そしてその誤解は、本番環境でコストと精度を静かに損なっています。推論モデルはプロンプトの技法ではありません。訓練の...
画像分類では専用CNNが汎用LLMに勝つ理由
皮膚科医が、病理検査で確定した200件の皮膚病変画像を、最新のフロンティアLLM 2種類と、10年前にGoogleが発表した畳み込みネットワーク「Inception...
全二重音声モデルの5つの誤解を検証
私は2年間、音声アシスタントを従来型のスタック、つまり音声認識で入力し、真ん中に言語モデルを置き、音声合成で出力する構成で作ってきました。レイテンシ最適化を入れるたびに速くはなったものの、なぜか体験は悪くなっていく。最近登場した全二重音声モデル――Blockの小さな研究チームがプレビューとして公開したDessaのように...
DeepSeekの推論エンジン：5つの思い込みを検証
DeepSeekが本番用のLLM推論エンジンをApache...
時系列基盤モデルがカスタム学習を不要にする
5年前にこんなことを言ったら、どの予測チームでも笑われていたはずです。でも今では、ほとんどの時系列問題について、自分のデータでモデルを学習させるのは時間の無駄になりつつあります。自分では一度も見ることのないドメインの、数百万本もの系列で事前学習された時系列基盤モデルは、CPU上で一回フォワードパスを回す間に、丹念にチュ...
ハイブリッド推論エージェント：潜在思考とテキスト行動
多くのLLMエージェントについて、居心地の悪い真実があります。生成するトークンの大半は、高価な水増しにすぎないということです。数学の問題を解く推論エージェントは、「問題をもう一度読み直そう」や「ここまでで分かったのは……」といった文を、フルの推論コストをかけて平然と書き出します。実際の計算と同じ計算資源を、修辞的な前置...
AIコード理解チェックとテスト：どちらが勝つか
よくある場面を想像してみてください。コーディングエージェントが4つのファイルにまたがる600行を書き、テストは通り、リンターも問題なし。そのままマージします。2週間後に本番で壊れ、差分を見ても他人が書いたコードのように感じる――実際、機能的にはそのとおり他人が書いたのです。失敗の原因はコードそのものではなく、コードと自...
フラッシュ級LLMこそ推論効率の本当の主役
大半のワークロードにとって『最も賢いモデル』は間違ったモデルだ、と言えばモデルのリーダーボードで毎日議論している人たちは気分を害するでしょう。それでも、今週Hugging...
AIベンチマークが実務の9割を測れていない理由
知人の一人は中堅物流企業でオペレーションを担当しているのですが、昨春、彼女のチームは3週間かけて、LLMに例外処理ワークフローを任せられるかを評価しました。対象は、互いに仲の悪い3つのシステムをまたいで、発注書と一致しない請求書を突き合わせるという地味で骨の折れる作業です。ベンダーのスライドには印象的な数字が並んでいま...
メカニスティック解釈性の五つの通説を検証する
長らくメカニスティック解釈性の世界では、悲観的な見方が主流だった。ニューラルネットワークは絡まった結び目であり、中身を理解するには、まず別のモデルに金を払って解きほぐしてもらう必要がある、という考えだ。この信念が研究テーマを方向づけ、スパースオートエンコーダを中心とするサブフィールド全体を支え、LLMの内部を覗くことは...
エージェント型コーディングCLIの内側：ループ・文脈・権限
モデルは簡単な部分だ。少なくとも、それが主張だ。ここ数年、数十ものエージェント型コーディングCLIが登場し、フォークされ、そして躓くのを見てきたが、この主張は正しいと思う。エージェント型コーディングCLIの成否を決めるのは、モデルではなくハーネスだ。オープンソースでターミナルベースのコーディングエージェントであるOpe...
機械翻訳の低リソース言語問題
世界には約7,000の言語が話されています。Google翻訳は約130言語に対応していますが、商用のMTシステムでまともに扱えるのは30言語未満がほとんどです。ヨルバ語、ケチュア語、クメール語を話す人にとって、機械翻訳の体験は「ほとんど使えない」か「笑えるほど間違っている」かのどちらかでしょう。不都合な真実として、この...
SSM vs Transformer：実践ガイド
Transformerが唯一の主役でいられる時代は、もうそう長くは続かないでしょう。大げさに聞こえるのは承知しています。言語モデルからタンパク質の構造予測まで、Transformerアーキテクチャが長年あらゆる分野を席巻してきたのを、私たちは皆見てきました。それでも、ここ数か月、本番ワークロードでState...
AIツールが開発者の思考を静かに変えている
それに気づいたのは、Copilotを日常的に使い始めて半年ほど経った頃だった。Pythonスクリプトをデバッグしていて、エラーメッセージを読む前にAIアシスタントに頼ろうとしている自分がいた。トレースバックにはちゃんと表示されていた——KeyError:...
LLMエージェントは結局、分散システムだ
AIコミュニティでは今、マルチエージェントシステムの開発が進んでいる。単一のモデルでは扱いきれない問題を解くために、LLMのチームが作業を分担し、互いに連携する仕組みだ。「リサーチャー」エージェントが情報を集め、「コーダー」エージェントが実装を書き、「レビュアー」エージェントが品質を確認し、「コーディネーター」エージェ...
Self-Attentionの先へ：Transformer後の世界
Transformerアーキテクチャは、もう8年にわたってAIを動かし続けています。主要な言語モデルのほぼすべて、多くの画像生成システム、そして増え続ける音声・動画モデルが、「Attention Is All You...
自前ハードウェアでLLMを動かす
去年、70Bパラメータのモデルを実用的な速度で動かせるローカル推論マシンの構築に4,200ドルをかけました。同僚が私の構成を見て、当然の疑問を投げかけてきました。「APIを使えばいいじゃないか。それってAPIクレジット8年分だぞ」。計算だけ見れば彼の言うことは間違っていません。ただ、彼は判断の前提そのものを見誤っていた...