LLMの推論では外れ値は重要な役割を果たす
Zenn · 2025-02-26
本記事はTransformerの8bit行列演算を実装した以下の論文のまとめ記事です。推論フェーズでは4bitの量子化が主流の現在において、8bitの量子化手法はメリットが薄れた感がありますが、outlierとLLMの推論性能の関係についての考察とoutlierとそれ以外を分けて
本記事はTransformerの8bit行列演算を実装した以下の論文のまとめ記事です。推論フェーズでは4bitの量子化が主流の現在において、8bitの量子化手法はメリットが薄れた感がありますが、outlierとLLMの推論性能の関係についての考察とoutlierとそれ以外を分けて
結論IndexOfAnyExceptを使えば速い（追記：有り無しを調べるだけならContainsAnyExceptがあるみたいです）動機ReadOnlySpan<byte>があったとして、そ…
はじめに VSCode拡張のClineがシンプルなアーキテクチャで実現されていることを説明するために、VSCode拡張のAPIだけを使った「ワークスペース内のエラーが発生している箇所をLLMで自動修正する」タスクのみを実行する最小のClineを作りました。筆者はこれら知見を元
Freezed 3.0: 変更点の勘所 https://x.com/remi_rousselet/status/1894467235109831047 Freezed 3.0 が公開されましたね! この記事では注目の変更点をまとめて紹介します。 Freezed とは？ F
はじめにこんにちは、Latte72です。慶應義塾大学公認サークル Computer Society で低レイヤーを扱うシステム班の班長を務めることになったので、後輩たちに低レイヤー技術（特に自作…
Cline を使い始めて2ヶ月ぐらい経った。 自分の直感として、Cline は真のイノベーションの入口であり、そして開けてはいけないパンドラの箱でもあったと思う。 ここでいう Cline は Cline型コーディングエージェントであり、広義には Devin / Cursor や
僕の中には、『誰よりも強い劣等感』があった。だからこそ、誰よりも記事投稿できた。少し変わった始まり方ですが、僕は誰よりも強い劣等感を抱えていた自覚があります。昔はその劣等感に押しつぶされ、何もでき…
先日の３連休を利用して、AWS クラウドプラクティショナー(CLF)を取得してきました。所要時間はおよそ１週間。がっつり取り組んだのは三日くらい。AWSの経験はEC2やS3といった基本的なサービ…
こんにちは！サイボウズ株式会社 フロントエンドエキスパートチームの @mugi_uno です。 はじめに サイボウズ社内では毎週火曜日に Frontend Weekly と題し「一週間の間にあったフロントエンドニュースを共有する会」を開催しています。 今回は、2025 年 2
はじめに 最近、AI によるコーディングアシスタントツールが次々と登場しています。 その中で、先日 Anthropic 社は最新モデル Claude 3.7 Sonnet と同時に、新しいツール Claude Code をプレビュー公開しました。 https://docs.a
弊社には「プログラミングがはじめて」という新入社員も多く、まずは次のようなスクリプト（ソースコード）から書きはじめます。let A = 10;let B = 20;if (A + B > 30…
はじめに はじめましての人ははじめまして、こんにちは！mentoで業務委託として働いています、フロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です！ 今回は、mentoで業務委託エンジニアとしてDevinを使ってみた感想を（2025年2月時点の情報であると
I.はじめに 昨日2025年2月25日、Anthropic社はClaude 3.7 SonnetとClaude Code(プレビュー版)をリリースしました[1]。 素晴らしく未来を感じさせるものでしたので、感動を共有するために速報記事をしたためました。 ※本記事はあくまで筆者
はじめにAWS Amplifyはフロントエンドアプリケーションの自動ビルド・デプロイや（Hosting）、Auth・Databaseといったバックエンドをさっくり定義するなどの機能を提供する、アプ…