Turns out you can actually just run full 32k context on a single 3090 using vllm at higher precision (bf16). Just enable 'fp8' cache dtype. This is for llama-3 8B

数少ない二次絵

🔥 Quickly estimating the memory needed for Training LLM with LoRA

📌 The key is to anchor off the number of trainable parameters. The general formula is:

(Estimate from calculator in GB + ( number of trainable params in Billions * (dtype of trainable params / 8) * 4)) * 1.2…

youtube.com/watch?v=erAeIJ…

●番外編:テレワークランチ自炊

こんにちは☔

今日はテレワーク中なので、自炊ランチです！

作り置きの肉野菜炒めで今日は焼きそばと冷凍素材とヤクルトです☺

カロリーコントロールしないと😂

午後も適当に頑張りましょう✨

#ランチ #自炊

Just wrote a feature request to get FP6 dtype into PyTorch help me out and put an emoji on that hoe! 🚀🚀 github.com/pytorch/pytorc…

上手く出来ました♪
#電気コンロの上のアナログ

おぉー連続ドロップは初めてかも

#百英雄伝
●最近遊んでるシリーズ
→No.35:百英雄伝 PS5版

やはり、ボス戦は歯ごたえがあって緊張感がありますね😂

リーンは可愛らしくて良いキャラだなー😂♥（笑）

さて、自炊ランチを作ろう！

Yeah I'm thinking it's time for the Tubeulator 🚨🚇🚨

My first real use of patito (Pydantic data models + Polars DataFrames): total breeze to use - ingestion with zero dtype fiddling, as it should be 🛝

なんとなく気になったのでtorch_dtypeをfloat16, 32, 64で二枚ずつ生成してみた。
違うと言われればそんな気はするけど、何もないと区別はつかないのでやっぱりfloat16で十分そう。

A nice example from Official implementation of Half-Quadratic Quantization (HQQ) repo

HQQ’s `HQQLinear.quantize` and `HQQLinear.dequantize` methods have been modified to support FSDP training by viewing int dtype quantized weights as a selectable float dtype when quantizing, and…

スタジオ入ってスナッピーの加減がイマイチだったので元のultrasoundDtypeに戻したw
PearlのこのシリーズはDtypeがお気に入りです🥁

電気コンロの上のアナログwww
ほったらかし炊飯。

いただいてしまった

●Happy birthday🎉
5/1
Jリーグ エキサイトステージ94 SFC

お誕生日おめでとうございます✨

当時、友達とめちゃくちゃ遊びましたね🎮⚽

Happy birthday to my favorite games🎂
#エキサイトステージ #RetroGame #レトロゲーム

●Happy birthday🎉
4/28
スーパーボンバーマン1.2.3 SFC

お誕生日おめでとうございます✨

今日は1.2.3.の誕生日みたいですね！発売日を日にちを合わせたのは、敢えてだったのかな？🤔
今遊んでも面白い名作ですね🎮

Happy birthday to my favorite games🎂

#ボンバーマン #ファミコン #RetroGame …

#百英雄伝
●最近遊んでるシリーズ
→No.35:百英雄伝 PS5版

こんにちは☀
朝から少しずつ進めてます🎮

このゲーム、意外とやくそうを使うからダンジョンに籠もる前にやくそうを買って行きますが、ダンジョン内の宝箱でアイテム欄がいっぱいになるのは、あるあるですかね？😂（笑）

ナニとは申しあげませんがピックされてますね