Signal
Advertise
Signal
Advertise
Sign in
Submit
Discover trends that matter
Trending repositories
Daily
Weekly
Monthly
Yearly
Live mentions
Topics
GitHub trending
Repositories
Developers
Insights
Stats
Log in
architectds/Strata — GitHub trending stats & insights | Trendshift
Kane CLI
Busbar
Bifrost
architectds/Strata
#
AI infrastructure
#
Local LLM
#
Self-hosted
Qwen3.8-Flash-Next (125B MoE) on a 8GB+ NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.
Visit GitHub
Like architectds/Strata, 0 likes
0
Bookmark architectds/Strata, 0 bookmarks
0
C++
67
4
0
MIT License
Social mentions
Recent discussions about this repository across the web
考虑到两张5070目前的价格只有5090的1/3-1/4,这种优化的价值巨大。
@ivanalog_com · x.com
我的strata fork 主要是在上游的基础上,进一步微调数据传输提升Prefill,目前int8 KV在我的电脑上可以达到~3000 tps prefill, 65 decode。 Claude诚不我欺也。 (我的电脑decode目前受限于内存带宽,提升空间非常有限,必须要换内存)
@ivanalog_com · x.com
过去一周多,可能以后被证明是AI推理部署史上天翻地覆的一周。 上个周末,我的本地机双5070ti试跑Qwen Flash,只能做到200 prefill,10decode。 今天,在Strata和我自制的PR的支持下,目前可以跑到2200/67,而且只需要一张卡。 即读写速度都提高了近十倍。…
@ivanalog_com · x.com
Repository activities
repository's daily and monthly activities across stars, forks, merged PRs, issues, and closed issues