oaktfr.com Open in urlscan Pro
188.114.96.9  Public Scan

Form analysis
0 forms found in the DOM

Text Content

WAYNE'S BLOG





首頁


關于


歸檔


老友們


首頁


關于


歸檔


老友們

LLMllamagpt


GPT 量化加快推理的几个方案

2024-07-24

GPT 量化加快推理的几个方案愈来愈多的开源优良模型，我们的选择也愈来愈多了，模型的质量上去了，硬件的要求更高了。
在我们有限的硬件条件下，乃至，在一些便携设备下，运行 LLM 几近不成用。可是还是有些编制的：量化加快，CUDA，Vulcan，Metal，等。
量化加快凡是会把LLM的 30G+ 的文件，措置到 10G以下。有一个通用标准：GGUF，单文件，可让全部过程更轻松。 量化加快方案 我今朝保举4种：
llama.cpp （撑持的很多，HF上的GGUF能直接用的也有很多）
MLC-LLM（有本身的特定格式，但HF有本身能直接用的模型库，预构建的二进制文件安装很友爱）
chatglm.cpp（ChatGLM的量化方案，对国内的说话环境比较友爱，可是错误谬误很严重） LM Studio（桌面版安装，哪..

更多
spring


SSE 和 NDJSON

2024-07-08

布景比来再折腾GPT的时辰， 碰到流式的响应，总是感受有点怪怪的，可是又很好，解析了一下，发现竟然是标准化更广的一种和谈。 Server-Sent
Eventsdata:
{"id":"id-1720428652482","object":"chat.completion.chunk","created":1720428652,"model":"gemma-7b-it","choices":[{"delta":{"content":"。"}}..

更多
githubvscodejetbrains


GITHUB CODESPACES 和 长途开辟

2024-06-25

GitHub CodespacesCodespaces 可利用基于云办事的资本，并且免除了环境搭建，建设不服衡的题目。 对我来讲，在公司用
MacBook，在家用 Windows，两套环境不同一，且项目标存放位置不一样，这给我开辟一些小项目标时辰带来了很多麻烦。 VS Code最优解仍然是 VS
Code，和 Github 集成是最好的。可是也会有个题目，VS Code 实在分歧用于纯静态说话和复杂的依靠布局，比如 Java，Go 等等。 可是对
脚本类型的很是合适，比如 python，shell，js 等等。 特别是 Github Codespaces 集成了那么多的开辟环境，开箱即用，真的是美到不可，
Jetbrains Gateway对大年夜型项目来讲，还得是 Jetbrains 的产品好，一般来讲..

更多
FIDO2WebAuthnPasskeyTPMSSH KeyWindows Hello


FIDO 2

2024-05-24

FIDO 2FIDO 2 是我很早就想弄得一个工作，可是相干的器材生态太少了，所以优先级不高，但比来折腾了几个器材，让我感觉 还是有弄头的。
安然性和便当性都兼得的一种编制。这个就是将来。 概念FIDO2Fast IDentity Online（线上快速身份验证）的缩写，或称 FIDO
同盟。该同盟首要致力于构建安然、开放、防收集垂钓的无暗码身份验证标准。 包含通用认证框架 UAF（Universal Authentication
Framework）、通用第二身分认证标准 U2F（Universal 2nd Factor） 和 FIDO2。 当说到利用 “FIDO”
时，凡是是指利用这三种和谈中的任何一种，由于从概念的角度来看，这三者根基一致，只是布局有所辨别（UAF——TLV，U2F——RAW，FID..

更多
dockerhomeassistant


HOME ASSISTANT

2024-05-24

Home Assistant之前一向感觉 Home Assistant 有些过于复杂了，是由于我一向一向都用某一个生态圈的器材，比如用小米的就用小米的全套，用
Aqara 就是全套。 那若是各类不一样的品牌组合来用呢？这就变得很复杂了。 可是 Home Assistant 本身是撑持各类生态圈的，所以你只要安装好
Home Assistant，然后把各类生态圈的组件都安装好，然后建设好，便可利用了。 安装Linux保举利用 Docker 安装，
如许就不消考虑各类Python依靠了。归正都是不克不及安装插件的。 若是你有虚拟机环境，官方供给的有操纵系统。 version: '3'
services: homeassistant: container_name: homeassist..

更多
GPTIDEAdatabaseDocker


好用的辅助和插件

2024-04-19

好用的辅助和插件这是一期首要分享辅助和插件，也是第一期做这个，简单略微写一下。 本期所有插件 完全免费 VS CodeMicrosoft WSL &
Remote SSH
https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.remote-ssh
Remote SSH 就不消讲了，长途开辟的同窗 相比直呼牛x，那么就略微讲一下 WSL。 在 windows 中 WSL
此刻几近是开辟必备的一个器材了，可以和window无缝集成，并且 可利用 最简便的 Linux，并且，窗口化 可以透过 VNC 和谈，直接在 windows
中衬着，此刻的微软，的确是 Linux 最强开辟者。 那么 从 windows 中，连接..

更多
jsonrpc


JSON RPC

2024-04-12

JSON RPC偶然在 aria2 上看到了这个和谈，平常平凡我们都是用json来互换数据的，那么json RPC 是甚么。
无状况且轻量级的长途过程调用（RPC）传送和谈，其传递内容透过 JSON 为主。 相较于一般的 REST 透过网址（如 GET
/user）调用长途办事器，JSON-RPC 直接在内容中定义了欲调用的函数名称（如 {“method”: “getUser”}），
这也令开辟者不会陷于该利用 PUT 或 PATCH 的题目当中。 我的观点今朝国熟行业中遍及都是采取出格偷懒或不公道的做法 要责备数利用 POST 响应
永久都是 HTTP 200 响应体里 必然要包装一层，并且有本身的弊端码（仿佛也没人看/保护这个弊端码） 在我看完 Json RPC
以后，我的评价是..

更多
APIcloudflareAI


GPT OPEN API

2024-03-30

私有 AI 和 OpenAI 兼容的 API此刻很多私有化摆设的 GPT 正在逐步变多，且 运算编制在不竭的更新，優化也愈来愈好，使得在笔电上跑一个 GPT
都已不是题目了。 所以还是有需要记录一下我搭建的私有GPT和对外开放API的坑的。 私有 GPT编制编制软件都有很多： ChatGLM LM Studio
GPT4All ….. OpenAI 的 API 文档：
https://platform.openai.com/docs/api-reference/chat/create ChatGLM（chatglm.cpp）
https://github.com/li-plus/chatglm.cpp 这是一个 c++ 实现的 ChatGLM，效力很是惊人，运行中占用的资本极低。
可是若是想要运行 ..

更多
nodejscloudflare


IP ECHO

2024-03-30

本身摆设一个查看公网 IP 的办事之前一向都是利用的他人的 API 来往交往天气确当前地址，后来阿谁 API 挂了，导致我没这个数据了 其他的 要么做的太小
不克不及包管办事可用性，要么有CORS策略，web 嵌入是做不了的 别的 就是想经过过程最简单的 api，来快速获得IP。 所以干脆本身整一个吧。
MaxmindMaxmind 可以供给 GeoIP? data，算是一家独大年夜的了 并且 Free plan 已足够大年夜大都场景利用了 数据也很精确
但利用其产品还是有些限制的，需要申请 license，文件数据更新也是个题目。 所以还是只能再调用在线的 API 了，好在足够利用。
接来下，就要想一下，高可用的办事 扶植在哪里了。 Cloudflare Worker想了一下，便可以避免费利用 又可以包管办事可用性的，并且还..

更多
programmingreactdocs


DOCUSAURUS PAGES

2024-03-30

用 Docusaurus 做了导航站之前一向都是用 docsify 做的 wiki 和导航站点，可是排版和分類还是不敷好，因而就又开端再折腾一份。
DocusaurusDocusaurus 是基于 React 开辟的，并且可以供给原生的 React
编写，如许大年夜大年夜加强了可玩性，比如我可以把主页定制的很是富丽， 在我的定制主页里，我用了几个插件来美化： starback：^2.1.4
typewriter-effect：^2.19.0 starback用来揭示炫酷的 流星结果 这个参数是我用起来感受出格都雅的： useEffect(()
=> { const starback = new Starback("#canvas", { wi..

更多
123…14


WAYNE

> have a nice day.




比来

 * GPT 量化加快推理的几个方案
   
   2024-07-24

 * SSE 和 NDJSON
   
   2024-07-08

 * Github Codespaces 和 长途开辟
   
   2024-06-25

 * FIDO 2
   
   2024-05-24

 * Home Assistant
   
   2024-05-24

 * 好用的辅助和插件
   
   2024-04-19


分類

 * Apple6
 * CAR1
 * FILM2
 * LIVE27
 * Linux35
 * encryption2
 * games1
 * golang2
 * hardware9
 * macos1
 * movie2
 * nodejs3
 * programming21
 * raspberry-pi6
 * server6
 * typecho3
 * windows5
 * 年度分享5
 * 默许分類2


歸檔

 * 七月 20242
 * 六月 20241
 * 五月 20242
 * 四月 20242
 * 三月 20244
 * 仲春 20241
 * 十月 20232
 * 玄月 20234
 * 八月 20231
 * 六月 20232
 * 四月 20231
 * 三月 20232
 * 仲春 20231
 * 玄月 20221
 * 八月 20222
 * 七月 20221
 * 五月 20223
 * 四月 20223
 * 三月 20222
 * 仲春 20226
 * 一月 20221
 * 十仲春 20212
 * 十一月 20213
 * 十月 20213
 * 玄月 20213
 * 八月 20213
 * 七月 20212
 * 六月 20213
 * 五月 20211
 * 四月 20213
 * 三月 20213
 * 仲春 20214
 * 一月 20213
 * 十仲春 20205
 * 十月 20201
 * 玄月 20202
 * 七月 20201
 * 六月 20202
 * 五月 20205
 * 四月 20202
 * 一月 20203
 * 十仲春 20193
 * 十一月 20195
 * 玄月 20192
 * 八月 20192
 * 七月 20191
 * 六月 20192
 * 三月 20192
 * 仲春 20195
 * 一月 20193
 * 十仲春 20184
 * 十一月 201813


標簽

nextcloudSSLnetworkgolangVPNikev2linuxdebianwindowshddmysql處理器CPU微碼Linuxdomainanime-comic電影cmdterminalconsolewin10windows
updatearia2ISPGFWtypechoAppphone評論垃圾防火牆iptables樹莓派CentOSmariadbmacOSbrewHTTP
ProxyspringsecurityjavaraspberrypipiDNSarchlinuxmanjarorubywifiarm64storagedisknodejsnpmrobocopyREFS硬盤V2EX付出寶微信用戶體驗年度分享無線wirelesVuevuetify輝夜大年夜蜜斯想讓我告白動漫AnimeNASserver存儲崩壞3SSH健身運動影評TENETGPUNVIDIARTX308030903070醫院windows
server路由器WiFi6cephdockervideoTypecho優化AppleMacBookkubuntuofficesnap攝影FILMhomebrewfirewall-cmd京東Apple
MusicHLSMusic網卡reactivewin11VSCodeAlpineTesla成都programmingELKlogs3workfreelancerproxymediaHTTPSAPIipadappleJavak8skubespheremDNSwebmhevcav01nodescpPythonUSBDriveGPTChromeChromiumreactdocsFIDO2WebAuthnPasskeyTPMSSH
KeyWindows
HellogithubvscodejetbrainscloudflareAILLMllamagptIDEAdatabaseDockerhomeassistantjsonrpcnext.jsnextuisimnetworks小米nassqlitezerotier備份


Copyright ? Wayne 2024

Powered by Hexo

| 

Theme by WayneCommand| 

Forked by Haojen 


have a nice day.
xxfseo.com