ihower.tw Open in urlscan Pro
2a06:98c1:3120::3  Public Scan

Form analysis
2 forms found in the DOM

GET https://ihower.tw/blog/

<form role="search" method="get" action="https://ihower.tw/blog/" class="wp-block-search__button-outside wp-block-search__text-button wp-block-search"><label class="wp-block-search__label" for="wp-block-search__input-1">搜尋</label>
  <div class="wp-block-search__inside-wrapper " style="width: 413px"><input class="wp-block-search__input" id="wp-block-search__input-1" placeholder="" value="" type="search" name="s" required=""><button aria-label="搜尋"
      class="wp-block-search__button wp-element-button" type="submit">搜尋</button></div>
</form>

<form id="jp-carousel-comment-form">
  <label for="jp-carousel-comment-form-comment-field" class="screen-reader-text">發表迴響…</label>
  <textarea name="comment" class="jp-carousel-comment-form-field jp-carousel-comment-form-textarea" id="jp-carousel-comment-form-comment-field" placeholder="發表迴響…"></textarea>
  <div id="jp-carousel-comment-form-submit-and-info-wrapper">
    <div id="jp-carousel-comment-form-commenting-as">
      <fieldset>
        <label for="jp-carousel-comment-form-email-field">電子郵件 (必要)</label>
        <input type="text" name="email" class="jp-carousel-comment-form-field jp-carousel-comment-form-text-field" id="jp-carousel-comment-form-email-field">
      </fieldset>
      <fieldset>
        <label for="jp-carousel-comment-form-author-field">名稱 (必要)</label>
        <input type="text" name="author" class="jp-carousel-comment-form-field jp-carousel-comment-form-text-field" id="jp-carousel-comment-form-author-field">
      </fieldset>
      <fieldset>
        <label for="jp-carousel-comment-form-url-field">網站</label>
        <input type="text" name="url" class="jp-carousel-comment-form-field jp-carousel-comment-form-text-field" id="jp-carousel-comment-form-url-field">
      </fieldset>
    </div>
    <input type="submit" name="submit" class="jp-carousel-comment-form-button" id="jp-carousel-comment-form-button-submit" value="發佈留言">
  </div>
</form>

Text Content

跳至主要內容


IHOWER { BLOGGING }



 * 關於我
 * 生成式 AI 課程
 * 文章分類
 * 個人筆記
   * 個人筆記
   * AI Engineer 知識庫
 * Rails 實戰聖經
   * Rails 實戰聖經
   * App 開發基礎
 * Git 版本控制

 * * 返回


愛好 AI ENGINEER 電子報 OPENAI 發表 MODEL SPEC #12

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

OpenAI Model Spec

這份文件不但描述了 OpenAI 心目中理想的模型行為，也默默預告了一些之後新模型會有的功能，對於開發者來說非常值得一讀。
而且都有對話舉例，非常具體，很多設計難題隱藏在棘手的場景中，如何回答的好真的見仁見智。 以下是我看到的一些關鍵內容：

閱讀全文〈愛好 AI Engineer 電子報 OpenAI 發表 Model Spec #12〉
作者:ihower5 6 月, 20245 6 月, 2024分類:AIE在〈愛好 AI Engineer 電子報 OpenAI 發表 Model Spec
#12〉發佈留言


愛好 AI ENGINEER 週報  我的 GENERATIVE AI ENGINEER 知識庫和 WAVES IN AI 錄影 #11

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

我是 ihower，這一集整理我個人最近的發表和知識庫，以及推薦 Waves in AI 錄影。

閱讀全文〈愛好 AI Engineer 週報  我的 Generative AI Engineer 知識庫和 Waves in AI 錄影 #11〉
作者:ihower30 4 月, 202424 5 月, 2024分類:AIE在〈愛好 AI Engineer 週報  我的 Generative AI
Engineer 知識庫和 Waves in AI 錄影 #11〉發佈留言


淺談 PROMPT 自動最佳化工具

這是 2024/4/17 我在生成式 AI 小聚做的一場10分鐘短講，介紹幾套 Prompt 自動最佳化的工具和 Papers 發展:

投影片: gamma.app/docs/Prompt–hjhqmaqlpqtcfxo

以下是所有引用到的內容連結:

 * 前言 paper: arxiv.org/abs/2402.10949
 * APE
   * paper: arxiv.org/abs/2211.01910
   * code: github.com/keirp/automatic_prompt_engineer
 * gpt-prompt-engineer
   * github.com/mshumer/gpt-prompt-engineer
   * 我的修改版本: drive.google.com/drive/folders/1ombR5ET7akm2EDx9F0bFRKbeAgiL-PBk
 * APO
   * paper: arxiv.org/abs/2305.03495
   * code: github.com/microsoft/LMOps/tree/main/prompt_optimization
 * OPRO
   * paper: arxiv.org/abs/2309.03409
   * code: github.com/google-deepmind/opro
 * PE2
   * paper: arxiv.org/abs/2311.05661
 * AutoPrompt
   * paper: github.com/Eladlev/AutoPrompt
   * code: github.com/Eladlev/AutoPrompt
   * Argilla: docs.argilla.io/en/latest/index.html
 * DSPy
   * code: github.com/stanfordnlp/dspy
   * Intro to DSPy 文章:
     towardsdatascience.com/intro-to-dspy-goodbye-prompting-hello-programming-4ca1c6ce3eb9
 * Claude 3 的 metaprompt
   * docs.anthropic.com/claude/docs/helper-metaprompt-experimental

作者:ihower17 4 月, 202423 4 月, 2024分類:LLM在〈淺談 Prompt 自動最佳化工具〉中有 1 則留言


[繁體中文評測] 各家 LLM TOKENIZER 分詞器

Updated(2024/5/14) 更新上 GPT-4o (o200k_base)，這次 OpenAI 有更換 Tokenizer 進步非常非常多。

Updated(2024/4/21) 更新上 Llama 3，這次 Meta 有更換 Tokenizer 進步非常非常多。

話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的，輸入的內容都得轉成 Tokens 序列來運算，輸出則轉回來。

但是呢，其實每一家用的 Tokenizer (分詞器)都不太一樣，因此相同的文本，拆出來的 tokens
數量是不一樣的。因此很多模型的推論成本比較、Context window 長度限制比較等等，實際應用時都不太準確，特別是非英文的語言，各家差異非常大。

一樣的文本，若能用比較少的 Tokens 數來運算，推論速度會比較快、成本(運算資源)也會比較划算，畢竟計價也是用 tokens 數計算的，先予敘明。

具體會差多少，以下是我的測試結果，使用了繁體中文約八萬多個字(政府報告和管理學講義)做出來的實驗結果。另外也做了英文也是約八萬字(兩篇部落格文章)。

閱讀全文〈[繁體中文評測] 各家 LLM Tokenizer 分詞器〉
作者:ihower11 4 月, 202414 5 月, 2024分類:LLM在〈[繁體中文評測] 各家 LLM Tokenizer 分詞器〉發佈留言


俄羅斯套娃(MATRYOSHKA)嵌入模型簡介

話說 OpenAI 今年一月新出的 Embeddings 模型(將文字轉成語意向量)，可以透過傳參數指定不同的維度大小，這背後使用的是一種叫做
Matryoshka 俄羅斯套娃的嵌入表示方式，非常酷。

Paper: Matryoshka Representation Learning

這酷的地方在於，你可以丟棄任意長度的尾部，僅使用開頭也是有效的!

例如呼叫 text-embedding-3-large 模型得到 3072 高維度的向量後，可把後面 2048 個數字丟棄，只使用前面 1024 個也是有效的。

只要做個向量正規化(normalization)調整一下長度單位， 就會得到跟傳 1024 維度參數得到的向量數字一模一樣!

這有什麼用呢? 可以做多層檢索加速，準備階段只需要呼叫模型算一次高維度，你就可以自己縮小到不同維度存下來。

向量搜索時，先用低維度例如 256 維度初步篩選一次(可用ANN加速)，這會比較快因為維度低。

接著再用 3072 高維度來排序過濾第二次(可用KNN更準)，這樣就精準啦。

作者:ihower8 4 月, 202419 4 月, 2024分類:LLM在〈俄羅斯套娃(Matryoshka)嵌入模型簡介〉發佈留言


愛好 AI ENGINEER 週報  生成式 AI 科普和使用心得 #10

歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這

我是 ihower，這一期推薦一些科普性質、工程師使用 ChatGPT 的心得文章。

生成式人工智慧概述 影片

片長18分鐘的生成式 AI 概論，介紹了 GenAI 是什麼、基本原理、AI 時代的心態等等，是非常棒的入門科普影片，插圖動畫非常讚，推薦給所有人。

作者 Henrik Kniberg 也蠻眼熟的，十幾年前看過他的 Scrum and XP from the Trenches 書，是入門 Scrum 和 XP
非常棒的入門書。

閱讀全文〈愛好 AI Engineer 週報  生成式 AI 科普和使用心得 #10〉
作者:ihower2 4 月, 202410 4 月, 2024分類:AIE在〈愛好 AI Engineer 週報  生成式 AI 科普和使用心得
#10〉發佈留言


文章導覽

1 2 3 ... 84 較舊的文章
較舊的文章


近期留言

 * 「Bob Chao」於〈淺談 Prompt 自動最佳化工具〉發佈留言
 * 「線上文章閱讀 – 你的用戶長什麼樣子？用 User Story 勾勒出產品樣貌 by Kevin Shu / 束凱文 –
   LifeJourney」於〈什麼是 User Story?〉發佈留言
 * 「Jack Cherngk」於〈MacBook Pro 2023 安裝軟體〉發佈留言
 * 「Gmi」於〈Rails 老司機帶飛 投影片〉發佈留言
 * 「EJ Lin」於〈Rails 老司機帶飛 投影片〉發佈留言
 * 「ihower」於〈非線性成長 讀書摘要〉發佈留言


近期文章

 * 愛好 AI Engineer 電子報 OpenAI 發表 Model Spec #12
 * 愛好 AI Engineer 週報  我的 Generative AI Engineer 知識庫和 Waves in AI 錄影 #11
 * 淺談 Prompt 自動最佳化工具
 * [繁體中文評測] 各家 LLM Tokenizer 分詞器
 * 俄羅斯套娃(Matryoshka)嵌入模型簡介
 * 愛好 AI Engineer 週報  生成式 AI 科普和使用心得 #10
 * 愛好 AI Engineer 週報  各家新模型和觀察重點 #09
 * 愛好 AI Engineer 週報  Product Hunt 2023 年度最佳產品 #08
 * 愛好 AI Engineer 週報  GPT-4V 影像解讀 評測特輯 #07
 * 愛好 AI Engineer 週報  Claude 的 Prompting 實驗 #06

搜尋
搜尋


彙整

彙整 選取月份 2024 年 6 月  (1) 2024 年 4 月  (5) 2024 年 3 月  (1) 2024 年 2 月  (1) 2024 年 1
月  (2) 2023 年 12 月  (4) 2023 年 11 月  (1) 2023 年 10 月  (3) 2023 年 8 月  (1) 2023 年
7 月  (1) 2023 年 6 月  (1) 2023 年 5 月  (2) 2023 年 3 月  (2) 2023 年 1 月  (6) 2022 年
11 月  (2) 2022 年 9 月  (2) 2022 年 8 月  (2) 2022 年 7 月  (2) 2022 年 4 月  (1) 2022 年
2 月  (3) 2022 年 1 月  (1) 2021 年 10 月  (1) 2021 年 9 月  (2) 2021 年 7 月  (1) 2021 年
6 月  (2) 2021 年 4 月  (1) 2021 年 3 月  (1) 2021 年 1 月  (1) 2020 年 10 月  (2) 2020 年
7 月  (2) 2020 年 4 月  (1) 2020 年 1 月  (1) 2019 年 10 月  (1) 2019 年 6 月  (2) 2019 年
3 月  (1) 2019 年 1 月  (1) 2018 年 10 月  (1) 2018 年 9 月  (1) 2018 年 7 月  (1) 2018 年
4 月  (1) 2018 年 1 月  (1) 2017 年 12 月  (1) 2017 年 11 月  (1) 2017 年 10 月  (2) 2017
年 9 月  (1) 2017 年 6 月  (2) 2017 年 5 月  (1) 2017 年 4 月  (1) 2017 年 2 月  (1) 2016
年 10 月  (1) 2016 年 9 月  (6) 2016 年 8 月  (1) 2016 年 7 月  (3) 2016 年 2 月  (1) 2015
年 12 月  (2) 2015 年 8 月  (1) 2015 年 7 月  (1) 2015 年 4 月  (1) 2015 年 3 月  (1) 2015
年 2 月  (1) 2015 年 1 月  (2) 2014 年 12 月  (1) 2014 年 10 月  (3) 2014 年 9 月  (2)
2014 年 8 月  (1) 2014 年 7 月  (3) 2014 年 6 月  (1) 2014 年 3 月  (1) 2013 年 8 月  (4)
2013 年 6 月  (1) 2013 年 4 月  (1) 2013 年 2 月  (1) 2013 年 1 月  (2) 2012 年 12 月  (3)
2012 年 9 月  (5) 2012 年 7 月  (4) 2012 年 5 月  (2) 2012 年 4 月  (2) 2012 年 3 月  (1)
2012 年 2 月  (2) 2011 年 11 月  (1) 2011 年 9 月  (1) 2011 年 7 月  (3) 2011 年 6 月  (2)
2011 年 5 月  (5) 2011 年 4 月  (1) 2011 年 3 月  (3) 2011 年 2 月  (4) 2010 年 12 月  (3)
2010 年 11 月  (2) 2010 年 10 月  (3) 2010 年 9 月  (1) 2010 年 8 月  (4) 2010 年 7 月
 (1) 2010 年 6 月  (2) 2010 年 5 月  (7) 2010 年 4 月  (2) 2010 年 3 月  (7) 2010 年 2 月
 (7) 2010 年 1 月  (4) 2009 年 12 月  (9) 2009 年 11 月  (5) 2009 年 10 月  (4) 2009 年 9
月  (3) 2009 年 8 月  (3) 2009 年 6 月  (2) 2009 年 5 月  (2) 2009 年 4 月  (5) 2009 年 3
月  (2) 2009 年 2 月  (4) 2009 年 1 月  (6) 2008 年 12 月  (4) 2008 年 11 月  (1) 2008 年
10 月  (5) 2008 年 9 月  (3) 2008 年 8 月  (3) 2008 年 7 月  (2) 2008 年 6 月  (3) 2008 年
5 月  (5) 2008 年 4 月  (3) 2008 年 3 月  (4) 2008 年 2 月  (8) 2008 年 1 月  (2) 2007 年
12 月  (2) 2007 年 11 月  (1) 2007 年 10 月  (1) 2007 年 8 月  (1) 2007 年 7 月  (6) 2007
年 6 月  (1) 2007 年 5 月  (2) 2007 年 4 月  (8) 2007 年 3 月  (9) 2007 年 2 月  (5) 2007
年 1 月  (8) 2006 年 12 月  (14) 2006 年 11 月  (18) 2006 年 10 月  (15) 2006 年 9 月  (8)
2006 年 8 月  (7) 2006 年 7 月  (9) 2006 年 6 月  (3) 2006 年 5 月  (16) 2006 年 4 月
 (17) 2006 年 3 月  (18) 2006 年 2 月  (18) 2006 年 1 月  (11) 2005 年 12 月  (8) 2005 年
11 月  (2) 2005 年 10 月  (1)

RSS Feed

ihower { blogging }, 本站採用 WordPress 建置
 

載入迴響中...

 

發表迴響…
電子郵件 (必要) 名稱 (必要) 網站