Jev(只做決策的校準模型)+ Treg(便宜的資料 API)如何讓商業自動化的可信度與單位經濟同時成立
文字解析 · 1 支影片 · 產生於 2026-10-01 00:54
章節(9)
1. Outline
- 起點 · Jev + Treg is a crazy combo for automation...
從「強模型為何不敢用在商業流程」出發,介紹 Jev 的能力邊界與 API 形狀,再用三條真實管線示範 Jev + Treg 如何改變自動化的單位經濟。
2. YouTuber 的思維推導
Jev + Treg is a crazy combo for automation...
AI Jason · 14m29s · 字幕 en · vision=on (input 指定 vision=true;影片是螢幕錄影,比較表、API 呼叫範例、信心分數決策樹與成本對照都在畫面上,字幕只說「like this」。) · YouTube
預估 vs 實際耗時
| 階段 | 預估 | 實際 |
|---|---|---|
| fetch | 6s | 2s |
| segment | 59s | 4m00s |
| shot | 37s | 3s |
| analyze | 6m15s | 9m22s |
| render | 5s | – |
作者(AI Jason)從一個矛盾出發:最新的大模型能解奧林匹亞等級的數學、寫程式,卻沒有公司敢讓它全自動處理牽涉帳務的客服單。他把原因歸結為兩點——模型過度自信、沒有校準過的信心值,以及商業流程量大、成本與速度必須划得來——並指出兩者都是 RLHF 這種訓練方式帶出來的副作用。接著他介紹 Jev:一個用「reinforcement learning for calibrated decisions」訓練、只在給定選項中做決策、不生成文字的模型,因為不逐 token 生成,所以比最便宜的大模型快 5–7 倍、便宜 5 倍,而且輸出的是整個選項的機率分佈。
有了信心分數,就能在模型外面寫業務邏輯(門檻、分流、人工審查),這正好補上第一個弱點;快與便宜補上第二個弱點。他用 API 的形狀(state + 三種問題)與引導技巧(描述、範例)說明怎麼把商業判斷「翻譯」成 Jev 能答的選擇題,再把自己公司真正在跑的三條管線(註冊詐騙偵測與升售分類、LinkedIn 買家意圖 lead 篩選、Twitter 爆紅貼文 organic/paid 篩選)攤開來,說明 Treg 這個「資料與工具的 open router」負責便宜地把外部訊號抓進來、Jev 負責便宜地做判斷,兩者一起讓原本單位經濟不成立的自動化變得划算。結論是:Jev 開了很多以前做不到的自動化機會,Jev + Treg 則從根本改變了這類自動化流程的單位經濟。
推理鏈:每段留給下一段的線索
每一列是一段,箭頭後的字是這段留給下一段的線索。點段落標題跳到該段。
- 問題:強模型為何做不了商業自動化 → 既然兩個弱點都來自 RLHF 這種「為聊天助理而訓練」的方式,那有沒有一種用不同目標訓練、專門做決策的模型?作者接著介紹 Jev 的訓練方式與能力邊界。
- Jev 是什麼:只做決策、不生成文字 → Jev 回傳的不是單一答案,而是每個選項的機率分佈——這個「附帶信心分數」的特性到底能解鎖什麼以前做不到的用途?作者接著舉例。
- 機率分佈解鎖的新用途 → 這些用途聽起來都是「給 Jev 一組選項、它回機率」,那實際上 API 要怎麼呼叫、問題要怎麼寫成 Jev 能答的形式?作者接著拆 API 的形狀。
- 怎麼呼叫:state +三種問題 → 三種問題都回機率,作者反覆說「拿到機率之後可以在上面寫業務邏輯」——具體要怎麼寫?門檻怎麼訂?又怎麼引導 Jev 往你要的方向判斷?作者接著給出決策樹與引導技巧。
- 用信心分數寫決策樹、用描述引導答案 → 到這裡 Jev 的用法已經齊了:state、三種問題、門檻、rubric。但這些都是「判斷」——判斷要有東西可判斷,那些註冊資料、貼文、公司資訊要從哪裡便宜地抓進來?作者接著用自己公司的真實案例引入第二個角色 Treg。
- 案例一:詐騙偵測到註冊分析(引入 Treg) → 作者說這種工作流「在 Jev 與 Treg 出現前單位經濟就不成立」——那除了對內的註冊分析,同樣的「Treg 抓訊號 → Jev 篩選」還能往外用在哪?作者接著講第二個案例:找買家意圖。
- 案例二:買家意圖的 lead 篩選 → 作者把團隊的工作流放在 treg.to/jev 並邀請觀眾分享自己的流程——但他還有一個更貼近自己日常痛點的案例:每週看到的百萬曝光產品發表,哪些是真的?接著講第三條管線。
- 案例三:篩掉付費灌流量的爆紅貼文 → 三條管線都示範完,作者回到開頭的兩個弱點(信心與單位經濟)收尾,並交代資源在哪。
- 總結:改變自動化的單位經濟
3. 逐段說明
Jev + Treg is a crazy combo for automation...
1. 問題:強模型為何做不了商業自動化 0:00–0:58
作者從 Jev 模型在 Twitter 上爆紅切入,提出它要解的問題:最新的大模型能解奧林匹亞數學題,卻沒有公司敢讓它全自動處理牽涉帳務的客服單。原因有二:一是過度自信(agent 一直說 you're absolutely right 但其實錯了),沒有校準過的信心值,而商業流程要求近乎 100% 準確;二是商業流程量大,成本與速度必須划得來。這兩個弱點都是 RLHF 訓練方式帶出來的。
推理因為 Jev 剛在 Twitter 上爆紅、觀眾會想知道它到底解什麼問題,所以作者先不談模型本身,而是把矛盾攤開:模型解得了奧林匹亞數學卻不敢讓它處理帳務客服。他把「不敢」拆成兩個可分析的原因——一是判斷時沒有校準過的信心(overconfidence),二是成本與速度撐不起大量流程——再把兩者都歸因到訓練方式(RLHF),為下一段「換一種訓練目標」的模型鋪路。
- C商業流程要的不只是答對率,而是模型答錯時自己知道不確定(校準)→ 畫地圖
- R大模型做不了商業自動化的兩個原因:過度自信、成本與速度→ 存+回想
- ARLHF 學到「講得像很確定」就像人類偏好篤定的回答→ 批判類比
AI 補充作者這裡跳過一步:為什麼 RLHF 會導致過度自信?RLHF 是用人類在聊天裡的偏好回饋去微調模型,而人類通常偏好肯定、流暢、有把握的回答,所以模型學會「講得像很確定」,卻沒有學會「在不確定時把機率壓低」——這就是 calibration(校準)沒做好。另外要注意,作者把「準確率」與「校準」分開看:商業流程要的不只是答對率高,更要在答錯時模型自己知道不確定,這樣才能把那些案例交給人。第二個原因(成本與速度)跟生成式模型逐 token 輸出的方式有關,這點作者留到下一段才展開。
術語:RLHF (Reinforcement Learning from Human Feedback)
2. Jev 是什麼:只做決策、不生成文字 0:58–2:22
一般大模型走 RLHF,Jev 走的是「reinforcement learning for calibrated decisions」:專為可靠、高品質決策設計,而不是創作或協助人類。它只能在給定選項中挑,不能自創選項、不能輸出文字、不能寫程式、不能逐步推理。因此它不是逐 token 預測,而是一次輸出所有選項的機率。作者實測比最便宜的智慧模型快 5–7 倍、便宜 5 倍;限制是 context window 只有 32K,太長要自己做 map-reduce。

推理因為上一段把弱點歸因到訓練目標,所以作者先對比兩種訓練方式:一般模型走 RLHF,Jev 走「reinforcement learning for calibrated decisions」,目標是可靠的決策而不是創意或協助人類。接著他用四個「不能」(不能自創選項、不能輸出文字、不能寫程式、不能逐步推理)畫出能力邊界,再從邊界推出好處:不逐 token 生成,所以一次輸出所有選項的機率、又快又便宜;他用自己做的對照表佐證(比最便宜的智慧模型快 5–7 倍、便宜 5 倍),並誠實列出限制(32K context window),最後點出「輸出的是機率分佈」——這是下一段所有新用途的來源。
- CJev 是只在給定選項中做決策、不生成文字、一次回所有選項機率的模型→ 畫地圖
- RJev 的四個「不能」→ 存+回想
- RJev 的 context window 是 32K→ 存+回想
- EJev 比 GPT-5.6 Luna 快 5.9–7.0 倍;成本在 2k 輸入只便宜 1.7 倍,8k 以上才 5.7 倍→ 存+演練
- P輸入超過 32K 時用 map-reduce 拆問→ 練習
AI 補充作者說「所以它快」,但沒解釋為什麼「不生成文字」會帶來速度。關鍵在自回歸生成:一般大模型每產生一個 token 都要跑一次完整的前向傳播,回答越長越慢、越貴;Jev 只需要對整個輸入跑一次,然後對 N 個選項各算一個分數(可以理解成一次分類),所以延遲幾乎跟輸出長度無關。從畫面上的對照表可以看到更精細的數字:Jev 每次呼叫約 0.39–0.51 秒,對照 GPT-5.6 Luna 約 2.35–2.74 秒,速度倍數 5.9–7.0 倍符合作者說法;但成本倍數在 2k 輸入時只有 1.7 倍,要到 8k 以上才穩定在 5.7–5.8 倍——「便宜 5 倍」在短輸入時是高估的。另外 32K 的限制不是小事:許多商業文件(長對話紀錄、整頁 DOM)都超過 32K,作者提到的 map-reduce 意思是先把長輸入切塊各問一次、再把各塊結果合起來再問一次。
術語:token-by-token generation
「quite consistently Jeff is around five to seven times faster and five times cheaper」
3. 機率分佈解鎖的新用途 2:22–4:46
每個答案都附信心分數,所以終於可以圍著它寫商業邏輯、讓模型全自動運作。作者列出以前做不到的用途:即時決策的遊戲、直播監控通話並即時分類詐騙/不滿;瀏覽器與電腦操作——DOM 很雜亂,大模型不是點錯就是吃光 context,Browser Use 已整合 Jev:送任務、互動歷史與 DOM 元素清單,Jev 只預測下一步是 click 還是 type、對哪個元素,再交給小型語言模型生成文字;還有 SEO 內部連結對映,Claude Opus 5 要幾小時,Jev 掃 500 多頁不到 50 秒。


推理因為上一段建立了 Jev 的三個特性(校準的信心分數、極快、極便宜),所以作者這段依序用每個特性推出一類用途:信心分數讓你能圍著它寫業務邏輯,模型才第一次可以全自動運作;「快」解鎖需要即時決策的場景(玩遊戲、直播監控通話即時分類詐騙/不滿);「選項有限+快」解鎖瀏覽器與電腦操作——DOM 很雜亂,大模型不是點錯就是吃光 context,Browser Use 把 Jev 放進流程,只讓它決定「下一步是 click 還是 type、對哪個元素」,文字生成交給小型語言模型;「便宜」解鎖大量資料的批次任務,例如 SEO 內部連結對映,Claude Opus 5 要幾小時、Jev 掃 500 多頁不到 50 秒。每個例子都是「Jev 做選擇、別的東西做生成」的分工。
- C每個答案附機率,你才能圍著它寫業務邏輯、讓模型全自動運作→ 畫地圖
- C把「決定」跟「生成」拆開:Jev 選、語言模型寫→ 畫地圖
- EBrowser Use 讓 Jev 只決定 click/type 與目標元素,文字交給小模型→ 存+演練
- E內部連結對映:Jev 每次呼叫 302 tokens、Opus 5 4,483 tokens;500 頁 < 50 秒→ 存+演練
AI 補充作者說 DOM「很雜亂」但沒讓人看到有多雜亂;畫面上他打開一個 Airbnb 訂房頁的 DevTools,可見一頁的 HTML 是幾十個 async script、巢狀 div 與長 class 名,把它整份塞給大模型,一頁就可能吃掉大半個 context window,而且模型要在幾百個候選節點裡「生成」正確的 selector,錯一個字就點錯。Jev 的做法把它改成分類問題:候選元素清單就是選項,模型只要回「哪一個」的機率,所以既不會生成不存在的 selector,也不需要長輸出。這正是作者分工的核心:把「決定」跟「生成」拆開,決定交給 Jev(便宜、校準、快),生成才交給語言模型。內部連結對映那個 demo 畫面也值得看:兩邊同時起跑,Jev 一側已讀 76 頁、放了 1,201 個連結、每次呼叫約 302 個 token,Opus 5 一側只讀 6 頁、每次呼叫 4,483 個 token——差距不只是模型速度,而是 Jev 不需要把推理過程寫出來,每次呼叫本身就短。注意「Opus 5 要幾小時」是作者的說法,畫面上是模擬跑(simulated run),實際時間會依實作而異。
術語:DOM (Document Object Model)
4. 怎麼呼叫:state +三種問題 4:46–6:31
呼叫 Jev 很像大模型的 structured output:傳一個 prompt(Jev 叫它 state)加一組 questions。以客服單為例:問題是「哪個部門處理」,附上決策指引與選項清單,每個選項可加描述,Jev 回每個選項的機率。問題有三種:多選題(部門路由)、true/false(每個使用者輸入先問「這是 jailbreak 嗎」,拿到機率再寫業務邏輯)、score(給貼文一個 organic 分數,選項從「clearly manipulated」到「clearly organic」,每加一個選項 index 加一,最後得到一個分數)。


推理因為上一段的用途都需要把任務轉成選擇題,所以作者這段從讀者熟悉的東西類比進來:呼叫 Jev 很像大模型的 structured output——傳一段 prompt(Jev 叫它 state)加一組 questions。他先用客服單當範例把請求與回應的形狀走一遍(問題「哪個部門處理」、指引、選項清單、每個選項可加描述、回傳每個選項的機率),再把問題歸納成三種型別:多選(部門路由)、true/false(每個使用者輸入先問「這是 jailbreak 嗎」拿機率再寫業務邏輯)、score(給貼文一個 organic 分數,選項從 clearly manipulated 排到 clearly organic,每多一個選項 index 加一,最後得到一個分數)。三種型別剛好對應上一段三類用途:路由、守門、排序。
- C呼叫 Jev = 一份 state + 一組 question;每題有 type、instructions、criteria→ 畫地圖
- R三種問題型別與典型用途→ 存+回想
- A呼叫 Jev 很像大模型的 structured output→ 批判類比
- Ascore 題是把有序選項當刻度做機率加權平均→ 批判類比
- P把一個商業判斷寫成 Jev question→ 練習
AI 補充畫面上的 JSON 把作者口頭省略的細節補齊了:一個 question 是一個具名的鍵(例如 department),裡面有 type(choice/score/true-false)、instructions(給模型的判斷指引)與 criteria(選項);choice 型的 criteria 是「選項名 → 描述」的字典,score 型則是有序陣列,每個選項有 summary 與 signals(判斷特徵)。這個 signals 欄位很重要但作者沒講:它就是你把領域知識塞進去的地方——「rates far off、bot replies」告訴模型什麼叫 clearly manipulated。另外 score 型「index 加一、最後給一個分數」的意思是:Jev 仍然對四個選項各回機率,最終分數是把選項當 0、1、2、3 的刻度做機率加權平均,所以它是一個連續值,不是四選一;順序因此有意義,選項必須從一端排到另一端。畫面右側也顯示一次呼叫只花 0.38 秒。true/false 本質上是只有兩個選項的 choice,作者分開講是因為它的典型用法不同——每個輸入都問一次、拿機率當守門門檻。
術語:question (Jev)true/false questionscore questionjailbreak / prompt injectionorganic vs paid engagement
5. 用信心分數寫決策樹、用描述引導答案 6:31–7:58
信心分數是 Jev 的關鍵特色,讓你在上面蓋自己的業務邏輯提高可靠度。以 prompt injection 為例:危險分數 > 70% 自動擋、35–70% 交人工審、其餘正常放行。引導技巧:每個問題可只給簡短描述,也可給很詳細的描述,選項裡還能放範例,接近 few-shot prompting。同一張「匯出按鈕重複扣款、發票錯誤」的單子,指引只寫「哪個團隊處理」會路由到 billing;加上「路由給能修根因的人」就會轉到 technical。


推理因為上一段三種問題都只回機率,所以作者先示範怎麼把機率變成動作:以 prompt injection 為例畫一棵決策樹——危險分數 > 70% 自動擋、35–70% 交人工審、其餘照常放行,說明「圍著信心分數寫業務邏輯」的具體形狀是分層門檻,把「機器很確定」「機器不確定」「機器確定沒事」三種情況分派給不同的處理者。接著他處理第二個問題:怎麼讓 Jev 答得更準、更貼近你的意圖——每個問題可以只給簡短描述,也可以給很詳細的描述,選項裡還能放範例,接近 few-shot prompting。他用同一張「匯出按鈕重複扣款、發票錯誤」的客服單證明指引會改變答案:只寫「哪個團隊處理」會路由到 billing,加上「路由給能修根因的人」就轉到 technical——選項描述與指引就是你把公司自己的判斷標準交給 Jev 的地方。
- C分層門檻:機器很確定 → 自動;不確定 → 交人;確定沒事 → 放行→ 畫地圖
- E門檻 0.70/0.35 來自 TypeSafe cookbook 的 strict policy(jev-1.12),不是通用常數→ 存+演練
- P建信心分數決策樹並用自己的資料校門檻→ 練習
- C選項當 rubric:what/not_for/examples,把分派 SOP 寫進選項而不是長 prompt→ 畫地圖
- E同一張重複扣款單:指引「哪個團隊處理」→ billing;「路由給能修根因的人」→ technical→ 存+演練
- P把每個選項寫成 what / not_for / examples→ 練習
AI 補充畫面上的決策樹比口頭版更完整,值得補三點。第一,它不是對單一「jailbreak」問,而是一次呼叫同時回多個危害維度(jailbreak、harmful、medical、self_harm)加一個 severity 分數——這就是上一段說的「同一份 state 問多個 question」;樹的第一層是「任何一個危害 ≥ 0.70?」,是的話走那個危害自己的動作(block/review/support),且 severity ≥ 2 會把 review 升級成 block;否則再問「任何一個 ≥ 0.35?」→ review,否則 pass。第二,門檻 0.70/0.35 不是通用常數,畫面註明是「TypeSafe cookbook 的 strict policy、jev-1.12」——你應該用自己的資料回頭校驗:把一批已知標籤的案例跑過,看每個門檻區間的實際錯誤率,再依人工審查的容量調整灰色地帶的寬度。第三,引導技巧的畫面標題是 OPTIONS AS RUBRICS:每個選項有 what(涵蓋什麼)、not_for(不該歸這裡的邊界案例)、examples(範例句),其中 not_for 是最有力的欄位——「billing 不處理 bug 造成的錯誤扣款」正是讓那張重複扣款的單子從 billing 轉到 technical 的關鍵,因為它直接描述了兩個選項的交界。這等於把公司內部的分派 SOP 寫進選項,而不是寫進一段長 prompt。
術語:decision tree on confidencehuman-in-the-looprubric (option description)
6. 案例一:詐騙偵測到註冊分析(引入 Treg) 7:58–10:23
作者團隊有兩個產品:Super Design(vibe design 平台)與 Treg(資料與工具的 open router,接數千個 API),兩者常被 bot 攻擊,甚至在 log 看到 prompt injection。詐騙者一直換 domain,程式規則抓不到,於是每 15–30 分鐘抓一批註冊者與產品使用量丟給 Jev 分類詐騙機率,超過門檻自動封鎖。Treg 整合 3,000 多個資料點(人與公司 enrichment、buying signal 等),只收使用量、0% 加價,同樣 enrich 290 人只要 $1.49 對 Clay 約 $10.3,便宜 85%。後來把詐騙偵測擴成完整的註冊分析:Treg 驗證 email 並 enrich → 合併產品使用量 → Jev 分類成詐騙/可升售/聯盟或網紅,一天約 $1 掃數百筆註冊,觸發不同的 outreach 或封鎖。


推理因為前面已經把 Jev 的用法講完,所以作者轉向「真的在生產環境跑的例子」增加說服力。他先交代動機:團隊兩個產品(Super Design、Treg)都常被 bot 攻擊,log 裡甚至看得到 prompt injection;詐騙者一直換 domain,寫死的規則抓不到,所以改成每 15–30 分鐘抓一批註冊者與產品使用量丟給 Jev 算詐騙機率,超過門檻自動封鎖——這就是上一段決策樹的實際版本。接著他順勢引入 Treg:一個接了 3,000 多個資料端點、只收使用量、0% 加價的資料與工具 open router,並用 enrich 290 人 $1.49 對 Clay 約 $10.3 的對照證明它便宜 85%。最後他把兩者合起來推出結論:便宜的判斷(Jev)加便宜的資料(Treg),才讓「把詐騙偵測擴成完整的註冊分析」變得划算——每個註冊先由 Treg 驗證 email 並 enrich,合併使用量丟給 Jev 分類成詐騙/可升售/聯盟或網紅,一天約 $1 就能掃數百筆,觸發不同的 outreach、站內支援或封鎖。
- C單位經濟:判斷已便宜到不是瓶頸,資料的價格才決定管線划不划算→ 畫地圖
- E註冊分析管線每步單價:verify $0.0015、enrich $0.0026–0.03、Jev $0.00008→ 存+演練
- ETreg vs Clay:290 人 $1.49 vs $10.3(便宜 85%);precision 91.3% vs 93.6% 略輸→ 存+演練
- A寫死規則抓特徵、Jev 看整體樣貌,所以換 domain 騙不過 Jev→ 批判類比
- RTreg:3,000 多個資料端點、只收使用量、0% 加價→ 存+回想
- R詐騙偵測每 15–30 分鐘跑一批→ 存+回想
AI 補充三個作者沒展開、但畫面有的細節。第一,管線的單價:畫面寫 email → treg verify($0.0015)→ treg person enrich($0.0026–$0.03)→ jev($0.00008)→ {segment, is_fraud, upsell_value}。可以看到 Jev 那一步的成本幾乎可以忽略,整條管線的錢都花在資料抓取上——這解釋了為什麼作者強調「Jev 加 Treg」而不只是 Jev:判斷已經便宜到不是瓶頸,資料的價格才決定單位經濟成不成立。第二,作者說 Treg「準確度相近甚至更好」,但他自己貼出的對照表更微妙:找到人數 289 vs 280、地址精確比對 90.4% vs 89.7% 是 Treg 略勝,但 precision 91.3% vs 93.6% 是 Clay 略勝,所以「差不多」成立,「更好」要看你看哪個指標;真正拉開差距的是成本(每列 $0.0051 vs $0.0354)與延遲(命中中位數 0.44 s vs 11.2 s)。第三,為什麼寫死規則抓不到詐騙:規則是對「特徵」寫的(某個 domain、某種 email 格式),攻擊者改特徵就繞過;Jev 是對「整體樣貌」判斷(註冊資訊加產品使用行為),改單一特徵不容易騙過,而且改判斷標準只要改 rubric,不用改程式。另外「Jev 輸出 segment、is_fraud、upsell_value」正是上一段「同一份 state 問多個 question」的實際用法:一次呼叫同時得到分類與兩個分數。
術語:data enrichmentusage-based pricing
「track is achieving similar even better accuracy」
7. 案例二:買家意圖的 lead 篩選 10:23–11:53
這種工作流在 Jev 與 Treg 出現前,單位經濟就不成立。第二個案例找高買意圖的 lead:用 Treg 抓某垂直領域(如 enrichment)的熱門 LinkedIn 貼文,再抓互動、留言的人,因為那些人可能是買家;全部丟給 Jev 做資格審查、評分、分 persona 與角色,只有排名前段的才進正式 enrichment 拿聯絡方式。分析 20 篇貼文、近 400 個 lead 幾乎不用錢。作者延伸:公司在 LinkedIn 發職缺配對候選人庫、職缺趨勢等,Treg 對每種訊號都有端點,讓 Claude Code/Codex 寫抓取腳本很容易,創意在於你設計的 filter → qualify → reach 流程。

推理因為上一段已證明「便宜的資料+便宜的判斷」讓對內的註冊分析划得來,所以作者把同一個模式轉向對外的業務開發:先點明這類工作流在 Jev 與 Treg 之前單位經濟不成立,再走一遍第二條管線——用 Treg 抓某個垂直領域(例如 enrichment)的熱門 LinkedIn 貼文,再抓在底下互動、留言的人(會對這主題互動的人可能就是買家),全部丟給 Jev 做資格審查、評分、分 persona 與角色,只有排名前段的才進正式 enrichment 拿聯絡方式;分析 20 篇貼文、近 400 個 lead 幾乎不花錢。接著他把這個案例抽象成一個可複製的模板:Treg 對每種 buying signal 都有端點(LinkedIn 發職缺的公司、職缺趨勢……),叫 Claude Code/Codex 寫抓取腳本很容易,所以真正的創意在你怎麼設計 filter → qualify → reach 的流程。
- Cfilter → qualify → reach:便宜的判斷放前面、貴的資料抓取放後面→ 畫地圖
- ELead 漏斗:20 篇貼文 → 3 篇 on-topic → 80 人 → 56 決策者/24 使用者 → 前 16 找 email 命中 13→ 存+演練
- P設計一條 filter → qualify → reach 管線→ 練習
AI 補充作者說「成本幾乎為零」,畫面上的儀表板把漏斗與每一步的錢都攤開了,值得看清楚。整條管線是 Relevant LinkedIn post commenters → Jev qualify and score → Treg enrich,分析 20 篇貼文、80 個人,Jev 花 $0.00273、Treg 花 $0.280;整批 368 人排名完 Jev 只用 42.8 秒、$0.013,Treg $0.87。漏斗是:Treg search ×4 抓到 20 篇貼文 → Jev「on topic」×20 只留 3 篇 ≥ 0.70 → Treg 抓這 3 篇的 80 個互動者 → Jev rank ×80 分出 56 個 decision maker(fit ≥ 1.5:heads、VPs、founders)、24 個 user(fit ≥ 0.8:growth/ops/data 的 IC)、0 個 not a lead → 只對前 16 個做 Treg email find,找到 13 個(81%)。兩點作者沒明說:第一,Jev 在這裡被用了兩次而且是不同題型——先用 true/false 式的「這篇貼文跟主題有關嗎」把 20 篇濾到 3 篇,避免抓不相關貼文的互動者浪費 Treg 的錢;再用 score 式的 fit 分數對人排序。第二,最貴的一步(email find,每次命中約 $0.02)被放在漏斗最尾端、只對前段做,這就是「Jev 便宜所以先篩、Treg 相對貴所以後抓」的排序原則——花錢的動作永遠放在便宜的判斷之後。另外儀表板的每一個 Jev/Treg 步驟都有 fit 門檻(0.70、1.5、0.8),跟第 5 段的決策樹是同一個想法。
術語:buyer intentlead qualification
8. 案例三:篩掉付費灌流量的爆紅貼文 11:53–13:34
團隊做的工作流已放在 treg.to/jev,每個都附可貼進 Claude Code 的 prompt。第三個案例是 viral 貼文篩選:作者看到有人用 Jev 即時分類 Twitter 上的 AI 生成內容,聯想到自己的需求——身為 AI 創業者,每週看到百萬曝光的產品發表,很多是付費灌流量而非真實訊號。管線:Treg 抓過去 24 小時的熱門貼文、數據與留言 → Jev 篩出跟產品發表有關的 → 分類 organic 或 paid/boosted 並濾掉噪音,每天得到一份值得學習的趨勢清單。同一管線做成免費工具:貼任何 Twitter 貼文連結,就抓貼文、作者檔案、回覆,讓 Jev 判斷 organic 或 paid 並附完整理由。

推理因為上一段已把模式抽象成 filter → qualify → reach,所以作者先交代資源(treg.to/jev 上每條工作流都附一段可貼進 Claude Code 的 prompt,讓 agent 幫你把 Treg 與 Jev 接起來寫腳本),再用第三條管線示範同一模式可以用在「學習」而非業務:他看到有人用 Jev 即時分類 Twitter 上的 AI 生成內容,聯想到自己身為 AI 創業者的需求——每週看到百萬曝光的產品發表,很多是付費灌流量而非真實訊號,他只想學那些真正引起共鳴的。管線是 Treg 抓過去 24 小時的熱門貼文、數據與留言 → Jev 篩出跟產品發表有關的 → 再分類 organic 或 paid/boosted 並濾掉噪音,每天得到一份值得學的趨勢清單。最後他把同一條管線做成免費工具:貼任何 Twitter 貼文連結,抓貼文、作者檔案、回覆,讓 Jev 判斷 organic 或 paid 並附完整理由——這正是第 4 段 score 題那個 organic 分數的實際產品化。
- EViral 篩選用互動率當 state:paid 例子 likes 0.15%、generic 回覆 11%、reposts 0→ 存+演練
- R資源:treg.to/jev 有 recipe 與可貼進 Claude Code/Codex 的 prompt→ 存+回想
AI 補充畫面上的儀表板把「用什麼判斷 organic」講清楚了,這是作者口頭沒說的。管線 Viral X posts & comments → Jev classify,2026-09-19 那次跑:Treg search ×13 抓到 168 篇 24 小時內的貼文、Treg profiles ×162 抓作者的追蹤數/簡介/是否驗證、Treg reply samples ×168 各抓前 20 則回覆,然後 Jev judge ×60、每篇問 5 個問題,60 篇 169 秒判完,Treg $0.105、Jev $0.017。結果 64 篇裡 organic launch 18、paid launch 5、irrelevant 41(其中 8 篇是別種發表、33 篇根本不是發表)。每張卡片底下列的訊號就是 Jev 的 state:各種互動率(likes、replies、reposts、bookmarks、quotes 各佔瀏覽數的百分比)與回覆中「generic」留言的比例——organic 的例子 likes 0.31%、generic 0%,paid 的例子 likes 0.15%、generic 11%、reposts 0.000%;每篇同時得到 organic/paid reach 機率、authenticity 分數(x/3,就是第 4 段那個四格 score 題)與產品類型。兩個可學的設計:第一,先抓回覆樣本再判斷,因為付費灌流量最露餡的地方是留言像機器人、轉推為零;第二,「irrelevant 41」這個桶說明篩噪音跟分類是同一次呼叫裡不同的 question,不用先跑一個模型過濾再跑另一個。要注意這套判斷是啟發式的:互動率低也可能是內容本身不吸引人而非付費,所以工具附上 full reasoning 讓人自己再看一眼是必要的。
術語:viral post screeningengagement rate signalsnoise filtering
9. 總結:改變自動化的單位經濟 13:34–14:29
作者收尾:Jev 開啟了很多以前做不到的自動化機會,而 Jev 加 Treg 一起用,從根本改變了許多自動化流程的單位經濟。資源:treg.to/jev 有團隊使用的 Jev 自動化 recipe 與可貼進 Claude Code/Codex 的 prompt,讓 agent 帶你建適合自己業務的自動化;AI Builder Club 有更深入的逐步 workshop 與 notebook 範例。
推理因為三條真實管線已經把「怎麼用」講完,所以作者回到第 1 段的問題收束:Jev 開啟了很多以前做不到的自動化機會(回應弱點一:有校準的信心分數才敢讓模型全自動),而 Jev 加 Treg 一起用則從根本改變了許多自動化流程的單位經濟(回應弱點二:成本與速度)。接著他給出行動路徑:treg.to/jev 有團隊使用的 Jev 自動化 recipe,可以直接複製,或拿附的 prompt 丟進 Claude Code/Codex 讓 agent 帶你建適合自己業務的版本;想深入技術面則有 AI Builder Club 的逐步 workshop 與 notebook 範例。
AI 補充值得把全片的論證結構整理一下,因為它本身是一個可複製的思考模板:(1) 找出「技術上做得到但沒人敢用/用不起」的任務;(2) 把原因拆成「不可信」與「不划算」兩個獨立變數;(3) 對「不可信」用校準過的機率加分層門檻,讓人只處理灰色地帶;(4) 對「不划算」把每一步的單位成本攤開,把便宜的判斷放前面、貴的資料抓取放後面。三個案例都是同一結構的不同填法。另外要提醒:影片是 Jev 剛發佈幾天內拍的,數字(5–7 倍快、5 倍便宜、32K context、Treg 3,000 多個端點)都是 2026 年 9 月當下的狀態,會隨版本變;自己上線前應該用自己的資料重新量門檻與成本。也要注意作者是 Treg 的開發者,對 Treg 的評價有利益關係——但 Jev 的用法本身不依賴 Treg,任何便宜的資料來源都能接進同一個模式。
術語:automation recipe
4. 總結
作者先把「大模型做不了商業自動化」拆成兩個獨立變數:不可信(RLHF 帶來的過度自信、沒有校準)與不划算(逐 token 生成又慢又貴)。Jev 用 reinforcement learning for calibrated decisions 訓練、只在給定選項中分配機率、不生成文字,因此一次呼叫就能回校準過的信心分數,且比最便宜的大模型快 5–7 倍。這個「附機率的選擇」解鎖了即時決策、瀏覽器操作(Jev 選元素、小模型生文字)與大量批次任務。呼叫形狀是 state + 三種 question(choice/true-false/score),拿到機率後用分層門檻(≥ 0.70 自動、0.35–0.70 交人、其餘放行)寫業務邏輯,並用 what/not_for/examples 的 rubric 把公司的分派標準寫進選項。最後作者用 Treg(3,000+ 資料端點、0% 加價)補上「便宜的資料」這一半:詐騙偵測→註冊分析、買家意圖 lead 篩選、viral 貼文 organic/paid 判斷三條管線都遵守同一模板——便宜的判斷放前面、貴的資料抓取放後面(filter → qualify → reach),讓以前單位經濟不成立的自動化一天只要約 $1。
勘誤總整理
確定錯誤/已過時見仁見智(取決於版本或情境)
| 段落 | 原話(transcript 逐字) | 說明 |
|---|---|---|
| 2. Jev 是什麼:只做決策、不生成文字 1:57 |
「quite consistently Jeff is around five to seven times faster and five times cheaper」 | 「便宜 5 倍」只在較長輸入成立。作者自己畫面上的對照表顯示成本倍數在 2k 輸入時只有 1.7×,8k/16k/32k 才是 5.8×/5.8×/5.7×;速度倍數(約 5.9–7.0×)則各長度都符合。短 prompt 的場景成本優勢會比作者說的小。 依據: 影片 1:55 處作者自製的 Jev vs GPT-5.6 Luna 對照表(frames/s02_115.jpg) |
| 6. 案例一:詐騙偵測到註冊分析(引入 Treg) 9:17 |
「track is achieving similar even better accuracy」 | 「更好」要看指標。作者自己貼出的 Treg vs Clay 對照表:找到人數 289 vs 280、地址精確比對 90.4% vs 89.7% 是 Treg 略勝,但 precision 91.3% vs 93.6% 是 Clay 略勝。「差不多」成立,「更好」不全面;明確拉開差距的是成本(每列 $0.0051 vs $0.0354)與延遲(0.44 s vs 11.2 s)。 依據: 影片 9:15 處作者於 2026-09-16 發表的 Treg vs Clay 對照表(frames/s06_555.jpg) |
5. 推薦三個下一步
1. 往下挖深:校準與門檻怎麼驗
影片直接給了 0.70/0.35,卻沒教怎麼用自己的資料檢查模型的機率是否校準、門檻該怎麼調。
YouTube 搜尋:LLM calibration reliability diagram expected calibration error classifier threshold tuning precision recall human review
2. 往旁邊對照:其他「只分類不生成」的做法
Jev 的核心是把生成問題改成分類問題;對照傳統小型分類器、embedding + logistic regression、以及大模型的 logprobs,才知道 Jev 的定位在哪。
YouTube 搜尋:OpenAI logprobs classification confidence fine-tune small classifier vs LLM text classification embeddings vs LLM zero-shot
3. 往上應用:把 agent 的決策步驟拆給便宜模型
Browser Use 的例子顯示「決定」與「生成」可以拆開;套到自己的 agent 上,哪些步驤其實是選擇題,可以換成便宜且附信心分數的模型。
YouTube 搜尋:Browser Use Jev integration LLM router model cascade cost agent tool selection classifier small model
- 接著看 ←An ex-OpenAI researcher just deleted language from the LLM... · 那站講 Jev 為何刪掉語言、noul/choice/score 與校準信心;這站拿它接 Treg 蓋出三條生產管線
- 相關 —Lauren Tan grokbot workshop 中文字幕 · 都在問「何時敢讓機器全自動」:一個用 verification 與 CI 硬約束,一個用校準機率的分層門檻
- 相關 —Building a Harness with Jev · 同用 Jev 的 state + 三種 question:一站接進 agent harness,一站蓋商業自動化管線與分層門檻