Kui kaua lasta AI-sessioonil kasvada, enne kui restardid?

1,98×

nii palju maksab sama töö sessioonis, mis kasvas üle 350 000 tokeni, võrreldes sellega, mis lõpetati 200 000 juures.

Kulu tehtud töö kohta, sessiooni tipp-konteksti järgi

1. 50–100k1,05×
2. 100–200k1,00×optimum
3. 200–350k1,45×
4. üle 350k1,98×

Iga tulp on terve sessiooni kogukulu, jagatud selle sessiooni tegeliku väljundiga. Nii ei loe mitte see, kui palju üks käik maksis, vaid kui palju maksis ära tehtud töö.

Miks — kaks vastandlikku maksu

Kuluosade jaotus seletab kõik. Lühikeses sessioonis läheb raha vahemälu ehitamisele. Pikas sessioonis loetakse kogu vestlus vahemälust uuesti igal käigul — ja väljundile jääb aina vähem.

• vahemälu ehitamine
• vahemälu lugemine
• väljund ehk tehtud töö

1. alla 25k96133% töödvahemälu ehitamine 96, vahemälu lugemine 1, väljund ehk tehtud töö 3
2. 50–100k23552222% töödvahemälu ehitamine 23, vahemälu lugemine 55, väljund ehk tehtud töö 22
3. 100–150k12672020% töödvahemälu ehitamine 12, vahemälu lugemine 67, väljund ehk tehtud töö 20
4. 250–400k58699% töödvahemälu ehitamine 5, vahemälu lugemine 86, väljund ehk tehtud töö 9
5. üle 400k48977% töödvahemälu ehitamine 4, vahemälu lugemine 89, väljund ehk tehtud töö 7

Värskes sessioonis on 96% kulust vahemälu ehitamine — see on restardi-maks, mis tasub end ära alles mõnekümne käiguga. Suures sessioonis on 89% kulust vana konteksti taaslugemine ja tegelikule tööle kulub 7%. Minu kogukulust läks 64% ainult vahemälu lugemisele.

Numbrid

Mida ma sellest ise teen

• →Lasen sessioonil kasvada 150–200k tokenini, siis restardin — loomulikul ülesandepiiril, mitte keset tööd.
• ✕Ei restardi väikese asja jaoks. Alla ~30 käigu ei jõua vahemälu ehitus end ära tasuda ja teed kallimaks, mitte odavamaks.
• →Panin konteksti suuruse armatuurlauale nähtavale, et ei peaks seda arvama. Number tuleb transkripti viimasest cache_read väljast.

Üks täpsustus: tellimuse peal ei ole see rahaline arve, vaid kiiruspiirangu kulu. Restart ei lähtesta 5-tunnist akent — see on kellapõhine. Aga väiksem kulu käigu kohta tähendab, et samasse aknasse mahub rohkem tööd.