Kijan pou m evalye si asistan AI mwen an bay bon repons an kreyòl?

Question

Chak fwa mwen chanje enstriksyon (prompt) oswa modèl la, mwen pa konnen si repons yo vin pi bon oswa pi mal. Kijan pou m mezire sa?

Accepted Answer

Ou bezwen yon **ansanm tès (eval set)**, tankou tès inite pou kòd, men pou AI a.

**1. Kreye ansanm tès la**
- 50 a 100 **kesyon reyèl** itilizatè yo te poze (retire done pèsonèl yo), an kreyòl, jan yo ekri yo.
- Pou chak kesyon, ekri sa yon **bon repons** dwe genyen (pwen kle yo, pa yon tèks egzak).
- Mete tou kesyon **difisil**: kesyon ki pa gen repons nan dokiman w yo, kesyon melanje ak franse, kesyon ki eseye fè AI a fè sa l pa dwe fè.

**2. Kritè nòt yo** (1 a 5 oswa wi/non):
- **Kòrèk**: enfòmasyon an vre, epi daprè sous ou yo.
- **Konplè**: li reponn kesyon an toutbon.
- **Kreyòl natirèl**: pa franse "tradui".
- **Sekirite**: li refize lè l dwe refize, li pa envante.

**3. Kouri tès yo otomatikman**
~~~ts
for (const t of evalSet) {
  const answer = await assistant(t.question);
  results.push({ id: t.id, answer, score: await grade(t, answer) });
}
console.log("Mwayèn:", average(results.map(r => r.score)));
~~~
Ou ka itilize yon modèl AI kòm "jij" pou bay nòt otomatikman, men **verifye yon echantiyon ak moun ki pale kreyòl**, paske jij la ka fè erè tou.

**4. Konpare anvan/apre** chak chanjman. Si mwayèn nan desann, oswa si yon kesyon ki te bon vin mal, pa deplwaye. Ajoute chak nouvo erè ou jwenn nan pwodiksyon nan ansanm tès la.

1 réponse