But,OK,ateachstepitgetsalistofwordswithprobabilities.Butwhichoneshoulditactually
picktoaddtotheessay(orwhatever)thatit
’
swriting?Onemightthinkitshouldbethe
“
highest-ranked
”
word(i.e.theonetowhichthehighest
“
probability
”
wasassigned).But
thisiswhereabitofvoodoobeginstocreepin.Becauseforsomereason
―
thatmaybeoneday
we
’
llhaveascientific-styleunderstandingof
―
ifwealwayspickthehighest-rankedword,
we
’
lltypicallygetavery
“
flat
”
essay,thatneverseemsto
“
showanycreativity
”
(andeven
sometimesrepeatswordforword).Butifsometimes(atrandom)wepicklower-rankedwords,
wegeta
“
moreinteresting
”
essay.
但
是
，
好
的
，
在
每
⼀
步
它
都
会
得
到
⼀个
带
有
概
率
的
单
词
列
表
。
但
是
它实
际
上
应
该
选
择
哪
⼀个
来
添
加到
它
正
在
写
的
⽂
章
（
或
其
他什么
）
中
？
有
⼈
可
能
会
认
为
它
应
该
是
“
排
名
最
⾼
”
的
词
（
即
分
配
最
⾼
“
概
率
”
的
词
）
。
但
这
就
是
⼀
点
巫
毒
教
开
始
蔓
延
的
地
⽅
。
因
为
出
于
某
种
原
因
⸺
也
许
有
⼀
天
我
们会
有
⼀个
科
学
⻛
格
的
理
解
⸺
如
果
我
们
总
是
选
择排
名
最
⾼
的
词
，
我
们
通
常
会
得
到
⼀
篇
⾮
常
“
平
淡
”
的
⽂
章
，
似
乎
永
远
不
会
“
表
现
出
任何
创
造
⼒
”
（
甚
⾄
有
时
会
逐
字
重
复
）
。
但
是
，
如
果有
时
（
随
机
）
我
们
选
择排
名
较
低
的
单
词
，
我
们会
得
到
⼀
篇
“
更有
趣
”
的
⽂
章
。
Thefactthatthere
’
srandomnessheremeansthatifweusethesamepromptmultipletimes,
we
’
relikelytogetdifferentessayseachtime.And,inkeepingwiththeideaofvoodoo,there
’
s
aparticularso-called
“
temperature
”
parameterthatdetermineshowoftenlower-ranked
wordswillbeused,andforessaygeneration,itturnsoutthata
“
temperature
”
of0.8seems
best.(It
’
sworthemphasizingthatthere
’
sno
“
theory
”
beingusedhere;it
’
sjustamatter
ofwhat
’
sbeenfoundtoworkinpractice.Andforexampletheconceptof
“
temperature
”
is
therebecauseexponentialdistributionsfamiliarfromstatisticalphysicshappentobebeing
used,butthere
’
sno
“
physical
”
connection
―
atleastsofarasweknow.)
这
⾥
存
在
随
机
性
的
事
实
意
味
着
，
如
果
我
们
多
次
使
⽤
相
同
的
提
⽰
，
我
们
每
次
都
可
能
会
得
到
不
同
的
论
⽂
。
⽽
且
，
为了与
巫
毒
教
的
想
法
保
持
⼀
致
，
有
⼀个
特
定
的
所
谓
“
温
度
”
参
数
来
确
定
使
⽤
排
名
较
低
的
单
词
的
频
率
，
对
于
论
⽂
⽣
成
，
事
实
证
明
0.8
的
“
温
度
”
似
乎
是
最
好
的
。
（
值
得强
调
的
是
，
这
⾥
没
有
使
⽤
“
理
论
”
;
这
只
是
在
实
践
中
发
现
什么
有
效
的
问
题
。
例
如
，
“
温
度
”
的
概
念
之
所
以
存
在
，
是
因
为
恰
好
使
⽤
了
统
计
物
理
学
中
熟
悉
的
指
数
分
布
，
但
没
有
“
物
理
”
联
系
⸺
⾄
少
据
我
们
所
知
。
BeforewegoonIshouldexplainthatforpurposesofexpositionI
’
mmostlynotgoingtouse
thefullsystemthat
’
sinChatGPT;insteadI
’
llusuallyworkwithasimplerGPT-2system,which
hasthenicefeaturethatit
’
ssmallenoughtobeabletorunonastandarddesktopcomputer.
AndsoforessentiallyeverythingIshowI
’
llbeabletoincludeexplicitWolframLanguagecode
thatyoucanimmediatelyrunonyourcomputer.(Clickanypictureheretocopythecodebehind
it.)
在
我
们
继续
之
前
，
我
应
该
解
释
⼀下
，
出
于
说
明
的
⽬
的
，
我
通
常
不
会使
⽤
ChatGPT
中
的
完
整
系
统
;
相
反
，
我
通
常
会使
⽤
更
简
单
的
GPT-2
系
统
，
该
系
统
具
有
⾜
够
⼩
的
功
能
，
可
以
在
标
准
台
式
计
算
机
上
运
⾏
。
因
此
，
对
于
我
展
⽰
的
基
本
上
所
有
内
容
，
我
将
能
够
包
含
明
确
的
Wolfram
语
⾔
代
码
，
您
可
以
⽴
即
在
计
算
机
上
运
⾏
。
（
单
击
此
处
的
任何
图
⽚
以
复
制
其
背
后
的
代
码
。
Forexample,here
’
showtogetthetableofprobabilitiesabove.First,wehavetoretrievethe
underlying
“
languagemodel
”
neuralnet:
