Muyoo

技术分享博客

0%

SillyTavern酒馆internal server error错误

SillyTavern酒馆使用Gemini1206模型时,会不定时遇到internal server error错误。经过多次尝试发现大概以下两种原因。

上下文超限

这是google官方文档的解释,当上下文token数量达到3w-4w左右时(可能会浮动),有可能internal server error错误会越来越多,最后无法避免。

判断错误是否由上下文超限引起只需要再重开一个没有上下文的新聊天,如果新聊天不再弹出错误,之前的错误就是由上下文超限引起的。

解决此类的错误只需要控制上下文数量即可,可以在AI响应配置中调整上下文数量到不再报错。

upload successful
但是这种调整方式必然会导致AI忘记最早的记忆,那也可以引入新的正则来控制上下文,去掉上下文中不需要的部分。

谷歌流量限制

如果你再开一个新聊天,依然出现internal server error错误,那就是由于谷歌流量限制了。推测gemini服务器对1206模型设置了同时访问的人数上限,当当前使用1206的人数超过此上限时,部分人就会被阻止使用。

据实验,这种人数限制和调用模型的IP没有直接关系,即使是独立的IP也会出现错误。这种流量限制一般出现在工作日的晚十点或者节假日的全天。工作日的白天很少出现。

目前没找到有合适的办法避免掉这种问题,只能错峰使用。