zachariahss

还没机会体验 m 系列呢...我还是 18 年的 intel

被你说的我注册了一个.发现没啥问题啊...随便一个梯子就纯英文了

这种是使用 prompt 实现的吗？还是说做了微调？

推理框架类似 tgi 或者 vllm 本身内部自带了 kv cache 引擎,也不好关闭,这东西会根据每次的向量计算一些缓存,逐步累计,累积到一定程度就会发生大量重复了.但是这个 cache 本身和 hyper parameters 有关,貌似很复杂的逻辑,但是缓存一般会约定时间,默认多少小时,具体可以找推理框架的文档.
举例就是 deepseek 的官网就有命中缓存和不命中的价格差异
google 的 geminiaip 我也遇到过,明明按照官网计费标准要几百美金,但是最后只入账了 100 左右,问了客服说是和缓存命中有关

提三个点,
第一个点,要可以控制某些网页不进行加载,因为有些业务网站篡改后可能出现意料之外的问题,
第二个点,要有一个开关可以切换变更前变更后的页面,否则不方便
第三个点,需要可以动态调整翻译出现的频率,以及目前的翻译全都是单词,后期应该有整句翻译,这个阈值应该可调,

正在使用,看看效果

Emmm,我为了稳点,人家都是 180 天消费一次,我是 90 天消费一次....貌似现在还存活

@listen2wind https://github.com/lilishop/lilishop