V853模型量化后怎么测算模型的精度呢？

[Sleepy]

请问模型量化后，怎么测算模型的精度呢

[WhycanService]

需要手动分析输出tensor与golden的误差

[Sleepy]

@whycanservice diff命令是吗

[WhycanService]

@sleepy 不能使用diff命令，模型的鲁棒性不是从这些地方体现的，diff的数据肯定不同，但是实际输出结果类似

[Sleepy]

@whycanservice pegasus能实现测精度的需求吗？我现在只看到了根据相似度对比来看量化后模型效果的

[WhycanService]

@sleepy 不能，由于模型具有鲁棒性，具体精度的测算需要实际测试评估，pegasus只能实现相似度对比

[Sleepy]

@whycanservice 好的谢谢