推理框架
1.ONNX的相关知识
ONNX是一种神经网络模型的框架,其最经典的作用是作为不同框架之间的中间件,成为模型表达的一个通用架构,来增加不同框架之间的交互性。
ONNX的优势:
- ONNX的模型格式有极佳的细粒度。
- ONNX是模型表达的一个通用架构,主流框架都可以兼容。
- ONNX可以实现不同框架之间的互相转化。
ONNX是一种神经网络模型的框架,其最经典的作用是作为不同框架之间的中间件,成为模型表达的一个通用架构,来增加不同框架之间的交互性。
ONNX的优势:
会发生这个现象的原因是:我们所提到的这些媒体,经过太精心的设计,使得思想形同没有需要了 (虽然只是表象如此)。 如何将知识分子的态度与观点包装起来,是当今最有才智的人在做的最活跃的事业之一 。 电视观众、收音机听众、杂志读者所面对的是一种复杂的组成一一从独创的华丽辞藻到经过审慎挑选的资料与统计一一目的都在让人不需要面对困难或努力,很容易就整理出“自己”的思绪。但是这些精美包装的资讯效率实在太高了,让观众、听众或读者根本用不着自己做结论。相反的,他们直接将包装过后的观点装进自己的脑海中,就像录影机愿意接受录影带一样自然。他只要按一个“倒带”的钮,就能找到他所需要的适当言论。他根本不用思考就能表现得宜。
使用大型语言模型进行网络钓鱼:植入后门 | kruyt.org — Phishing with Large Language Models: Backdoor Injections | kruyt.org
sshh12/llm_backdoor: Experimental tools to backdoor large language models by re-writing their system prompts at a raw parameter level. This allows you to potentially execute offline remote code execution without running any actual code on the victim’s machine or thwart LLM-based fraud/moderation systems.
How to Backdoor Large Language Models - by Shrivu Shankar
快速排序(Quick Sort)是一种高效的排序算法,由C. A. R. Hoare在1960年提出。它是一种分治法(Divide and Conquer)策略的典型应用。
选择基准值(Pivot):
快速排序首先从数组中选择一个元素作为基准值,这个值称为“pivot”。选择的方法可以多样,如选择第一个元素、最后一个元素、中间元素或随机元素。
分区操作:
数组被分为两个部分,使得:
此时,基准值处于整个数组中的最终位置。
递归排序:
递归地对基准左侧和右侧的两个子数组进行快速排序,直到子数组的长度为1或0,此时数组已经完全排序。
快速排序主要有两种实现方式,分别是递归方式和迭代方式。
推荐系统的流程通常包括以下几个步骤:
使用 7B 模型部署推荐系统,通常不是直接用 LLM 替代整个推荐流程,而是将其作为增强或补充现有推荐系统的一个组件。以下是包含的流程和注意事项:
RAG(Retrieval-Augmented Generation)中的文档召回率(Document Recall)是指在检索阶段,模型能够成功找到与用户查询相关的所有文档的比例。具体来说,它衡量的是在所有相关文档中,有多少被成功检索到了。
文档召回率是评估检索系统性能的重要指标。它可以用以下公式计算:文档召回率=成功检索到的相关文档数量/所有相关文档数量
在RAG中,文档召回率的高低直接影响生成模型的表现。如果召回率低,生成模型可能会缺乏足够的背景信息,从而影响答案的准确性和相关性。