大型话语模子（LLMs）还是变得极其越过且对各式任务异常灵验，但新用户可能会认为多数的话语模子器具和实用才略令东谈主生畏。本文要点先容了5种可用且通俗灵验的此类器具，它们皆是免费的，况兼是为了哄骗各式可用的话语模子而创建的：Transformers、LlamaIndex、Langchain、Ollama 和 Llamafile。
1. Transformers
当代当然话语处理（NLP）模子框架中最越过的库之一，Transformers来自当然话语处理的重大机构Hugging Face。Transformers中可用的预历练模子种类隆盛，既有基础模子也有针对文分内类、翻译、问答等任务进行微调的模子。主要特定如下：
多功能性（存在适用于像PyTorch和TensorFlow这么的后端的模子）多数可定制的预历练模子用户友好型的应用才略编程接口和文档一个重大的用户基础来修起问题和提供匡助。
Transformers对新用户来说很可以，因为它的基础常识异常容易掌抓，同期也迷漫灵验，致使能匡助完成最复杂的任务。该库带有通俗的文档、用户友好的API，以及险些广阔莫测的可用模子集聚。借助Transformers，入门者可以在莫得多数深度学习常识的情况下动手使用最先进的模子。
# 安设transformerspip install transformers# 装载预历练模子并推论推理from transformers import pipeline classifier = pipeline("sentiment-analysis")result = classifier("I love using the Transformers library!")print(result)
2. LlamaIndex
LlamaIndex是一个为大型话语模子使用场景定制的数据框架，非常是检索增强生成（RAG）。它简化了大型话语模子和不同数据源之间的蚁合，从而约略轻便构建复杂的基于数据的大型话语模子应用才略。主要特征如下：
内置的基本数据源蚁合器针对不同场景和复杂进度进行定制的才能以Llama包神情呈现的各式事先封装好的特定任务驱动照管有蓄意充足的文档
LlamaIndex对入门者很有匡助，因为它简化了驱动引诱，并处理了将数据蚁合到应用才略所需的管谈使命，允许与数据源轻便集成，以及凭证个东谈主喜好进行调养。由于其可靠的文档，开发东谈主员可以快速掌抓他们需要动手的履行，并朝着特定标的构建他们的应用才略。
# 安设库pip install llama-index# 约略的RAG应用from llama_index.core import VectorStoreIndex, SimpleDirectoryReaderdocuments = SimpleDirectoryReader("data").load_data()index = VectorStoreIndex.from_documents(documents)query_engine = index.as_query_engine()response = query_engine.query("Tell me a little about prompt engineering.")print(response)
3. Langchain
LangChain 是一个框架，它允许东谈主工智能工程师将话语模子与多数的数据源以过火他大型话语模子蚁合起来。LangChain 还为高下文感知推理当用提供了路线，提供了用于构建有才能的代理的器具，这些代理可以推论复杂的推理任务以照管问题。主要特色如下：
用于创建和处理代理、器具及库的一个接口以及对推理当用才略的相沿以及对其的跟踪和评估
入门者可以使用Langchain快速构建智能代理，因为它使应用才略开发变得轻便，况兼带有一套重大的器具和模板来鼓舞事情的发达。
4. Ollama
Ollama旨在提供对多个大型话语模子的通俗探问，比如Llama3、Mistral、Gemma等等，并通过减少部署和照管支拨使其照管轻便无忧。你可以使用Ollama快速引诱土产货大型话语模子，用于交互以及开发。主要特色如下：
对多个大型话语模子的相沿与一系列库和推广的集成通俗的部署模子的秩序
Ollama对入门者很有平正，因为它聚集了多数朝上的大型话语模子，并使它们更容易部署和运行。举例，在土产货部署Llama3，然后在你最心爱的大型话语模子开发框架（如 Langchain、LlamaIndex等）中通过Ollama蚁合到合并个模子进行开发。它如实一次性照管了多个问题。
# 安设ollamapip install ollama# 使用ollamaimport ollamaresponse = ollama.generate(model='gemma:2b', prompt='what is a qubit?')print(response['response'])
5. Llamafile
Llamafile出生是为了通过一个单一文献让分享和运行大型话语模子变得不费吹灰之力。它通过保持其历程约略成功，使得模子的分发和运行毫无祸害。主要特色如下：
一键式分享和运行大型话语模子极其约略的引诱和使用可变的后端详沿
这个器具匡助照管大型话语模子金钱，这反过来又有助于与大型话语模子进行通讯和运行它们。它极小的复杂性给生手带来了额外的便利。
# 安设llamafilepip install llamafile # 从号令行加载和查询Mistral的llamafile./mistral-7b-instruct-v0.2.Q5_K_M.llamafile --temp 0.3 -p '[INST]what is a qubit?[/INST]'
回来
在这篇著作中，咱们详尽了 5 个让入门者动手使用大型话语模子的器具：Transformers器、LlamaIndex、Langchain、Ollama 和 Llamafile。每一个皆提供了一组特有的任务、上风和特色，旨在匡助入门者掌抓大型话语模子开发限制的神秘之处，并与之互动。这些器具为领略大型话语模子提供了一个很好的首先。
一定要探问并参考每个名堂标仓库和文档，以匡助指引你在学习和试用这些器具的探索中。享受这个历程！