Author: C3P00

  • 快速入门指南:使用timm进行模型训练的开端

    标题:快速入门指南:使用timm进行模型训练的开端

    导读:
    本文旨在帮助开发人员快速了解如何将timm集成到模型训练流程中。首先,您需要安装timm。接下来,我们将通过示例代码演示如何加载预训练模型、列出具有预训练权重的模型、微调预训练模型、以及如何使用预训练模型进行特征提取、图像增强和推理。让我们一起开始这个令人兴奋的旅程吧!

    正文:
    快速入门
    本快速入门指南旨在帮助开发人员快速了解如何将timm集成到他们的模型训练流程中。在开始之前,您需要先安装timm。有关安装的详细信息,请参阅安装指南。

    加载预训练模型
    通过create_model()函数可以加载预训练模型。下面的示例展示了如何加载预训练的mobilenetv3_large_100模型。

    import timm
    
    model = timm.create_model('mobilenetv3_large_100', pretrained=True)
    model.eval()

    需要注意的是,默认情况下返回的PyTorch模型处于训练模式,如果要进行推理,需要调用.eval()方法将其设置为评估模式。

    列出具有预训练权重的模型
    要列出timm中打包的具有预训练权重的模型,可以使用list_models()函数。如果指定pretrained=True,该函数将只返回具有预训练权重的模型名称。

    import timm
    from pprint import pprint
    
    model_names = timm.list_models(pretrained=True)
    pprint(model_names)

    您还可以使用特定模式来列出名称中包含特定字符串的模型。

    微调预训练模型
    要微调任何预训练模型,只需更改分类器(即最后一层)即可。

    model = timm.create_model('mobilenetv3_large_100', pretrained=True, num_classes=num_finetune_classes)

    如果要在自己的数据集上进行微调,请编写一个PyTorch训练循环或调整timm的训练脚本以使用自己的数据集。

    使用预训练模型进行特征提取
    在不修改网络结构的情况下,可以使用model.forward_features(input)来替代通常的model(input)方法,对任何模型进行特征提取。这将跳过头部分类器和全局池化操作。有关更详细的使用timm进行特征提取的指南,请参阅特征提取部分。

    图像增强
    为了将图像转换为模型接受的有效输入,可以使用timm.data.create_transform()函数,并提供模型期望的输入尺寸。这将返回一个通用的变换对象,其中包含了一些合理的默认设置。

    timm.data.create_transform((3, 224, 224))

    预训练模型在训练时应用了特定的数据转换。如果您在图像上使用错误的转换,模型将无法理解所见的图像!要了解给定预训练模型使用了哪些转换,可以查看其预训练配置。

    model.pretrained_cfg

    您可以使用timm.data.resolve_data_config()函数来解析与数据相关的配置。

    data_cfg = timm.data.resolve_data_config(model.pretrained_cfg)
    transform = timm.data.create_transform(**data_cfg)

    使用预训练模型进行推理
    下面,我们将结合前面的内容,使用预训练模型进行推理。首先,我们需要一张图片作为输入。我们从网络上加载一张叶子标题:快速入门指南:timm模型训练的开端

    导读:
    本文将带您快速了解如何将timm集成到模型训练流程中。从安装timm开始,到加载预训练模型、列出可用的预训练模型、微调模型、使用模型进行特征提取、图像增强和推理等,我们将逐步介绍这些内容。让我们开始这个令人兴奋的旅程吧!

    正文:
    快速入门
    本快速入门指南旨在帮助开发人员快速了解如何将timm集成到模型训练流程中。在开始之前,您需要先安装timm,具体安装方法请参考官方的安装指南。

    加载预训练模型
    要加载预训练模型,可以使用create_model()函数。以下示例展示了如何加载预训练的mobilenetv3_large_100模型。

    import timm
    
    model = timm.create_model('mobilenetv3_large_100', pretrained=True)
    model.eval()

    需要注意的是,默认情况下返回的PyTorch模型处于训练模式,如果要进行推理,需要调用.eval()方法将其设置为评估模式。

    列出具有预训练权重的模型
    要列出timm中已打包的具有预训练权重的模型,可以使用list_models()函数。如果指定pretrained=True,该函数将只返回具有预训练权重的模型名称。

    import timm
    from pprint import pprint
    
    model_names = timm.list_models(pretrained=True)
    pprint(model_names)

    您还可以使用特定模式来列出名称中包含特定字符串的模型。

    微调预训练模型
    要微调任何预训练模型,只需更改分类器(即最后一层)即可。

    model = timm.create_model('mobilenetv3_large_100', pretrained=True, num_classes=num_finetune_classes)

    如果要在自己的数据集上进行微调,请编写一个PyTorch训练循环或调整timm的训练脚本以使用自己的数据集。

    使用预训练模型进行特征提取
    在不修改网络结构的情况下,可以使用model.forward_features(input)来替代通常的model(input)方法,对任何模型进行特征提取。这将跳过头部分类器和全局池化操作。有关更详细的使用timm进行特征提取的指南,请参考官方文档中的特征提取部分。

    图像增强
    要将图像转换为模型可接受的有效输入,可以使用timm.data.create_transform()函数,并提供模型所期望的输入尺寸。这将返回一个通用的转换对象,其中包含了一些合理的默认设置。

    timm.data.create_transform((3, 224, 224))

    需要注意的是,预训练模型在训练时应用了特定的数据转换。如果您在图像上使用错误的转换,模型将无法理解所见的图像!要了解给定预训练模型使用了哪些转换,可以查看其预训练配置。

    model.pretrained_cfg

    您可以使用timm.data.resolve_data_config()函数来解析与数据相关的配置。

    data_cfg = timm.data.resolve_data_config(model.pretrained_cfg)
    transform = timm.data.create_transform(**data_cfg)

    使用预训练模型进行推理
    下面,我们将结合前面的内容,使用预训练模型进行推理。首先,我们需要准备一张图片作为输入。我们从网络上加载了一张叶子的图片。


    import requests
    from PIL import Image
    from io import BytesIO
    
    url = 'https://datasets-server.huggingface.co/assets/imagenet-1k/--/default/test/12/image/image.jpg'
    image = Image.open(requests.get(url, stream=True).raw)
    image

    接下来,我们再次创建模型和转换。这次,我们确保将模型设置为评估模式。

    model = timm.create_model('mobilenetv3_large_100', pretrained=True).eval()
    transform = timm.data.create_transform(
        **timm.data.resolve_data_config(model.pretrained_cfg)
    )

    我们可以将图片通过转换函数进行处理,以便与模型进行推理。

    image_tensor = transform(image)
    image_tensor.shape

    现在,我们可以将处理后的图片传递给模型进行预测。这里我们使用unsqueeze(0)将其添加一个批次维度,因为模型需要一个批次的输入。

    output = model(image_tensor.unsqueeze(0))
    output.shape

    为了得到预测的概率,我们对输出应用softmax函数。这会得到一个形状为(num_classes,)的张量。

    probabilities = torch.nn.functional.softmax(output[0], dim=0)
    probabilities.shape

    接下来,我们使用torch.topk找到前5个预测类别的索引和概率值。

    values, indices = torch.topk(probabilities, 5)
    indices

    通过检查对应于最高概率的索引值,我们可以查看模型的预测结果。

    IMAGENET_1k_URL = 'https://storage.googleapis.com/bit_models/ilsvrc2012_wordnet_lemmas.txt'
    IMAGENET_1k_LABELS = requests.get(IMAGENET_1k_URL).text.strip().split('\n')
    [{'label': IMAGENET_1k_LABELS[idx], 'value': val.item()} for val, idx in zip(values, indices)]

    至此,我们完成了使用预训练模型进行推理的过程。我们加载了一张图片,将其通过转换函数处理后输入模型,并得到了模型的预测结果。通过这个示例,我们展示了如何使用timm进行快速入门。

    结语:
    本文通过一个快速入门的示例,介绍了如何使用timm进行模型训练。我们展示了加载预训练模型、列出具有预训练权重的模型、微调预训练模型、使用预训练模型进行特征提取、图像增强和推理的方法。希望本文对您了解和使用timm有所帮助,让您能够更轻松地进行模型训练和推理!

  • ChatGLM3:大模型工具调用实现原理揭秘

    ChatGLM3终于迎来了与ChatGPT相似的工具调用能力。通过研究其源码和样本数据,我们可以了解到让大型语言模型学会使用工具的方法原理。本文将深入探讨ChatGLM3的工具调用实现原理,带您揭开这个令人兴奋的功能背后的奥秘。


    ChatGLM3是一种大型语言模型,具备了与ChatGPT相似的工具调用功能。通过这一功能,模型可以调用特定的工具来执行特定的任务。在本文中,我们将深入研究ChatGLM3的工具调用实现原理,揭示其背后的工作原理。

    首先,让我们来看一个官方例子,以帮助我们理解工具调用的过程。在这个例子中,我们准备了两个工具调用的描述信息:追踪指定股票的实时价格和将文本转换为语音。这些工具都具有特定的参数要求,比如需要提供股票代码或要转换的文本等。

    在进行工具调用之前,我们需要构建一个系统提示(System Prompt),告诉模型我们可以使用哪些工具。然后,我们将用户的查询传递给模型,模型将根据上下文和系统提示中提供的工具信息,确定需要调用的工具和相应的参数。模型的输出将告诉我们应该使用哪个工具以及传递给工具的参数。

    在实际的工具调用中,我们需要实现调用工具的逻辑。例如,在追踪股票价格的例子中,我们可以定义一个名为”track”的工具,并提供股票代码作为参数。模型将根据返回的结果生成回复。对于复杂的问题,模型可能需要进行多次工具调用。

    在ChatGLM3中,工具调用的原理是通过特殊处理模型输出来实现的。输出结果中的字典对象表示模型需要调用特定的工具,并传递相应的参数。这样的结果是由一个特殊的处理过程生成的,确保模型可以理解和使用。

    在工具调用的样本数据中,我们可以看到模型预测的输出中包含了工具调用的相关信息,如函数名称和代码。这些信息被解析和处理,最终生成用于调用工具的参数。这种设计的目的是将模型的预测结果转化为可执行的工具调用。

    在ChatGLM3中,工具调用只支持通过chat方法进行,不支持stream_chat方法。这是因为在stream_chat方法中,无法对模型输出进行相应的处理和转换。

    通过深入研究ChatGLM3的源码和样本数据,我们揭示了其工具调用的实现原理。我们了解到,工具调用是通过特殊处理模型输出和相关信息来实现的。这种功能为模型的应用提供了更大的灵活性和扩展性,使模型可以执行更多的任务。


    ChatGLM3的工具调用功能为大型语言模型带来了更多的实用性和功能扩展性。通过深入了解其实现原理,我们更好地理解了模型如何使用工具,并可以在实践中灵活应用。期待着ChatGLM3在未来的发展中带来更多令人惊喜的功能和应用!


  • MMDeploy:让模型部署更加轻松的一站式解决方案

    在深度学习领域,模型的部署一直是一个具有挑战性的任务。为了解决这个问题,OpenMMLab推出了MMDeploy,一个强大而灵活的工具,帮助用户轻松地将他们的模型部署到不同的平台和推理引擎上。本文将带您深入了解MMDeploy的功能和最新进展,让您在模型部署的道路上游刃有余!
    时间如白驹过隙,转眼间MMDeploy已经陪伴大家走过一个季度了。在过去的几个月里,MMDeploy不仅积极进行了功能扩展,还提供了详细的模型部署教程。让我们来看看最新的进展吧!

    1. 设备支持:MMDeploy现在集成了NVIDIA Jetson系列,为用户提供了更多的选择。如果您对此感兴趣,可以查看安装说明手册。
    2. 平台支持:MMDeploy现在也支持Windows平台。这项工作的完成超出了预期,经历了各种挑战和困难。在此,我们要特别感谢社区同学对文档的审阅工作。另外,MMDeploy还支持了Android平台,并开发了相应的演示Demo。您可以通过链接观看这个Demo的视频。
    3. FFI封装:MMDeploy现在提供了Python接口,让Python爱好者能够轻松地进行模型推理。只需几行代码,即可完成模型的推理过程。在下面的章节中,我们将提供具体的例子供您参考。目前,MMPose和MMDetection3D也得到了算法库的支持,用户可以体验相关功能。
    4. 新的IR支持:MMDeploy现在支持TorchScript,这是PyTorch的一种中间表示格式。如果您对TorchScript还不太了解,可以通过链接了解更多信息。关于如何使用TorchScript和ONNX,我们将在后续的教程中进行介绍。教程和技术文档的更新将在我们的微信公众号和知乎账号上发布,欢迎大家关注。

    使用MMDeploy的方法非常灵活。您可以将其作为一个整体来完成端到端的模型部署,也可以只使用其中的部分功能模块,根据自己的项目需求灵活选择。例如:

    • 使用Model Converter进行模型转换和推理。这适用于快速搭建模型部署的演示和验证工作。只需提供相应的配置、算法和模型文件,通过一条命令将PyTorch模型转换为所需的推理引擎格式。目前,MMDeploy支持6种推理引擎:TensorRT、ONNXRuntime、PPL.NN、ncnn、OpenVINO和libtorch。
    • 将MMDeploy算子库集成到自己的项目中。如果您已经集成了TensorRT推理引擎,只需加载MMDeploy算子库,即可无缝读取MMDeploy转换的TensorRT模型。同样,这种方式也适用于ONNXRuntime推理引擎。
    • 导出SDK Model,将MMDeploy集成到自己的项目中。这适用于对延迟或吞吐量要求较高的场景。以检测任务为例,您可以选择集成C/C++接口或Python接口。其他任务,如分类、分割、文字检测等,也可以采用相似的方式集成。具体的集成方法和代码示例可以参考本文后续部分。

    除了上述典型的应用场景,您还可以基于MMDeploy开发新的模块或组件。比如,您可以开发新的模型导出方法、推理引擎组件、算法的后处理模块,或者支持其他文件格式的读取模块等。通过付诸行动,您可以开源自己的项目,展示自己的才华和创造力。

    未来规划方面,MMDeploy团队计划在第二季度继续推出新的功能和更新。具体的计划可以参考下图。最后,我们诚挚地邀请大家多多关注MMDeploy,并加入我们的社群,一起享受愉快的学习和探索过程。我们期待您的关注、点赞和参与!

    结语:
    MMDeploy是一个强大而灵活的工具,旨在简化深度学习模型的部署过程。通过MMDeploy,您可以选择最适合自己项目需求的部署方式,并轻松地将模型部署到各种平台和推理引擎上。无论您是初学者还是经验丰富的研究者,MMDeploy都能为您带来便利和效率。让我们一起探索MMDeploy的世界,让深度学习变得更简单!

  • 7B模型之最,Zephyr-7B为何备受瞩目?

    大家好,我想分享一个令人心动的消息,一个由HuggingFace H4团队打造的开源模型Zephyr-7B,以其非凡的性能在AI领域引发了一场轩然大波。这个只有70亿参数的模型,却以出乎意料的实力,击败了拥有700亿参数的巨头LLaMA2!更令人振奋的是,这款模型不仅能轻松在你的苹果电脑上运行,而且它是完全开源且免费的!

    Zephyr-7B,一股清新的西风

    Zephyr-7B的出现,正如它的名字一样,就像一股清新的西风在AI领域中吹拂。这是一个在Mistral-7B模型基础上,经过团队精心微调,使用直接偏好优化(DPO)在公开数据集上进行调整的结果。而这个Mistral-7B模型,是由被誉为“欧洲OpenAI”的Mistral AI打造的一个开源大模型。

    评估模型,Zephyr的优秀表现

    评估模型的性能,我们常用MT-Bench,这是一个评估模型处理多轮对话能力的基准测试,问题集涵盖写作、角色扮演、提取等8个类别。在此测试中,Zephyr-7B-alpha的MT-Bench平均得分为7.09,超越了Llama2-70B-Chat。

    而且,Zephyr并没有止步于此,H4团队推出了它的进化版,Zephyr-7B-beta。他们在GPT-4和Claude 2中提取对齐性,然后将其注入小模型中,开发出了使用蒸馏直接偏好优化(dDPO)用于小模型的方法。二代Zephyr,MT-Bench平均得分升高至7.34。在AlpacaEval上,Zephyr的胜率为90.6%,优于ChatGPT。

    用户反馈,Zephyr的热烈好评

    在接收到这个新闻的网友们中,对Zephyr的好评如潮。一项评分显示,Zephyr-7b-beta的Elo评分已经飙升至很高的水平,甚至超过了13B的模型。许多人纷纷表示,Zephyr的表现超出了他们的预期,他们对Zephyr给予了一致的好评。

    实力背书,Zephyr的高级RAG表现

    Llama Index(此前名为GPT Index)的联合创始人兼CEO Jerry Liu也对Zephyr进行了测试。他发现,Zephyr是目前唯一一个在高级RAG/agentic任务上表现良好的开源7B模型。数据也显示,Zephyr在高级RAG任务上的效果可以和GPT-3.5、Claude 2相抗衡。

    研发成本,Zephyr的经济性

    最后,我想特别提到的是,Zephyr的训练成本。按照研究团队的说法,微调这个模型只需要500美元,也就是在16个A100上跑8小时。这样的成本效益,无疑让Zephyr在AI模型的竞争中占据了更大的优势。

    总的来说,Zephyr-7B的出现,无疑为AI领域带来了一场革新。

  • 探索多语言的人工智能之旅:RWKV-5 World

    人工智能的力量正在日益扩大,其在各领域的应用也在不断深化。今天,让我们来了解一款名为RWKV-5 World的多语言文本生成模型,这款模型由BlinkDL公司开发,目前正在进行训练中。

    RWKV-5 World:一款跨越语言边界的模型

    RWKV-5 World是一款正在进行训练中的文本生成模型,其目标是在100多种世界语言(其中70%为英语,15%为多语言,15%为代码)上进行训练,这些语言数据来自于多个来源,包括EleutherAI的pile数据集,cerebras的SlimPajama-627B数据集,bigcode的starcoderdata数据集,以及oscar-corpus的OSCAR-2301数据集等。

    RWKV-5 World的模型特点

    RWKV-5 World模型的训练使用了RWKV-LM v4neo,这是一款由BlinkDL公司开发的领先的语言模型训练工具。在训练过程中,我们设定了”r2r4″作为测试参数。到目前为止,我们已经完成了两个版本的训练,第一个版本使用了0.59T的标记,第二个版本使用了1.12T的标记。

    RWKV-5 World的使用方法

    如果你想尝试RWKV-5 World模型,你需要使用rwkv pip包0.8.14+进行推理,你可以在PyPI上找到它。同时,我们也提供了在线演示,你可以在Hugging Face的网站上进行体验。如果你想了解更多关于RWKV-5 World模型的工作原理,你可以关注BlinkDL_AI的Twitter,或者访问我们的官方网站。

    RWKV-5 World的未来发展

    RWKV-5 World模型的训练仍在进行中,我们正在不断上传最新的训练进度至Hugging Face。想象一下,当我们使用更多的数据进行训练时,RWKV-5 World模型将会发生什么呢?这将是一个令人兴奋的旅程,让我们一起期待RWKV-5 World模型的未来发展吧!

    如果你对RWKV-5 World模型有任何问题或者建议,欢迎在下面的评论区留言,我们会尽快回复你。同时,如果你对这个博客有任何建议或者意见,也请随时告诉我们,我们期待你的反馈。

  • 越级的语言模型:Hugging Face的Zephyr 7B Alpha

    你是否曾经想过,人工智能能否与我们进行自如的对话,就像人与人交谈一样自然?欢迎你来到这个博客,今天,我们将要深入探讨一款名为Zephyr 7B Alpha的语言模型,这款语言模型由Hugging Face公司开发,它正在积极推动人工智能语言处理的边界。

    Zephyr 7B Alpha:一款全新的语言模型

    Zephyr 7B Alpha是一款强大的7B参数的GPT类模型,这款模型的主要语言是英语。它是基于mistralai/Mistral-7B-v0.1模型进行微调的,使用了一系列公开可用的、合成的数据集进行训练。它是Zephyr系列的第一个模型,专门为了提供帮助而训练。

    Zephyr 7B Alpha的模型源

    Zephyr 7B Alpha的源代码位于GitHub的Hugging Face仓库中,你可以在此浏览和学习。同时,Hugging Face也提供了一个在线演示,你可以在那里直接体验Zephyr 7B Alpha的能力。

    Zephyr 7B Alpha的应用与局限性

    Zephyr 7B Alpha的初始微调是基于UltraChat数据集的一个变体,该数据集包含了由ChatGPT生成的各种合成对话。然后,我们进一步使用Hugging Face的DPOTrainer在openbmb/UltraFeedback数据集上对模型进行了对齐。因此,你可以使用这个模型进行聊天,并可以在我们的在线演示中测试其能力。

    虽然Zephyr 7B Alpha是一个强大的模型,但也存在一些局限性。由于它没有使用RLHF等技术进行人工偏好对齐,或者像ChatGPT那样使用环路过滤响应进行部署,所以在某些情况下,模型可能会产生问题的输出。

    Zephyr 7B Alpha的训练和评估数据

    在训练过程中,我们使用了一系列的超参数,包括学习率、训练批次大小、评估批次大小、随机种子、分布式类型、设备数量、总训练批次大小、总评估批次大小、优化器类型、学习率调度器类型和学习率调度器预热比例等。在评估集上,Zephyr 7B Alpha表现出了优秀的性能。

    总结

    Zephyr 7B Alpha是一款强大的语言模型,它不仅拥有强大的参数,同时也利用了一系列先进的训练技术。虽然它还存在一些局限性,但我们相信,随着技术的进步,Zephyr 7B Alpha将会进一步提升其性能,为我们提供更多的帮助。让我们一起期待Zephyr 7B Alpha的未来吧!

    如果你对Zephyr 7B Alpha有更多的问题,欢迎在下面的评论区留言,我们会尽快回复你。同时,如果你对这个博客有任何的建议或者意见,也请随时告诉我们,我们期待你的反馈。

  • Zephyr 7B Alpha:打破边界的人工智能语言模型

    无论你是AI研究者,还是对人工智能技术有所热爱的普通人,都一定听说过Hugging Face,这家以人工智能为核心,致力于开放研究和推广最前沿技术的公司。今天,我们将一起探索他们的新作品——Zephyr 7B Alpha模型,一款融合了最先进技术,且有着广泛应用场景的语言模型。我们会通过这篇文章深入理解其工作原理,应用限制,以及训练过程。让我们一起踏上这次知识的旅程吧。

    Zephyr 7B Alpha:一款全新的人工智能语言模型

    Zephyr是一系列训练有素、能够充当帮助助手的语言模型系列的开山之作,而Zephyr-7B-α则是这一系列的首个模型。这款模型是基于mistralai/Mistral-7B-v0.1进行微调的,同时也使用了公开可用的合成数据集进行训练。这种独特的训练方法使模型在MT Bench上的性能大幅提升,使其更具有帮助性。然而,这也意味着模型可能会在被提示时生成问题文本,因此只建议将其用于教育和研究目的。

    Zephyr-7B-α是使用了7B参数的GPT-like模型,主要使用英语进行交互,其开源许可为MIT。此外,你可以通过以下链接访问其源代码库和演示页面:

    应用场景与限制

    Zephyr-7B-α模型首先在UltraChat数据集的变体上进行了微调,该数据集包含了由ChatGPT生成的各种合成对话,然后使用了DPOTrainer对模型进行了进一步的校准。因此,这款模型可以用于聊天,并且你可以在我们的演示页面上测试其功能。

    然而,Zephyr-7B-α并没有像ChatGPT那样应用RLHF技术来根据人类偏好进行对齐,或者使用循环过滤的方式来部署,因此模型可能会生成问题输出(特别是在被提示时)。此外,基础模型(mistralai/Mistral-7B-v0.1)的训练所使用的语料库的大小和组成也不为人知,但可能包含了各种Web数据和技术源,比如书籍和代码。

    训练与评估

    Zephyr 7B Alpha在评估集上取得了以下结果:

    • Loss: 0.4605
    • Rewards/chosen: -0.5053
    • Rewards/rejected: -1.8752
    • Rewards/accuracies: 0.7812
    • Rewards/margins: 1.3699
    • Logps/rejected: -327.4286
    • Logps/chosen: -297.1040
    • Logits/rejected: -2.7153
    • Logits/chosen: -2.7447

    训练过程使用了以下超参数:

    • 学习率:5e-07
    • 训练批量大小:2
    • 评估批量大小:4
    • 随机种子:42
    • 分布式类型:多GPU## 结论

    Zephyr 7B Alpha是Hugging Face的一款强大的人工智能语言模型,它的诞生标志着我们在语言处理技术上取得了一次重大突破。虽然这款模型有一些已知的限制,如可能生成问题输出等,但通过不断的学习和改进,我们相信这些问题将会被解决,而模型的性能也将得到进一步的提升。对于那些寻求深入了解最新人工智能技术的读者来说,Zephyr 7B Alpha无疑提供了一个极好的研究对象。

    在这个日新月异的时代,每一次的突破,每一次的创新,都代表着我们对未知世界的一次更深入的探索。让我们一起期待Zephyr 7B Alpha在未来能够带来更多的惊喜!

  • XAgent:面向复杂任务解决的自主智能体

    XAgent 是一个开源的基于大型语言模型(LLM)的自主智能体,能够自动解决各种任务。它旨在成为一个通用的智能体,应用于各种任务。尽管 XAgent 目前仍处于早期阶段,我们正在不断努力改进它。

    我们的目标是创建一个可以解决任何给定任务的超级智能体。我们欢迎全职、兼职等各种形式的合作。如果您对智能体的前沿感兴趣,并希望加入我们实现真正的自主智能体,欢迎与我们联系。

    XAgent 特点

    XAgent 具有以下特点:

    • 自主性:XAgent 可以在没有人类参与的情况下自动解决各种任务。
    • 安全性:XAgent 被设计为安全运行。所有的行为都被限制在一个 Docker 容器内,不用担心您的主机环境受到影响。
    • 可扩展性:XAgent 被设计为可扩展的。您可以轻松地添加新的工具来增强智能体的能力,甚至是新的智能体!
    • GUI:XAgent 为用户提供了友好的 GUI 来与智能体交互。您也可以使用命令行界面与智能体交互。
    • 与人类的合作:XAgent 可以与您合作解决任务。它不仅有能力在行进中遵循您的指导来解决复杂的任务,而且在遇到挑战时还可以寻求您的帮助。

    工具服务器

    工具服务器为 XAgent 提供强大和安全的工具来解决任务的服务器。它是一个 Docker 容器,为 XAgent 提供一个安全的运行环境。目前,工具服务器提供以下工具:

    • 文件编辑器:提供一个文本编辑工具,可以写入、读取和修改文件。
    • Python笔记本:提供一个交互式的 Python 笔记本,可以运行 Python 代码来验证想法、绘制图形等。
    • 网页浏览器:提供一个网页浏览器,可以搜索和访问网页。
    • Shell:提供一个 bash shell 工具,可以执行任何 shell 命令,甚至安装程序和托管服务。
    • Rapid API:提供一个从 Rapid API 检索 API 并调用它们的工具,为 XAgent 提供了广泛的 API。

    快速开始

    首先,您需要安装 Docker 和 docker-compose。然后,您需要构建工具服务器的镜像。在 ToolServer 目录下,运行以下命令:

    cd ToolServer
    docker-compose up

    这将构建工具服务器的镜像并启动工具服务器的容器。如果您想在后台运行容器,请使用 docker-compose up -d

    在启动 ToolServer 后,您可以配置并运行 XAgent。首先,安装依赖项:

    pip install -r requirements.txt

    然后,您需要使用 config.yml 配置 XAgent 才能运行。请提供至少一个 OpenAI key,用于访问 OpenAI API。

    最后,运行 XAgent:

    python run.py --task "put your task here" --model "gpt-4"

    您可以使用参数 --upload_files 来指定提交给 XAgent 的文件。

    案例

    我们提供了一些使用 XAgent 解决任务的案例。您可以在 XAgent 官网上查看我们的在线演示。我们还提供了视频演示和使用 XAgent 的案例。

    案例1. 数据分析:展示双环机制的有效性

    在这个案例中,我们将展示 XAgent 如何利用双环机制来解决数据分析任务。我们将使用一个简单的数据集 iris.zip 上传到 XAgent,然后让 XAgent 分析数据集并生成一个报告。XAgent 将任务分解为 4 个子任务:数据理解,验证 Python 环境,编写数据分析代码,编写报告。

    案例2. 推荐:展示与人类的合作

    XAgent 拥有独特的能力,可以积极寻求人类协助并共同解决问题,持续重新定义着人类与智能体人合作的界限。如下方截图所示,用户寻求了 XAgent 的帮助,以推荐一些适合友好聚会的优秀餐厅,但未提供具体细节。识别到提供的信息不足,XAgent 利用了“请求人类帮助”工具,促使人类介入以获取用户的偏好位置、预算限制、烹饪偏好以及任何饮食限制。凭借这宝贵的反馈信息,XAgent 轻松地生成了定制的餐厅推荐,确保用户及其朋友们获得了个性化和令人满意的体验。

    案例3. 训练模型:高级工具使用者

    XAgent 不仅能处理琐碎任务,还可以在复杂任务中提供宝贵的帮助,比如模型训练。在这里,我们展示了一个用户希望分析电影评论并评估特定电影周围公众情感的情景。作为回应,XAgent 迅速启动了下载 IMDB 数据集的过程,以训练一款先进的 BERT 模型。拥有了这个训练有素的 BERT 模型,XAgent 能够轻松地应对电影评论的复杂细节,提供关于公众对各种电影看法的见解性预测。

    评测

    我们进行了人类偏好评估,以评估 XAgent 的性能。我们为评估准备了超过 50 个现实世界的复杂任务,可以分为 5 个类别:搜索与报告,编码与开发,数据分析,数学和生活助手。我们将 XAgent 的结果与 AutoGPT 进行比较,结果显示 XAgent 完全胜过 AutoGPT。

    博客

    我们的官方博客在这里

    引用

    如果您发现我们的仓库对您有帮助,希望您能引用我们的论文:

    @misc{xagent2023,
          title={XAgent: An Autonomous Agent for Complex Task Solving},
          author={XAgent Team},
          year={2023},
    }

    以上就是 XAgent 的详细介绍和使用案例,希望对您有所帮助。

  • vLLM:让大型模型推理更快的工具

    今天,我要给大家介绍一款名为vLLM的神奇工具。它的主要功能是加速大型语言模型(如OpenAI的GPT-3)的推理速度。如果你是NLP(自然语言处理)领域的研究员或开发者,我相信这个工具可能会对你的工作有所帮助。

    为什么我们需要vLLM?

    在大规模语言模型运行时,我们常常遇到一个问题:显存不足。这是因为在生成新的单词或者词语(token)时,我们需要存储一些称为 keys 和 values的数据(我们可以把它们看作是模型用来生成新token的”记忆”)在GPU的显存中。然而,这些数据通常非常大,而且大小也会不断变化,这使得显存管理变得困难。传统的管理方式往往会造成显存的60%-80%的浪费。

    这就是vLLM要解决的问题。它引入了一种名为PagedAttention的新技术,可以有效地管理这些keys和values,使得显存的使用效率接近最优(浪费比例低于4%)。这样一来,我们就可以使用更大的数据批次进行运算,从而提高GPU的并行计算能力。

    vLLM的核心技术:PagedAttention

    PagedAttention的工作原理受到了操作系统中虚拟内存和分页的启发。它将每个序列的数据划分为块,每个块包含固定数量的keys和values。这些块不需要连续的内存,因此可以更灵活地对它们进行管理。

    此外,PagedAttention还支持内存共享,也就是说,当用一个提示生成多个不同的序列时,可以共享计算量和显存。这种内存共享机制可以大幅降低显存需求(最高可降低55%),从而进一步提升推理速度。

    如何使用vLLM?

    vLLM的使用非常简单。首先,使用pip命令安装vLLM:

    pip install vllm

    然后,你就可以使用vLLM来生成文本了:

    from vllm import LLM
    
    prompts = ["Hello, my name is", "The capital of France is"]  # 提示
    llm = LLM(model="lmsys/vicuna-7b-v1.3")  # 创建一个LLM
    outputs = llm.generate(prompts)  # 从提示生成文本

    vLLM也支持在线服务。你可以使用以下命令启动一个在线服务:

    python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.3

    然后,你就可以通过HTTP请求来调用这个服务了:

    curl http://localhost:8000/v1/completions \
        -H "Content-Type: application/json" \
        -d '{
            "model": "lmsys/vicuna-7b-v1.3",
            "prompt": "San Francisco is a",
            "max_tokens": 7,
            "temperature": 0
        }'

    如果你对vLLM感兴趣,可以在这里查阅更多信息。希望这个工具能对你的工作或学习有所帮助!

  • 使用Devilbox简化本地开发:Docker化的PHP堆栈

    Devilbox是一个现代化且高度可定制的PHP开发堆栈,基于Docker运行。它为所有主要操作系统提供可重现和相同的开发环境,无需任何配置。无论您是在开发LAMP还是MEAN堆栈,Devilbox都可以轻松切换和组合所需的版本以供本地开发使用。通过自动创建虚拟主机(vhost)、SSL证书和DNS记录,Devilbox支持无限数量的项目。在本文中,我们将探讨Devilbox的功能以及它如何简化本地开发。

    简单安装和设置:
    安装Devilbox非常简单。只需克隆Devilbox存储库并配置环境文件即可。Devilbox适用于包括Linux、macOS和Windows在内的所有主要操作系统。完成设置后,您可以使用一个命令启动所有容器。

    精确运行所需的内容:
    Devilbox提供了灵活性,可以选择所需的守护程序及其版本。您可以轻松配置Apache、Nginx、PHP、MySQL、MariaDB、Percona、PgSQL、Redis、Memcached、MongoDB等。这样,您可以在开发过程中准确模拟生产环境。

    附加服务和工具:
    除了默认堆栈之外,Devilbox还提供了其他一些可以轻松启用和启动的服务。这些服务包括Python(Flask)、Blackfire、ELK、MailHog、Ngrok、RabbitMQ、Solr、HAProxy、Varnish等等。您可以仅启动所需的容器,并在堆栈运行时添加或删除守护程序。

    邮件拦截和自动DNS:
    Devilbox包含一个内置的postfix邮件服务器,可以拦截所有发出的电子邮件,确保您在开发过程中不会意外发送真实的电子邮件。自动DNS功能会自动为每个项目提供正确的DNS记录,无需手动编辑主机文件。

    用户友好的内部网络和安全性:
    Devilbox配有一个用户友好的内部网络,提供有用的工具,如容器健康监控、DNS状态、可用的虚拟主机、电子邮件、数据库和有效的配置。安全性也是一个重要考虑因素,Devilbox使用官方Docker映像和自定义映像的混合方式。所有集成的容器都可以在GitHub上进行查看。

    始终更新和活跃的社区:
    Devilbox容器经常更新并推送到Docker Hub。您可以轻松拉取最新的映像或重新构建特定的容器以获取最新版本。Devilbox拥有活跃的社区,欢迎贡献、错误报告、功能请求和通过GitHub、论坛和聊天渠道的合作。

    结论:
    Devilbox通过提供可定制和可复现的基于Docker的PHP堆栈简化了本地开发。通过其简单的安装、选择守护程序和版本的灵活性、附加服务和工具、邮件拦截、自动DNS、用户友好的内部网络和活跃的社区支持,Devilbox简化了开发流程,提高了生产效率。无论您是初学者还是经验丰富的开发人员,Devilbox都是创建和管理开发环境的有价值工具。尝试一下,体验轻松的本地开发带来的好处。


    devilbox.org