在计算大语言模型（LLM）输出的误差时，具体的方法会因应用场景和任务的不同而有所差异。以下是几种常见的方法： 1. BLEU (Bilingual Evaluation Understudy) Score 用于评估机器翻译等生成任务的输出质量。它通过比较生成的文本与一个或多个参考文本来计算相似度。 2. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) Score 主要用于摘要生成任务，测量生成文本和参考文本之间的重叠度。 3. Perplexity 用于评估语言模型的预测能力。低困惑度通常意味着模型输出更符合预期。 4. Accuracy (准确率) 对于分类任务，例如情感分析，可以使用准确率来衡量模型输出的正确性。 5. Human Evaluation (人工评估) 由于很多生成任务的复杂性，人工评估仍然是最可靠的方法之一。 6. [...]
ActivityPub 是一个去中心化的社交网络协议，基于 ActivityStreams 2.0 数据格式。它提供了从客户端到服务器的 API，用于创建、更新和删除内容，以及一个从服务器到服务器的 API，用于传递通知和内容。本文将深入探讨 ActivityPub 的核心概念和实现方式。 什么是 ActivityPub？ ActivityPub 是一种标准化的协议，旨在实现去中心化的社交网络。它包括两个主要部分： 基本概念 在 ActivityPub 中，用户通过其在服务器上的账户表示为“actors”。每个 actor 都有一个收件箱（inbox）和发件箱（outbox），用于接收和发送消息。 客户端到服务器的交互 客户端通过向 actor 的发件箱（outbox）发送 POST 请求来发布活动。请求必须包含一个 Activity 对象，服务器随后会将其处理并传递到目标收件箱。 发布活动示例 假设 Alyssa [...]
什么是ActivityPub ActivityPub是一种开放的、基于分布式社交网络的协议，用于创建、更新和删除内容，并实现服务器之间的通信和内容传递。它为客户端到服务器和服务器到服务器提供了API接口，使得用户可以方便地在不同的社交网络平台之间进行交流和互动。 ActivityPub的目标是构建一个去中心化的社交网络，让任何人都可以在网络上运行自己的节点，并与其他服务器上的用户进行关注、点赞、评论等互动。这种去中心化的架构使得用户可以更好地掌控自己的数据和隐私，并且不受单一平台的限制。 ActivityStreams：社交网络的共同词汇 ActivityPub使用ActivityStreams作为其词汇，它包含了表示社交网络中各种活动和内容的常用术语。ActivityStreams的词汇已经包含了大部分我们在社交网络中需要使用的词汇，但即使它没有覆盖到我们所需的所有情况，我们仍然可以通过扩展JSON-LD来自定义新的词汇。 JSON-LD是一种用于表示语义数据的JSON扩展格式，它可以将数据组织成图形结构，并提供了一种机制来连接不同的数据源。对于了解JSON-LD的人来说，可以采取更加高级的链接数据方法；而对于不熟悉JSON-LD的人来说，JSON-LD文档和ActivityStreams可以被理解为普通的JSON格式。通过使用JSON-LD，我们可以更好地描述和表示社交网络中的各种活动和内容。 ActivityPub的工作原理 在ActivityPub中，用户通过其在服务器上的帐户来表示为”actors”，每个帐户对应一个独立的”actor”。每个”actor”都有自己的收件箱（inbox）和发件箱（outbox），用于接收和发送消息。用户可以在发件箱中发布消息，其他用户可以通过收件箱接收到这些消息。服务器之间也可以相互传递消息和内容，以实现跨服务器的互联互通。 举个例子，假设我们有两个用户Alyssa和Ben，他们分别在不同的服务器上拥有自己的帐户。当Alyssa想给Ben发送一条消息时，她会将消息发布到自己的发件箱中。然后，Alyssa的服务器会查找Ben的收件箱地址，并将消息发送到Ben的收件箱中。Ben可以通过检查自己的收件箱来读取Alyssa发送的消息。 此外，ActivityPub还支持用户之间的关注、点赞、评论等互动。用户可以关注其他用户的帐户，以便在自己的收件箱中接收他们的消息。用户还可以对其他用户的帖子进行点赞或评论，这些互动也会通过服务器之间的通信进行传递。 ActivityPub的工作进展 ActivityPub协议是世界广泛支持的社交网络标准，在Fediverse中得到了广泛应用。该标准由Evan Prodromou（StatusNet的创始人）等人共同编写，并于2018年1月被W3C发布为推荐标准。 ActivityPub的独特之处在于它允许用户在不同的服务器上创建帐户，并与其他服务器上的用户进行互动。这种联邦架构使得用户可以选择自己喜欢的服务器，并与其他用户跨服务器进行关注、点赞、评论等互动。 目前，许多社交网络平台已经实现了ActivityPub协议，包括Mastodon、PeerTube、Pixelfed等。这些平台都允许用户在自己的服务器上创建帐户，并与其他平台上的用户进行互动。用户可以通过关注其他用户的帐户，接收他们的消息和更新。他们还可以在自己的发件箱中发布消息，使其可供其他用户阅读和互动。 此外，ActivityPub还支持用户之间的私信功能。用户可以通过私信功能与其他用户进行一对一的私密对话，这些对话只有双方能够看到。 ActivityPub的应用案例 Mastodon是基于ActivityPub协议构建的一个开源微博平台，类似于Twitter。用户可以在Mastodon上创建自己的帐户，并与其他用户进行关注、点赞、评论等互动。Mastodon的一个独特之处在于它由许多独立的服务器组成，这些服务器之间通过ActivityPub协议进行通信，用户可以选择加入任何一个服务器。 PeerTube是基于ActivityPub协议构建的一个开源视频分享平台，类似于YouTube。用户可以在PeerTube上上传和分享视频，并与其他用户进行互动。PeerTube的联邦架构允许用户自主选择他们信任的服务器，并在不同的服务器之间共享视频内容。 Pixelfed是基于ActivityPub协议构建的一个开源图片分享平台，类似于Instagram。用户可以在Pixelfed上上传和分享图片，并与其他用户进行互动。Pixelfed的联邦架构使得用户可以选择他们喜欢的服务器，并与其他服务器上的用户进行互动。 ActivityPub的未来发展 随着ActivityPub协议的不断发展和完善，越来越多的社交网络平台将采用这一标准。这将促进不同平台之间的互操作性和联邦互联，使用户能够更加自由地选择他们喜欢的平台，并与不同平台上的用户进行交流和互动。 未来，我们可以期待更多创新和发展，例如更加智能化的内容推荐算法、更加灵活的隐私设置以及更加丰富的互动功能。ActivityPub将继续推动社交网络的去中心化和用户自主性的发展，为用户提供更加丰富、安全和自由的社交网络体验。 参考文献： [...]
引言 JBang是一款功能强大的工具，它不仅可以管理依赖项，还可以安装和管理应用程序。通过安装应用程序，我们可以轻松地将脚本和应用程序添加到系统的PATH中，从而在任何操作系统上都可以随时随地调用它们。本文将介绍如何使用JBang安装和管理应用程序。 安装应用程序 从版本0.56开始，JBang具备了使用jbang app命令将脚本和应用程序安装到系统的PATH中的功能。这对于在任何操作系统上轻松访问脚本和应用程序非常有用。 要开始使用，请运行jbang app setup命令。在Windows上，这将修改系统范围的PATH，以包含由JBang管理的文件夹。在基于bash/zsh的shell上，它将在你的bashrc或zshrc文件中设置PATH。 一旦设置完成，你就可以使用jbang app install <scriptRef>命令将脚本或应用程序安装到JBang管理的路径中。例如，jbang app install myscript.java将把myscript作为一个可以运行的命令。 你还可以使用别名，例如jbang app install gavsearch@jbangdev。 如果你有两个同名的脚本或应用程序，或者想要使用特定的名称，可以使用--name参数来控制生成的命令，例如jbang app install --name mvnsearch gavsearch@jbangdev。 如果想查看已安装的应用程序列表，可以使用jbang app list命令。如果想卸载脚本或应用程序，可以使用jbang app uninstall [...]
引言 在软件开发过程中，良好的文件组织方式对于代码的可读性和可维护性至关重要。文件组织的合理性可以使我们更好地组织代码和资源文件，提高开发效率。本文将介绍一款名为JBang的工具，它提供了灵活的文件组织方式，使我们能够更好地组织和管理项目文件。 JBang的文件组织方式 JBang允许我们使用多个源代码文件，并提供了一种简单的方式来组织这些文件。我们可以将多个源文件放置在同一个源代码目录中，甚至可以在一定程度上使用包进行组织。 以下是一个示例，展示了如何在JBang中使用多个源文件： 在这个示例中，我们有两个源代码文件：Main.java和model/Person.java。Main.java文件包含了应用程序的入口点，而model/Person.java文件定义了一个简单的Person类。我们可以通过在命令行中运行jbang Main.java来执行这个应用程序。 需要注意的是，当多个源文件相互引用时，有些情况下可能会出现问题。例如，如果model.Person引用了util.Generator，则会导致编译错误。此外，由于jbang edit在运行之前必须进行编译，因此它无法识别和处理多个源文件。 使用多个源文件的高级功能 从版本0.46开始，JBang提供了更高级的功能，使多个源文件的管理更加灵活。主要的脚本文件定义了所有的依赖项，而我们可以使用//SOURCES <filename>注释将更多的源文件添加到应用程序中。如果包含的源文件中存在//SOURCES注释，那么这些文件也将被递归地添加进来。对于.jsh脚本文件，包含的源文件将按照它们被发现的顺序进行添加，采用深度优先的方式。 在编译时，列出的文件名将被添加到源文件列表中。 需要注意的是，目前尚不支持使用*.java样式匹配或在这些.java文件中声明//DEPS或其他JBang配置。目前，这些配置只会被主要的脚本或应用程序所识别。根据反馈，未来将放宽这些限制。 添加更多资源文件 如果你想要添加META-INF/application.properties、META-INF/resource.index.html或其他文件到生成的JAR文件中，你可以使用//FILES注释来添加它们。 //FILES的格式为//FILES <mountpoint>[=<sourcefile>]。 以下是一个示例： 在这个示例中，resource.properties文件将被直接复制，而META-INF/resources/index.html文件的内容将来自于index.html文件。 所有的位置都需要相对于脚本所在的位置。 需要注意的是，目前jbang edit和基于HTTP(S)的脚本与//FILES不兼容。 用于命令行插件的无扩展名/非Java文件 你可以使用JBang编写命令行插件，例如kubectl、git等。这些插件希望插件能够以<cmd>-<plugin>的方式命名，例如kubectl-myplugin。 针对这种情况，JBang提供了两种方法来使其工作。第一种推荐的方式是使用jbang app install命令，在中间生成一个脚本来避免问题。例如，jbang app install [...]
引言 在软件开发过程中，我们经常需要使用各种各样的库和框架来构建功能强大的应用程序。然而，手动管理这些依赖项可能会变得非常复杂和耗时。在本文中，我们将介绍一款名为JBang的工具，它可以帮助我们轻松管理项目的依赖项。无论你是一名Java开发人员还是对软件开发感兴趣的新手，JBang都将是你的好帮手。 JBang简介 JBang是一款基于Java的命令行工具，它提供了一种简单且灵活的方式来管理项目的依赖项。使用JBang，我们可以轻松地指定所需的库和框架，并自动下载和安装它们，而无需手动处理复杂的依赖关系。JBang还提供了许多有用的功能，例如脚本执行、构建项目和编辑代码等。 安装和使用JBang JBang的安装非常简单。你只需前往官方网站（JBang官网）下载适用于你的操作系统的安装包，然后按照说明进行安装即可。 安装完成后，你可以在命令行中输入jbang命令验证安装是否成功。如果成功，你将看到JBang的版本信息和可用命令列表。 指定和管理依赖项 在JBang中，我们可以使用两种方式指定和管理依赖项：使用内联注释或使用外部依赖文件。 内联注释方式 使用内联注释的方式非常简单。在你的脚本或代码文件中，你只需在需要引入依赖项的地方添加类似以下的注释： 其中，groupId代表库或框架的组织ID，artifactId代表项目的唯一标识符，version代表所需的版本号。你可以根据需要指定一个或多个依赖项，它们之间用空格分隔。 以下是一个使用内联注释指定依赖项的示例： 在你运行脚本时，JBang将自动解析并下载所需的库和框架，并将其添加到类路径中，使其可供你的脚本使用。 外部依赖文件方式 除了使用内联注释，JBang还支持使用外部依赖文件来管理项目的依赖项。你可以创建一个文本文件（通常命名为dependencies.jsh），并在其中列出所需的依赖项，每个依赖项占一行。以下是一个外部依赖文件的示例： 在你的脚本或代码中，你可以使用以下语法来引用外部依赖文件： JBang将读取外部依赖文件，并自动解析和下载所需的库和框架。 解析和安装依赖项 一旦你在脚本或代码中指定了依赖项，JBang将自动解析并下载所需的库和框架。它会检查本地缓存中是否已经存在这些依赖项，如果不存在，就会从远程存储库中下载并安装它们。 当你第一次运行包含依赖项的脚本时，JBang会显示一个进度条，提示正在解析和下载依赖项。完成后，你就可以开始使用这些库和框架了。 示例说明 让我们通过一个简单的示例来演示JBang的使用。假设我们想编写一个使用log4j库进行日志记录的Java程序。 首先，我们需要在我们的代码中添加对log4j库的依赖。我们可以使用内联注释或外部依赖文件来指定依赖项。以下是在代码中使用内联注释的示例： 或者，使用外部依赖文件的示例： dependencies.jsh: 在你的代码中，你可以使用log4j进行日志记录。以下是一个简单的示例： 在这个示例中，我们首先导入了log4j库的必要类和接口。然后，我们创建了一个名为logger的静态变量，并使用LogManager.getLogger()方法获取日志记录器。最后，我们使用logger记录了不同级别的日志消息。 当我们运行这个程序时，log4j将根据配置的日志级别将日志消息输出到控制台或其他目标。 结论 [...]
简介 JBang是一款强大而灵活的工具，为开发者提供了便捷的方式来编写和运行Java代码。它可以处理包含main方法的单个.java文件，也可以处理.jsh文件（用于jshell）。下面我们将详细介绍JBang的安装和使用方法。 安装 要使用JBang，首先需要安装它。安装过程非常简单，只需按照以下步骤操作： 使用方法 JBang的使用方法非常灵活，你可以通过以下几种方式来执行Java代码： 这将直接执行该Java文件，并输出结果。 JBang将会将该文件传递给jshell进行处理，并输出结果。 JBang会自动加载并执行该.jar文件。 依赖关系 在Java项目中，处理依赖关系是常见的任务。JBang提供了便捷的方式来管理和引入依赖关系。你可以通过在代码文件中添加//DEPS的注释来指定所需的依赖项，JBang会自动下载并加载这些依赖项。例如： 这将下载并加载名为”com.example:library:1.0.0″的依赖项。 Java版本 JBang兼容多个Java版本，你可以根据自己的需要选择合适的Java版本进行编译和运行。如果系统中没有指定的Java版本，JBang会自动下载并使用默认的Java版本。你也可以使用以下命令来指定Java版本： 其中，java_version表示你要使用的Java版本。 文件组织 JBang支持帮助你更好地组织和管理项目文件。你可以将相关的代码文件放在一起，以提高代码的可读性和维护性。例如，你可以将所有与数据库操作相关的文件放在一个名为”database”的文件夹中。 运行和调试 JBang提供了丰富的运行和调试功能，让你可以更轻松地执行和调试Java代码。你可以使用以下命令来运行和调试代码： 编辑 JBang支持代码编辑功能，你可以通过指定编辑器来编辑代码文件，以提高开发效率。你可以使用以下命令来编辑代码： JBang会打开默认编辑器，并加载指定的代码文件供你编辑。 导出和发布 当你的项目完成后，JBang提供了导出和发布的功能。你可以将代码打包成可执行的文件或发布到其他平台上。例如，你可以使用以下命令将代码导出为可执行的Jar文件： JBang会将代码打包成一个可执行的Jar文件，方便你在其他环境中运行。 依赖项 在Java项目中，处理依赖关系是非常常见的任务。JBang提供了便捷的方式来管理和引入依赖项。你可以通过在代码文件中添加//DEPS的注释来指定所需的依赖项，JBang会自动下载并加载这些依赖项。例如： 这样，JBang会自动下载并加载”org.apache.commons:commons-lang3:3.12.0″和”com.google.guava:guava:30.1-jre”这两个依赖项。 Java版本 JBang兼容多个Java版本，你可以根据自己的需要选择合适的Java版本进行编译和运行。如果系统中没有指定的Java版本，JBang会自动下载并使用默认的Java版本。你也可以使用以下命令来指定Java版本： [...]
前言 Java 开发者们，无论您是学生、教育者还是专业开发人员，您是否曾经希望有一种更简单、更高效的方式来创建、编辑和运行 Java 程序？今天，我们将带您了解一个令人兴奋的工具——JBang。它不仅简化了 Java 应用的开发过程，还提供了丰富的功能和广泛的支持平台。 什么是 JBang？ JBang 是一个旨在让学生、教育者和专业开发人员能够轻松地创建、编辑和运行自包含的源代码 Java 程序的工具。借助 JBang，您可以在几乎任何操作系统上无缝地运行 Java 程序，而且无需复杂的设置过程。 多平台支持 安装与运行 JBang 可以安装并运行在 Windows、Linux、macOS、Docker 以及 GitHub Actions 上。此外，它还可以通过 Maven 和 Gradle 插件使用。这意味着无论您使用什么开发环境，都可以轻松集成 JBang。 [...]
在现代人工智能领域，推理大型语言模型（LLM）已经成为一个重要的应用场景。GitHub上的项目 mukel/llama2.java 提供了一种使用纯Java代码进行Llama 2推理的简洁实现。本文将详细介绍该项目的背景、构建方法及性能表现。 背景介绍 Llama 2是由Andrej Karpathy开发的一个非常简单的LLM推理实现。该项目的Java版本旨在提供教育价值，并用于在JVM上测试和调整编译器优化，特别是针对Graal编译器的优化。这一Java移植版本最初参考了llama2.scala。 构建与运行 要构建和运行该项目，您需要Java 21+，特别是其中的MemorySegment mmap-ing功能。以下是具体的构建步骤： 生成本地镜像 使用GraalVM可以创建一个独立的本地镜像： 或者使用Profile-Guided Optimizations (PGO)： 性能表现 以下是该项目在不同配置下的性能测试结果（基于AMD Ryzen 3950X 64GB，Arch Linux）： 单线程测试 模型 每秒处理Token 相对于llama2.c的加速 实现 stories15M.bin 363 [...]
引言 在现代人工智能领域，模型推理的效率和方便性是技术人员关注的核心问题。如今，我们将目光投向一个名为 Llama 3 的项目，该项目旨在在 Java 环境中实现 Llama 3 的推理。这一项目不仅是其前身 Llama2.java 的延续，还在多个方面进行了优化和改进。让我们深入了解这个项目的细节及其实现方法。 项目背景 Llama 3 是基于 Andrej Karpathy 的 llama2.c 项目的一个扩展版本。Llama3.java 通过单个 Java 文件实现了 Llama 3 的推理，除了教育价值外，还为在 JVM 上测试和调整编译器优化和功能提供了便利，特别是针对 Graal [...]