Day: November 2, 2023

一步一步学习Penrose:创造美丽的数学图像一步一步学习Penrose:创造美丽的数学图像

大家好!欢迎来到这篇关于Penrose的博客文章。准备好开启创造美丽图像的旅程了吗?无论你是数学领域的专家,还是编程初学者,Penrose都可以为你提供一个友好的平台,让你轻松地创造出令人惊叹的图形。 Penrose: 一个新的视角 我们经常会用笔或者铅笔来画出我们理解的概念,让它们从抽象变为具体。那么在Penrose中,我们是如何创造图像的呢?让我们来看一个简单的例子。假设我们想要画出你家的物品,首先我们需要确定我们的领域,也就是你家中的所有物品。然后,我们列出所有我们想要在图像中展示的物体,这些物体在Penrose中被称为”物质”。例如,你的椅子就是你家中的一个特定的物体。 接下来,我们需要找出这些物体之间的关系。比如,我们可以根据家中的植物每周需要浇水的次数来对它们进行分组,这样我们就可以得到一个关于植物的视觉集群图。然后,我们可以尝试使用不同的颜色、大小和组合来绘制图像,同一个概念可以用不同的风格来表现。 用Penrose来创造美丽的图像 Penrose的主要目标是从数学陈述中创建美丽的图像。如果一个椅子是房子中的一个物体,那么一个向量也可以是线性代数中的一个物体。使用Penrose,你可以构建任何你想要可视化的数学领域。 要使用Penrose创建图像,我们需要在三个特定的文件中编写代码。首先,我们需要定义我们的物体领域,因为Penrose并不知道你的家中有什么,也不知道什么是椅子。除了定义你的领域中的物体类型,你还需要描述你的领域中可能的操作。其次,我们需要存储我们想要在图像中包含的特定物质,这样Penrose才知道具体要为你画什么。最后,我们需要定义我们想要用来可视化我们的物质的样式。 这三个文件分别对应于: 在一般情况下,每一个图像都会有一个独特的.substance文件,包含了图像的特定实例,而.domain和.style文件可以应用到很多不同的图像中。 现在,你已经准备好开始你的Penrose之旅,制作你的第一个Penrose图像了!在接下来的教程中,我们将会一步步教你如何创建包含两个集合的图像,如何描绘子集的概念,以及如何展示向量的加法。让我们一起来开启这个精彩的旅程吧! [...]

使用24GB消费级GPU进行20B LLMs的RLHF微调使用24GB消费级GPU进行20B LLMs的RLHF微调

欢迎各位读者,今天我们要聊聊一件新鲜事。没错,就是在一台24GB的消费级GPU上,如何对20B参数的大型语言模型(LLM)进行RLHF(人工反馈强化学习)的微调。这个工作得益于我们的新工具——trl和peft的完美结合。让我们一起来探索这个新颖的微调方法,以及它如何变得更加容易实现。 一、 LLMs & RLHF:AI领域的新星 首先,让我们来了解一下大型语言模型(LLMs)和人工反馈强化学习(RLHF)。结合使用LLMs和RLHF,我们可以构建出像ChatGPT这样的强大AI系统。这个过程通常包括三个步骤:首先,我们在特定领域或语料库的指令和人类示例上微调预训练的LLM;然后,我们收集一个人工注释的数据集,训练一个奖励模型;最后,我们用奖励模型和这个数据集使用RL(比如PPO)进一步微调第一步中的LLM。 二、 什么是TRL? trl库的目标是使RL步骤更容易和更灵活,任何人都可以在自定义的数据集和训练设置上使用RL微调他们的LM。你可以使用trl来运行最流行的深度RL算法,PPO,这可以在分布式方式或单一设备上实现!为了实现这一目标,我们利用了Hugging Face生态系统中的accelerate工具,以便任何用户都可以扩大实验规模。 三、 大规模训练的挑战 大规模训练可能会遇到挑战。首要挑战是将模型及其优化器状态装入可用的GPU设备。一个参数在GPU内存中所占的空间取决于其”精度”(或者更具体地说,dtype)。最常见的dtype包括float32(32位),float16和bfloat16(16位)。简单来说,要在GPU设备上加载一个模型,每十亿个参数在float32精度下需要4GB的内存,在float16下需要2GB,而在int8下需要1GB。 四、 8位矩阵乘法 8位矩阵乘法是一种高效的方法,首次在论文LLM.int8()中提出,旨在解决量化大规模模型时性能下降的问题。简单地说,如果你使用8位矩阵乘法,你可以将全精度模型的大小减少4倍(因此,对于半精度模型,可以减少2倍)。 五、 低秩适应和PEFT 在2021年的论文LoRA: Low-Rank Adaption of Large Language Models中,研究者们证明了可以通过冻结预训练的权重并创建低秩版本的注意力矩阵的查询和值层,对大型语言模型进行微调。这种技术使LLMs的微调只需要一小部分的内存需求。 六、 什么是PEFT? 参数高效微调(PEFT)是一个由Hugging Face创建的库,用于支持在LLMs上创建和微调适配器层。peft已经无缝地集成了Accelerate,可以利用DeepSpeed和Big Model [...]

将艺术赋予控制力:探索ControlNet在Diffusers中的应用将艺术赋予控制力:探索ControlNet在Diffusers中的应用

大家好,我来给大家介绍一项令人兴奋的技术——ControlNet。这项技术为我们提供了一种全新的方法,让我们能够在图像生成过程中拥有更大的控制权。那么,ControlNet究竟是什么呢?又能带给我们怎样的可能性呢?接下来,让我们一起揭开ControlNet的神秘面纱。 ControlNet简介 ControlNet是由张璐民和Maneesh Agrawala在其研究成果“Adding Conditional Control to Text-to-Image Diffusion Models”中提出的一种框架。它提供了一种支持各种空间上下文的方法,这些上下文可以作为Diffusion模型(如Stable Diffusion)的额外条件。让我们通过一些例子来看看ControlNet的强大之处。 想象一下,你有一个卡通图案,你想将它转化成一张逼真的照片,或者你有一个室内设计的草图,你希望看看它在现实中的效果。这些都可以通过ControlNet来实现。你甚至可以让一些著名的标志图案栩栩如生。ControlNet的应用极限只在于你的想象力。 ControlNet的工作原理 那么,ControlNet是如何工作的呢?首先,我们复制一个Diffusion模型(例如Stable Diffusion)的预训练参数,并将其称为“可训练副本”,同时也保留预训练参数的另一份副本,称为“锁定副本”。”可训练副本”用于学习任务特定的内容,而”锁定副本”则用于保留大数据集中学习到的丰富知识。然后,通过优化为ControlNet框架设计的“零卷积”层,将两份参数连接起来。这是一种训练技巧,可以在训练新条件时保留模型已经学到的语义。 体验ControlNet 接下来,让我们亲自体验一下ControlNet。首先,我们需要确保已经安装了所有必要的库。我们还需要安装一些额外的依赖项,以便处理不同的ControlNet条件。 准备好之后,我们就可以开始了。我们选择了一幅著名的画作——《戴珍珠耳环的少女》作为例子。首先,我们将图像进行Canny预处理,这实际上是一个边缘检测的过程。 之后,我们加载预训练的模型,并将模型设置为半精度(torch.dtype),以便进行快速且内存高效的推理。在加载模型时,我们还使用了一个叫做UniPCMultistepScheduler的调度器,它能大幅减少推理时间。 接下来,我们将管道设置为开启智能CPU卸载,并启用FlashAttention/xformers注意力层加速,以节省内存消耗并提高推理速度。 准备工作完成后,我们就可以开始运行ControlNet管道了!我们以“Sandra Oh,最高质量,极其详细”为提示,生成了一系列惊人的图像。其中,我们还可以看到一些现代名人仿照17世纪的这幅画作进行摆拍的图像。 结语 ControlNet技术为我们提供了一个全新的创作方式,让我们能够在生成过程中拥有更多的控制权。我们期待着看到更多的创新应用和独特创作。感谢你的阅读,我们下次再见! [...]

Cython并行编程:揭秘Cython并行模块Cython并行编程:揭秘Cython并行模块

欢迎各位读者,我们今天将要探索的主题是Cython的并行编程功能。如果你是一名Python开发者,对于如何提升代码运行效率感兴趣,那么本文定会让你大开眼界。Cython是一个强大的工具,它能让Python代码运行得更快,而且还支持原生的并行化。今天,我们要深入探索的正是Cython 3版本的并行模块。 Cython并行模块的使用需要明确两种语法:Cython专有的cdef语法和纯Python语法。这两种语法都能让我们在Python代码中使用C数据类型,只需要导入特殊的cython模块即可。值得注意的是,使用纯Python语法时,我们强烈推荐你使用最新的Cython 3版本。 Cython通过cython.parallel模块支持原生并行化。要使用此类并行化,必须释放GIL(Python全局解释器锁)。目前,Cython支持OpenMP,未来可能会支持更多后端。 并行循环:cython.parallel.prange() Cython提供了一个名为prange的函数,用于并行循环开发。prange函数会自动启动一个线程池,并根据设定的调度策略分配工作。它的使用方式与Python的range函数相似,但是提供了更多功能,包括线程局部变量、变量归约和私有变量。以下是两个简单的例子,一个使用纯Python语法,一个使用Cython语法: 并行区域:cython.parallel.parallel() Cython还提供了parallel指令,它可以用在with语句中,以并行方式执行代码序列。这在设置prange中用于线程局部缓冲区的情况下非常有用。下面的例子展示了如何使用线程局部缓冲区: 获取线程ID:cython.parallel.threadid() Cython并行模块还提供了threadid函数,用于获取当前线程的ID。对于n个线程,ID将从0到n-1。 编译 最后,要实# Cython并行编程:揭秘Cython 3.0.5并行模块 欢迎来到我们今天的故事,我要带你一起探索一个神秘的领域——Cython的并行编程。如果你是Python的忠实粉丝,对如何提升Python代码运行效率的问题抱有热切的兴趣,那么这篇文章一定不会让你失望。接下来,我们要深入探讨的是Cython 3.0.5版本的并行模块。 首先,我们需要了解Cython提供了两种语法:Cython专有的cdef语法和纯Python语法。这两种语法都能让我们在Python代码中使用C数据类型,只需要导入特殊的cython模块即可。如果你选择使用纯Python语法,强烈推荐你使用最近的Cython 3版本,这样你将会体验到更多的改进和优化。 Cython通过cython.parallel模块支持原生的并行化。要使用这种并行化,必须释放GIL(Python全局解释器锁)。目前,Cython支持OpenMP,并且未来可能会支持更多的后端。 轻松实现并行循环:cython.parallel.prange() Cython提供了一个名为prange的函数,用于并行循环开发。当你使用prange时,OpenMP会自动启动一个线程池,并按照你设定的调度策略分配工作。这个函数的参数与Python的range函数相似,但提供了更多的功能,包括线程局部变量和归约,以及最后的私有变量。你可以把prange看作是一个更强大、更灵活的range。 并行区域:cython.parallel.parallel() 除了prange,Cython还提供了parallel函数,它允许你在一个指定的代码块中并行执行多个任务。这在你需要在prange的循环体中使用线程局部缓冲区的场景中特别有用。 获取线程ID:cython.parallel.threadid() 在一些情况下,你可能需要知道当前执行的是哪一个线程。Cython并行模块提供了threadid函数,你可以通过它获取当前线程的ID。 Cython的并行编程功能为Python开发者提供了一个强大的工具,让Python代码能够更好地利用多核处理器的计算能力。这样不仅能提高代码的执行效率,还能在处理大数据或者复杂计算任务时,带来更好的用户体验。 这就是我们今天要分享的内容,感谢你的阅读,希望这篇文章对你有所帮助。在编程的世界中,我们应该始终保持好奇和热情,不断探索未知,并享受其中的乐趣! [...]

探索Zig:小巧而强大的编程语言探索Zig:小巧而强大的编程语言

你是否曾经对一门编程语言深入研究,却发现它的复杂性超出你的预期?你是否寻找过一种编程语言,既强大又灵活,同时又简单易懂?如果你的答案是肯定的,那么,让我来向你介绍一门称为Zig的语言,它可能正是你一直在寻找的那种语言。 Zig是一种专注于优化和易用性的编程语言。与C++、D和Rust等其他编程语言相比,Zig提供了一种全新的编程体验,让你可以真正专注于编程,而不是花费无尽的时间去理解编程语言本身。 Zig的主要特点 简洁易懂 Zig的语法简洁明了,全语法只有500行PEG文法文件。它没有隐藏的控制流,隐藏的内存分配,也没有预处理器和宏。这意味着如果Zig代码看起来没有跳转去调用一个函数,那么它就不会调用。这种清晰的语法规则极大地提高了代码的可读性和可维护性。 性能与安全并重 Zig提供了四种构建模式,你可以在编程时自由选择。这四种模式包括调试,释放安全,释放快速,和释放小。这为开发者提供了一种灵活的方式,可以在需要最大性能的地方禁用安全检查,而在其他地方保持代码的安全性。 兼容C语言 Zig不仅可以与C语言库无缝集成,而且还提供了一种编译C代码的方式。这使得Zig在处理跨平台编译时具有极高的效率。 Zig的优势 Zig的优势并不仅仅在于其简洁的语法和灵活的构建模式。还包括一些其他的特性,比如: Zig的设计目标是为了让你能尽可能地专注于自己的项目,而不是被编程语言本身的复杂性所困扰。如果你正在寻找一种小而强大,简洁而灵活的编程语言,那么Zig值得你一试。 [...]

Zig编程语言:强大、简洁,又不失优雅Zig编程语言:强大、简洁,又不失优雅

大家好,今天我们要来聊聊一个全新的通用编程语言:Zig。这是一款为了维护健壮、优化和可重用软件而设计的工具链。 Zig的设计理念 Zig力求简洁明了,让开发者可以将精力集中在调试应用程序上,而不是去理解复杂的语言知识。Zig没有隐藏的控制流,没有隐式的内存分配,也不使用预处理器或宏。这样一来,使用Zig编程,你总是清楚自己在做什么。 Zig的编译时间 (Comptime) Zig引入了一种全新的元编程方式,它基于编译时的代码执行和惰性求值。在Zig中,你可以在编译时调用任何函数,无需担心运行时开销。Zig的编译时间(Comptime)可以模拟目标架构,让你在编程时就能预见到在实际运行环境中的行为。 Zig的可维护性 Zig提供了一种优雅的方式来逐步改进你的C/C++/Zig代码库。你可以把Zig当作一个零依赖的C/C++编译器使用,它天生支持跨平台编译。通过zig build,你可以在所有平台上创建一致的开发环境。你甚至可以向C/C++项目中添加Zig编译单元,Zig默认启用了跨语言的链接时间优化。 Zig社区 Zig社区是去中心化的,任何人都可以自由地开始并维护自己的社区聚集地。没有所谓的“官方”或“非官方”,不过,每个聚集地都有自己的版主和规则。 Zig的主要开发工作在GitHub的Zig仓库进行,你可以在那里找到问题跟踪器和提案讨论。我们希望所有的贡献者都能遵守Zig的行为准则。 Zig软件基金会 Zig软件基金会(ZSF)是一个于2020年由Zig的创造者Andrew Kelley成立的非营利性公司。基金会的目标是支持Zig语言的发展。目前,ZSF能够以竞争性的待遇为少数核心贡献者提供薪酬。我们希望在未来能够扩大这个优惠,让更多的核心贡献者得到薪酬。ZSF主要靠捐款维持运营。 Zig的赞助者 我们的赞助者包括一些公司和个人。他们为Zig提供了直接的财务支持,使得Zig项目可以对开源社区负责,而不是对公司股东负责。我们感谢所有赞助Zig的人,尤其是那些每月捐款200美元或以上的赞助者。 希望你能从Zig中找到乐趣,让我们一起探索这个新的编程世界! [...]

让PHP在浏览器上翱翔:Sean Morris 的 php-wasm 项目探索让PHP在浏览器上翱翔:Sean Morris 的 php-wasm 项目探索

你是否曾想过在浏览器中直接运行 PHP 代码?Sean Morris 带来的 php-wasm 项目就是为此而生。它将 PHP 引擎与 WebAssembly 结合,让 PHP 开发者能够在新的领域大展身手。这个项目的原始版本由 Oraoto 开发,Sean Morris 则对其进行了 ES6 和 Clang 的升级。让我们一起跟随这个项目的脚步,探索在浏览器中运行 PHP 的全新可能性。 项目简介:php-wasm php-wasm 是一个开源项目,其目标是在浏览器中运行 PHP 代码。项目的主体部分托管在 GitHub 上,采用 [...]

Redis的BLPOP、BRPOPLPUSH 系列指令Redis的BLPOP、BRPOPLPUSH 系列指令

Redis 是一个高性能的键值对存储系统,它支持多种数据结构,包括字符串、列表、哈希、集合、有序集合等。这里我们来介绍一下 Redis 的 BLPOP 和 BRPOPLPUSH 系列命令。 BLPOP (Blocking Left POP) BLPOP 是一个阻塞的列表弹出操作。它是 LPOP 的阻塞版本,可以从列表的最左侧(头部)移除并获取一个元素。如果列表为空或不存在,BLPOP 命令将阻塞连接,直到等待的列表中有可弹出的元素或达到超时时间。其基本用法如下: 在这里,key1,key2 到 keyN 是你想要弹出元素的列表,timeout 是阻塞超时时间(单位是秒)。命令返回的是一个两元素的数组,第一个元素是被弹出元素所在的列表名,第二个元素是被弹出的元素。如果达到超时时间,命令将返回 nil。 BRPOPLPUSH (Blocking Right POP Left PUSH) BRPOPLPUSH [...]

Würstchen:引领图像生成的速度革新Würstchen:引领图像生成的速度革新

大家好,今天我要给大家介绍一款名为 Würstchen 的新型图像生成模型。这款模型由 Hugging Face 公司开发,它是一种扩散模型,能够在高度压缩的图像潜在空间中进行文本条件操作。这项技术的优势在于能大大降低训练和推理的计算成本。以前我们在处理 1024×1024 的图像时,需要花费大量的计算资源,而现在,通过 Würstchen,我们可以用相当于 32×32 图像的资源来完成这项工作,这无疑是一个巨大的突破。 Würstchen 的设计新颖,实现了 42 倍的空间压缩,这在之前是无法想象的。它采用了两阶段压缩,我们称之为A阶段和B阶段。A阶段是一个 VQGAN,B阶段是一个扩散自编码器。A阶段和B阶段共同被称为解码器,因为它们将压缩后的图像解码回像素空间。还有一个第三阶段模型,称为 Prior,它在高度压缩的潜在空间中进行学习,这种训练需要的计算资源只是当前顶级模型的一小部分,同时也让推理变得更便宜、更快。 那么,为什么我们需要另一个文本到图像的模型呢?原因很简单,因为 Würstchen 非常快且高效。比起像 Stable Diffusion XL 这样的模型,Würstchen 可以更快地生成图像,同时使用的内存也更少。此外,Würstchen 的训练成本也大大降低,Würstchen v1 只需要 9,000 GPU [...]

进入3D高斯投影的奇妙世界:开创图形渲染新纪元进入3D高斯投影的奇妙世界:开创图形渲染新纪元

大家好,欢迎来到今天的科技博客,我要引领大家进入一个充满奇妙创新的世界——3D高斯投影。这是一种由《3D高斯投影用于实时辐射场渲染》一文描述的光栅化技术,它带来了摄影级别的实时场景渲染。 3D高斯投影到底是什么? 首先,让我们来揭开3D高斯投影的神秘面纱。它是一种光栅化技术,这意味着它将场景描述的数据绘制在屏幕上,如同计算机图形中的三角形光栅化一样。然而,这里的主角并不是三角形,而是高斯分布。每一个高斯分布都被一些参数所描述,包括它的位置(XYZ)、协方差(即它的拉伸或缩放,由3×3矩阵表示)、颜色(RGB)以及透明度(α)。在实际应用中,这些高斯分布会被同时绘制出来,从而形成了我们所看到的3D图像。 3D高斯投影的工作原理 接下来,我将为大家详细介绍一下3D高斯投影的全过程。 首先,通过利用Structure from Motion(SfM)方法,我们可以从一组图片中估算出一个点云。然后,这些点会被转换成高斯分布,这已经足够进行光栅化了。接下来,我们需要通过训练来学习一个可以产生高质量结果的表示。 在训练过程中,我们使用了类似于神经网络的随机梯度下降,但没有涉及到层的概念。训练步骤包括使用可微的高斯光栅化将高斯分布光栅化为图像,计算光栅化图像与真实图像之间的差异,根据损失调整高斯参数,并应用自动化的密集化和剪枝。这使得高斯分布能更好地适应细致的细节,同时剪除不必要的高斯分布。 作为光栅化技术,3D高斯投影的关键在于它的快速性和可微性。每一个高斯分布都会从摄像机的视角投影到2D空间,按深度排序,然后每个像素会依次迭代每个高斯分布,将它们混合在一起。 3D高斯投影的重要性 那么,为什么3D高斯投影会引起人们的广泛关注呢?答案很明显,它能实时渲染出高质量的场景。而且,它还有很多未知的可能性,例如是否可以进行动画渲染?是否可以进行反射渲染?是否可以在不依赖参考图像的情况下进行建模?此外,3D高斯投影对于很多AI研究领域,如Embodied AI,也可能带来深远的影响。 3D高斯投影和图形的未来 那么,3D高斯投影对图形的未来意味着什么呢?它的优点包括能快速地实时渲染出高质量的照片级别场景,并且训练过程也相对较快。然而,也存在一些缺点,比如它需要大量的视频内存(查看需要4GB,训练需要12GB),生成的场景文件大小也较大,达到1GB以上。此外,它与现有的渲染管线并不兼容,生成的场景是静态的,不能动态改变。 虽然3D高斯投影带来了一些挑战,但它的出现无疑是图形渲染领域的一大创新。它打开了一个全新的可能性,也许在不久的将来,我们将看到更多利用3D高斯投影的实时、高质量的渲染效果。 结语 在这篇博客中,我们对3D高斯投影进行了初步的探讨。这是一个既神秘又充满无限可能性的领域。虽然它目前还存在一些局限性,但我们相信,随着科研人员的不断探索和技术的不断进步,3D高斯投影将为未来的图形渲染开创全新的纪元。 [...]