知鸦日报2023-09-13

如何通过一种合适的范式，将LLM涌现的各种能力迁移应用在推荐系统之中，利用LLM大语言模型的通用知识来辅助推荐，改善推荐效果和用户体验。

In looking for a way to automatically generate descriptions for pages I stumbled into a markdown ast in python. It allows me to go over the markdown page and get only paragraph text. This will ignore headings, blockquotes, and code fences.

阅读本文，您将对异常堆栈消失问题有更深入的了解，并掌握解决问题的方法和技巧。

In October 2022, Shopify released ShopifyQL Notebooks, a first-party app that lets merchants analyze their shop data to make better decisions. It puts the power of ShopifyQL into merchants’ hands with a guided code editing experience. In order to provide a first-class editing experience, we turned to CodeMirror, a code editor framework built for the web. Out of the box, CodeMirror didn’t have support for ShopifyQL–here’s how we built it.

H5 页面做秒开优化是业务的常规操作，一般正常通过网络请求的 H5 页面，我们都是围绕资源加载速度优化展开。优化手段主要分两个方向，一个是提升网络速度，一个是减少资源大小。

本次主要以线程为切入点，讲解 JAVA 中 Executor 接口的继承关系，线程池的核心实现类 ThreadPoolExecutor 的所有参数都是什么含义，以及四种线程拒绝策略，在不同的业务场景中该如何使用。

可观测性（Observability）是近年来备受关注的话题。那么什么是可观测性？在滴滴可观测性又是如何实现的？本文将一一呈现。

1. 比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。
2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。
3. 大语言模型的参数高效微调技术：prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

我们应该去掌握大模型能做什么，去思考业务如何能够和大模型融合，但是不必焦虑和恐慌，因为没有 AI 能取代你，能取代你的只有你停止不前的脚步。

我称之为一种仰望星空的职业。