个人学习工作分享

竟然这么多人用类型提示来写python！

杂的文

本文探讨了Python类型系统的里程碑PEP 484的重要性以及近年来Python类型提示的广泛应用。文章介绍了PEP 484提案的目的和其对Python开发者的影响，包括提高代码的可读性和维护性，增强IDE的支持，以及更早地捕捉潜在错误的能力。此外，文章还分享了一项由JetBrains、Meta和Microsoft联合发起的大型调查的结果，显示超过88%的受访者表示他们经常在Python代码中使用类型提示。文章最后讨论了开发者在不同情况下选择使用或不使用类型提示的原因，并鼓励读者分享自己的看法和经验。

你这个django正不正宗，怎么看起来像flask？

学习

小琪和小胖尝试使用新的工具nanodjango来简化Django应用开发。nanodjango允许在一个文件中完成整个Django应用，包括模型、视图和管理后台。他们展示了如何使用nanodjango快速搭建一个计数器应用，并演示了API支持、异步视图、管理后台等功能。这个工具对于快速搭建原型或小型应用特别方便，并可轻松转换为完整的Django项目。他们还探讨了如何将其集成到日常工作中，并展示了nanodjango的潜力。关键词：python，Django，开源工具，nanodjango。

fast-graphrag 探索（4）- 我把模型服务干崩了！

学习

文章摘要：本文主要描述了小胖在使用fast-graphrag模型处理研报数据的过程中所遇到的问题及解决方法。文章首先介绍了小胖尝试用fast-graphrag模型插入研报数据时发现数据结果意外少，然后通过检查代码找到了是因为n_checkpoints参数设置不当导致的问题。接着，小胖面对并发量过高导致的模型服务崩溃问题，通过限制并发数成功解决了问题。文章关键词为python，fast-graphrag探索，AI，rag，开源。

大升级！LLM应用监控、测试、优化一步到位！

学习

本文介绍了使用langfuse工具在开发基于检索增强生成（RAG）模型应用时的监控追踪方法。文章详细描述了langfuse的功能，包括LLM可观测性、提示管理、LLM评估、数据集管理等。文章还介绍了langfuse最近的v3.0.0大版本升级，包括引入Async Worker、Redis、Clickhouse和S3 / Blob Storage等技术来提升系统的可扩展性、性能和数据处理能力。文章通过实例展示了如何使用langfuse进行trace、提示词管理，并总结了langfuse在LLM应用开发生态系统中的作用。最后，文章呼吁读者关注公众号并分享使用langfuse的经验和想法。

腾讯云智能结构化OCR实战：从图片到结构化数据的高效转换

学习

本文介绍了作者使用腾讯云智能结构化OCR服务的实战体验。文章首先描述了作者的需求背景，即关注多个理财子的公众号，收集理财产品的清单文章数据。由于遇到一些识别问题和token费用较高的情况，作者尝试使用腾讯云的智能结构化OCR服务。文章详细介绍了安装SDK、代码实现、验证和web部署的过程，并分享了使用腾讯云智能结构化OCR服务的体验和效果。相较于传统OCR，腾讯云智能结构化OCR能够更好地进行结构化数据的处理。整体使用较为简单，但在某些情况下仍需改进。最后，文章欢迎读者分享对OCR应用的经验和看法，并附上了相关图片和代码示例。

微软开源的处理工具 - markitdown

学习

微软最近开源了一个名为markitdown的Python工具，可将各种格式的文件和office相关格式的文件转换为Markdown格式。它支持多种文件格式转换，如PDF、PowerPoint、Word、Excel、图片、音频等。此外，markitdown还支持调用大模型处理图片、音视频等格式的文件数据。该工具的安装简单，并且提供了高级用法和API接口，方便集成到内部流程、数据管道或知识管理系统中。其应用需求主要体现在非结构化数据转换、提高模型训练效率、复杂文档解析、知识管理和团队协作、数据源集成、在线文档与静态网站构建等方面。该工具为模型应用开发者提供了便捷的文件处理解决方案。

fast-graphrag 探索（3）- insert

学习

本文介绍了在Python中使用fast-graphrag框架进行知识图谱插入操作（insert）的流程。文章首先描述了state_manager属性的作用，它是一个泛型类，负责管理图中的节点、边、块等数据类型的存储和状态。接着介绍了GraphRAG类实例的state_manager是DefaultStateManagerService。在插入文档时，首先调用state_manager的insert_start方法，准备插入操作。然后，通过模型提取实体和关系，并将节点、边和文档数据插入到图存储中，同时处理一些计算和去重操作。最后，插入身份边以确保源索引和目标索引之间没有邻接关系。文章还包含了一些关于模型应用经验和看法的分享。

fast-graphrag 探索（2）

学习

本文探索了fast-graphrag库的GraphRAG类，它是基于Graph的检索增强生成系统的入口点。文章详细解释了该类及其依赖的各种服务和策略。重点在于泛型的使用，它提高了代码的灵活性和可重用性。此外，文章还讨论了依赖注入和类型提示等概念。通过对比简单的图类实现，阐述了使用泛型带来的好处。最后，文章展示了如何初始化GraphRAG类，并介绍了其内部配置和初始化过程。整体来看，本文是对fast-graphrag库的深入解析，旨在帮助读者理解其工作原理和应用方式。

fast-graphrag 探索（1）

学习

本文介绍了对fast-graphrag项目的初步探索和实践。首先，通过准备数据阶段，使用模型生成了几个故事作为测试数据。接着，进入测试代码阶段，包括运行官方demo、环境变量配置、自定义llm模型的配置等。完成后，会在本地生成一系列pkl文件和pklz文件，这些文件通过pickle包打开。通过查询示例，展示了如何使用图结构数据进行查询。最后，探讨了使用.pkl文件的原因，包括序列化和反序列化、高效存储等优点。整体来看，fast-graphrag是一个有趣且实用的项目，值得进一步探索和研究。

他会是RAG方案的王者吗？

学习

这篇文章主要探讨了RAG（Retrieval Augmented Generation）方案，针对大型语言模型（LLMs）存在的知识过时、生成内容幻觉、数据安全性、响应不可预测性、答案来源权威性和术语混淆等问题，RAG通过从海量数据源中检索信息来辅助大语言模型生成答案，提高了LLM的可靠性和可解释性。文章还介绍了RAG技术的最新发展，如GraphRag和fast-graphrag等框架。文章测试了fast-graphrag的性能，并分享了其安装和使用方法。最后，文章呼吁读者分享对模型应用经验和看法。关键词：python，RAG方案，fast-graphrag。