个人学习工作分享

为什么不推荐在 Django 的orm查询中使用 .first()查询唯一记录

学习

Django是一个流行的Python框架，其ORM（对象关系映射）简化了数据库交互。对于查询唯一记录，推荐使用.get()而不是.first()，因为.first()会引入不必要的排序操作，可能影响性能。然而，如果查询字段有索引，排序的性能开销通常可以忽略。Django的ORM允许开发者使用Python代码操作数据库，无需编写复杂的SQL语句。在设置中开启ORM查询的SQL日志，可以方便地查看生成的SQL语句。总体而言，Django的ORM提供了便捷的数据操作方式。

基于Reflex开发一个图片风格转换demo（1）

学习

本文介绍了基于Python的Web开发框架Reflex的介绍和使用过程。首先强调了其对纯Python的开发模式的特点，适用于熟悉Python但对前端开发不太熟悉的人员。介绍了安装过程、初始化项目步骤、运行过程等。文章还提到了使用Reflex开发一个图片风格转换demo的过程，并指出了一些可能遇到的问题和解决方案。最后，文章鼓励读者关注作者公众号以获取更多内容。

竟然这么多人用类型提示来写python！

杂的文

文章讨论了Python中的类型提示的重要性和实际应用情况。文章回顾了PEP 484提案，该提案为Python引入了静态类型检查的能力，以提高代码的可读性和质量。文章还分享了JetBrains、Meta和Microsoft联合进行的一项关于Python类型系统的调查数据，显示越来越多的开发者在日常工作中使用类型提示。文章最后鼓励读者分享对Python中使用类型提示的看法和经验。

你这个django正不正宗，怎么看起来像flask？

学习

小琪和小胖尝试使用新的工具nanodjango来简化Django应用开发。nanodjango允许在一个文件中完成整个Django应用，包括模型、视图和管理后台。他们展示了如何使用nanodjango快速构建计数器应用，并介绍了其支持API、异步视图和管理后台的特性。他们还讨论了如何将nanodjango集成到日常工作中，并展示了其潜力。文章关键词包括python、Django、开源等。

fast-graphrag 探索（4）- 我把模型服务干崩了！

学习

文章摘要：本文主要描述了小胖在使用fast-graphrag模型处理研报数据的过程中所遇到的问题及解决方法。文章首先介绍了小胖按照官方example指导调整模型参数并编写代码以处理研报数据，但在运行后发现生成的数据文件出乎意料地小，并且只有最后一篇研报的数据。经过仔细检查代码，小胖发现是因为n_checkpoints参数设置不当导致的。调整代码后，他尝试将整批数据一次性插入，简化了代码逻辑。但随后又遇到并发量过高导致模型中转服务挂掉的问题。通过查看日志和定位问题，小胖使用asyncio.Semaphore限制了并发数，最终成功解决了所有问题。文章还涉及了python、fast-graphrag探索、AI、rag和开源等关键词。

大升级！LLM应用监控、测试、优化一步到位！

学习

本文介绍了使用langfuse工具在开发基于检索增强生成（RAG）模型应用时的监控追踪方法。文章详细描述了langfuse的功能，包括LLM可观测性、提示管理、LLM评估、数据集管理等。文章还介绍了langfuse最近的v3.0.0大版本升级，包括新引入的Async Worker、Redis、Clickhouse和S3 / Blob Storage等技术，并解释了选择这些技术的理由。此外，文章还展示了如何使用langfuse进行trace、提示词管理，并总结了langfuse在LLM应用开发生态系统中的作用。最后，文章呼吁读者关注公众号并分享使用langfuse的经验和想法。

腾讯云智能结构化OCR实战：从图片到结构化数据的高效转换

学习

本文介绍了作者使用腾讯云智能结构化OCR服务的实战体验。文章首先描述了作者的需求背景，即汇总多个理财子公众号发布的理财产品的数据。由于遇到一些识别不准确和费用较高的问题，作者尝试使用腾讯云的智能结构化OCR服务，并详细介绍了其特点和优势。文章还包含了价格的讨论、SDK的安装、代码示例、验证和web部署等部分。整体上，文章展示了如何使用腾讯云智能结构化识别进行OCR识别，并提供了结构化数据的处理。摘要：本文详细描述了作者使用腾讯云智能结构化OCR服务进行理财产品的数据汇总的实战体验。文章突出了腾讯云智能结构化OCR服务的高效转换能力，将图片数据转化为结构化数据。文章涵盖了需求背景、服务特点、代码示例、验证和web部署等内容。为读者提供了一个从图片到结构化数据的高效转换的实践指南。

微软开源的处理工具 - markitdown

学习

微软最近开源了一个名为markitdown的Python工具，能够将多种文件格式（包括PDF、PowerPoint、Word、Excel等）转换为Markdown格式。除了基本转换功能外，markitdown还支持调用大模型处理图像和音视频数据。该工具具有多种应用场景，如非结构化数据转换、提高模型训练效率、复杂文档解析、知识管理和团队协作、数据源集成、在线文档与静态网站构建等。此外，markitdown还支持API集成，可方便地将PDF转Markdown功能集成到内部流程、数据管道或知识管理系统中，实现全自动化处理与持续更新。这是科技前沿的一种重要工具，尤其对于需要大量处理文件和数据的场景非常有用。

fast-graphrag 探索（3）- insert

学习

摘要：本文介绍了在Python中使用fast-graphrag进行文档插入的流程。首先介绍了state_manager属性及其相关类和实例的作用。然后详细描述了插入文档到GraphRAG时的操作步骤，包括调用state_manager的insert_start方法、读取历史数据、提取实体和关系、过滤重复数据、进行节点和边的插入操作等。文章还提到了使用embedding_service对插入的节点进行编码，生成嵌入向量，并存储在entity_storage中。最后，文章总结了整个插入流程，并预告了下一部分将介绍fast-graphrag的查询部分。

fast-graphrag 探索（2）

学习

本文探讨了fast-graphrag库的GraphRAG类及其相关概念，包括数据类、泛型、类型提示和依赖注入等。文章以一个简单的图类为例，说明了使用泛型的好处。接着详细解析了GraphRAG类的结构和初始化过程，包括内部配置类、后初始化方法、服务实例化和工作空间管理等方面的内容。最后，文章展示了如何实例化GraphRAG对象，并强调了泛型参数的重要性。本文旨在帮助读者理解fast-graphrag库的使用方法和原理，为后续的模型应用和研究打下基础。