[240625] Continue -- 开源 Copilot | Web-Check 网站分析工具 | Story of EOL

07-14 1039阅读

- Continue -- 开源 Copilot
- Web-Check 网站分析工具
- - Web-Check 提供全面的网站分析功能
  - Web-Check 支持多种部署方式：
  - 配置选项
  - 开发环境
  - Web-Check 使用多种数据源进行分析
  - Story of EOL
  - - ASCII 文本中的换行符问题
      Continue – 开源 Copilot
      
      让 Continue 和 Ollama 成为你的代码伙伴。在编辑器中构建一个开源 AI 代码助手，为你提供智能代码建议和自动完成。
      （图片来源网络，侵删）
      1. 工具介绍：
        
        Continue：VS Code 和 JetBrains 编辑器插件，支持使用开源大语言模型构建代码助手。
        Ollama：允许在本地运行大语言模型的工具。
        
        推荐的模型组合和用例：
        
        代码自动完成和聊天：
        推荐模型： Mistral AI 的 Codestral 22B（性能优异，但资源消耗大，仅限研究和测试）。
        配置方法：下载 Codestral 模型，在 Continue 配置文件中指定模型为 codestral。
        代码自动完成和聊天（资源有限时）：
        推荐模型： DeepSeek Coder 6.7B 用于代码自动完成，Llama 3 8B 用于聊天。
        配置方法：分别下载两个模型，在 Continue 配置文件中分别指定。
        基于代码库的代码检索：
        功能：使用 @codebase 指令，自动检索代码库中相关的代码片段。
        推荐模型： nomic-embed-text 用于生成代码嵌入向量。
        配置方法：下载 nomic-embed-text 模型，在 Continue 配置文件中指定。
        微调 StarCoder 2 模型：
        目标：利用 Continue 收集的开发数据，微调 StarCoder 2 模型，提升代码建议质量。
        步骤：
        提取 Continue 中的“已接受的代码建议”数据。
        使用 Hugging Face 训练框架微调 StarCoder 2 模型。
        将微调后的模型上传至 Ollama 模型库供团队使用。
        使用 @docs 指令学习 Ollama 文档：
        功能：使用 @docs 指令，检索 Ollama 文档并获取相关信息。
        配置方法：在 Continue 中添加 Ollama 文档链接，并指定标题为 “Ollama”。
        
        安装指引：
      - Continue: https://www.continue.dev/
      - Ollama:
        
        # 安装 ollama x ollama install
        
        用户可加入 Continue 和 Ollama 的 Discord 社区寻求帮助。
        
        通过结合使用 Continue 和 Ollama，开发者可以轻松地在本地搭建强大的开源 AI 代码助手，并根据自身需求选择合适的模型组合和功能。
        
        来源：
        https://ollama.com/blog/continue-code-assistant
        
        Web-Check 网站分析工具
        
        Web-Check 是一款开源情报 (OSINT) 工具，用于分析任何网站，揭示其内部运作机制、潜在攻击向量、服务器架构、安全配置以及所使用的技术。
        
        Web-Check 提供全面的网站分析功能
        
        基础信息
        
        IP 信息：IP 地址、地理位置、主机服务商等
        SSL 证书链：证书颁发机构、域名、有效期等
        DNS 记录：A 记录、MX 记录、NS 记录、CNAME 记录、TXT 记录等
        Cookie：会话管理、跟踪信息等
        HTTP 头信息：服务器配置、技术栈、缓存策略、安全策略等
        Whois 查询：域名注册信息、联系信息、创建时间、到期时间等
        服务器信息：服务器类型、主机服务商、自治系统编号 (ASN) 等
        域名信息：域名注册信息、联系信息、创建时间、到期时间等
        
        安全分析
        
        DNS 安全扩展 (DNSSEC)：检测 DNS 欺骗和缓存中毒漏洞
        HTTP 安全特性：HSTS、CSP、X-Content-Type-Options、X-Frame-Options 等
        TLS 密码套件：检查加密算法的安全性
        TLS 安全配置：评估 TLS 配置的安全性
        TLS 握手模拟：模拟不同客户端的 TLS 握手过程
        防火墙检测：识别网站是否使用 WAF 以及使用的软件/服务
        恶意软件和钓鱼检测：检查网站是否出现在恶意软件和钓鱼网站列表中
        
        性能分析
        
        网站质量指标：使用 Lighthouse 评估网站性能、可访问性、最佳实践和 SEO
        碳足迹：估算网站的碳排放量
        
        其他功能
        
        服务器位置：根据 IP 地址确定服务器的物理位置
        关联主机：识别与网站主域名关联的所有域名和子域名
        重定向链：跟踪 HTTP 重定向序列
        网站地图：解析网站地图文件，列出所有公开页面
        链接页面：显示网站上的所有内部和外部链接
        社交标签：提取网站的社交媒体元标签
        电子邮件配置：检查 DMARC、BIMI、DKIM 和 SPF 记录
        存档历史：获取 Wayback Machine 中的网站存档历史
        全球排名：显示网站的全球排名
        阻止检测：检查网站是否被隐私、恶意软件和家长控制阻止列表阻止
        截图：获取网站的屏幕截图
        Web-Check 支持多种部署方式：
        
        Netlify：一键部署
        Vercel：一键部署
        Docker：使用 Docker 镜像运行
        源代码：从源代码构建和运行
        配置选项
        
        Web-Check 提供一些可选的环境变量，用于配置 API 密钥、速率限制、超时限制、CORS 策略等。
        
        开发环境
        
        Web-Check 使用 Node.js、yarn 和 git 进行开发。一些功能需要安装 Chromium、traceroute 和 dns 等软件包。
        
        Web-Check 使用多种数据源进行分析
        
        DNS 查询：获取 DNS 记录信息
        Whois 数据库：获取域名注册信息
        IP 地址数据库：获取 IP 地址地理位置信息
        SSL 证书数据库：获取 SSL 证书信息
        Lighthouse：评估网站质量指标
        Wayback Machine：获取网站存档历史
        Tranco 项目：获取网站全球排名
        恶意软件和钓鱼网站列表：检测网站威胁级别
        Mozilla TLS Observatory：评估 TLS 配置安全性
        Web-Check 是一款功能强大的网站分析工具，可以帮助用户了解网站的内部运作机制、安全配置、性能指标以及潜在风险。它支持多种部署方式，并提供丰富的配置选项，方便用户根据自己的需求进行定制。
        
        感兴趣的同学，可以在通过在官网体验一下：
        https://web-check.xyz/
        
        来源：
        https://github.com/lissy93/web-check
        
        Story of EOL
        
        ASCII 文本中的换行符问题
        
        一、问题背景
        
        ASCII 标准没有定义统一的换行符 (EOL)，而是定义了两个独立的打印头移动：回车 (CR) 和换行 (LF)。
        早期操作系统对 EOL 的处理方式不同，导致网络通信困难。
        二、解决方案
        
        ARPAnet 研究人员规定网络传输的 ASCII 文本必须使用 CR LF 作为 EOL。
        该规定被 Telnet、FTP 和 SMTP 等协议采用，并延续到互联网。
        三、现状和影响
        
        大多数系统能够透明地处理 EOL 转换，用户通常不需要关心。
        但配置错误或不匹配仍然会导致 EOL 问题，例如：
        在 RFC 文档中看到多余的 ^M 字符。
        在 Windows 系统上出现格式错误。
        需要使用 unix2dos 工具删除多余的 ^M 字符。
        四、二进制模式 FTP
        
        二进制模式 FTP 会逐字节传输文件，包括源主机的 EOL。
        通常用于相同系统之间的传输。
        RFC 网站提供的压缩文件包含 EOL 序列：
        tar.Z 文件使用 Unix 约定 (LF)。
        .zip 文件使用 MS-DOS 约定 (CR LF)。
        以上文章采用 Gemini Pro 1.5 生成摘要，命令如下:
        
        x jina 'https://www.rfc-editor.org/old/EOLstory.txt'| \ @gemini '请以大纲模式用中文总结文章' |