APP数据抓取半自动化方案
刘宇帅有些APP本身加了签名所以不太好直接拿到接口去抓取，所以需要用APP的浏览行为来抓取数据。当然这不是很好的方法，理论上是可以研究api参数或者反编译来找到签名逻辑，但是这个是比较难的，成本太高，所以如果不是量很大的抓取可以用如下的半自动化方法。
手机+charles+mitmproxy+scrcpy
手机
需要用手机抓包，所以可以用Iphone或者Android 7 以下系统或者root过的安卓手机
charles
charles 本身可以直接抓包，但是它不能二次开发，所以需要把charles的全局代理接口配置到 mitmproxy上
mitmproxy
mitmproxy 也是一个抓包工具，但是 https 抓取好像没那么好使，所以配合charles使用，mitmproxy可以写插件直接实时处理请求，那么我们就可以直接写到文件或者数据库或者远程API
scrcpy
因为需要用手机刷页面，所以用scrcpy来投屏到电脑端，然后用python去模拟点击或者滑动。另外scrcpy不支持IPhone。
刘宇帅
非著名程序员，全栈开发工程师，长期专注系统开发与架构设计。
提示
功能待开通！
相关文章
ChatGPT最热开源项目
自2月份开始，我对ChatGPT的精彩表现感到非常着迷，它展现出了真正的智能。随后，我陆续注册了ChatGPT Plus会员，申请了GPT-4 API权限等。起初，我通过简单的数学和逻辑题来测试它的智能水平；后来，我开始将其视为搜索引擎，不仅用于搜寻概念性知识，还用于解决技术问题、技术方案，甚至是公司业务应用。如今，ChatGPT已经逐渐融入了我的工作和生活。 然而，由于日常工作繁忙，我总是根据需要解决的问题，寻找针对性的方案，而没有认真研究过基于ChatGPT的应用现状。因此，我决定花时间了解一下ChatGPT相关的热门开源项目，并将所得到的信息整理和记录在此。 lencx/ChatGPT
shadowsocks配合Proxifier实现全局代理
shadowsocks 使用的 sockets5 代理，而一般只有浏览器支持，所以使用 shadowsocks 可以实现科学上网，但是其他的应用却仍无法科学上网，所以要想实现全局科学上网需要 Proxifier 支持。 Proxifier介绍 Proxifier是一款功能非常强大的socks5客户端，可以让不支持通过代理服务器工作的网络程序能通过HTTPS或SOCKS代理或代理链。支持 64位系统，支持Xp，Vista，Win7，MAC OS ,支持socks4，socks5，http代理协议，支持TCP，UDP协议，可以指定端口，指定IP，指定域名,指定程序等运行模式，兼容性非常好。有点类
SVN 认证失败
问题 搭建好 svn 之后可以正常拉下库，但是 commit 的时候报以下权限错误。 > $ svn commit -m "test" svn: E170001: Commit failed (details follow): svn: E170001: Authorization failed 解决 问题是因为 svn 权限配置问题。
定时任务系统调研
webcron 源码地址 功能列表 基本任务创建、启动、手动执行、暂停 任务日志 任务执行结果邮件通知 任务分组 任务运行实例控制 缺点 任务只能在单机跑 不能添加用户 评价 安装部署简单，功能页面简洁，适合任务量不多个人或者小型项目组使用。 gocron 源码地址 功能列表 基本任务创建、手动执行、禁止执行、删除 任务依赖 任务分组 超时、重试 可以选择任务执行结果通知不同用户，通知类型包括邮件（并支持模板配置）、slack、webhook。 任务日志 支持分布式，添加执行任务节点，创建任务可指定任务可运行的节点（如果是单例模式，会选择一台执行） 用户管理 登录日志 执行方式支持
Macos 卸载Xcode git运行报错
我电脑上原本装了Xcode，但是我电脑是128G，用了两年东西越来越多硬盘不够用了，而我本身开发中很少用Xcode所以就把它卸载了，卸载之后发现Xcode占了11G左右的空间。。 卸载Xcode之后执行git，报错如下： > $ git status xcrun: error: active developer path ("/Applications/Xcode.app/Contents/Developer") does not exist Use `sudo xcode-select --switch path/to/Xcode.app` to specify the Xcode t