抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

背景

春运已至,又到了回家团圆的时候了,现在春运抢票越来越难,原因是很多人开始使用技术来抢票,在高配置高带宽的服务器上抢票几率要稍微高一点,希望我这篇文章能帮助正在阅读的你抢到回家的火车票。

起因

前段时间在鼓捣数据表的数据上线,主要流程是将线下的数据同步到线上去,线上的部分需要需要和线下保持一直,并且每一次操作都需要自动化将表进行备份, 这个过程主要是靠自己进行代码同步,因为规则比较自定义,所以没有使用一些现有的数据同步。

主要流程如下:

1
2
3
4
5
6
7
8
9
- #备份NX的SCHEMA中的表并查询特定数据进行备用
NX-SCHEMA: 备份NX-TABLE ==> NX-TABLE_COPY ==> SELECT * FROM NX-TABLE_COPY WHERE ID =xx

- #备份JAPAB的SCHEMA中的表并且将上一步的数据写入到备份表中
JAPAN-SCHEMA: BEFEN JAPAN-TABLE ==> JAPAN-TABLE_COPY ==> INSERT INTO JAPAN-TABLE_COPY VALUE (xxx)

- #将JAPAN的SCHEMA中的原表和备份表进行重命名,将备份表的表名变成源表名,完成数据上线
JAPAN-SCHEMA: JAPAN-TABLE ==> RENAME JAPAN-TABL XXX ==> RENAME JAPAN-TABLE_COPY TO JAPAN-TABLE

在这个过程中,我们最主要的一步是在同一个schema下进行将原表进行备份,创建一个对应的不同表,后续所有的操作都改这个表中操作,在这个过程中也是出现了一些问题,后续经过实践后解决了相关问题,特此记录。

本文翻译自 StreamNative 博客。博客原作者:Ioannis Polyzos,StreamNative 解决方案工程师。原文链接:https://streamnative.io/blog/engineering/2021-11-10-streaming-data-pipelines-with-pulsar-io/

翻译背景

2021的开始

2021的开始正如2020年一样,立下几个flag(脱单,工作成长),恍恍惚惚一年过去了,一年中好像一直在忙,好像又不知道在忙啥,2021接近了尾声,所以还是来总结一下我的2021把。

前言

朋友买了一台M1的MBP,但是又需要安装财务软件(财务软件需要安装在windows系统上),M1目前还不支持原生安装WIN10,所以采用虚拟安装的方法来安装对应的WIN10。

前言

我们的数据计算式基于clickhouse的,由于接触clickhouse不久,看官网介绍语法和mysql是类似的,就放心大胆的使用mysql的大量语法,然后遇到了一个很奇怪的问题,也是这个奇怪的问题让我对列式数据库有了更深入的了解。

前言

今年开始接触并且实践到Golang,近期自己写了一个相册的服务,是基于前后端分离的模式,由Go提供rest给web页面使用。在项目前期是直接使用的打包完成的二进制文件执行,在管理方面存在一些不方便的地方,所以周末抽时间将其容器化,实现自动化的部署方案,主要就是采用coding的devops流程,容器化使用的还是docker容器,使用的是alpine的镜像,在这个过程中遇到一些问题,下面会详细讲出,以此记录。

前言

上一篇文章写了怎么部署standardnotes的自建笔记本,在使用过程中发现还需要很多的插件来配合更好的使用standardnotes,来做数据备份以及更好的编辑文档。
standardnotes的插件是可插拔的,简而言之就是将静态页面加载到页面中,来使用其中的功能,达到增强的目的。

前言

很久很久之前就一直在找一些好用的并且开源的note app,尝试过trilium、蚂蚁笔记、notion、语雀 都没有找到我心仪的那一款,要么是数据是存储在境外,一旦国家的墙更厚了,就尬了,另外一些就是数据很分散,备份出来的数据无法很顺利的导入到其他的app中。
直到有一天我发现了Standard notes。

自己有很多的网站,每次都需要申请SSL证书,所以最近在鼓捣怎么申请泛域名证书减少工作量。