数据库 on 嘴强黑客 /pbuff07

sqlite中文字段名查不出数据

Wed, 11 Jun 2025 14:00:00 +0800

原始查询语句：

select * from icp where '域名' like '%baidu%'

问题：列名 ‘域名’ 使用单引号，被解析为字符串字面量，而不是列名，导致查询失败。

修正：

select * from icp where "域名" like '%knownsec%';

Spark基础

Sat, 11 Jan 2025 11:10:01 +0800

Spark

参考文档

https://spark.apache.org/docs/3.5.1/sql-ref-datetime-pattern.html#content

spark读取数据

spark可以使用spark.read.load加载各类数据源

df = spark.read.load("examples//users.parquet")

支持的数据源有：json, parquet, jdbc, orc, libsvm, csv, text

var pf = spark.read.parquet("xxxxx")

spark创建临时视图便于查询

有个疑问是否这些数据源都可以通过读取之后创建临时视图并进行spark sql查询呢？

pf.createOrReplaceTempView(“http”)

经过测试，parquet和json都可以创建临时视图并查询。但text类型创建临时视图后查询结果只有value一列，无法进行where条件筛选。

text类型查看文件结构：

scala> txt_res.printSchema()
root
 |-- value: string (nullable = true)

读取parquet数据并使用spark.sql查询

var pf = spark.read.parquet("/data/xx_data")
pf.createOrReplaceTempView("http")

spark.sql("select * from http limit 2").coalesce(1024).write.parquet("/tmp/xx_data_res")

spark.sql查询结果显示

默认使用.show()只会显示前20条

spark.sql("xxxxx").show()

如果想全部显示：

spark.sql("xxxx").collect().foreach(println)

spark.sql结果输出不同文件格式

parquet:

spark.sql("xxx").coalesce(1024).write.parquet("/tmp/xx_data_res")

csv:

spark.sql("xxx").coalesce(1024).write.format("csv").save("/tmp/xx_data_res")

json:

spark.sql("xxx").coalesce(1024).write.format("json").save("/tmp/xx_data_res")

.coalesce()操作

coalesce 是一个用于重新分区（reduce the number of partitions）的操作。它可以减少数据集的分区数量，这在需要减少分区以优化性能或资源使用时非常有用。

通过减少分区数量，可以减少任务启动的开销。对于大数据集，分区过多会导致大量的小任务启动，从而增加任务调度的开销。将分区数量减少到合理范围可以提高性能。

使用下面的命令将数据重新分区为1024个分区。

val coalescedDF = df.coalesce(1024)

spark.sql中常见函数（用到就记录）

按照特定的日期格式处理字段

select date_format(start_time, 'yyyy-MM-dd')

spark读取多个文件数据

可直接用*全部指定或者{}部分指定

Clickhouse查询字段内容均匀分布

Sat, 14 Dec 2024 14:00:00 +0800

需求：Clickhouse查询结果中要求某个字段的数据较为均匀的分布。比如 rule_id IN (10000, 10001, 10002, 10003)，需要保证每个id都有数据。

实现：

SELECT *
FROM table_name
WHERE rule_id IN (10000, 10001, 10002, 10003)
-- 按rule_id分组并随机排序，确保均匀性。
ORDER BY rule_id, rand()
-- rule_id限制导出500条
LIMIT 500 BY rule_id

Clickhouse编写UDF

Mon, 09 Dec 2024 14:00:00 +0800

UDF

UDF全称User Define Function，即用户自定义函数。新版本的Clickhouse支持用户自己定义sql查询用的函数，调用外部的Python、Shell、Golang的脚本即可。

Clickhouse新增UDF

创建一个示例UDF函数。

首先在 /etc/clickhouse-server/ 目录下新增一个 icp_unitname_function.xml 文件

坑：注意文件名一定要有_function.xml，不管前面名称是什么这个必须有，因为config.xml文件中默认加载的udf函数配置是必须有_function.*ml

编辑icp_unitname_function.xml添加如下内容

<functions>
 <function>
 <type>executable</type>
 <name>icp_unitname</name>
 <return_type>String</return_type>
 <argument>
 <type>String</type>
 <name>domain</name>
 </argument>
 <format>TabSeparated</format>
 <command>icp_unitname.sh</command>
 </function>
</functions>

创建实际被调用的脚本 icp_unitname.sh，文件内容如下，并将 icp_unitname.sh 存储在 /var/lib/clickhouse/user_scripts/ 目录下即可。

实际被调用的脚本接收的参数个数和类型需要和上述添加的xml配置文件对齐。

#!/bin/bash

while read domain; do
	res=$(sqlite3 /data/icp "select field3 from icp_20241202 where field2 = '$domain'")
	if [ -z "$res" ]; then
		echo "Unknown"
	else
		echo $res
	fi
done

进入Clickhouse重新加载函数表并使用新增的UDF函数

SYSTEM RELOAD FUNCTIONS # 重载函数表