关键词R 语言、tidyverse、dplyr、data.table、数据清洗、管道操作、宽长表转换、性能优化在数据分析的日常里80% 的时间都花在洗数据上。本文系统讲解 R 语言两大数据处理体系——语法优雅的 tidyverse 与性能炸裂的 data.table从 dplyr 五大动词、管道、宽长表转换讲到百万级数据的引用修改与快速读取并用一个电商订单清洗分析的完整实战把它们串起来。一、为什么用 R 做数据处理谈到数据处理很多人的第一反应是 Python 的 pandas。但 R 在这一领域有一条完全不同的、甚至可以说更纯粹的路。1.1 R 与 Python 的定位差异维度RPython (pandas)出身为统计与数据分析而生的语言通用编程语言数据分析靠第三方库补齐数据框data.frame 是语言内置的一等公民DataFrame 是 pandas 包里的类语法风格函数式、管道式贴近分析思维面向对象.method()链式调用统计生态CRAN 上 2 万 统计包学术前沿算法首发统计建模相对薄弱工程与 ML 生态强典型用户统计学家、数据分析师、流行病学/计量经济研究者工程师、算法工程师、后端一句话总结Python 擅长把分析做进系统R 擅长把想法变成分析。如果你的工作是探索数据、做统计推断、出分析报告R 的表达力会让你少写很多胶水代码。1.2 tidyverse 的设计哲学tidyverse 不是一个包而是一套由 Hadley WickhamRStudio 首席科学家主导设计的包集合与理念包括 dplyr、tidyr、ggplot2、readr、stringr、lubridate 等。它的核心思想有三条整洁数据Tidy Data每一列是一个变量每一行是一个观测每个单元格是一个值。数据结构统一了工具才能统一动词化 APIfilter筛选行、select选择列、mutate新增列……每个函数是一个动词读起来就像在说人话管道串联用管道把动作用%%magrittr或|R 4.1 原生管道连起来代码的执行顺序和阅读顺序一致。1.3 data.table当数据量上了百万级tidyverse 优雅但 dplyr 在百万、千万行数据面前会显得吃力。根本原因在于 R 的默认语义是值复制每做一次mutate、每接一步管道数据框往往被整体复制一份行数一大内存和时间都成倍上涨。data.table 换了一条路——用引用语义直接在原表上修改配合内部自动建立的索引单线程性能常常甩开 pandas 一个数量级在公开的 db-benchmark 基准测试里长期霸榜。社区里的经验共识是探索性分析用 tidyverse 求表达力大数据量 ETL 用 data.table 求性能。两者可以在同一个项目里混用。二、tidyverse 核心语法2.1 管道让代码像流水线一样读没有管道时嵌套调用要从里往外读# 反模式从里往外读反直觉 summarise(group_by(filter(orders, status 已完成), channel), total sum(amount))有了管道执行顺序就是阅读顺序library(dplyr) orders | filter(status 已完成) | # 先筛已完成订单 group_by(channel) | # 再按渠道分组 summarise(total sum(amount)) # 最后求和小贴士%%来自 magrittr 包tidyverse 自动加载|是 R 4.1 引入的原生管道零依赖、速度略快。两者在绝大多数场景等价区别是|不能用点号.占位符要用_且每个调用只能出现一次。新项目建议直接用|。2.2 dplyr 五大动词dplyr 的五大动词覆盖了 80% 的数据变形需求动词作用类比 SQLfilter()按条件筛选行WHEREselect()选择/重排列SELECTmutate()新增或修改列SELECT ..., expr AS new_colarrange()按列排序ORDER BYsummarise()聚合为汇总值GROUP BY 聚合函数几个高阶用法值得单独说orders | # filter多条件组合 filter(amount 100, channel %in% c(APP, 小程序)) | # select用辅助函数选列matches 支持正则 select(order_id, starts_with(pay_), -remark) | # mutateacross() 批量操作多列dplyr 1.x 新语法 mutate(across(where(is.numeric), ~ round(.x, 2)), amount_wan amount / 1e4) | # arrangedesc() 降序 arrange(desc(amount))across()是 dplyr 1.0 之后最重要的新特性它把对多列做同一件事统一了取代了旧的mutate_at/mutate_if一族。搭配where(is.numeric)、everything()、starts_with()这类选择器批量清洗代码量能砍掉一半。除了五大动词还有几个边缘动词在实战中使用率极高rename(new old)改列名relocate()调整列顺序distinct()去重slice_head()/slice_max()取每组或全表的前 N 行做Top N分析比arrange head更清晰count(channel, sort TRUE)则是group_by summarise(n()) arrange的三合一快捷方式。2.3 group_by分组统计的灵魂group_by()本身不改变数据它只是给数据框打上一个分组标记让后续的summarise()、mutate()、filter()按组执行orders | group_by(channel) | summarise( n_orders n(), # 订单数 total_gmv sum(amount, na.rm TRUE), # 总成交额 avg_amount mean(amount, na.rm TRUE), # 客单价 .groups drop # 汇总后解除分组避免后续误操作 ) | mutate(gmv_share total_gmv / sum(total_gmv)) # 占比汇总后再算三个坑位提醒聚合函数记得加na.rm TRUE否则一个NA污染整列summarise()默认只剥掉最后一层分组多层分组时显式写.groups drop最稳妥group_by()之后接mutate()是组内计算如组内排名、组内占比这是 SQL 里要用窗口函数才能做的事dplyr 一行搞定。2.4 tidyr宽长表转换宽表每列一个指标适合人看长表指标名与值各一列适合机器算和画图。tidyr的两个 pivot 函数负责互转# 长表一行 某月某渠道的 GMV # month | channel | gmv # pivot_wider长转宽把 channel 的值摊成列 gmv_long | pivot_wider(names_from channel, values_from gmv, values_fill 0) # month | APP | 小程序 | 网页 # pivot_longer宽转长把多个指标列叠回两列 gmv_wide | pivot_longer(cols -month, # 除 month 外都折叠 names_to channel, values_to gmv)记住口诀wider把行变宽一列值展开为多列longer把列变长多列折叠为一列。ggplot2 画多系列折线图、做透视表还原全靠这一对。2.5 stringr 与 lubridate字符串和日期不再痛stringr 的函数统一以str_开头参数顺序统一为(字符串, 模式)library(stringr) orders | mutate( phone_mask str_replace(phone, (\\d{3})\\d{4}(\\d{4}), \\1****\\2), # 手机号脱敏 city str_extract(address, ^[^省]省?([^市]市)?), # 从地址提城市 is_vip str_detect(tag, VIP) # 是否含 VIP 标签 )lubridate 把日期解析变成按字母顺序猜格式library(lubridate) ymd(2024-03-15) # 年-月-日 mdy(03/15/2024) # 月/日/年 ymd_hms(2024-03-15 14:30:00) orders | mutate(order_month floor_date(order_time, month)) # 按月取整聚合神器三、代码实战电商订单数据清洗与分析全流程场景拿到一份运营导出的orders.csv字段包括订单号、用户、下单时间、渠道、金额、状态。任务是清洗后产出各渠道月度 GMV 报表宽表。代码直接可运行注释即最佳实践library(tidyverse) # dplyr tidyr readr stringr 全家桶 library(lubridate) # ---------- 1. 读入显式指定列类型别让 R 猜 ---------- orders_raw - read_csv( orders.csv, locale locale(encoding UTF-8), # 中文 CSV 务必指定编码 col_types cols( order_id col_character(), # ID 类一律按字符读防止科学计数法 user_id col_character(), order_time col_character(), # 时间先按字符读稍后显式解析 channel col_character(), amount col_double(), status col_character() ) ) # ---------- 2. 类型转换 缺失值 / 异常值处理 ---------- orders_clean - orders_raw | mutate( order_time ymd_hms(order_time, quiet TRUE), # 解析失败产生 NAquiet 抑制警告 channel str_trim(channel), # 去掉首尾空格 APP 与 APP 统一 channel fct_infreq(channel) # 转为因子按频次排序画图友好 ) | filter( !is.na(order_time), # 剔除时间解析失败的行 !is.na(amount), amount 0, # 剔除负金额异常单退款单另有表 amount 100000 # 剔除明显录入错误的超大单阈值按业务定 ) | distinct(order_id, .keep_all TRUE) # 按订单号去重保留首次出现 # ---------- 3. 分组聚合渠道 × 月份 ---------- gmv_monthly - orders_clean | filter(status 已完成) | mutate(order_month floor_date(order_time, month)) | group_by(order_month, channel) | summarise( gmv sum(amount), n_orders n(), avg_order round(mean(amount), 2), .groups drop ) # ---------- 4. 宽长表变换输出报表 ---------- report - gmv_monthly | pivot_wider( names_from channel, values_from gmv, values_fill 0 # 某月某渠道无订单则补 0 ) | mutate(合计 rowSums(across(-order_month))) | # 月度总 GMV arrange(order_month) # ---------- 5. 落盘 ---------- write_csv(report, 渠道月度GMV报表.csv) # 顺手看一眼增长率 gmv_monthly | group_by(channel) | mutate(mom gmv / lag(gmv) - 1) | # 环比(本月/上月)-1 filter(!is.na(mom))这段代码体现了几个最佳实践ID 和时间列显式指定类型隐式转换是脏数据的最大来源清洗动作全部走管道每一步可单独注释掉调试去重和异常过滤放在聚合之前lag()在分组后使用即得组内环比不需要自连接。还有一个调试技巧值得养成习惯长管道写完不要直接跑到底而是逐段验证——先跑到orders_clean为止用glimpse()看结构、summary()看分布、count(status)看类别取值确认每一步的输出符合预期再往后接。管道最大的优点就是每一步都是一个可检查的中间产品把这一点用起来排错效率至少翻倍。四、百万级数据data.table 登场当数据量上到百万行、几十个 GBtidyverse 的复制语义会成为瓶颈。data.table 用一套紧凑的语法解决这个问题。4.1[i, j, by]三句话读全世界library(data.table) DT - as.data.table(orders_clean) # i 筛行j 选列/算列by 分组 # 等价于SELECT channel, SUM(amount) FROM DT WHERE status已完成 GROUP BY channel DT[status 已完成, .(gmv sum(amount), n .N), by channel]i对应filter/WHEREj对应select/mutate.()是list()的别名可一次算多列.N是组内行数相当于 dplyr 的n()by直接分组不需要单独的group_by。同一个数据框上这套语法通常比 dplyr 快 5~20 倍且内存占用低得多。进阶还有两个利器值得知道一是链式操作DT[i][j][k]可以像管道一样连写二是key 与索引setkey(DT, user_id)之后按 key 做 join 或二分查找速度极快。另外by .(col1, col2)支持多列分组keyby则分组的同时按组键排序。4.2:引用修改不复制数据这是 data.table 性能的灵魂——就地修改modify by reference# dplyr 写法整个数据框被复制一份 # orders_clean - orders_clean | mutate(amount_wan amount / 1e4) # data.table 写法直接改原表零复制百万行也是毫秒级 DT[, amount_wan : amount / 1e4] DT[amount 0, status : 异常单] # 条件修改满足 i 的行才改 DT[, c(col_a, col_b) : NULL] # 删列注意正因为是引用修改DT2 - DT之后改DT2会连DT一起改掉。需要独立副本时用copy(DT)——这是初学者最容易踩的坑。4.3 fread快到不讲道理的读取DT - fread(orders_1kw.csv, encoding UTF-8)fread多线程并行解析1 GB 的 CSV 通常几秒读完readr 要几十秒base R 的read.csv可能要几分钟。它还会自动探测分隔符、列类型和表头。4.4 dplyr vs data.table 性能对比以下量级来自社区 benchmarkh2oai/db-benchmark与常见经验值具体数值随机器浮动看数量级即可操作千万行级数据dplyrdata.table倍数差距读取 1 GB CSVreadr 约 30 sfread约 3 s~10×分组聚合 sum秒级亚秒级5~20×新增一列mutate全表复制内存×2:就地改零复制内存优势决定性多键 join快通常更快自动建索引2~10×实践建议两者语法不必二选一。项目里完全可以fread读入 → data.table 做重清洗 →as_tibble()转回 tidyverse 做探索与可视化各取所长。五、常见坑与优化清单症状原因对策读进来的数字变成了因子/字符旧版 R4.0read.csv默认stringsAsFactors TRUE或列里混了文本用readr::read_csvcol_types显式指定R ≥ 4.0 已改默认但仍要警惕中文列名/内容全是乱码编码不匹配Excel 导出常是 GBKR 默认按 UTF-8 读read_csv(file, locale locale(encoding GBK))保存统一用 UTF-8日期解析后全是 NA格式猜错03/04/2024到底是 3 月 4 日还是 4 月 3 日用 lubridate 显式指定mdy()/dmy()别依赖自动猜测解析后检查sum(is.na(x))group_by后算出来的数不对忘记ungroup()后续操作仍在分组语义下进行汇总时用.groups drop长管道结束后显式ungroup()join 之后行数暴涨连接键不唯一多对多产生笛卡尔积join 前先 count(key)聚合结果出现 NA数据里有缺失值聚合函数默认不忽略sum(x, na.rm TRUE)或先drop_na()显式处理字符串匹配漏了一半APP与app 大小写、空格不一致str_to_lower()str_trim()先标准化类别值统一用fct_recode()内存爆掉cannot allocate vectordplyr 频繁复制大表中间对象没释放大表切换 data.table 的:及时rm()gc()用arrow包做磁盘级处理因子画图顺序乱因子水平默认按字母序fct_infreq()按频次排fct_reorder()按数值排fct_relevel()手动定管道里某步报错查不出管道太长中间状态不可见把长管道拆成有名字的中间对象或在关键步插print()/glimpse()六、小结R 的数据框是语言内置类型tidyverse 用动词 管道让数据处理代码贴近分析思维——探索性分析首选 tidyversedplyr 五大动词filter/select/mutate/arrange/summarisegroup_byacross()覆盖绝大多数变形需求tidyr 的pivot_longer/pivot_wider负责宽长表互转完整清洗流程显式指定列类型读入 → 类型转换 → 缺失/异常/去重 → 分组聚合 → 宽长表变换 → 落盘每一步都在管道里可追溯数据量上百万行后切 data.table[i, j, by]语法 :引用修改 fread性能提升一个数量级两体系可混用各取所长避坑核心编码显式指定、日期显式解析、join 前查键唯一性、聚合记得na.rm、大表用引用语义。参考资料Wickham H, Grolemund G.R for Data Science(2nd Edition). OReilly, 2023. 在线版R for Data Science (2e)Wickham H. Tidy Data.Journal of Statistical Software, 2014, 59(10).data.table 官方 VignettesIntroduction to data.table、Reference semanticsdata.tabledplyr 官方文档与across()专栏A Grammar of Data Manipulation • dplyrtidyr Pivoting 指南Pivoting • tidyrGrolemund G, Wickham H. Dates and Times Made Easy with lubridate.Journal of Statistical Software, 2011, 40(3).H2O.ai Database-like Ops BenchmarkDatabase-like ops benchmark 让数据分析回归思考本身：R 语言 tidyverse 与 data.table 数据处理全流程实战
关键词R 语言、tidyverse、dplyr、data.table、数据清洗、管道操作、宽长表转换、性能优化在数据分析的日常里80% 的时间都花在洗数据上。本文系统讲解 R 语言两大数据处理体系——语法优雅的 tidyverse 与性能炸裂的 data.table从 dplyr 五大动词、管道、宽长表转换讲到百万级数据的引用修改与快速读取并用一个电商订单清洗分析的完整实战把它们串起来。一、为什么用 R 做数据处理谈到数据处理很多人的第一反应是 Python 的 pandas。但 R 在这一领域有一条完全不同的、甚至可以说更纯粹的路。1.1 R 与 Python 的定位差异维度RPython (pandas)出身为统计与数据分析而生的语言通用编程语言数据分析靠第三方库补齐数据框data.frame 是语言内置的一等公民DataFrame 是 pandas 包里的类语法风格函数式、管道式贴近分析思维面向对象.method()链式调用统计生态CRAN 上 2 万 统计包学术前沿算法首发统计建模相对薄弱工程与 ML 生态强典型用户统计学家、数据分析师、流行病学/计量经济研究者工程师、算法工程师、后端一句话总结Python 擅长把分析做进系统R 擅长把想法变成分析。如果你的工作是探索数据、做统计推断、出分析报告R 的表达力会让你少写很多胶水代码。1.2 tidyverse 的设计哲学tidyverse 不是一个包而是一套由 Hadley WickhamRStudio 首席科学家主导设计的包集合与理念包括 dplyr、tidyr、ggplot2、readr、stringr、lubridate 等。它的核心思想有三条整洁数据Tidy Data每一列是一个变量每一行是一个观测每个单元格是一个值。数据结构统一了工具才能统一动词化 APIfilter筛选行、select选择列、mutate新增列……每个函数是一个动词读起来就像在说人话管道串联用管道把动作用%%magrittr或|R 4.1 原生管道连起来代码的执行顺序和阅读顺序一致。1.3 data.table当数据量上了百万级tidyverse 优雅但 dplyr 在百万、千万行数据面前会显得吃力。根本原因在于 R 的默认语义是值复制每做一次mutate、每接一步管道数据框往往被整体复制一份行数一大内存和时间都成倍上涨。data.table 换了一条路——用引用语义直接在原表上修改配合内部自动建立的索引单线程性能常常甩开 pandas 一个数量级在公开的 db-benchmark 基准测试里长期霸榜。社区里的经验共识是探索性分析用 tidyverse 求表达力大数据量 ETL 用 data.table 求性能。两者可以在同一个项目里混用。二、tidyverse 核心语法2.1 管道让代码像流水线一样读没有管道时嵌套调用要从里往外读# 反模式从里往外读反直觉 summarise(group_by(filter(orders, status 已完成), channel), total sum(amount))有了管道执行顺序就是阅读顺序library(dplyr) orders | filter(status 已完成) | # 先筛已完成订单 group_by(channel) | # 再按渠道分组 summarise(total sum(amount)) # 最后求和小贴士%%来自 magrittr 包tidyverse 自动加载|是 R 4.1 引入的原生管道零依赖、速度略快。两者在绝大多数场景等价区别是|不能用点号.占位符要用_且每个调用只能出现一次。新项目建议直接用|。2.2 dplyr 五大动词dplyr 的五大动词覆盖了 80% 的数据变形需求动词作用类比 SQLfilter()按条件筛选行WHEREselect()选择/重排列SELECTmutate()新增或修改列SELECT ..., expr AS new_colarrange()按列排序ORDER BYsummarise()聚合为汇总值GROUP BY 聚合函数几个高阶用法值得单独说orders | # filter多条件组合 filter(amount 100, channel %in% c(APP, 小程序)) | # select用辅助函数选列matches 支持正则 select(order_id, starts_with(pay_), -remark) | # mutateacross() 批量操作多列dplyr 1.x 新语法 mutate(across(where(is.numeric), ~ round(.x, 2)), amount_wan amount / 1e4) | # arrangedesc() 降序 arrange(desc(amount))across()是 dplyr 1.0 之后最重要的新特性它把对多列做同一件事统一了取代了旧的mutate_at/mutate_if一族。搭配where(is.numeric)、everything()、starts_with()这类选择器批量清洗代码量能砍掉一半。除了五大动词还有几个边缘动词在实战中使用率极高rename(new old)改列名relocate()调整列顺序distinct()去重slice_head()/slice_max()取每组或全表的前 N 行做Top N分析比arrange head更清晰count(channel, sort TRUE)则是group_by summarise(n()) arrange的三合一快捷方式。2.3 group_by分组统计的灵魂group_by()本身不改变数据它只是给数据框打上一个分组标记让后续的summarise()、mutate()、filter()按组执行orders | group_by(channel) | summarise( n_orders n(), # 订单数 total_gmv sum(amount, na.rm TRUE), # 总成交额 avg_amount mean(amount, na.rm TRUE), # 客单价 .groups drop # 汇总后解除分组避免后续误操作 ) | mutate(gmv_share total_gmv / sum(total_gmv)) # 占比汇总后再算三个坑位提醒聚合函数记得加na.rm TRUE否则一个NA污染整列summarise()默认只剥掉最后一层分组多层分组时显式写.groups drop最稳妥group_by()之后接mutate()是组内计算如组内排名、组内占比这是 SQL 里要用窗口函数才能做的事dplyr 一行搞定。2.4 tidyr宽长表转换宽表每列一个指标适合人看长表指标名与值各一列适合机器算和画图。tidyr的两个 pivot 函数负责互转# 长表一行 某月某渠道的 GMV # month | channel | gmv # pivot_wider长转宽把 channel 的值摊成列 gmv_long | pivot_wider(names_from channel, values_from gmv, values_fill 0) # month | APP | 小程序 | 网页 # pivot_longer宽转长把多个指标列叠回两列 gmv_wide | pivot_longer(cols -month, # 除 month 外都折叠 names_to channel, values_to gmv)记住口诀wider把行变宽一列值展开为多列longer把列变长多列折叠为一列。ggplot2 画多系列折线图、做透视表还原全靠这一对。2.5 stringr 与 lubridate字符串和日期不再痛stringr 的函数统一以str_开头参数顺序统一为(字符串, 模式)library(stringr) orders | mutate( phone_mask str_replace(phone, (\\d{3})\\d{4}(\\d{4}), \\1****\\2), # 手机号脱敏 city str_extract(address, ^[^省]省?([^市]市)?), # 从地址提城市 is_vip str_detect(tag, VIP) # 是否含 VIP 标签 )lubridate 把日期解析变成按字母顺序猜格式library(lubridate) ymd(2024-03-15) # 年-月-日 mdy(03/15/2024) # 月/日/年 ymd_hms(2024-03-15 14:30:00) orders | mutate(order_month floor_date(order_time, month)) # 按月取整聚合神器三、代码实战电商订单数据清洗与分析全流程场景拿到一份运营导出的orders.csv字段包括订单号、用户、下单时间、渠道、金额、状态。任务是清洗后产出各渠道月度 GMV 报表宽表。代码直接可运行注释即最佳实践library(tidyverse) # dplyr tidyr readr stringr 全家桶 library(lubridate) # ---------- 1. 读入显式指定列类型别让 R 猜 ---------- orders_raw - read_csv( orders.csv, locale locale(encoding UTF-8), # 中文 CSV 务必指定编码 col_types cols( order_id col_character(), # ID 类一律按字符读防止科学计数法 user_id col_character(), order_time col_character(), # 时间先按字符读稍后显式解析 channel col_character(), amount col_double(), status col_character() ) ) # ---------- 2. 类型转换 缺失值 / 异常值处理 ---------- orders_clean - orders_raw | mutate( order_time ymd_hms(order_time, quiet TRUE), # 解析失败产生 NAquiet 抑制警告 channel str_trim(channel), # 去掉首尾空格 APP 与 APP 统一 channel fct_infreq(channel) # 转为因子按频次排序画图友好 ) | filter( !is.na(order_time), # 剔除时间解析失败的行 !is.na(amount), amount 0, # 剔除负金额异常单退款单另有表 amount 100000 # 剔除明显录入错误的超大单阈值按业务定 ) | distinct(order_id, .keep_all TRUE) # 按订单号去重保留首次出现 # ---------- 3. 分组聚合渠道 × 月份 ---------- gmv_monthly - orders_clean | filter(status 已完成) | mutate(order_month floor_date(order_time, month)) | group_by(order_month, channel) | summarise( gmv sum(amount), n_orders n(), avg_order round(mean(amount), 2), .groups drop ) # ---------- 4. 宽长表变换输出报表 ---------- report - gmv_monthly | pivot_wider( names_from channel, values_from gmv, values_fill 0 # 某月某渠道无订单则补 0 ) | mutate(合计 rowSums(across(-order_month))) | # 月度总 GMV arrange(order_month) # ---------- 5. 落盘 ---------- write_csv(report, 渠道月度GMV报表.csv) # 顺手看一眼增长率 gmv_monthly | group_by(channel) | mutate(mom gmv / lag(gmv) - 1) | # 环比(本月/上月)-1 filter(!is.na(mom))这段代码体现了几个最佳实践ID 和时间列显式指定类型隐式转换是脏数据的最大来源清洗动作全部走管道每一步可单独注释掉调试去重和异常过滤放在聚合之前lag()在分组后使用即得组内环比不需要自连接。还有一个调试技巧值得养成习惯长管道写完不要直接跑到底而是逐段验证——先跑到orders_clean为止用glimpse()看结构、summary()看分布、count(status)看类别取值确认每一步的输出符合预期再往后接。管道最大的优点就是每一步都是一个可检查的中间产品把这一点用起来排错效率至少翻倍。四、百万级数据data.table 登场当数据量上到百万行、几十个 GBtidyverse 的复制语义会成为瓶颈。data.table 用一套紧凑的语法解决这个问题。4.1[i, j, by]三句话读全世界library(data.table) DT - as.data.table(orders_clean) # i 筛行j 选列/算列by 分组 # 等价于SELECT channel, SUM(amount) FROM DT WHERE status已完成 GROUP BY channel DT[status 已完成, .(gmv sum(amount), n .N), by channel]i对应filter/WHEREj对应select/mutate.()是list()的别名可一次算多列.N是组内行数相当于 dplyr 的n()by直接分组不需要单独的group_by。同一个数据框上这套语法通常比 dplyr 快 5~20 倍且内存占用低得多。进阶还有两个利器值得知道一是链式操作DT[i][j][k]可以像管道一样连写二是key 与索引setkey(DT, user_id)之后按 key 做 join 或二分查找速度极快。另外by .(col1, col2)支持多列分组keyby则分组的同时按组键排序。4.2:引用修改不复制数据这是 data.table 性能的灵魂——就地修改modify by reference# dplyr 写法整个数据框被复制一份 # orders_clean - orders_clean | mutate(amount_wan amount / 1e4) # data.table 写法直接改原表零复制百万行也是毫秒级 DT[, amount_wan : amount / 1e4] DT[amount 0, status : 异常单] # 条件修改满足 i 的行才改 DT[, c(col_a, col_b) : NULL] # 删列注意正因为是引用修改DT2 - DT之后改DT2会连DT一起改掉。需要独立副本时用copy(DT)——这是初学者最容易踩的坑。4.3 fread快到不讲道理的读取DT - fread(orders_1kw.csv, encoding UTF-8)fread多线程并行解析1 GB 的 CSV 通常几秒读完readr 要几十秒base R 的read.csv可能要几分钟。它还会自动探测分隔符、列类型和表头。4.4 dplyr vs data.table 性能对比以下量级来自社区 benchmarkh2oai/db-benchmark与常见经验值具体数值随机器浮动看数量级即可操作千万行级数据dplyrdata.table倍数差距读取 1 GB CSVreadr 约 30 sfread约 3 s~10×分组聚合 sum秒级亚秒级5~20×新增一列mutate全表复制内存×2:就地改零复制内存优势决定性多键 join快通常更快自动建索引2~10×实践建议两者语法不必二选一。项目里完全可以fread读入 → data.table 做重清洗 →as_tibble()转回 tidyverse 做探索与可视化各取所长。五、常见坑与优化清单症状原因对策读进来的数字变成了因子/字符旧版 R4.0read.csv默认stringsAsFactors TRUE或列里混了文本用readr::read_csvcol_types显式指定R ≥ 4.0 已改默认但仍要警惕中文列名/内容全是乱码编码不匹配Excel 导出常是 GBKR 默认按 UTF-8 读read_csv(file, locale locale(encoding GBK))保存统一用 UTF-8日期解析后全是 NA格式猜错03/04/2024到底是 3 月 4 日还是 4 月 3 日用 lubridate 显式指定mdy()/dmy()别依赖自动猜测解析后检查sum(is.na(x))group_by后算出来的数不对忘记ungroup()后续操作仍在分组语义下进行汇总时用.groups drop长管道结束后显式ungroup()join 之后行数暴涨连接键不唯一多对多产生笛卡尔积join 前先 count(key)聚合结果出现 NA数据里有缺失值聚合函数默认不忽略sum(x, na.rm TRUE)或先drop_na()显式处理字符串匹配漏了一半APP与app 大小写、空格不一致str_to_lower()str_trim()先标准化类别值统一用fct_recode()内存爆掉cannot allocate vectordplyr 频繁复制大表中间对象没释放大表切换 data.table 的:及时rm()gc()用arrow包做磁盘级处理因子画图顺序乱因子水平默认按字母序fct_infreq()按频次排fct_reorder()按数值排fct_relevel()手动定管道里某步报错查不出管道太长中间状态不可见把长管道拆成有名字的中间对象或在关键步插print()/glimpse()六、小结R 的数据框是语言内置类型tidyverse 用动词 管道让数据处理代码贴近分析思维——探索性分析首选 tidyversedplyr 五大动词filter/select/mutate/arrange/summarisegroup_byacross()覆盖绝大多数变形需求tidyr 的pivot_longer/pivot_wider负责宽长表互转完整清洗流程显式指定列类型读入 → 类型转换 → 缺失/异常/去重 → 分组聚合 → 宽长表变换 → 落盘每一步都在管道里可追溯数据量上百万行后切 data.table[i, j, by]语法 :引用修改 fread性能提升一个数量级两体系可混用各取所长避坑核心编码显式指定、日期显式解析、join 前查键唯一性、聚合记得na.rm、大表用引用语义。参考资料Wickham H, Grolemund G.R for Data Science(2nd Edition). OReilly, 2023. 在线版R for Data Science (2e)Wickham H. Tidy Data.Journal of Statistical Software, 2014, 59(10).data.table 官方 VignettesIntroduction to data.table、Reference semanticsdata.tabledplyr 官方文档与across()专栏A Grammar of Data Manipulation • dplyrtidyr Pivoting 指南Pivoting • tidyrGrolemund G, Wickham H. Dates and Times Made Easy with lubridate.Journal of Statistical Software, 2011, 40(3).H2O.ai Database-like Ops BenchmarkDatabase-like ops benchmark