AI周刊(2024.7.16-7.21)
OpenAI宣布GPT-4o Mini模型OpenAI 凭借 GPT-4o Mini 进入了 SLM 领域,被吹捧为市场上最具成本效益的小型模型。GPT-4o Mini 的输入价格仅为每百万代币 15 美分,输出价格为每百万代币 60 美分,大大降低了 AI 集成的财务障碍。
OpenAI 使用 GPT-4o Mini 的定价策略可能会催化新一轮的 AI 驱动创新浪潮,尤其是在初创公司和小型企业中。通过大幅降低 AI 集成成本,OpenAI 有效地降低了 AI 解决方案的进入门槛。这可能导致各行各业对人工智能的采用激增,从而可能加快多个行业的技术创新和颠覆步伐。
亮点
多模态推理能力:具备文本、图像、音频、视频的多模态推理能力,但在上线初期只能处理文字和图像生成任务,最终目标是支持所有其他类型内容的处理。在 API 层面,支持 128k、16k 输入 tokens(图像和文本)。
价格优势:GPT-4o mini 每百万输入 tokens 为 15 美分(约 1.09 元人民币),每百万输出 tokens 为 60 美分(约 4.36 元人民币)。相比原版 GPT-4o 模型便宜 9 ...
AI周刊(2024.7.8-7.15)
AI周刊(2024.7.8-7.15)斯坦福团队推出 TTT 架构可能很多人只听说过 Transformer 架构,并不知道还存在其它更有架构,也认为 Transformer 就是终极最优解!对于短的上下文而言,它的表现还不错;但是在大的上下文场景下,它的扇出、效率和内存就成为了性能瓶颈!当前阶段的 AIGC 还处于起步阶段,仅仅在某些领域有了一些成果,距离终极 AGI 还有很长的路要走!然而,长上下文才是我们需要重点考虑的问题,终极 AGI 终会存在很多这样的场景。
斯坦福、UCSD、UC 伯克利和 Meta 研究人员提出了一种全新架构 TTT 层,它具有线性复杂性和可表达的隐藏状态。关键思想是使隐藏状态本身成为机器学习模型,更新规则成为自监督学习的一个步骤。由于隐藏状态甚至在测试序列上也通过训练来更新,因此该层被称为测试时间训练(TTT)层。TTT 层取代 RNN 的隐藏状态,通过梯度下降压缩上下文,直接替代注意力机制,表现力更强且复杂度更低。TTT-Linear 和 TTT-MLP 在扩展性和性能上超越现有的 Transformer 和 Mamba,为长上下文建模提供了新方式。
...
AI周刊(2024 7.1-7.5)
每周AI技术新进展(2024 7.1-7.5)世界人工智能大会 7月4日,2024世界人工智能大会暨人工智能全球治理高级别会议(简称“WAIC 2024”)在上海世博中心、世博展览馆拉开序幕。来自55个国家的180多位海外嘉宾参会,围绕全球治理、产业发展、科学前沿三大重点,展开深入交流研讨。
大会主要看点WAIC 特别专访 清华大学人工智能国际治理研究院副院长梁正指出,自从ChatGPT等生成式人工智能爆发以来,AI大模型正在成为产业基础设施,通过“基础大模型+行业数据微调”实现规模化生产;人机关系变革加速“AI平民化”,多模态AI降低人机交互门槛;AI大模型分解重复性智力劳动,推动人机分工协作,助推智力密集型服务产业化。爆款应用有望在AI4S、智能驾驶等领域出现,短期在B端市场变现,长期在C端市场潜力更大。边缘小众市场可能是技术颠覆性创新的主要来源。
百度创始人李彦宏强调了AI技术的迅猛发展。他指出,尽管AI跑 ...
Nginx详解
Nginx详解作用反向代理我们将请求发送到反向代理服务器,由反向代理服务器选择目标服务器获取数据后,再返回给客户端,此时反向代理服务器和目标服务器对外就是一个服务器,暴露的是代理服务器地址,隐藏了真实服务器IP地址
那么何为正向代理呢?
在客户端(浏览器)配置代理服务器,通过代理服务器进行互联网访问,就像我们翻墙访问谷歌一样….
负载均衡单个服务器解决不了,我们增加服务器的数量,然后将请求分发到各个服务器上,将原先请求集中到单个服务器上的情况改为将请求分发到多个服务器上,将负载分发到不同的服务器
动静分离为了加快网站的解析速度,可以把动态页面(Jsp、Servlet)与静态页面(Html、Css、Js)由不同的服务器来解析,加快解析速度。降低原来单个服务器的压力
安装推荐docker安装,简单快速好用
docker pull nginx创建Nginx配置文件创建挂载目录
mkdir -p /home/nginx/conf
mkdir -p /home/nginx/log
mkdir -p /home/ngi ...
搭建一套企业级日志监控系统
概述背景公司原先基于MySQL的MSP监控项目已经无法满足集团对系统关键页面、关键业务和接口实现有效监控的要求,故更换新架构MSP-2:Kafka数据采集+ClickHouse数据库+Flink数据计算+Grafana看板
术语
MSP-2:监控分析平台的简称
Kafka:是由Apache软件基金会开发的一个开源流处理平台
ClickHouse:是一个用于联机分析处理(OLAP)的开源列式数据库
Zookeeper:是一个分布式的。开源的分布式应用程序协调服务
目标MSP-2主要实现如下功能:
数据的采集
数据的分析计算
部署话不多说,清楚了MSP-2系统是干什么的之后就开始干活吧。
部署架构图
注
新部署集群:ZK、Kafka、ClickHouse
现有服务改造:Flume,Grafana
现有功能无需改造:xxx系统、业务日志文件
部署实施方案资源分配仅供参考,每个公司可分配的资源不一样
集群高可用
数据存储方案
Zookeeper数据存储
Kafka数据存储
略
ClickHouse数据存储
数据存储层次划分:
ods:原始数据层
dim:公共维度汇总层
...
高性能敏感词工具
背景项目接到个需求,对后端输入参数进行是否包含敏感词的一项校验,作为一名合格的java开发工程师(CRUD Boy),秉持着不重复造轮子的开发理念,遍历github找到了这款开源的敏感词检索神器sensitive-word,看完本篇文章会教会你如何使用这款组件,以及本人在项目中所遇见的各种坑,帮助我们快速完成需求开发工作.
基本使用准备
JDK1.7+ (我的项目jdk21)
Maven 3.x+
Maven引入
<dependency>
<groupId>com.github.houbb</groupId>
<artifactId>sensitive-word</artifactId>
<version>0.14.0</version>
</dependency>
注意,请关注github上版本变化,我目前使用的还是最新的
自定义配置 这个配置主要是配置黑白名单
自定义黑名单
自定义白名单需求没有白名单的,就没写,跟黑名单一样配置
初始化引导类红框里的就是我 ...
Redis详解【持久化及主从哨兵模式】
持久化RDB快照(snapshot) 在默认情况下,Redis将内存数据库快照保存在名字为dumo.rdb的二进制文件中。
我们可以对redis进行设置,让它在”N秒内数据集至少有M个改动”这一条件被满足时,自动保存一次数据集。
比如说:以下设置会让redis满足”60秒内至少有1000个键被改动”这一条件时,自动保存一次数据集:
save 60 1000 //关闭RDB只需要将所有的save保存策略注释掉即可
还可以手动执行命令生成RDB快照,进入redis客户端执行命令save或bgsave可以生成dump.rdb文件,每次命令执行都会将所有redis内存快照到一个新的rdb文件里,并覆盖原有rdb快照文件
bgsave的写时复制(COW)机制 Redis借助操作系统提供的写时复制技术(Copy-On-Write,COW),在生成快照的同时,依然可以正常处理写命令。简单来说,bgsave子进程是由主线程fork生成的,可以共享主线程的所有内存数据。bgsave子进程运行后,开始读取主线程的内存数据,并把他们写入RDB文件。此时如果主线程对这些 ...
Redis详解【安装及常用数据结构】
安装要学习redis当然要先安装了,在linux系统中
https://github.com/redis/redis-hashes/?tab=readme-ov-file ,这里是Redis各个版本的下载地址,我下的是5.0.3的版本
把下载好的安装包放在 /usr/local文件夹下
tar -zxvf redis-5.0.3.tar.gz
cd redis-5.0.3
make (进入到解压好的redis-5.0.0目录下,进行编译与安装)
启动并指定配置文件: src/redis-server redis.conf (使用后台启动,把redis.conf里的daemonize改为yes)
验证:ps -ef | grep redis
进入客户端:src/redis-cli
退出客户端:exit
常用数据结构建议去看官方文档
String应用场景单值缓存set key value
get key
对象缓存set user:1 value(json格式数据)
mset user:1 name hangker user:1:balan ...
Linux常用命令
Linux常用命令防火墙相关(centos7)
查看firewalld服务状态:systemctl status firewalld
开启firewalld:systemctl start firewalld
关闭firewalld:systemctl stop firewalld
配置firewalld的规则:firewall-cmd
linux安装docker
简历注意事项
简历注意事项企业如何筛选简历HR如何筛选
学历
院校
经验
年龄
性别
薪资区间
牛人活跃度
跳槽频率
求职状态
牛人职位要求
专业
我们在写简历的时候一定要在保证真实的前提下保证自己符合筛选条件!!!
部门负责人筛选简历
技术条件(符合当前项目技术栈)
业务条件(电商、银行、物流…)
额外加分项(博客、管理、高并发、公有云…)
在写简历的时候尽可能的突出自己的亮点增加面试机会
简历结构
基本信息
教育背景
求职意向
工作经历
职业技能
项目经历
个人优势荣誉
职业技能 层次递进:深入理解+熟练掌握+熟悉+了解
深入理解: 3-4个 JVM、mysql、redis
熟练掌握:工作中的技能 想让面试官问你的,面试需求技能
熟悉:拓展技能,招聘需求里面有,增加面试机会
放到简历的黄金位置(HR刷选简历的重要参考)
职业技能=必要技术+第三方技术
要有针对性的准备,引导面试官针对性的提问
基本准则:写在简历上的必须能聊,不然就别写
项目描述
项目个数以自己的工作经历为准,时间比较久的可以只写标题或不写
项目要体现业务深度或技术深度
有没有主导设计过xx模块 ...