【分享】一个不算成功的数据网站的开发和运营和流量数据的案例 包括原理和想法介绍

分享个不算成功的数据网站制作案例 包括原理和介绍

很早以前 打算利用信息差 尝试下数据网站的存活率
所以设计了这个网站

这个例子算比较早 好几年了 网站现在还存活着
域名使用的是 www.91r.net 很简陋 主要是编程相关的内容
这个内容是来源于 stackoverflow.com

收录可以查看 2017-07-02 更新

百度 8月3日 收录过千万了
该网站共有 10,454,575 个网页被百度收录

百度: https://www.baidu.com/s?wd=site%3A91r.net

Google: https://www.google.com/search?q=site%3A91r.net

当初最早设计的时候
姑且叫第一个版本吧 直接使用小偷程序的原理 就是抓数据 返回
后来发现英文内容 搜索对英文重复内容的判断过于强大 基本无法带来什么流量
数据在多也没用

所以换个思路 就弄了第二个版本
第二个版本的设计 小偷还是小偷 但是利用翻译 把内容翻译为中文
这里的信息差 就是内容唯一性,以及使用百度翻译结果给google抓取
结果是成功的 很短的时间 流量上升到5000IP/天

继续阅读 →

最近通过搜索访问本文章的关键词:

【分享】在抖个机灵………. 少年我们造个繁体百度吧?

在抖个机灵……….

起因是偶然发现这个东西
https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=site:www.baidu.com.27f8d94bd0b249a6a9168b1e26efbee7.kaweiso.com&*
我以为这个没什么流量

BUT你看Alexa的排名

地址
http://www.alexa.com/siteinfo/kaweiso.com
做这个的真心觉得的油菜花….
他拿百度的内容喂谷歌,获得谷歌来源的流量在卖百度的广告………
把百度原页的推广 替换为自己的…卖别人…卖别人…

这个原理 就是利用百度的搜索结果 满屏关键词 去喂谷歌
百度的搜索结果页面SEO还是不错的 因为关键词高亮/长尾和相关关键词的原因
结果就是谷歌出现了很多百度的搜索结果 而域名只是看起来是百度的…
这种其实就是反向代理的模式 没什么技术含量

然后我建了个一样的 一样的 一样的
包括域名结构等等
发现个问题 谷歌收录结果太慢,而域名没权重
现在也不太可能专心致志去搞什么外链…
而且内容也是一致重复的 收录会很正常 但是流量可能需要养个几个月..

以我的性格不可以等那么长 老早忘了
更不太可能放着这玩意不用 是吧?
怎么干?

嗯 我抖了个机灵 换了个思路 在编码上做文章
把百度的搜索结果 在NGINX的内容处理 进行一级编码转换
简体变繁体 造了个繁体百度

开发的版本 看起来这样的 【图片不显示是因为我使用IP测试,域名测试无问题都可以正常显示】

线上的版本是这个样子的

这样在去喂谷歌 会产生什么?
等出测试数据在更新

在说到遇到的技术坑
nginx+lua就不说太多 都知道
坑在那个简繁转换, lua没好的转换类
以前php有这个需求 都是使用的opencc
然后查了下 opencc没lua的封装, 官方也有人问过了 开发者建议lua调用c接口
嗯 那就调用吧….. 写完巴拉巴拉调了很久 反正大问题没小bug一堆….
测试了很久 搞定这个问题

现在的问题就是性能问题…
考虑问题还是先考虑到 不能如果有效而且流量巨大在去解决
那损失的都是收益…….

### 更新1
关键词引导页已完成
引导蜘蛛爬 红色区域是超链接关键词 链接到自己域名的繁体百度搜索结果

3月23上线 等待收录和流量结果 下次检查估计4月5号的样子

### 持续更新
03/27 Google进索引 收录2 x 引导页 + 单关键词
*其中的引导页可能出问题了 收录错了域名

升级

因为发现有个域名好像收录很多

该网站共有 14,495,764 个网页被百度收录
该网站共有 14,495,770 个网页被百度收录 03-13
该网站共有 14,543,382 个网页被百度收录 03-23
该网站共有 14,578,022 个网页被百度收录 03-28
该网站共有 14,418,475 个网页被百度收录 04-07

About 508,000 results (0.22 seconds)
About 509,000 results (0.53 seconds) 03-13
About 483,000 results (0.18 seconds) 03-23 [升级改版的后遗症]
About 481,000 results (0.41 seconds) 03-28
About 477,000 results (0.50 seconds) 04-07

一直没关注过,然后问题来了
因为是非本地数据站,所以有大量的缓存开销
结果性能问题出现问题 总量大概有4000万数据

我使用的SSDB缓存,因为很久以前开发的 设置的过期时间是86400一天
结果硬盘使用 变这个样子

是的 你没看错 SSDB缓存了457G的数据
在加上20G的日志 感觉炸了….
在加上以前写的首页缓存类失效了
现在访问首页巨卡

一狠心,决心重写 继续阅读 →

最近通过搜索访问本文章的关键词:

[灰色分析] 灰色行业之黑彩票 时时彩的营销方式

并不推荐做这些 本文仅作为营销和技术研究 不对内容负责
也请勿转载

搭建彩票平台那些就不扯了
这里 主要是营销

首先上广告联盟去推广, 每个人都想发财 所以这些人 抓住了这点
广告一般都是这样的

这里需要注意的是 这类广告 一般只会上手机平台 匹配安卓 苹果 等等设备
一般会target 安卓 使用安卓的比苹果的多很多 而且相对使用安卓的需要钱想赚钱的人更多 更符合目标客户定位
非手机设备是不显示的 因为手机一般都只是看到内容,看不到链接
复制举报的行为成本也高很多 继续阅读 →

CloudFlare免费CDN 网站加速 跑到100TB流量 会发生什么?

CloudFlare 一天跑100T流量 会发生什么?
升级吧少年?

以前有个网站 使用了Cloudflare,那时候网络还可以
在加上非内容的网站,所以使用cloudflare还算稳定,但是Cloudflare的免费 其实使用到一定额度 是有限制的
我那个就到限制了

首先 发了通知 告诉我需要升级到enterprise plan 不是Pro Plan哦?
enterprise企业套餐 每域名$2000/月的价格

20160919121929

然后我还没来得及回复
又来了第二封 强制回源了
意思是不帮你加速了

2

未使用CloudFlare的带宽 使用大概1.2Gbps/s
53d43746e194a
使用以后大大降低了 因为设了强制缓存 缓存时间MAX

这个是04年的时候 不是现在 只是发现这个邮件
所以贴出来…

Cloudflare估计是最良心的免费CDN服务了
后面在说说Incapsula

最近通过搜索访问本文章的关键词:

ICANN最新域名转移政策 更新

ICANN 关于域名转移政策的更新
为了提高域名在过户和转移的身份验证强度,ICANN对”域名转移政策”进行了相应的更新。新的规则将在12月1号正式生效。

https://www.icann.org/resources/pages/transfer-policy-2016-06-01-en
https://www.icann.org/en/system/files/files/transfer-policy-redline-25may16-en.pdf

意思是审核更严格了
注册商可以依托第三方资料库 审查用户的Whois登记信息是否正确
如果资料不正确,可以拒绝转移操作

另外对注册商的也有些额外要求了

 

 

Gandi.NET 注册域名的坑

Gandi.NET 注册域名的坑

前几天一时兴起,准备注册几个域名
gandi.net的优惠还是很大的,以前注册过账户,但是一直没在这里注册过域名,因为除了后缀多,价格没什么竞争力
所以这次就注册了9个域名 准备体验下 都是1刀2刀 做SEO用途的
优惠价格才$20

结果发现 他们的2点问题
第一点: WHOIS保护有严重的问题
会在whois信息
显示你的账户id 和 注册姓名
我询问了下 他们的回复
As per ICANN’s regulations, the registrant’s name should be public on WHOIS.
It is impossible to modify the name because this operation is considered as an ownership change.

说ICANN要求
但是实际上 我查询了下 并没这个要求
其他的注册商 并没这个问题 都是full加密的
他们这样可能导致的问题
知道域名注册商 等于知道账户id 也知道whois的联系邮箱
这些信息 就可以社工了 有一定机会成功 非常不安全

第二点: 姓名是无法修改的
他们的系统 姓名默认锁定了 如果要修改 等同于更改所有域名的所有权
无法变更 ,但是域名是可以变更所有权的 而且是非免费的
不像其他注册商那样 可以自由修改

因为他们有5天删除期 最后一天才交流
然后告诉我可以取消退款
所以我就直接申请取消域名退款了

退款也是退款到账户

这个坑希望大家注意.

最近通过搜索访问本文章的关键词:

IPCheck.CN 域名改为 BOIP.NET

IPCheck.cn Change to BOIP.NET

换域名了, 因为一些原因
https://www.boip.net

以后使用这个域名吧

Registration Time: 2012-06-01 20:06:37
Expiration Time: 2017-06-01 20:06:37
CN域名4年了 明年到期 不准备续费了

#坑
百度MAP的API 标准调用不支持HTTPS协议
如果要使用HTTPS协议 对不起 请提供企业认证,企业认证以后 可以电话营销 安利你百度推广什么的
用点服务 真他妈的难