智能玩具 WebSocket通讯 好友列表 聊天列表

项目 智能玩具

一、需求分析
1外形美观大方
2功能：1语音的实时通讯
2积极正面内容
-播放音频（播放 父母选定的儿歌,故事,百科,英语）
-语音识别 （通过语音识别内容名称 玩具可以主动点播内容）
3陪孩子聊天
4解答问题（十万个为什么）
5家长通过玩具查看社交圈

二、具体实施
第一天：
获取音频资源
1从喜马拉雅采集幼教内容，存入文件
分别获取封面/音乐 文件
将数据写入数据库

app 获取内容 /content_list
-信息以列表的形式返回

接口功能实现
根据前端的需求返回相应的数据
App /get_cover 获取内容的图片信息
App /get_music 获取音频信息


2用户的注册 、登录 、自动登录
App /reg 注册用户
App /login 用户登录 返回的用户信息
App /auto_login 用户打开APP后自动登录 返回的用户信息

3创建设备的DeviceKey(联图网创建二维码）
保证唯一性
-hashlib.md5((f"{uuid4()}{time.time()}{uuid4()}".encode("utf8")).hexdigest()

第二天：
App 绑定一个设备 扫描二维码，设备必须有一个符合我们数据库中的二维码
设备 一旦和App进行绑定 由App创建玩具

1扫码
通过 {device_key:""} 去数据库中查找 是否有该二维码信息

1.二维码扫描成功并且设备未进行绑定
2.二维码扫描失败,扫描的条码不是设备库中存在的

3.二维码扫描成功, 但设备已经进行绑定
（还未实现）

2绑定玩具
按照数据库要求 构建玩具的基本信息

先创建一个空的Chats 表
-chat_id = MDB.Chats.insert_one({"user_list": [], "chat_list": []})


1创建toy （结合数据库结构和API文档，获取信息）
toy 绑定 user
先给toy 添加第一个好友 app

注意 friend_chat 的写法
- "friend_chat": str(chat_id.inserted_id)


追加
-toy_info["friend_list"].append(toy_add_user)
toy_id = MDB.Toys.insert_one(toy_info)

2.User表数据补充
app 也要同时 增加toy为好友

user_add_toy = {
"friend_id": toy_id.inserted_id, # toy_id str
"friend_nick": toy_info.get("baby_name"), # baby_name
"friend_remark": toy_info.get("toy_name"), # toy_name
"friend_avatar": "toy.jpg", #
"friend_chat": str(chat_id.inserted_id), # chat_id
"friend_type": "toy" # 好友的类型 toy
}

添加到表结构中
user_info["bind_toys"].append(str(toy_id.inserted_id))
user_info["friend_list"].append(user_add_toy)

整体修改数据
# 修改 Users 的全部数据
MDB.Users.update_one({"_id": ObjectId(user_id)}, {"$set": user_info})

# Chats 数据也会变化 user_list 将 toy_id 和 user_id 加入
MDB.Chats.update_one({"_id":chat_id.inserted_id}, {"$set": {"user_list": [user_id,str(toy_id.inserted_id)]}})

数据结构

3 toy_list 展示
从toys 表中查找对应数据，返回（参考表中的数据）

第三天：
1 智能玩具WebSocket通讯
Websocket 连接 OpenToy 开机
按照格式 开启wevbsocket

解决跨域问题
App通讯 向toy 发送音乐
ws://10.0.0.1:9528/app/<user_id>
Toys通讯 接收App推送音乐
ws://10.0.0.1:9528/toy/<toy_id>

1 /get_qr 接口 获取QRCODE 图片
-获取图片/音乐/二维码图片等原理是相通的
2 /friend_list 查询好友列表

3 /chat_list 查询聊天记录

4 /app_uploader app 上传语音消息

5 /toy_uploader toy 上传语音消息


注意事项：
前端发送请求所携带的数据 和后端响应的数据

app/toy 上传语音消息 注意 文件格式的转化
跨域问题的解决（安装包）

获取数据--保存文件--转化格式--聊天记录--更新聊天记录--返回RET

/get_qr 接口

# 返回二维码信息图片
@content_bp.route("/get_qr/<filename>",methods=["GET"])
def get_qr(filename):
    qr_path=os.path.join(QRCODE_PATH,filename)
    return send_file(qr_path)

 /friend_list 接口          /chat_list 接口

from bson import ObjectId
from flask import Blueprint, request, jsonify

from settings import MDB, RET

friend_bp = Blueprint("friend_bp", __name__)


@friend_bp.route("/friend_list", methods=["POST"])
def friend_list():
    user_id = request.form.get("_id")
    user_info = MDB.Users.find_one({"_id": ObjectId(user_id)})

    RET["CODE"] = 0
    RET["MSG"] = "好友查询"
    RET["DATA"] = user_info.get("friend_list")

    print(user_info, "+++++++++")
    return jsonify(RET)


@friend_bp.route("/chat_list", methods=["POST"])
def chat_list():
    chat = request.form.to_dict()
    chat_window = MDB.Chats.find_one({"_id": ObjectId(chat.get("chat_id"))})

    RET["CODE"] = 0
    RET["MSG"] = "查询聊天记录"
    RET["DATA"] = chat_window.get("chat_list")

    return jsonify(RET)

实现 /app_uploader 接口 App上传语音消息
实现 /toy_uploader 接口 Toy上传语音消息

import os
import time

from bson import ObjectId
from flask import Blueprint, request, jsonify

from settings import MDB, RET, CHAT_PATH

uploader_bp = Blueprint("uploader_bp", __name__)


@uploader_bp.route("/app_uploader", methods=["POST"])
def app_uploader():
    to_user = request.form.get("to_user")
    from_user = request.form.get("user_id")
    reco_file = request.files.get("reco_file")

    reco_file_path = os.path.join(CHAT_PATH, reco_file.filename)
    # 保存的文件格式为amr
    reco_file.save(reco_file_path)
    # 转化格式
    os.system(f"ffmpeg -i {reco_file_path} {reco_file_path}.mp3")

    user_list = [to_user, from_user]
    # 聊天信息记录
    chat_info = {
        "from_user": from_user,
        "to_user": to_user,
        "chat": f"{reco_file.filename}.mp3",
        "createTime": time.time()
    }
    # 更新聊天数据
    MDB.Chats.update_one({"user_list": {"$all": user_list}}, {"$push": {"chat_list": chat_info}})

    RET["CODE"] = 0
    RET["MSG"] = "上传成功"
    RET["DATA"] = {
        "filename": f"{reco_file.filename}.mp3",
        "friend_type": "app"
    }
    return jsonify(RET)


from uuid import uuid4


@uploader_bp.route("/toy_uploader", methods=["POST"])
def toy_uploader():
    to_user = request.form.get("to_user")
    from_user = request.form.get("user_id")
    reco_file = request.files.get("reco")
     # 与app_uploader 不同    文件名   blob   reco_file.filename  是文件类型
    # print(reco_file.filename, "++++++")

    filename = f"{uuid4()}.wav"
    reco_file_path = os.path.join(CHAT_PATH, filename)

    reco_file.save(reco_file_path)

    user_list = [to_user, from_user]
    # 聊天信息记录
    chat_info = {
        "from_user": from_user,
        "to_user": to_user,
        "chat": filename,
        "createTime": time.time()
    }
    # 更新聊天数据
    MDB.Chats.update_one({"user_list": {"$all": user_list}}, {"$push": {"chat_list": chat_info}})

    RET["CODE"] = 0
    RET["MSG"] = "上传成功"
    RET["DATA"] = {
        "filename": filename,
        "friend_type": "toy"
    }
    return jsonify(RET)

 wap_ws   websocket 连接

import json
from flask import Flask, request, render_template

from geventwebsocket.handler import WebSocketHandler

from geventwebsocket.server import WSGIServer

from geventwebsocket.websocket import WebSocket

ws_app = Flask(__name__)
user_socket_dict = {}


# 建立websocket连接
@ws_app.route("/app/<user_id>")
def app(user_id):
    # print(user_id,"user_id")
    # 获得wesocket 连接
    app_socket = request.environ.get("wsgi.websocket")  # type: WebSocket
    if app_socket:
        user_socket_dict[user_id] = app_socket

    while True:
        app_data = app_socket.receive()
        app_data_dict = json.loads(app_data)
        to_user = app_data_dict.get("to_user")
        usocket = user_socket_dict.get(to_user)
        try:
            usocket.send(app_data)
        except:
            continue


@ws_app.route("/toy/<toy_id>")
def toy(toy_id):
    # 获得wesocket 连接
    toy_socket = request.environ.get("wsgi.websocket")  # type: WebSocket
    if toy_socket:
        user_socket_dict[toy_id] = toy_socket

    while True:
        toy_data = toy_socket.receive()
        toy_data_dict = json.loads(toy_data)
        to_user = toy_data_dict.get("to_user")
        usocket = user_socket_dict.get(to_user)
        # usocket.send(toy_data)
        try:
            usocket.send(toy_data)
        except:
            continue


@ws_app.route("/get_toy")
def get_toy():
    return render_template("WebToy.html")


if __name__ == '__main__':
    http_serve = WSGIServer(("0.0.0.0", 9528), ws_app, handler_class=WebSocketHandler)
    http_serve.serve_forever()