共享内存使用
背景说明
众所周知,共享内存是进程通信(IPC)的方式之一,本文将针对Linux系统下共享内存的一次使用进行说明。假如我们存在ServerA,需要负责业务逻辑功能,需要读写DB,为了提供性能,是否可以增加一个ServerB,专门负责维华A业务产生的数据并进行DB读写。A和B显然存在数据共用的情况,这个时候我们就可以使用共享内存来实现A、B两个Server的数据交互。
基础函数
如果需要使用共享内存,则需要用到如下3个系统函数
函数名
功能描述
shmget
创建共享内存,返回pic key
shmat
第一次创建完共享内存时,它还不能被任何进程访问,shmat()函数的作用就是用来启动对该共享内存的访问,并把共享内存连接到当前进程的地址空间
shmdt
该函数用于将共享内存从当前进程中分离。注意,将共享内存分离并不是删除它,只是使该共享内存对当前进程不再可用。
int shmget(key_t key, size_t size, int shmflg);负责创建共享内存
· 第一个参数,与信号量的semget函数一样,程序需要提供一个参数key(非0整数),它有效地为共享内存段命名,shmget()函数成功时返回一个与key相关的共享内存标识符(非负整数),用于后续的共享内存函数。调用失败返回-1.
不相关的进程可以通过该函数的返回值访问同一共享内存,它代表程序可能要使用的某个资源,程序对所有共享内存的访问都是间接的,程序先通过调用shmget()函数并提供一个键,再由系统生成一个相应的共享内存标识符(shmget()函数的返回值),只有shmget()函数才直接使用信号量键,所有其他的信号量函数使用由semget函数返回的信号量标识符。
· 第二个参数,size以字节为单位指定需要共享的内存容量
· 第三个参数,shmflg是权限标志,它的作用与open函数的mode参数一样,如果要想在key标识的共享内存不存在时,创建它的话,可以与IPC_CREAT做或操作。共享内存的权限标志与文件的读写权限一样,举例来说,0644,它表示允许一个进程创建的共享内存被内存创建者所拥有的进程向共享内存读取和写入数据,同时其他用户创建的进程只能读取共享内存。
void *shmat(int shm_id, const void *shm_addr, int shmflg);负责共享内存挂接
· 第一个参数,shm_id是由shmget()函数返回的共享内存标识。
· 第二个参数,shm_addr指定共享内存连接到当前进程中的地址位置,通常为空,表示让系统来选择共享内存的地址。
· 第三个参数,shm_flg是一组标志位,通常为0。
int shmdt(const void *shmaddr);负责共享内存卸载
· 第一个参数,shm_addr用来需要取消挂载的指定共享内存的地址。
· 返回值0表示成功-1表示失败
实操举例
对基础函数进行C++封装
· class ShareMemAO
· {
·
·
· public:
· ShareMemAO()
· {
· m_pDataPtr = 0;
· m_hold = 0;
· m_Size = 0;
· m_pHeader = 0;
· }
· ~ShareMemAO(){};
· BOOL Create(SM_KEY key,uint Size);
· VOID Destory();
· BOOL Attach(SM_KEY,uint Size);
· BOOL Detach();
· CHAR* GetDataPtr()
· {
· return m_pDataPtr;
· }
· CHAR* GetTypePtr(uint tSize,uint tIndex)
· {
· Assert(tSize>0);
· Assert(tSize*tIndex<m_Size);
· if( tSize<=0 ||tIndex>=m_Size )
· return NULL;
· returnm_pDataPtr+tSize*tIndex;
· }
· uint GetSize()
· {
· return m_Size;
· }
·
· BOOL DumpToFile(CHAR* FilePath);
· BOOL MergeFromFile(CHAR* FilePath);
·
· UINT GetHeadVer();
· VOID SetHeadVer(UINT ver);
· INT m_CmdArg;
· private:
· uint m_Size;
· CHAR* m_pDataPtr;
· CHAR* m_pHeader;
· SMHandle m_hold;
·
· };
Server B对ShareMemory进行创建和初始化
· BOOL SUMPool::Init( uint nMaxCount,SM_KEY key,SMPOOL_TYPESMPT)
· {
· m_pRefObjPtr = new ShareMemAO();
·
· Assert(m_pRefObjPtr);
·
· if(!m_pRefObjPtr)
· return FALSE;
·
· m_pRefObjPtr->m_CmdArg =g_CmdArgv;
·
· BOOL ret;
·
· ret = m_pRefObjPtr->Attach(key,sizeof(T)*nMaxCount+sizeof(SMHead));
·
· if(SMPT ==SMPT_SHAREMEM)
· {
· if(!ret)
· {
· ret= m_pRefObjPtr->Create(key,sizeof(T)*nMaxCount+sizeof(SMHead));
·
· }
· }
· else
· {
· if(!ret)
· {
· return FALSE;
· }
· }
·
· if(!ret)
· {
· if(m_pRefObjPtr->m_CmdArg ==CMD_MODE_CLEARALL)
· {
· return TRUE;
· }
·
· Log::SaveLog(SHMEM_LOG_PATH,"SetupSMU block fail!");
· Assert(ret);
· return ret;
·
· }
·
· m_nMaxSize =nMaxCount;
· m_nPosition =0;
· m_hObj =new T*[m_nMaxSize];
·
· INT i;
· for( i = 0; i <m_nMaxSize; i++ )
· {
· m_hObj[i] = reinterpret_cast<T*>(m_pRefObjPtr->GetTypePtr(sizeof(T),i));
· if ( m_hObj[i] == NULL )
· {
· Assert( m_hObj[i] != NULL );
· return FALSE;
· }
· }
·
· m_key = key;
·
· return TRUE;
· }
Server B从DB加载数据ShareMemory
实际使用一个对象池来描述这部分数据,使用m_PoolSharePtr表示对应指针
· INT MaxPoolSize = m_PoolSharePtr->GetPoolMaxSize();
·
· for(INT iIndex= 0;iIndex<MaxPoolSize;iIndex++)
· {
·
· MySMU*pMySMU = m_PoolSharePtr->GetPoolObj(iIndex);
· if(!pMySMU)
· {
· Assert(pMySMU);
· return FALSE;
· }
·
· pMySMU->Init();
· }
·
· SM_KEY key = m_PoolSharePtr->GetKey();
·
· BOOL bRet =FALSE;
·
· ODBCInterface*pInterface= g_pDBManager->GetInterface(DATABASE);
· Assert(pInterface);
·
· DBGuildInfo GuildInfoObject(pInterface);
· bRet = GuildInfoObject.Load();//查询DB
·
· if(bRet)
· {
· bRet = GuildInfoObject.ParseResult(m_PoolSharePtr);//解析查询结果
· }
·
· return TRUE;
Server A读取ShareMemory数据
和ServerB使用相同的key去挂载共享内存,使用相同的数据结构获取数据
Server A修改数据
修改数据后需要将数据的状态修改为dirty状态,用于保存;
Server B定时保存DB
可以使用一个定时器或者heartbeat来查找所有状态标记为dirty的数据进行save数据
结语
留两个问题供读者思考:
1) 以上举例中的ServerB和Server A启动有顺序要求吗?
2) ServerB和Server A如果有一个宕机是否会存在数据丢失?
当然,举例中的Server B从某种程度上可以使用redis作为一种替代方案。