除了访问网格数据的遍历宏外，并行UDF中还需要考虑计算节点之间的数据通讯，这一般采用数据交换宏来实现。
本文内容来自Fluent UDF手册
通常网格单元及网格面都有一个分区ID，其编号从0~n-1，这里n为计算节点的数量。网格单元及网格面的分区ID分别存储在宏C_PART及F_PART中。
宏C_PART(c,tc) 存储整型的网格单元ID，宏F_PART(c,tc) 存储网格面的整型分区ID。
注意，myid可以与分区ID一起使用，因为外部网格单元的分区ID等同于相邻计算节点的ID。
对于内部网格单元，其分区ID与计算节点ID相同。对于外部网格单元，其计算节点ID与分区ID不同。例如，在有两个计算节点(0和1)的并行系统中，计算节点node-0的外部单元的分区ID为1，计算节点node-1的外部单元的分区ID为0。
内部网格面(Interior Face)与边界面(Boundary zone face)的分区ID与计算节点ID相同。分区边界面(partition boundary face)的分区ID可以与计算节点的ID相同，也可以与相邻计算节点ID相同，这取决于宏F_PART的值。
一个计算节点的外部单元只有分区边界面，其他的网格面属于相邻的计算节点。因此，根据想要处理UDF的计算节点，可能希望将分区边界的分区作为计算节点(使用Fill_Face_Part_With_Same)或使用不同的ID(使用Fill_Face_Part_With_Different)来填充分区边界面。在使用F_PART宏访问分区ID之前，需要先填充它们。在并行udf中很少需要网格面的分区ID。
通过使用编译器指令(例如#if RP_NODE)，可以使用Message在Host或Node节点上显示消息。
示例：
#if RP_NODE
Message("Total Area Before Summing %f\n",total\_area);
#endif
在本例中，消息将由Node节点发送。(host不会发送。)
Message0是一种特殊形式。Message0只在node-0节点发送消息，在其他计算节点上被忽略，且不需要使用编译器指令。
Message0("Total volume = %f\n",total_volume)
当想要将数据从Host发送到所有的node时，可以使用宏host_to_node宏；当想要从node-0发送数据给host时，可以使用node_to_host宏，这两个宏称之为高级宏（High-lever Macro）。如果想要在计算节点之间传递数据，或者将所有计算节点的数据发送给node-0节点时，无法使用这些高级宏，此时需要利用其它的宏来实现。
需要注意，高级通讯宏被展开为执行许多低级消息传递操作的函数，这些操作将数据作为单个数组从一个处理器发送到其他的处理器，通过宏名称的字符标识SEND及RECV可以方便识别这些低级消息传递宏。用于向处理器发送数据的宏具有前缀PRF_CSEND，而用于从其他处理器接收数据的宏具有前缀PRF_CRECV。被发送或接收的数据类型包括：字符型(CHAR)、整数型(INT)、实数型(REAL)及逻辑型(BOOLEAN)。
逻辑布尔变量为TRUE或FALSE，实数型在单精度Fluent版本中为float，双精度版本中为double。消息传递宏在prf.h头文件中定义，包含以下类型：
PRF_CSEND_CHAR(to, buffer, nelem, tag)
PRF_CRECV_CHAR (from, buffer, nelem, tag)
PRF_CSEND_INT(to, buffer, nelem, tag)
PRF_CRECV_INT(from, buffer, nelem, tag)
PRF_CSEND_REAL(to, buffer, nelem, tag)
PRF_CRECV_REAL(from, buffer, nelem, tag)
PRF_CSEND_BOOLEAN(to, buffer, nelem, tag)
PRF_CRECV_BOOLEAN(from, buffer, nelem, tag)
这些消息传递宏都包含4个参数.
对于消息发送宏，参数说明包括：
对于消息接收宏，其参数说明：
注意，如果要发送或接收的变量在函数中定义为real变量，那么可以使用带有_REAL后缀的宏传递消息。之后编译器再双精度版本中将宏替换为PRF_CSEND_DOUBLE或PRF_CRECV_DOUBLE，在单精度版本中将其替换为PRF_CSEND_FLOAT或PRF_CRECV_FLOAT。
因为消息传递宏是低级宏，所以需要确保在从节点处理器发送消息时，相应的接收宏出现在接收节点处理器中。注意，UDF不能直接使用消息传递宏从计算节点(0以外)发送消息到host节点。它们可以通过计算节点node-0间接地向主机发送消息。例如，如果希望并行UDF将所有计算节点的数据发送到host节点进行后处理，则必须首先将数据从每个计算节点传递到node-0节点，然后从node-0节点传递到host节点。在计算节点向node-0发送消息时，node-0节点必须有一个循环来接收来自N个节点的N条消息。
下面是一个编译型的并行UDF示例，它利用消息传递宏PRF_CSEND和PRF_CRECV。中的注释(*/)。
#include "udf.h"
#define WALLID 3
DEFINE_ON_DEMAND(face_p_list)
{
#if !RP_HOST /* Host will do nothing in this udf. */
face_t f;
Thread *tf;
Domain *domain;
real *p_array;
real x[ND_ND], (*x_array)[ND_ND];
int n_faces, i, j;
domain=Get_Domain(1); /* Each Node will be able to access its part of the domain */
tf=Lookup_Thread(domain, WALLID); /* Get the thread from the domain */
/* The number of faces of the thread on nodes 1,2... needs to be sent
to compute node-0 so it knows the size of the arrays to receive
from each */
n_faces=THREAD_N_ELEMENTS_INT(tf);
/* No need to check for Principal Faces as this UDF
will be used for boundary zones only */
if(! I_AM_NODE_ZERO_P) /* Nodes 1,2... send the number of faces */
{
PRF_CSEND_INT(node_zero, &n_faces, 1, myid);
}
/* Allocating memory for arrays on each node */
p_array=(real *)malloc(n_faces*sizeof(real));
x_array=(real (*)[ND_ND])malloc(ND_ND*n_faces*sizeof(real));
begin_f_loop(f, tf)
/* Loop over interior faces in the thread, filling p_array
with face pressure and x_array with centroid */
{
p_array[f] = F_P(f, tf);
F_CENTROID(x_array[f], f, tf);
}
end_f_loop(f, tf)
/* Send data from node 1,2, ... to node 0 */
Message0("\nstart\n");
if(! I_AM_NODE_ZERO_P) /* Only SEND data from nodes 1,2... */
{
PRF_CSEND_REAL(node_zero, p_array, n_faces, myid);
PRF_CSEND_REAL(node_zero, x_array[0], ND_ND*n_faces, myid);
}
else
{/* Node-0 has its own data,
so list it out first */
Message0("\n\nList of Pressures...\n");
for(j=0; j<n_faces; j++)
/* n_faces is currently node-0 value */
{
# if RP_3D
Message0("%12.4e %12.4e %12.4e %12.4e\n",
x_array[j][0], x_array[j][1], x_array[j][2], p_array[j]);
# else /* 2D */
Message0("%12.4e %12.4e %12.4e\n",
x_array[j][0], x_array[j][1], p_array[j]);
# endif
}
}
/* Node-0 must now RECV data from the other nodes and list that too */
if(I_AM_NODE_ZERO_P)
{
compute_node_loop_not_zero(i)
/* See para.h for definition of this loop */
{
PRF_CRECV_INT(i, &n_faces, 1, i);
/* n_faces now value for node-i */
/* Reallocate memory for arrays for node-i */
p_array=(real *)realloc(p_array, n_faces*sizeof(real));
x_array=(real(*)[ND_ND])realloc(x_array,ND_ND*n_faces*sizeof(real));
/* Receive data */
PRF_CRECV_REAL(i, p_array, n_faces, i);
PRF_CRECV_REAL(i, x_array[0], ND_ND*n_faces, i);
for(j=0; j<n_faces; j++)
{
# if RP_3D
Message0("%12.4e %12.4e %12.4e %12.4e\n",x_array[j][0], x_array[j][1], x_array[j][2], p_array[j]);
# else /* 2D */
Message0("%12.4e %12.4e %12.4e\n",x_array[j][0], x_array[j][1], p_array[j]);
# endif
}
}
}
free(p_array); /* Each array has to be freed before function exit */
free(x_array);
#endif /* ! RP_HOST */
}
EXCHANGE_SVAR_MESSAGE、EXCHANGE_SVAR_MESSAGE_EXT和EXCHANGE_SVAR_FACE_MESSAGE可用于在计算节点之间交换存储变量(SV_…)。EXCHANGE_SVAR_MESSAGE和EXCHANGE_SVAR_MESSAGE_EXT在计算节点之间交换cell数据，而EXCHANGE_SVAR_FACE_MESSAGE在计算节点之间交换face数据。EXCHANGE_SVAR_MESSAGE用于在常规外部单元上交换数据，EXCHANGE_SVAR_MESSAGE_EXT用于在常规和扩展外部单元上交换数据。
宏形式：
EXCHANGE_SVAR_FACE_MESSAGE(domain, (SV_P, SV_NULL));
EXCHANGE_SVAR_MESSAGE(domain, (SV_P, SV_NULL));
EXCHANGE_SVAR_MESSAGE_EXT(domain, (SV_P, SV_NULL));
EXCHANGE_SVAR_FACE_MESSAGE()在udf中很少用户。用户可以在计算节点之间交换多个存储变量。存储变量名由参数列表中的逗号分隔，列表以SV_NULL结束。例如，EXCHANGE_SVAR_MESSAGE(domain， (SV_P, SV_T, SV_NULL))用于交换单元压力和温度变量。用户可以从包含变量定义语句的头文件中确定存储变量名。例如，假设想要与相邻的计算节点交换cell pressure (C_P)，可以查看包含C_P (mc .h)定义的头文件，并确定cell pressure的存储变量为SV_P，此时需要将存储变量传递给exchange宏。
并行计算的消息传递及其重要，设计不好的话会极大地影响到并行效率。在并行代码编写的过程中，一定要小心再小心。
联系客服
